发明内容
本申请实施例的目的在于提供一种获取及识别图像的方法、装置、存储介质及电子设备,通过本申请的一些实施例可以获取高质量的皮肤纹路图像,进而提升皮肤纹路识别结果的识别速度和准确率。
第一方面,本申请的一些实施例提供一种获取皮肤纹路图像的方法,所述方法包括:获取至少一个环境特征参量的值,其中,所述环境特征参量用于表征被采集的皮肤纹路所属对象的特征和/或所述对象所处环境的特征;根据所述至少一个环境特征参量的值对所述皮肤纹路进行成像处理,得到皮肤纹路图像。
与相关技术的仅通过采集皮肤纹路特征获取皮肤纹路图像的方法相比,本申请的实施例除了采集皮肤纹路特征之外还采集环境特征参量的值,获取多模态特征信息,并根据多模态特征信息提升获取的皮肤纹路图像的质量,这样可以最终提升根据皮肤纹路图像进行识别的准确率。
在本申请的一些实施例中,所述环境特征参量包括:环境光特征参量和/或温度特征参量,其中,所述环境光特征参量用于表征被采集的皮肤纹路所属的对象所处环境的光强特征,所述温度特征参量用于表征所述被采集的皮肤纹路所属的对象所处环境的温度或者用于表征所述被采集的皮肤纹路所属的对象的温度。
在本申请的一些实施例中,所述获取至少一个环境特征参量的值,包括:获取所述至少一个环境特征参量的瞬时值;或者,获取在目标时段内的所述至少一个环境特征参量的平均值。
在一些实施例中,所述获取至少一个环境特征参量的值,包括:获取所述环境光特征参量的值;所述根据所述至少一个环境特征参量的值对所述皮肤纹路进行成像处理,得到皮肤纹路图像,包括:根据所述环境光特征参量的值获取曝光参数的目标值;根据所述曝光参数的目标值控制皮肤纹路采集单元对皮肤纹路进行图像采集,得到所述皮肤纹路图像。
本申请的一些实施例可以在皮肤纹路采集单元(例如,光学指纹传感器)采集皮肤纹路的特征之前,先获取环境光信息再根据环境光信息得到曝光参数的目标值(即获取最优的曝光参数值),然后根据曝光参数的目标值控制皮肤纹路采集单元的图像采集过程,可以有效避免由于环境光过强而直接采集皮肤纹路特征得到皮肤纹路图像存在的过曝等质量问题。
在一些实施例中,所述曝光参数包括:曝光时间、数字增益、白平衡和光圈中的至少一个。
本申请的一些实施例通过控制皮肤纹路采集单元的曝光时间、数字增益等曝光参数的具体取值,来使得皮肤纹路采集单元的图像采集过程可以动态适应环境光强的变化,提升皮肤纹路采集单元采集的图像的质量。
在一些实施例中,所述获取环境光特征参量的值,包括:获取所述环境光特征参量的瞬时值;所述根据所述环境光特征参量的值获取目标曝光参数的值,包括:根据所述环境光特征参量的瞬时值获取所述曝光参数的目标值。
本申请的一些实施例根据环境光强的瞬时值来确定曝光参数的目标值,这在设备的可用资源受限或者较小的情况下,可以减少数据处理量,减少资源消耗。
在一些实施例中,所述获取环境光特征参量的值包括:获取所述环境光特征参量的平均值;所述根据所述环境光特征参量的值获取曝光参数的目标值,包括:根据所述环境光特征参量的平均值获取所述曝光参数的目标值。
本申请的一些实施例可以采用一段时间内环境光强度的平均值来获取最优的曝光参数值,这与根据环境特征参量的瞬时值获取最优曝光参数值的方案相比可以避免频繁调整曝光参数的具体取值,提升算法的稳定性。
在一些实施例中,所述根据所述环境光特征参量的值获取曝光参数的目标值,包括:根据各强度的环境光和曝光参数之间的映射关系得到所述曝光参数的目标值,其中,所述映射关系为配置的多个不同强度的环境光中各强度的环境光与一个或多个最优曝光参数值的对应关系。
在本申请的一些实施例中,所述曝光参数的目标值是通过查找映射表得到的,其中,所述映射表用于存储多个不同强度的环境光中各强度的环境光与一个或多个最优曝光参数值的对应关系。
本申请的一些实施例通过映射表查找各环境光强对应的最优曝光参数值,提升了获取最优曝光参数值的速度。
在一些实施例中,所述获取至少一个环境特征参量的值,包括:获取温度特征参量的值;所述根据所述至少一个环境特征参量的值控制皮肤纹路的成像处理过程,包括:根据所述温度特征参量的值确认对由所述皮肤纹路采集单元采集的皮肤纹路的图像进行校正处理,得到所述皮肤纹路图像。
本申请的一些实施例通过获取温度特征参量的值,可以推定被采集皮肤纹路的所属对象(或者称为部位)存在干冷等影响成像的因素的概率,进而确定是否需要对采集的皮肤纹路图像进行干冷等校正处理过程,提升了皮肤纹路图像采集对被采集的皮肤纹路所属对象的状态变化的适应能力(例如,指纹采集时的可以更好的适应手指的状态变化)。
在一些实施例中,所述获取温度特征参量的值,包括:获取所述温度特征参量的瞬时值;所述根据所述温度特征参量的值确认对由所述皮肤纹路采集单元采集的图像进行校正处理,包括:根据所述温度特征参量的瞬时值确认对由所述皮肤纹路采集单元采集的图像进行校正处理。
本申请的一些实施例通过判断采集的瞬时温度是否低于设定的温度阈值,确定是否需要对由皮肤纹路采集单元已经采集的皮肤纹路图像进行干冷等校正处理,处理速度快且节省计算资源。
在一些实施例中,所述获取温度特征参量的值,包括:获取所述温度特征参量的平均值;所述根据所述温度特征参量的值确认对由所述皮肤纹路采集单元采集的图像进行校正处理,包括:根据所述温度特征参量的平均值确认对由所述皮肤纹路采集单元采集的图像进行校正处理。
本申请的一些实施例还可以通过温度的平均值确定是否需要对采集的皮肤纹路图像进行校正处理,与根据温度瞬时值判断是否需要对采集的皮肤纹路图像进行校正处理的方式相比,采用一段时间采集的温度的平均值作为判断依据可以提升干冷状态判断的准确性和稳定性。
在一些实施例中,所述根据所述温度特征参量的值确认对由所述皮肤纹路采集单元采集的皮肤纹路的图像进行校正处理,包括:确认所述温度特征参量的值小于设定温度阈值时,对由所述皮肤纹路采集单元采集的皮肤纹路的图像进行校正处理。
在一些实施例中,所述校正处理包括调整被校正图像的亮度和/或对比度,其中,所述被校正图像是由所述皮肤纹路采集单元采集的图像。
本申请的一些实施例通过设置低温标志位的有效状态来确定需要启动干冷校正处理,通过直接判断标志位的有效性明显提升了数据处理的速度。
第二方面,本申请的一些实施例提供一种识别皮肤纹路图像的方法,所述方法包括:根据如第一方面任一实施例的方法获取皮肤纹路图像;根据所述皮肤纹路图像进行识别,获得识别结果。
第三方面,本申请的一些实施例提供一种获取皮肤纹路图像的装置,所述装置包括:环境特征参量值获取模块,被配置为获取至少一个环境特征参量的值,其中,所述环境特征参量用于表征被采集的皮肤纹路所属的特征和/或所述对象所处环境的特征;控制模块,被配置为根据所述至少一个环境特征参量的值对所述皮肤纹路进行成像处理,得到皮肤纹路图像。
第四方面,本申请的一些实施例提供一种识别皮肤纹路图像的装置,所述装置包括:环境特征参量值获取模块,被配置为获取至少一个环境特征参量的值,其中,所述环境特征参量用于表征被采集的皮肤纹路所属对象的特征和/或所述对象所处环境的特征;控制模块,被配置为根据所述至少一个环境特征参量的值对所述皮肤纹路进行成像处理,得到皮肤纹路图像;识别模块,被配置为对所述皮肤纹路图像进行识别,获得识别结果。
第五方面,本申请的一些实施例提供一种可读存储介质,其上存储有程序,所述程序被处理器执行时可实现如上述第一方面或第二方面实施例所述的方法。
第六方面,本申请的一些实施例提供一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中,所述处理器执行所述程序时可实现上述第一方面或者第二方面实施例所述的方法。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
近年来,基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(ArtificialIntelligence,AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科,涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支,具体是让机器识别世界,计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步,该项技术在众多领域展开了应用,例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
以屏下皮肤纹路(例如,包括指纹和掌纹)识别为例,示例性阐述现有技术存在的相关问题。需要说明的是,对于非屏下的皮肤纹路识别也会同样面临仅根据采集皮肤纹路进行成像处理导致的获取的皮肤纹路图像不佳的技术问题,因此本申请一些实施例的技术方案既可以用于屏下皮肤纹路识别也可以应用于非屏下皮肤纹路识别,例如,掌纹识别、电容式指纹识别或超声波式指纹识别等。
相关技术的光学皮肤纹路(例如,指纹)识别技术在使用隐藏在显示屏幕下方的皮肤纹路采集单元(例如,光学传感器)来采集皮肤纹路(例如,指纹)信号时,由于受限于显示屏幕的遮挡,皮肤纹路采集单元及配套光学组件的体积,功耗,成本等因素,由皮肤纹路采集单元拍摄皮肤纹路图像时很容易受到环境光影响,且相关技术的皮肤纹路识别方法适应被采集皮肤纹路所属对象的状态变化能力也较差(例如,指纹识别方法适应手指状态变化的能力较差)。
以指纹识别为例,示例性说明相关技术存在的缺陷。
本申请的发明人在研究中发现,一方面,在室外阳光环境下,指纹传感器的部分区域被阳光直射,会导致过曝,导致曝光参数出现偏差,若不对采集得到的指纹图像做校正处理,会影响指纹采集区域的指纹成像。另一方面,在环境温度较低的环境下,由于低温导致手指较干燥(即人的手指会进入干冷状态),因此皮肤纹路与采集区域的屏幕接触不良,其指纹信号和常温状态有明显差异,需要图像处理算法执行额外的干冷校正流程。而考虑到用户实际使用场景的环境光比较复杂,且人的手指也具有多样性(例如,人的手指存在干冷或者非干冷状态),因此仅通过指纹传感器采集的指纹特征难以快速、有效完成复杂状态的皮肤纹路图像的采集和处理工作,这将进一步影响根据这些指纹图像进行指纹识别的准确率和识别的速度。
至少为了解决上述技术问题,本申请的一些实施例通过设置环境光采集单元以采集环境光特征参量的值,进而提升皮肤纹路采集单元采集的图像质量。本申请的另一些实施例通过设置温度采集单元以采集温度特征参量的值,以确定是否对皮肤纹路采集单元采集的皮肤纹路图像进行校正处理。本申请的又一些实施例中,设置用于采集环境光特征参量的值的环境光采集单元和用于采集温度特征参量的值的温度采集单元。需要说明的是,环境光采集单元和温度采集单元可以设置在指纹采集区域的相邻区域,在本申请的一些实施例中也可以采用可移动设备已有的环境特征采集单元来采集环境特征参量的值。
也就是说,本申请实施例为了获取高质量的皮肤纹路图像需要采集除了皮肤纹路特征之外的环境特征信息等模态信息,再根据获取的多模态信息控制成像过程和/或校正过程有效提升了得到的皮肤纹路图像的质量,进而提升了根据这些皮肤纹路图像进行身份识别或者防伪识别的识别速度和准确率。
下面以手机为例结合图1-图2示例性阐述如何利用可移动设备已有的环境特征采集单元来采集环境特征参量的值。
相关技术中的可移动设备的环境光采集单元(即环境光传感器)通常安装在显示屏幕附近,用于感知环境光的强弱,进而调整显示屏幕的亮度。本申请的一些实施例复用这个(些)用于调整显示屏亮度的环境光传感器来获取环境光特征参量的值,并根据这些环境光特征参量的值生成控制皮肤纹路采集单元的成像参数,以避免环境光影响皮肤纹路成像。
如图1所示,在本申请的一些实施例中,手机100包括设置于显示屏幕412附近的环境光传感器411,该环境光传感器411采集的环境光特征参量的值会被传输至处理器,以使处理器根据采集的环境光信息生成用于调整显示屏亮度的第一控制信息,并生成用于调整指纹传感器的曝光参数的目标值的第二控制信息。
相关技术中的可移动设备通常具有多个温度传感器(或称为温度采集单元),例如,这些温度传感器包括用于测量系统级芯片SoC温度的传感器、用于测量主板温度的传感器或者用于测量电池温度的传感器等。可以理解的是,可移动设备包括的部分温度传感器受硬件系统运行时发热影响较大,因此如果通过这些受温度影响较大的温度传感器的温度作为环境温度,则会影响本申请实施例是否需要对采集的指纹图像进行校正处理的结论。
可以理解的是,本申请的一些实施例为了获取温度特征参量的值,需要从可移动设备已有的多个传感器中筛选出受温度影响较小的温度传感器。作为本申请的一个示例,可通过运行基准实验流程等方式从可移动设备已有的多个温度传感器中找到受发热影响最小的传感器作为本申请一些实施例涉及的判断是否需要启动校正处理的温度传感器。需要说明的是,在本申请的一些实施例中通过校正处理可以将处于干冷状态的纹路图像恢复到正常状态的图像。
下面以手机为例示例性阐述根据基准实验流程筛选出满足要求的温度传感器的过程。
第一步,为相关手机预先安装基准测试程序和传感器温度记录程序,其中,基准测试程序的功能是占用大量CPU或者GPU资源以模拟手机在运行游戏等大型程序时发热的现象,传感器温度记录程序可在后台持续记录手机上各温度传感器的读数。
第二步,将手机设为正常待机状态,放在温度恒定(例如25摄氏度)的实验室环境中足够长时间,直到手机各温度传感器读数稳定。
第三步,运行基准测试程序和传感器温度记录程序,持续一定时长(例如半小时)。
第四步,查看传感器温度记录程序保存的各传感器的值,并和第一步记录的值对比。找出温度变化最小的传感器,作为本申请一些实施例的获取温度特征参量的值的温度采集单元。
如图2所示,手机100包括用于测量SoC温度的第一温度传感器511、用于测量主板温度的第二温度传感器512和用于测量电池温度的第三温度传感器513,通过运行基准实验流程得到受温度影响最小温度传感器是第二温度传感器512,因此本申请的一些实施例会将从第二温度传感器512读取的温度作为温度特征参量的值,进而确定是否需要对由皮肤纹路采集单元采集的皮肤纹路图像进行校正处理。也就是说,本申请的一些实施例会将第二温度传感器512作为采集温度特征参量的值的温度传感器,从第二温度传感器读取采集的温度,并根据该温度数值确定是否启动对获取的皮肤纹路图像(例如,指纹图像)的校正处理过程。
需要说明的是,图1和图2的手机也可以替换为平板计算机、笔记本计算机或者便携式游戏机等具有指纹识别功能的可移动终端。本申请实施例并不限定具有皮肤纹路识别功能的设备的具体类型。在本申请的另一些实施例中,环境光采集单元和温度采集单元可以是在指纹采集区域的相邻区域重新设置的环境特征参量采集单元。
下面结合图3示例性阐述由电子设备中的处理器或者皮肤纹路获取模组中集成的微处理器执行的本申请实施例的获取皮肤纹路图像的过程。
如图3所示,本申请一些实施例的获取皮肤纹路图像的方法包括:S101,获取至少一个环境特征参量的值,其中,所述环境特征参量用于表征被采集的皮肤纹路所属对象的特征和/或所述对象所处环境的特征;S102,根据所述至少一个环境特征参量的值对所述皮肤纹路进行成像处理,得到皮肤纹路图像。
需要说明的是,在本申请的一些实施例中,S101涉及的环境特征参量包括:环境光特征参量和/或温度特征参量,在本申请的另一些实施例中S101涉及的环境特征参量还包括湿度特征参量,其中,所述环境光特征参量用于表征被采集的皮肤纹路所属的对象所处环境的光强特征,所述温度特征参量用于表征所述被采集的皮肤纹路所属的对象所处环境的温度或者用于表征所述被采集的皮肤纹路所属的对象的温度。在本申请的一些实施例中S101获取的至少一个环境特征参量的值示例性包括:获取至少一个特征参量的瞬时值;或者,获取在目标时段内的至少一个特征参量的平均值。
下面示例性阐述上述过程。
至少为了解决由于环境光强度过大导致的皮肤纹路采集单元采集的皮肤纹路图像存在的过曝问题,在本申请的一些实施例中,在皮肤纹路采集单元采集皮肤纹路图像之前需要先采集环境光强度的值,之后再根据与该环境光强度的值对应的曝光参数的目标值来控制皮肤纹路采集单元的成像过程,进而有效避免了由于环境光过强导致的过曝问题。具体的,在本申请的一些实施例中S101包括:获取环境光特征参量的值,其中,所述环境光特征参量用于表征被采集的皮肤纹路所属的对象所处环境的光强特征;相应的S102包括:根据所述环境光特征参量的值获取曝光参数的目标值;根据所述曝光参数的目标值控制皮肤纹路采集单元对皮肤纹路进行图像采集,得到所述皮肤纹路图像。在本申请的一些实施例中直接根据采集的皮肤纹路特征得到用于识别等其它目的的皮肤纹路图像。在本申请的另一些实施例中,根据皮肤纹路特征以及校正处理等校正处理后才能得到用于识别目的的皮肤纹路图像。
在本申请的一些实施例中,S102涉及的曝光参数包括:曝光时间、数字增益、白平衡和光圈中的至少一个。例如,在一些实施例中曝光参数包括曝光时间或者数字增益。在本申请的另一些实施例中S102涉及的目标曝光参数还包括:白平衡或者光圈等。例如,S102的曝光参数为曝光时间,则S102会根据获取的环境的光强特征的值确定对应的曝光时间的目标值,之后再将曝光时间的目标值发送至皮肤纹路采集单元,以控制皮肤纹路采集单元依据曝光时间的目标值采集皮肤纹路图像。例如,S102的曝光参数为数字增益,则S102会根据获取的环境的光强特征的值确定对应的数字增益的目标值,之后再将数字增益的目标值发送至皮肤纹路采集单元,以控制皮肤纹路采集单元依据数字增益的目标值采集皮肤纹路图像。
至少为了进一步提升数据处理的速度,在本申请的一些实施例中,S101获取的环境光特征参量的值为环境特征参量(例如,环境光强度)的瞬时值。相应的S102包括根据环境光特征参量的瞬时值(例如,环境光强瞬时值)获取相对应的曝光参数(例如,目标曝光时间)的目标值。
需要说明的是,在本申请的一些实施例中,S101涉及的环境特征参量的瞬时值是当前时刻采集的环境特征参量的值。在本申请的另一些实施例中S101涉及的环境特征参量的瞬时值可以是周期性获取的环境特征参量的值,例如,在一些实施例中瞬时值的采样周期为2秒,且第二时刻采样得到的环境特征参量的值为a,则a值将被存储2秒钟,相应的处理器在第二时刻之后的2秒钟内都会将读取的a值作为该环境特征参量的瞬时值。可以理解的是,在指纹识别时,为了最大程度的提升获取的指纹图像的效果,在本申请的一些实施例中,S101涉及的瞬时值的采样时刻可以是在检测到手指触摸到显示屏幕或者触摸到指纹识别模组表面时获取的,也可以是由检测的指纹识别设备的功耗变化来确定采样瞬时值的具体时刻(例如,检测到低功耗到高功耗的变化时刻)。
至少为了提升获取的环境光特征参量值的稳定性,在本申请的一些实施例中,S101获取环境光特征参量的平均值(例如,环境光强度在设定时间段内的平均值);相应的S102包括:根据所述环境光特征参量的平均值(例如,环境光强度在设定时间段内的平均值)获取相对应的曝光参数的目标值。
需要说明的是,在本申请的一些实施例中,可移动设备的环境光传感器具有常开属性,可在设备处于低功耗状态时以一定的采样间隔,持续采集环境光信息,并通过先进先出队列留存最近一段时间内的设备历史环境光数据。获取步骤S102执行这一时刻之前(作为目标时段的一个示例)的全部或部分设备历史环境光数据,取均值后得到短时平均环境光信息。
在本申请的一些实施例中,S102包括:根据各强度的环境光和曝光参数之间的映射关系得到所述曝光参数的目标值,其中,所述映射关系为配置的多个不同强度的环境光中各强度的环境光与一个或多个最优曝光参数值的对应关系。
需要说明的是,为了使得S102能够快速的得到与采集的环境光特征参量的值相对应的最合适的曝光参数值,在本申请的一些实施例中,S102涉及的曝光参数的目标值是通过查找映射表得到的,其中,映射表用于存储多个不同强度的环境光中各强度的环境光与一个或多个最优曝光参数值的对应关系。为了获取与各强度的环境光对应的最优曝光参数值,作为一个实施例,在实验室太阳光模拟器环境下,预先调整并存储若干个不同强度环境光下,指纹传感器的最佳曝光时间、最优数字增益和最优光圈大小等包括的一个或多个预先配置的最优值。S101根据环境光采集单元的读数估计环境光强度,S102会依据映射表预先存储的与相关环境光强度最配置的曝光参数的值作为最优曝光参数值。
至少为了使得获取的皮肤纹路图像能够适应被采集皮肤纹路所述对象的状态变化能力(例如,为了使得指纹采集图像能够反应手指状态变化的能力),本申请的一些实施例通过采集环境温度或者采集被采集皮肤纹路所属对象的温度(例如,手指的温度)来识别相应对象存在状态变化的可能性,进而可以在确定采集的温度低于设定温度阈值的情况下即时启动对采集的皮肤纹路图像的干冷等校正处理过程。
也就是说,在本申请的一些实施例中,S101包括:获取温度特征参量的值,其中,所述温度特征参量用于表征被采集的皮肤纹路所属的对象(例如,皮肤纹路的指纹时,则对应的对象为手指;皮肤纹路为掌纹时,则对应的对象为手掌)所处环境的温度或者用于表征所述被采集的皮肤纹路所属的对象的温度(例如,皮肤纹路的指纹时,则对应的对象为手指;皮肤纹路为掌纹时,则对应的对象为手掌);相应的S102包括:根据所述温度特征参量的值确认是否需要对所述皮肤纹路图像进行校正处理。本申请的一些实施例通过获取温度特征参量的值,并根据环境温度特征参量的值或者根据被采集皮肤纹路所属对象的温度确定是否需要对采集得到的图像进行校正处理,增强了对皮肤纹路所述对象(例如,手指)干冷状态的检出性能,提升了对相应对象状态变化的适应能力。
为了提升数据处理的速度,在本申请的一些实施例中,S101涉及的温度特征参量的值为采集的温度的瞬时值;相应的S102包括:根据温度特征参量的瞬时值确认是否需要对所述皮肤纹路图像进行校正处理(例如,校正处理)。在本申请的一些实施例中,校正处理包括调整被校正图像的亮度和/或对比度,其中,该被校正图像是由所述皮肤纹路采集单元(例如,由皮肤纹路采集单元根据曝光参数的目标值采集的图像)采集的图像。
为了提升采集的环境温度或者被采集皮肤纹路所属对象的温度的准确性和稳定性,在本申请的一些实施例中,S101温度特征参量的值是获取的某一段时间内温度特征参量值的平均值;相应的S102包括:根据温度特征参量的平均值确认是否需要对所述皮肤纹路图像进行校正处理。
需要说明的是,在本申请的另一些实施例中,可移动设备的温度传感器具有常开属性,可在设备处于低功耗状态时以一定的采样间隔,持续采集温度信息,并通过先进先出队列留存最近一段时间内的设备历史温度数据。获取步骤S102执行这一时刻之前(作为目标时段的一个示例)的全部或部分设备历史温度数据,取均值后得到短时平均温度信息。
需要说明的是,在本申请的一些实施例中同时采集环境光特征参量的值和温度特征参量的值(或者在本申请的在本申请的另一些实施例中不同时采集环境光特征参量的值和温度特征参量的值),之后再根据环境光特征参量的值和温度特征参量的值获取质量更好的皮肤纹路图像,并最终提升根据皮肤纹路图像进行身份识别的准确性。例如,首先根据获取的环境光特征参量的值获取曝光参数的目标值,并把曝光参数的目标值发送皮肤纹路采集单元,以控制皮肤纹路采集单元根据曝光参数的目标值采集皮肤纹路图像;之后根据获取的温度值确定是否需要启动对由皮肤纹路采集单元采集的皮肤纹路图像的校正处理操作。
在本申请的一些实施例中,S102记载的根据所述温度特征参量的值确认对由所述皮肤纹路采集单元采集的皮肤纹路的图像进行校正处理,包括:确认所述温度特征参量的值小于设定温度阈值时,对由所述皮肤纹路采集单元采集的皮肤纹路的图像进行校正处理。
为了进一步提升数据处理的速度,进而提升身份识别或者解锁速度,在本申请的一些实施例中,S102还包括:根据温度特征参量的值(包括温度特征参量的瞬时值或者温度特征参量的平均值)设置低温标志位的值,其中,低温标志位用于表征所述温度特征参量的值是否低于设定温度阈值;确认所述低温标志位的值有效(例如,确认温度特征参量的值低于设定温度阈值),则启动对由皮肤纹路采集单元采集图像的校正处理。
在本申请的一些实施例中,S102涉及的校正处理包括调整被校正图像的亮度和/或对比度,其中,所述被校正图像是由所述皮肤纹路采集单元采集的皮肤纹路的图像。
在本申请的一些实施例中,S102包括:确认由温度特征参量采集单元采集的温度特征参量的值小于设定温度阈值时,对由所述皮肤纹路采集单元采集的皮肤纹路的图像进行亮度调整。在本申请的另一些实施例中,S102包括:确认由温度特征参量采集单元采集的温度特征参量的值小于设定温度阈值时,对由所述皮肤纹路采集单元采集的皮肤纹路的图像进行对比度调整。在本申请的一些实施例中,S102包括:确认由温度特征参量采集单元采集的温度特征参量的值小于设定温度阈值时,对由所述皮肤纹路采集单元采集的皮肤纹路的图像进行亮度和对比度调整。
下面以获取指纹图像的过程为例,结合图4的手机示例性阐述本申请一些实施例的获取指纹图像的方法。
从图4可以看出,一方面,本申请一些实施例的处理器130从环境光采集单元(图中未示出)读取指纹采集时刻的环境光特征参量的值(例如,环境光强度值),之后处理器130会依据环境光特征参量的值获取曝光参数的目标值,再把生成的曝光参数的目标值经由指纹传感器控制电路120传输至指纹识别模组110,指纹识别模组110中的指纹采集单元根据曝光参数的目标值采集指纹特征得到调整曝光参数后的指纹图像,再将调整曝光参数后拍摄的指纹图像经由指纹传感器控制电路120传输至处理器130。另一方面,处理器130会读取温度采集单元采集的环境或者手指的温度特征参量的值,处理器130会根据该温度特征参量的值确定是否需要对指纹采集单元获取的指纹图像进行校正处理(即进行干冷校正)。在本申请的一些实施例中,处理器130会输出经过干冷校正后的指纹图像或者基于干冷校正处理后的指纹得到的识别结果(例如,身份识别结果或者防伪识别结果)。
需要说明的是,在本申请的一些实施例中由处理器130执行的获取指纹图像的过程也可以由指纹识别模组110中设置的微处理器来执行。在本申请的一些实施例中,指纹传感器控制电路120也可以作为指纹识别模组110的一部分,即指纹传感器控制电路120集成在指纹识别模组110中。
也就是说,在本申请的一些实施例中皮肤纹路获取模组完成图像采集和简单的处理(例如设定曝光参数的目标值,简单的固定参数滤波、降采样等),取得的皮肤纹路(例如,指纹)图像通过硬件接口传给手机SoC来执行本申请一些实施例提供的获取皮肤纹路图像的方法或者识别皮肤纹路图像的方法。在本申请的一些实施例中,在获取皮肤纹路图像的模组中直接集成处理能力更强的处理单元(例如,微处理器),将更多的图像处理,甚至是识别算法都在皮肤纹路获取模组中实现,具体地,由获取皮肤纹路图像的模组中集成的微处理器执行本申请一些实施例的获取皮肤纹路图像的方法或者识别皮肤纹路图像的方法,之后通过获取皮肤纹路图像的模组上设置的硬件接口传给手机的是“指纹识别通过”或者“防伪检测未通过”之类的识别结果信息。
下面结合图5,以获取指纹图像为例示例性阐述本申请实施例的获取指纹图像的方法。
如图5所示,本申请的一些实施例基于多模态信息(多模态信息包括:环境光特征参量信息、温度特征参量信息以及指纹特征信息)进行屏下光学指纹图像获取,进而基于获取的指纹图像可以实现屏下指纹识别或者解锁等。图5的获取指纹图像的方法包括:
S201,获取环境光传感器(对应于环境光采集点云)信息采集的环境特征参量的值。
S202,根据环境光信息(即环境光特征参量的值)获取最佳曝光时间值。也就是说,从与该环境光信息对应的一个或多个最优曝光参数值中选择最佳曝光时间。
例如,根据采集的环境光信息从预先存储的映射表中读取与该环境光信息最匹配的最佳曝光时间值(即获得了曝光参数的目标值)。
S203,光学指纹传感器成像。
具体地,根据最佳曝光时间值控制光学指纹传感器成像得到指纹图像。光学指纹传感器成像,即将根据S202得到的最佳曝光时间值控制指纹传感器(对应于皮肤纹路采集单元)采集指纹图像。
需要说明的是,获取环境光信息需要依赖硬件的环境光采集单元(即下文的环境光传感器的选择实施例)也需要依赖相关的算法(即下文的环境光信息的获取实施例),本申请的一些实施例可以通过实际调试从下列多组方案中选择一组,也可以对这些方案进行组合(即将任意一个环境光传感器的选择实施例与任意一个环境光信息的获取实施例组合),来获取环境光信息(即获取环境光特征参量的值)。
环境光传感器的选择实施例包括:
相关技术的可移动设备的环境光传感器通常安装在显示屏幕附近,用于感知环境光的强弱,进而调整显示屏的亮度。在本申请的一些实施例中,通过复用这个(些)用于调整显示屏亮度的环境光传感器来采集环境光特征参量的值。
在本申请的一些实施例中,需要在屏下指纹传感器附近重新安装一个环境光传感器,直接感知指纹传感器在屏下接收到的环境光强度。
环境光信息的获取实施例包括:
在本申请的一些实施例中,获取采集指纹图像瞬间的环境光传感器的读数值,得到瞬时环境光信息(即环境光特征参量的瞬时值),作为环境光特征参量的值。
在本申请的一些实施例中,可移动设备的环境光传感器具有常开(always-on)属性,可在设备处于低功耗状态时以一定的采样间隔,持续采集环境光信息,并通过先进先出队列留存最近一段时间内的设备历史环境光数据。因此,本申请的一些实施例可以获取这一时刻之前的全部或部分设备历史环境光数据,取均值后得到短时的平均环境光信息(即环境光特征查了的平均值),作为环境光特征参量的值。
需要说明的是,根据环境光信息进行曝光时间校正,一种可行的方法是:在实验室太阳光模拟器环境下,预先调整并存储若干不同强度环境光下,指纹传感器的最佳曝光时间配置。在S202执行时,根据环境光传感器的读数估计环境光强度,调出预先存储的最接近的配置作为与采集的环境光特征参量的值对应的曝光参数的目标值。
S204,获取温度传感器(即温度采集单元)采集的温度信息(即温度特征参量的值)。
需要说明的是,获取温度信息需要依赖硬件的温度采集单元(即下文的温度传感器的选择实施例)也需要依赖相关的算法(即下文的温度信息的获取实施例)。具体地,可以通过实际调试从下列多组方案中选择一组,也可以对这些方案进行组合(即将任意一个温度传感器的选择实施例与任意一个温度信息的获取实施例组合),以达到最优的实施效果。
温度传感器的选择实施例包括:
相关技术的可移动设备的通常已经具有多个温度传感器(即温度采集单元),这些温度传感器可以分别用于测量SoC温度、测量主板温度或者测量电池等组件的温度。在可移动设备已经集成的所有温度传感器中部分温度传感器受硬件系统运行时发热影响,导致这些温度传感器采集的温度和环境温度相差较大。在本申请的一些实施例中,通过运行基准实验流程等方式找到受发热影响最小的传感器,作为本申请实施例所需的温度传感器,获取温度特征参量的值(即将这个温度传感器的读数作为是否需要启动干冷等校正处理的依据)。基准实验流程请参考上文描述,为避免重复在此不做过多赘述。
在本申请的一些实施例中,需要在屏下指纹传感器(作为皮肤纹路采集单元的一种)附近(例如,该处的附近包括皮肤纹路采集区域的相邻区域或者在获取皮肤纹路图像的模组中)重新安装一个温度传感器,直接感知指纹传感器附近的温度,采集本申请一些实施例所需的温度特征参量的值。
在本申请的一些实施例中,需要在由指纹采集单元构成的获取皮肤纹路图像的模组内部、印刷电路板(Printed Circuit Board,PCB)或柔性电路板(Flexible PrintedCircuit,FPC)上集成温度传感器,获取本申请一些实施例所需的温度特征参量的值。
温度信息的获取实施例包括:
在本申请的一些实施例中,获取指纹采集瞬间的温度传感器的读数,得到环境温度信息(即温度特征参量的瞬时值),作为环境温度特征参量的值。
在本申请的一些实施例中,利用可移动设备的温度传感器具有常开(always-on)属性,在设备处于低功耗状态时以一定的采样间隔,持续采集温度信息,并通过先进先出队列留存最近一段时间内的设备历史温度数据。获取指纹采集这一时刻之前的全部或部分设备历史温度数据,取均值后得到短时的平均温度信息(即温度特征参量的平均值),作为温度特征参量的值。
S205,根据温度信息设置低温标志位。
需要说明的是,在本申请的一些实施例中获取环境光信息和曝光时间的目标值,以及获取温度信息和设置低温标志位的实施例由同一片上系统(Systemon a Chip,SoC)控制并发执行,因此环境光信息和温度信息可同时获取。在本申请的另一实施例中,获取环境光信息和曝光时间的目标值,以及获取温度信息和设置低温标志位的方案可以由不同片上系统执行,环境光信息的获取时间可以早于或者晚于温度信息的获取时间。
在本申请的一些实施例中,低温标志位的设置过程包括:在设备的随机存取存储器(Random Access Memory,RAM)中设置一个整数变量,例如,数值1表示低温有效,数值0表示低温无效。在本申请的一些实施例中,根据温度信息设置低温标志位的方法包括:将实验室恒温箱测得的出现手指干冷状态的最高温度作为阈值。当温度低于阈值时,将低温标志位设为有效。
S206,判断低温标识位是否有效。若低温标志位为有效,则执行S207的干冷校正,否则直接执行下一步骤即执行S208。
在本申请的一些实施例中S207涉及的干冷校正包括:对由指纹传感器采集的指纹图像进行亮度和对比度调整,使其接近常温条件下采集的指纹图像;和/或对图像执行取反操作,即将图像每个像素的值转为浮点数后,翻转符号位。本申请实施例不对干冷校正的具体流程做限定,任何只有干冷场景下才需要进行的图像处理都可以应用在S207中。
S208,对上一步得到的图像进行后处理。例如,该步骤的后处理包括但不限于图像降噪,归一化,去除屏幕图案残留等处理。
S209,指纹图像采集和校正结束。将校正和处理后的图像送入后续软件模块,以完成指纹识别或者解锁操作。
下面示例性阐述本申请一些实施例提供的识别皮肤纹路图像的方法。
如图6所示,本申请一些实施例的识别皮肤纹路的方法包括:S301(对应于图4的S101),获取至少一个环境特征参量的值,其中,所述环境特征参量用于表征被采集的皮肤纹路所属对象的特征和/或所述对象所处环境的特征;S302(对应于图4的S102),根据所述至少一个环境特征参量的值对所述皮肤纹路进行成像处理,得到皮肤纹路图像;S303,对所述皮肤纹路图像进行识别,获得识别结果。需要说明的是,S303的识别结果可以是身份识别或者防伪识别结果。例如,对于手指指纹识别时,该防伪识别结果用于输出被采集的指纹对应的手指属于真手指还是假手指)。
以指纹识别为例,本申请的皮肤纹路识别方法具体包括:输入指纹,根据环境光特征参量的值和温度特征参量的值控制指纹特征提取过程,得到指纹特征对应的指纹图像。将指纹图像对应的指纹特征与指纹模板中已经存储的模板特征进行比对,根据阈值判断认证识别或者认证通过。也就是说,S303的身份识别过程需要将讲过S302得到的皮肤纹路图像对应的皮肤纹路特征与皮肤纹路模板库中的模板特征一一比对,确定认证是否通过。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的识别方法的具体工作过程,可以参考前述获取皮肤纹路图像的方法中相应步骤的对应过程,具体的识别过程也可以参考相关技术的处理方法,为避免重复在此不再过多赘述。
请参考图7,图7示出了本申请实施例提供的获取皮肤纹路图像的装置,应理解,该装置与上述图3方法实施例对应,能够执行上述方法实施例涉及的各个步骤,该装置的具体功能可以参见上文中的描述,为避免重复,此处适当省略详细描述。装置包括至少一个能以软件或固件的形式存储于存储器中或固化在装置的操作系统中的软件功能模块,该获取皮肤纹路图像的装置,包括:环境特征参量值获取模块901,被配置为获取至少一个环境特征参量的值,其中,所述环境特征参量用于表征被采集的皮肤纹路所属对象的特征和/或所述对象所处环境的特征;控制模块902,被配置为根据所述至少一个环境特征参量的值对所述皮肤纹路进行成像处理,得到皮肤纹路图像。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考图3方法中的对应过程,在此不再过多赘述。
请参考图8,图8示出了本申请实施例提供的识别皮肤纹路的装置,应理解,该装置与上述图6方法实施例对应,能够执行上述方法实施例涉及的各个步骤,该装置的具体功能可以参见上文中的描述,为避免重复,此处适当省略详细描述。装置包括至少一个能以软件或固件的形式存储于存储器中或固化在装置的操作系统中的软件功能模块,该识别皮肤纹路的装置,包括:环境特征参量值获取模块901,被配置为获取至少一个环境特征参量的值,其中,所述环境特征参量用于表征被采集的皮肤纹路所属对象的特征和/或所述对象所处环境的特征;控制模块902,被配置为根据所述至少一个环境特征参量的值对所述皮肤纹路进行成像处理,得到皮肤纹路图像;识别模块903,被配置为根据所述皮肤纹路图像进行识别,获得识别结果。需要说明的是,识别模块903进行识别得到的识别结果可以是身份识别或者防伪识别结果。例如,对于手指指纹识别时,该防伪识别结果用于输出被采集的指纹对应的手指属于真手指还是假手指)。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考图6方法中的对应过程,在此不再过多赘述。
下面结合图9示例性说明一下采用手机镜头采集指纹的过程,图9的手机20包括显示屏幕1310以及手机机身1360。
第一步,在手机的显示屏幕1310上设置的指纹采集区域1370(或称为皮肤纹路采集区域,该区域与中框上的开孔区域对应设置)所在的位置显示一个提示图标(例如指纹形状的图示),指示用户按压此处可使用指纹识别功能。
第二步,用户手指按压在指纹采集区域1370位置设置的按压图标。
第三步,手机SoC通过触摸事件得知用户已经按压了指纹采集区域1370。
第四步,手机SoC控制显示屏幕1310在与指纹采集区域1370对应的区域发光(即控制该区域内的像素点发光),发出的光照射到用户的按压手指并向屏下反射。
第五步,通过按压在指纹采集区域1370处的手指,使得反射的光线包含指纹信息信息,之后包含指纹信息的反射光线到达指纹采集单元1380。
第六步,手机SoC控制指纹采集单元1380获取指纹特征的指纹图像。
需要说明的是,本申请的一些实施例还可以获取环境光采集单元1301采集的环境特征参量的值和温度采集单元采集的温度特征参数的值,之后再由SoC根据环境特征参量的值调整曝光参数的值,来获取指纹图像,在由处理器1303根据温度特征参量的值确定是否需要对采集得到的指纹图像进行干冷等校正处理。
如图10所示,本申请实施例还提供一种电子设备500,该电子设备设备包括存储器510、处理器520以及存储在存储器510上并可在处理器520上运行的计算机程序,其中,所述处理器520执行所述程序时(以及通过总线530从存储器510读取程序并执行)可实现图3和图6示出的方法,也可以用于实现上述实施例描述的方法。
在一些实施例中,电子设备500还可以包括采集单元(图中未示出),该采集单元用于采集环境特征参量的值。
处理器520可以处理数字信号,可以包括各种计算结构。例如复杂指令集计算机结构、结构精简指令集计算机结构或者一种实行多种指令集组合的结构。在一些示例中,处理器520可以是微处理器。
存储器510可以用于存储由处理器520执行的指令或指令执行过程中相关的数据。这些指令和/或数据可以包括代码,用于实现本申请实施例描述的一个或多个模块的一些功能或者全部功能。本公开实施例的处理器520可以用于执行存储器510中的指令以实现图3中所示的方法。存储器510包括动态随机存取存储器、静态随机存取存储器、闪存、光存储器或其它本领域技术人员所熟知的存储器。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。