一种图像采集方法、装置和系统以及电子设备
技术领域
本申请涉及计算机技术领域,尤其涉及一种图像采集方法、装置和系统以及电子设备。
背景技术
随着模式识别与人工智能等技术的不断发展,生物特征识别技术也受到了越来越多的关注。目前,生物特征识别主要包括指纹识别、人脸识别、语音识别、掌纹识别、眼纹识别、虹膜识别及面部表情识别等。
为了提高生物识别技术的准确度,相关技术人员和研究机构则考虑将人脸识别和眼部识别(比如眼纹识别、虹膜识别)结合起来,以解决人脸识别中出现等相似脸(比如同卵双胞胎)而导致识别不准确的问题。
然而,对于人脸识别往往只需要普通RGB摄像头便可以满足人脸识别的采集需求,而普通RGB摄像头由于其分辨率有限、景深范围(Depth of Field,DoF)有限以及视野范围(Field of View,FoV)有限等问题,而无法实现对眼部区域的精准采集。因此,对于如何提高人脸识别结果的精确度,仍然需要一种更优化的解决方案。
发明内容
本申请实施例提供一种图像采集方法、装置和系统以及电子设备,以解决现有的有关人脸图像的采集方法不够优化的问题。
为解决上述技术问题,本申请实施例是这样实现的:
第一方面,提出了一种图像采集方法,包括:
通过第一图像采集装置采集用户的初始人脸图像;
控制第二图像采集装置以目标采集参数采集所述用户的眼纹图像,所述目标采集参数基于所述初始人脸图像确定;
基于所述初始人脸图像和所述眼纹图像合成所述用户的目标人脸图像。
第二方面,提出了一种图像采集装置,包括:
第一采集单元,通过第一图像采集装置采集用户的初始人脸图像;
第二采集单元,控制第二图像采集装置以目标采集参数采集所述用户的眼纹图像,所述目标采集参数基于所述初始人脸图像确定;
合成单元,基于所述初始人脸图像和所述眼纹图像合成所述用户的目标人脸图像。
第三方面,提出了一种图像采集系统,包括第一图像采集装置、第二图像采集装置、控制装置、合成装置,其中:
所述第一图像采集装置,采集装置采集用户的初始人脸图像;
所述第二图像采集装置,采集装置采集所述用户的眼纹图像;
所述控制装置,控制所述第二图像采集装置以目标采集参数采集所述用户的眼纹图像;
所述合成装置,基于所述初始人脸图像和所述眼纹图像合成所述用户的目标人脸图像。
第四方面,提出了一种电子设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行以下操作:
通过第一图像采集装置采集用户的初始人脸图像;
控制第二图像采集装置以目标采集参数采集所述用户的眼纹图像,所述目标采集参数基于所述初始人脸图像确定;
基于所述初始人脸图像和所述眼纹图像合成所述用户的目标人脸图像
第五方面,提出了一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行以下操作:
通过第一图像采集装置采集用户的初始人脸图像;
控制第二图像采集装置以目标采集参数采集所述用户的眼纹图像,所述目标采集参数基于所述初始人脸图像确定;
基于所述初始人脸图像和所述眼纹图像合成所述用户的目标人脸图像。
由以上本申请实施例提供的技术方案可见,本申请实施例方案至少具备如下一种技术效果:
在采集用户的人脸图像时,能够通过第一图像采集装置采集用户的初始人脸图像,并可以基于该初始人脸图像确定目标采集参数,再控制第二图像采集装置以目标采集参数采集用户的眼纹图像,最后基于初始人脸图像和眼纹图像合成用户的目标人脸图像,这样采集得到的人脸图像,由于既包括用户的人脸图像,还包括了用户的眼部区域的图像,且该眼部区域的图像为用户的眼纹图像,一方面既提高了人脸识别的准确度,另一方面还能够基于用户的初始人脸图像,控制第二图像采集装置采集用户的眼纹图像,避免了用户还要调整自身的采集角度,提高了用户体验。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本说明书的一个实施例提供的一种图像采集方法的实现流程示意图;
图2为本说明书的一个实施例提供的图像采集方法应用在实际场景中的示意图;
图3为本说明书的一个实施例提供的图像采集装置的结构示意图;
图4为本说明书的一个实施例提供的图像采集系统的结构示意图;
图5为本说明书的一个实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。
为解决现有的有关人脸的图像采集方法不够优化的问题,本说明书实施例提供一种图像采集方法。本说明书实施例提供的图像采集方法的执行主体可以但不限于手机、平板电脑、可穿戴设备等能够被配置为执行本发明实施例提供的该方法用户终端中的至少一种,或者,该方法的执行主体,还可以是能够执行该方法的客户端本身。
为便于描述,下文以该方法的执行主体为能够执行该方法的移动终端为例,对该方法的实施方式进行介绍。可以理解,该方法的执行主体为移动终端只是一种示例性的说明,并不应理解为对该方法的限定。
具体地,本说明书一个或多个实施例图像采集方法的实现流程示意图如图1所示,包括:
步骤110,通过第一图像采集装置采集用户的初始人脸图像;
如背景技术中所述,现有的用于人脸图像采集的普通RGB摄像头往往只能够满足人脸识别的采集需求,而对于眼部区域中眼纹的采集,普通RGB摄像头则存在以下问题:1)普通RGB摄像头的分辨率有限,无法保证采集的眼部区域中眼纹的较高分辨率;2)普通RGB摄像头的景深范围(depth of field,DOF)有限,无法保证摄像头在眼部区域精准聚焦;3)普通RGB摄像头的FoV有限,无法在拍摄眼部区域中眼纹的同时,兼顾保持较大的视野范围,从而无法采集不同身高用户的眼纹。
而现有技术中针对虹膜成像的解决方案中,由于需要依靠单相机完成虹膜采集,所采用的单相机的成像DoF和FoV都非常受限,用户往往要在指定位置才能够完成眼部区域的图像采集,影响用户的体验。此外,虹膜采集还需要在成像系统中加入红外补光组件与相机红外滤光片,增加了成像系统的复杂度。
本说明书一个或多个实施例为了解决这个问题,提供的图像采集方法中包括用于采集用户的初始人脸图像的第一图像采集装置和用于采集用户的眼纹图像的第二图像采集装置,能够同时满足人脸图像和眼部图像的采集。其中,第一图像采集装置采集用户的初始人脸图像,应理解,这里所述的初始人脸图像可以是基于第一图像采集装置实时采集用户的人脸视频流获取的。
步骤120,控制第二图像采集装置以目标采集参数采集用户的眼纹图像,该目标采集参数基于初始人脸图像确定;
为了解决现有技术中,用户需要在指定位置才能完成眼部区域的图像采集而影响用户体验的问题,本发明一个或多个实施例提供一种优选的方案,可以控制第二图像采集装置以目标采集参数采集用户的眼纹图像,具体来说,可以首先,基于初始人脸图像,确定第二图像采集装置的目标采集参数;然后,控制第二图像采集装置基于目标采集参数采集所述用户的眼纹图像。其中,目标采集参数可以包括第二图像采集装置的采集角度、采集高度等参数信息,这就避免用户还得多次调整自身的高度和角度来配合第二图像采集装置采集眼纹图像,进而为用户提供更好的用户体验。
应理解,不同用户的身高、双眼瞳孔间距往往都不相同,为了保证第二图像采集装置能够采集到清晰的眼纹图像,基于初始人脸图像,确定第二图像采集装置的目标采集参数,具体则可以首先,基于用户的初始人脸图像,确定用户的眼部空间位置信息,即基于用户的初始人脸图像进行关键点定位,以确定出用户的眼部空间位置信息;然后,基于用户的眼部空间位置信息,确定第二图像采集装置的目标采集参数,也就是确定出第二图像采集装置的最佳采集角度和采集高度等目标采集参数。其中,用户的眼部空间位置信息包括用户双眼的瞳孔中心位置信息。
可选地,为了保证第二图像采集装置能够采集到足够清晰的眼纹图像,控制第二图像采集装置以目标采集参数采集用户的眼纹图像,具体可以首先,控制第二图像采集装置以目标采集参数采集用户的眼睛区域图像;然后,通过全卷积深度神经网络对用户的眼部区域图像进行分割,以获取清晰度满足预设条件的眼纹图像,由于通过全卷积深度神经网络对用户的眼部区域图像进行分割,因此能够对采集到的眼纹图像质量进行快速判断,以使得第二图像采集装置完成聚焦,从而获取足够清晰的眼纹图像。
由于本说明书一个或多个实施例中的图像采集方法中采用的第一图像采集装置用于采集用户的人脸图像,第二图像采集装置用于采集用户的眼纹图像,显然两者的FoV的需求不同,为了同时满足这两者的采集需求,第一图像采集装置可以选用FoV较大的普通摄像头,而第二图像采集装置则可以选用FoV较小的普通摄像头,即第一图像采集装置的FoV大于第二图像采集装置的FoV。其中,第一图像采集装置的FoV大于或等于45°*100°;第二图像采集装置的FoV大于或等于50mm*140mm。
此外,有关第一图像采集装置和第二图像采集装置的其他参数如下:第一图像采集装置的空间分辨率大于或等于2mm,成像距离范围为500mm~1000mm,图像帧率大于或等于15fps;第二图像采集装置的空间分辨率不低于3~5线对/mm。
在实际应用中,由于舵机云台精度较高,便于控制,因此可以通过舵机云台来控制第二图像采集装置调整图像采集角度等采集参数,那么控制第二图像采集装置以目标采集参数采集所述用户的眼纹图像,具体则可以通过舵机云台控制第二图像采集装置以目标采集参数采集用户的眼纹图像。
可选地,第二图像采集装置的镜头可以为光学变焦镜头也可以是定焦镜头。其中,若第二图像采集装置的镜头为光学变焦镜头,光学变焦镜头能够保证眼纹图像的采集在远近不同距离下都保持一致的采集分辨率,若第二图像采集装置的镜头为定焦镜头,为便于调整镜头焦距获取清晰的眼纹图像,可以使用数码变焦的方式,该定焦镜头采用数码变焦方式使得整个图像采集系统的造价更便宜,但所采集的眼纹图像相较于光学变焦镜头采集的眼纹图像的清晰度会有所降低。此外,为了保证第二图像采集装置能够采集清晰度满足预设条件的眼纹图像,该第二图像采集装置无论采用哪种镜头,其景深范围均要大于或等于2cm。
如图2所示,为本说明书一个或多个实施例提供的图像采集方法应用在实际场景中的示意图,包括软件算法和成像系统两部分内容,其中成像系统包括FoV较大的人脸采集相机(即相机A也就是本说明书中的第一图像采集装置)、FoV较小的眼纹采集相机(即相机B也就是本说明书中的第二图像采集装置,采用光学变焦镜头)和用于控制相机B采集参数的舵机云台,软件算法主要包括人脸检测、眼睛检测和控制算法,具体可以烧录在控制芯片中或者存储在上位机中。
图2采集用户的初始人脸图像和眼纹图像的过程包括:首先,通过相机A采集用户的人脸视频流;然后,通过控制芯片或者上位机获取该人脸视频流,通过人脸检测获取初始人脸图像,再通过关键点定位,眼睛检测获取用户双眼的瞳孔中心的位置信息,并基于该位置信息确定相机B的目标采集参数,并将该目标采集参数发送给舵机云台;最后,舵机云台在接收到该目标采集参数后,控制相机B以目标采集参数采集用户的眼纹图像。
步骤130,基于初始人脸图像和眼纹图像合成用户的目标人脸图像。
在分别通过第一图像采集装置获取了用户的初始人脸图像和第二图像采集装置获取了用户的眼纹图像之后,便可以基于初始人脸图像和眼纹图像合成用户的目标人脸图像,在对用户进行身份校验时,能够同时结合人脸图像和眼纹图像进行身份校验,由于眼纹图像识别是通过人体眼白区域的血管排布情况来区分人的身份,每个人的眼纹具有唯一性,即便是人脸相似度很高的双胞胎,其眼纹血管排布也是不一样的,因此,同时结合人脸图像和眼纹图像进行身份校验的准确度也就更高。
在采集用户的人脸图像时,能够通过第一图像采集装置采集用户的初始人脸图像,并可以基于该初始人脸图像确定目标采集参数,再控制第二图像采集装置以目标采集参数采集用户的眼纹图像,最后基于初始人脸图像和眼纹图像合成用户的目标人脸图像,这样采集得到的人脸图像,由于既包括用户的人脸图像,还包括了用户的眼部区域的图像,且该眼部区域的图像为用户的眼纹图像,一方面既提高了人脸识别的准确度,另一方面还能够基于用户的初始人脸图像,控制第二图像采集装置采集用户的眼纹图像,避免了用户还要调整自身的采集角度,提高了用户体验。
图3是本说明书提供的图像采集装置200的结构示意图。请参考图3,在一种软件实施方式中,图像采集装置200可包括第一采集单元201、第二采集单元202和合成单元203,其中:
第一采集单元201,通过第一图像采集装置采集用户的初始人脸图像;
第二采集单元202,控制第二图像采集装置以目标采集参数采集所述用户的眼纹图像,所述目标采集参数基于所述初始人脸图像确定;
合成单元203,基于所述初始人脸图像和所述眼纹图像合成所述用户的目标人脸图像。
在采集用户的人脸图像时,第一采集单元201能够通过第一图像采集装置采集用户的初始人脸图像,并可以基于该初始人脸图像确定目标采集参数,再通过第二采集单元202控制第二图像采集装置以目标采集参数采集用户的眼纹图像,最后可以通过合成单元203基于初始人脸图像和眼纹图像合成用户的目标人脸图像,这样采集得到的人脸图像,由于既包括用户的人脸图像,还包括了用户的眼部区域的图像,且该眼部区域的图像为用户的眼纹图像,一方面既提高了人脸识别的准确度,另一方面还能够基于用户的初始人脸图像,控制第二图像采集装置采集用户的眼纹图像,避免了用户还要调整自身的采集角度,提高了用户体验。
在一种实施方式中,所述第二采集单元202:
基于所述初始人脸图像,确定所述第二图像采集装置的目标采集参数;
控制所述第二图像采集装置基于所述目标采集参数采集所述用户的眼纹图像。
在一种实施方式中,所述第二采集单元202:
基于所述用户的初始人脸图像,确定所述用户的眼部空间位置信息;
基于所述用户的眼部空间位置信息,确定所述第二图像采集装置的目标采集参数。
在一种实施方式中,所述第二采集单元202:
控制第二图像采集装置以目标采集参数采集所述用户的眼睛区域图像;
通过全卷积深度神经网络对所述用户的眼部区域图像进行分割,以获取清晰度满足预设条件的眼纹图像。
在一种实施方式中,所述第一图像采集装置的视野范围FoV大于所述第二图像采集装置的FoV。
在一种实施方式中,所述第一图像采集装置的FoV大于或等于45°*100°;
所述第二图像采集装置的FoV大于或等于50mm*140mm。
在一种实施方式中,所述第二采集单元202:
通过舵机云台控制所述第二图像采集装置以所述目标采集参数采集所述用户的眼纹图像。
在一种实施方式中,所述第二图像采集装置的镜头为光学变焦镜头或者定焦镜头。
在一种实施方式中,所述第二图像采集装置的景深范围大于或等于2cm。
在一种实施方式中,所述用户的眼部空间位置信息包括所述用户双眼的瞳孔中心位置信息。
图像采集装置200能够实现图1~图2的方法实施例的方法,具体可参考图1~图2所示实施例的图像采集方法,不再赘述。
图4是本说明书提供的图像采集系统300的结构示意图。请参考图4,在一种软件实施方式中,图像采集系统300可包括第一图像采集装置301、第二图像采集装置302、控制装置303和合成装置304,其中:
所述第一图像采集装置301,采集装置采集用户的初始人脸图像;
所述第二图像采集装置302,采集装置采集所述用户的眼纹图像;
所述控制装置303,控制所述第二图像采集装置302以目标采集参数采集所述用户的眼纹图像;
所述合成装置304,基于所述初始人脸图像和所述眼纹图像合成所述用户的目标人脸图像。
在一种实施方式中,所述控制装置303,
基于所述初始人脸图像,确定所述第二图像采集装置的目标采集参数;
控制所述第二图像采集装置基于所述目标采集参数采集所述用户的眼纹图像。
在一种实施方式中,所述控制装置303,
基于所述用户的初始人脸图像,确定所述用户的眼部空间位置信息;
基于所述用户的眼部空间位置信息,确定所述第二图像采集装置的目标采集参数。
在一种实施方式中,所述控制装置303,
控制第二图像采集装置以目标采集参数采集所述用户的眼睛区域图像;
通过全卷积深度神经网络对所述用户的眼部区域图像进行分割,以获取清晰度满足预设条件的眼纹图像。
在一种实施方式中,所述第一图像采集装置301的视野范围FoV大于所述第二图像采集装置302的FoV。
在一种实施方式中,所述第一图像采集装置301的FoV大于或等于45°*100°;
所述第二图像采集装置302的FoV大于或等于50mm*140mm。
在一种实施方式中,所述控制装置303,
通过舵机云台控制所述第二图像采集装置以所述目标采集参数采集所述用户的眼纹图像。
在一种实施方式中,所述第二图像采集装置302的镜头为光学变焦镜头或者定焦镜头。
在一种实施方式中,所述第二图像采集装置302的景深范围大于或等于2cm。
在一种实施方式中,所述用户的眼部空间位置信息包括所述用户双眼的瞳孔中心位置信息。
图像采集系统300能够实现图1~图2的方法实施例的方法,具体可参考图1~图2所示实施例的图像采集方法,不再赘述。
图5是本说明书的一个实施例提供的电子设备的结构示意图。请参考图5,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成资源增值对象与资源对象的关联装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:
通过第一图像采集装置采集用户的初始人脸图像;
控制第二图像采集装置以目标采集参数采集所述用户的眼纹图像,所述目标采集参数基于所述初始人脸图像确定;
基于所述初始人脸图像和所述眼纹图像合成所述用户的目标人脸图像。
上述如本说明书图1所示实施例揭示的图像采集方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书一个或多个实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书一个或多个实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
该电子设备还可执行图1的图像采集方法,本说明书在此不再赘述。
当然,除了软件实现方式之外,本说明书的电子设备并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
总之,以上所述仅为本说明书的较佳实施例而已,并非用于限定本说明书的保护范围。凡在本说明书一个或多个实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本说明书一个或多个实施例的保护范围之内。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。