发明内容
针对上述人脸识别速度慢和打卡时间不准确的问题,本发明提出了一种识别速度快且打卡时间准确度高的多人脸跟踪识别的方法、装置、计算机设备及存储介质。
一种多人脸跟踪识别的方法,应用于考勤场景,所述方法包括:
获取当前监控区域内多个目标的人脸信息;
针对每个目标,记录检测到第一帧人脸图像的时刻;
针对每个目标,确定所述目标的人脸信息的获取度;
当所述获取度不满足预设比例时,则继续跟踪所述目标的人脸,对所述目标的人脸信息进行补充完善,得到完善后的目标人脸信息;
基于所述完善后的目标人脸信息进行人脸识别,得到识别结果;
将所述目标对应的第一帧人脸图像的时刻作为所述识别结果的打卡时间。
一种多人脸跟踪识别的装置,应用于考勤场景,该装置包括:
获取模块,用于获取当前监控区域内多个目标的人脸信息;
记录模块,用于针对每个目标,记录检测到第一帧人脸图像的时刻;
确定模块,用于针对每个目标,确定所述目标的人脸信息的获取度;
完善模块,用于当所述获取度不满足预设比例时,则继续跟踪所述目标的人脸,对所述目标的人脸信息进行补充完善,得到完善后的目标人脸信息;
识别模块,用于基于所述完善后的目标人脸信息进行人脸识别,得到识别结果;
打卡模块,用于将所述目标对应的第一帧人脸图像的时刻作为所述识别结果的打卡时间。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,所述存储器有存储计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行以下步骤:
获取当前监控区域内多个目标的人脸信息;
针对每个目标,记录检测到第一帧人脸图像的时刻;
针对每个目标,确定所述目标的人脸信息的获取度;
当所述获取度不满足预设比例时,则继续跟踪所述目标的人脸,对所述目标的人脸信息进行补充完善,得到完善后的目标人脸信息;
基于所述完善后的目标人脸信息进行人脸识别,得到识别结果;
将所述目标对应的第一帧人脸图像的时刻作为所述识别结果的打卡时间。
在一个实施例中,提出了一种计算机可读存储介质,有存储计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:
获取当前监控区域内多个目标的人脸信息;
针对每个目标,记录检测到第一帧人脸图像的时刻;
针对每个目标,确定所述目标的人脸信息的获取度;
当所述获取度不满足预设比例时,则继续跟踪所述目标的人脸,对所述目标的人脸信息进行补充完善,得到完善后的目标人脸信息;
基于所述完善后的目标人脸信息进行人脸识别,得到识别结果;
将所述目标对应的第一帧人脸图像的时刻作为所述识别结果的打卡时间。
上述多人脸跟踪识别的方法、装置、计算机设备及存储介质,同时获取当前监控区域的多个目标的人脸信息,然后分别针对每个目标,记录检测到第一帧人脸图像的时刻,并针对每个目标,确定目标的人脸信息的获取度,当获取度不满足预设比例时,进行补充完善,得到完善后的目标人脸信息,然后基于完善后的目标人脸信息进行识别识别,得到识别结果,然后将目标对应的第一帧人脸图像的时刻作为识别结果的打卡时间。上述过程中,当目标的人脸信息的获取度不满足预设比例时,是采用补充完善的方式来得到完善的目标人脸信息的,相对于传统的一直追踪直到获取获取度满足预设比例的照片的方式,该补充完善的方式可以更加快速地得到高质量图像,进而可以实现更快速地进行人脸识别。此外,通过将第一帧人脸图像的时刻作为打卡时间解决了打卡时间可能出现不准确的问题。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地说明,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,提出了一种多人脸跟踪识别的方法,应用于考勤场景,该方法包括:
步骤102,获取当前监控区域内多个目标的人脸信息。
其中,采用摄像头采集视野范围内(即当前监控区域)的多个目标的人脸信息,同时对多个目标进行人脸跟踪。具体地,针对每个人脸创建人脸跟踪器,基于人脸跟踪器进行人脸跟踪。
步骤104,针对每个目标,记录检测到第一帧人脸图像的时刻。
其中,当检测到目标的人脸时,记录检测到的第一帧人脸图像对应的时刻。这个时刻表示了该目标已经达到了预设范围内,即已经出现在了考勤范围,该时刻是比较准确的考勤时间。
步骤106,针对每个目标,确定目标的人脸信息的获取度。
其中,人脸信息的获取度是指获取到的人脸信息的完善度。只有完善度比较高的情况下,人脸识别结果才能准确。所以为了使得人脸识别结果准确,首先需要获取到完善度高的人脸图像,然后基于完善度高的人脸图像进行识别。在一个实施例中,从检测到目标人脸开始,获取多帧人脸图像,然后从多帧人脸图像中筛选出完善度最高的人脸图像,然后计算该完善度最高的人脸图像对应的获取度。在一个实施例中,筛选完善度最高的人脸图像的方式可以通过比较各个人脸图像中人脸的面积,面积越大,说明该人脸图像的完善度最高。
步骤108,判断获取度是否满足预设比例,若满足,则进入步骤114,若不满足,则进入步骤110。
其中,确定了人脸信息的获取度后,需要判断一下人脸信息的获取度是否满足预设比例,比如,预设比例为90%,那么就是判断人脸信息的获取度是否大于90%,若是,则判定满足要求,可以基于当前的人脸信息进行人脸识别,若否,则判定不满足要求,需要进一步对人脸信息进行完善。
步骤110,继续跟踪目标的人脸,对目标的人脸信息进行补充完善,得到完善后的目标人脸信息。
其中,当获取度不满足要求时,需要继续跟踪目标的人脸,基于跟踪的得动的人脸信息对目标的当前人脸信息进行补充完善,得到完善后的目标人脸信息。
步骤112,基于完善后的目标人脸信息进行人脸识别,得到识别结果。
其中,得到完善后的目标人脸信息后再进行人脸识别,这样得到的识别结果会更准确。
步骤114,直接对目标的人脸信息进行人脸识别,得到识别结果。
其中,当获取度满足要求时,则说明当前人脸信息已经比较完善,可以直接基于当前人脸信息进行人脸识别,得到识别结果。这样有利于提高人脸识别的速度。
步骤116,将目标对应的第一帧人脸图像的时刻作为识别结果的打卡时间。
其中,识别结果即识别到的对应的人员,比如,识别到目标为张三,那边就将将记录的第一帧人脸图像的时刻作为张三对应的打卡时间,解决了由于识别延时导致打卡不准确的问题。
上述多人脸跟踪识别的方法,同时获取当前监控区域的多个目标的人脸信息,然后分别针对每个目标,记录检测到第一帧人脸图像的时刻,并针对每个目标,确定目标的人脸信息的获取度,当获取度不满足预设比例时,进行补充完善,得到完善后的目标人脸信息,然后基于完善后的目标人脸信息进行识别识别,得到识别结果,然后将目标对应的第一帧人脸图像的时刻作为识别结果的打卡时间。上述过程中,当目标的人脸信息的获取度不满足预设比例时,是采用补充完善的方式来得到完善的目标人脸信息的,相对于传统的一直追踪直到获取获取度满足预设比例的照片的方式,该补充完善的方式可以更加快速地得到高质量图像,进而可以实现更快速地进行人脸识别。此外,通过将第一帧人脸图像的时刻作为打卡时间解决了打卡时间可能出现不准确的问题。
在一个实施例中,所述针对每个目标,确定所述目标的人脸信息的获取度,包括:在预设时间内获取所述目标的多帧人脸图像,从所述多帧人脸图像中筛选出完善度最高的一张人脸图像作为目标人脸图像;将所述目标人脸图像作为区块映射模型的输入,所述区块映射模型用于根据提取到的人脸特征将所述目标人脸图像划分为多个区块,每个区块对应一个区块标识;获取所述多个区块中满足预设面积的区块数量;根据所述满足预设面积的区块数量计算得到所述目标的人脸信息的获取度。
其中,为了能识别的速度更快,一般设置在预设时间内(比如,0.5S)获取目标的多帧人脸图像,然后从多帧人脸图像中筛选一张人脸完善度最高的一张作为目标人脸图像,然后计算该目标人脸图像的获取度。具体地,采用区块映射模型将目标人脸图像划分为多个区块,然后统计多个区块中满足预设面积的区块数量,根据满足预设面积的区块数量来计算人脸信息的获取度,满足预设面积的区块数量越多,说明人脸信息的获取度越高,即完善度越高。每个区块对应一个区块标识,该区块标识用于唯一标识一块人脸区域,针对每个区块,获取到的区块面积越大,说明对应的该人脸区域信息获取的越完整。区块映射模型用于根据人脸特征对目标人脸图像进行区域划分,对应输出划分好区块的目标人脸图像。区块映射模型可以采用深度学习模型训练得到。通过上述区块映射模型进行区块划分,并计算满足预设面积的区块数量,进而得到获取度。该方式不仅能够更加准确,而且能够更加快速地计算得到目标人脸图像的获取度。
在一个实施例中,当所述获取度不满足预设比例时,则继续跟踪所述目标的人脸,对所述目标的人脸信息进行补充完善,得到完善后的目标人脸信息,包括:获取所述多个区块中不满足所述预设面积的待填充区块标识;继续跟踪所述目标的人脸,从跟踪的人脸中提取所述待填充区块标识对应的人脸信息,将提取到所述人脸信息填充到相应的待填充区块,得到完善后的目标人脸信息。
其中,每个区块都唯一对应一个区块标识,当获取度不满足要求,则获取多个区块中不满足预设面积的区块标识,作为待填充区块标识。继续跟踪目标的人脸信息,然后有针对性地提取待填充区块标识对应的人脸信息,将提取到的人脸信息填充到待填充区域,这样就可以得到完善后的目标人脸信息。提取人脸信息的方式仍然可以采用区块映射模型,根据区块映射模型提取到待填充模块标识对应的人脸信息。
在一个实施例中,每个所述区块分别唯一对应一块脸部区域;所述获取所述多个区块中满足预设面积的区块数量,包括:针对每个区块,计算所述区块是否大于所述预设面积,若是,则判定区块合格,若否,则将相应的区块作为待填充区块;统计合格的区块数量;所述根据所述满足预设面积的区块数量计算得到所述目标的人脸信息的获取度,包括:计算合格的区块数量与总的区块数量之间的比值,将所述比值作为所述目标的人脸信息的获取度。
其中,每个区块都对应有标准面积,将标准面积设为1,同时预设一个预设面积,比如,设置为0.9,只有该区块的面积大于预设面积,才判定该区块合格,若不大于预设面积,则判定不合格,将相应的区块作为待填充区块,统计合格的区块数量,计算合格的区块数量与总的区块数量的比例,比如,总的区块数量为100,那么合格的有80,那么相应的获取度为80%。该通过区块合格数量来计算人脸信息的获取度的方式在保证准确的情况下大大提高了便捷性。
在一个实施例中,所述考勤场景中至少包括两个方位的摄像头;在针对每个目标,确定所述目标的人脸信息的获取度之前,还包括:获取至少两个方位的摄像头拍摄到的同一目标在同一时间的人脸图像;将所述同一时间的人脸图像进行匹配,根据匹配结果确定所述目标是否为活体,若为活体,则进入确定所述目标的人脸信息的获取度的步骤。
其中,为了避免有些人弄虚作假,利用手机里面的图片或视频来进行代打卡,在确定目标的人脸信息的获取度之前进行活体检测,活体检测的方式目前有很多,比如,通过红外线的方式等,这种检测的方式成本较高,而且随着技术的进步,有些可以伪造生物特征来伪打卡,基于这种情况,本发明实施例中提供了一种成本低,且活体检测准确度高的方法,通过至少两个方位的摄像头对同一目标在同一时间进行人脸图像拍摄,然后将同一时间的人脸图像进行匹配,匹配的方式是以同一物品为参照物,摄像头分别根据所在的方位计算人脸与参照物之间的角度,若两者计算得到的角度一致,则说明两者匹配,确定目标为活体。比如,假设参照物为C,摄像头1计算得到拍摄到的人脸A与参照物C之间的角度,摄像头2计算得到拍摄得到的人脸B与参照物C之间的角度。若人脸A和人脸B为同时拍到的真实的人脸,则两者与参照物C之间的角度必然相同。该活体检测的方式不仅准确度高,而且大大降低了成本。
在一个实施例中,所述继续跟踪所述目标的人脸,包括:获取所述目标的非人脸特征,当所述目标的人脸出现遮挡时,基于所述非人脸特征进行目标的跟踪,当遮挡消失时,重新跟踪所述目标的人脸,所述非人脸特征包括:衣服、配饰、体态中的至少一种。
其中,在进行人脸跟踪时,有时会出现人脸遮挡的情况,导致丢失跟踪目标,为了避免人脸跟踪丢失的情况出现,本发明实施例中提出了一种根据非人脸特征进行目标跟踪的方式,比如,当某员工在考勤打卡时,由于可能是多个人同时打卡,所以有可能会出现人脸遮挡的情况,这种情况下,可以采用非人脸特征进行目标的跟踪,比如,基于员工的衣服、配饰(比如,头巾、包包等)来继续进行目标跟踪,当遮挡消失时,重新跟踪目标的人脸,这样就避免了遮挡人脸导致目标丢失的情况出现。在该实施例中,在根据目标时,不仅需要提取目标的人脸特征,也需要提取非人脸特征,当人脸特征消失时,可以基于非人脸特征继续进行跟踪。该人脸跟踪的方式有效地避免了跟踪丢失的情况。
在一个实施例中,所述获取当前监控区域内多个目标的人脸信息,包括:从多个角度分别对多个目标人脸进行检测;对当前区域内的多个目标分别创建人脸跟踪器,所述人脸跟踪器在多个角度间切换,逐帧获取人脸信息。
其中,通过多个角度对人脸信息进行获取,该方法能够快速完善目标人脸信息。
如图2所示,一种多人脸跟踪识别的装置,应用于考勤场景,所述装置包括:
获取模块202,用于获取当前监控区域内多个目标的人脸信息;
记录模块204,用于针对每个目标,记录检测到第一帧人脸图像的时刻;
确定模块206,用于针对每个目标,确定所述目标的人脸信息的获取度;
完善模块208,用于当所述获取度不满足预设比例时,则继续跟踪所述目标的人脸,对所述目标的人脸信息进行补充完善,得到完善后的目标人脸信息;
识别模块210,用于基于所述完善后的目标人脸信息进行人脸识别,得到识别结果;
打卡模块212,用于将所述目标对应的第一帧人脸图像的时刻作为所述识别结果的打卡时间。
在一个实施例中,确定模块206还用于在预设时间内获取所述目标的多帧人脸图像,从所述多帧人脸图像中筛选出完善度最高的一张人脸图像作为目标人脸图像;将所述目标人脸图像作为区块映射模型的输入,所述区块映射模型用于根据提取到的人脸特征将所述目标人脸图像划分为多个区块,每个区块对应一个区块标识;获取所述多个区块中满足预设面积的区块数量;根据所述满足预设面积的区块数量计算得到所述目标的当前人脸信息的获取度。
在一个实施例中,完善模块还用于获取所述多个区块中不满足所述预设面积的待填充区块标识;继续跟踪所述目标的人脸,从跟踪的人脸中提取所述待填充区块标识对应的人脸信息,将提取到所述人脸信息填充到相应的待填充区块,得到完善后的目标人脸信息。
在一个实施例中,每个所述区块分别唯一对应一块脸部区域;确定模块还用于针对每个区块,计算所述区块是否大于所述预设面积,若是,则判定区块合格,若否,则将相应的区块作为待填充区块;统计合格的区块数量;计算合格的区块数量与总的区块数量之间的比值,将所述比值作为所述目标的人脸信息的获取度。
在一个实施例中,所述考勤场景中至少包括两个方位的摄像头;上述装置还包括:
活体检测模块,用于获取至少两个方位的摄像头拍摄到的同一目标在同一时间的人脸图像;将所述同一时间的人脸图像进行匹配,根据匹配结果确定所述目标是否为活体,若为活体,则进入通知确定模块进入确定所述目标的人脸信息的获取度的步骤。
在一个实施例中,完善模块还用于获取所述目标的非人脸特征,当所述目标的人脸出现遮挡时,基于所述非人脸特征进行目标的跟踪,当遮挡消失时,重新跟踪所述目标的人脸,所述非人脸特征包括:衣服、配饰、体态中的至少一种。
在一个实时例中,获取模块还用于从多个角度分别对多个目标人脸进行检测;对当前区域内的多个目标分别创建人脸跟踪器,所述人脸跟踪器在多个角度间切换,逐帧获取人脸信息。
图3示出了一个实施例中计算机设备的内部结构图。该计算机设备是考勤设备。如图3所示,该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质有存储操作系统,还可有存储计算机程序,该计算机程序被处理器执行时,可使得处理器实现上述的多人脸跟踪识别的方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行上述的多人脸跟踪识别的方法。本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的设备的限定,具体的设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,所述存储器有存储计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行上述多人脸跟踪识别的方法的步骤。
在一个实施例中,提出了一种计算机可读存储介质,有存储计算机程序,计算机程序被处理器执行时,使得处理器执行上述多人脸跟踪识别的方法的步骤。
可以理解的是,上述多人脸跟踪识别的方法、装置、计算机设备以及计算机可读存储介质属于一个总的发明构思,实施例可相互适用。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。