CN112560772A - 人脸的识别方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提出了一种人脸的识别方法、装置、设备及存储介质，涉及图像处理技术领域，尤其涉及计算机视觉、人脸识别技术领域，具体实现方案为：对当前识别周期内的第一视频帧进行人脸检测，以确定第一视频帧中包含的N个人脸图像及分别对应的N个标识；在N个人脸图像中的第一人脸图像的第一标识与缓存中的第二人脸图像的标识匹配的情况下，确定第一人脸图像的质量参数；根据第一人脸图像的质量参数与第二人脸图像的质量参数进行缓存中人脸图像的替换；对缓存中各人脸图像进行人脸识别，以确定缓存中各人脸图像所属的用户标识。根据本申请能够减少特征提取的调用次数，节约计算资源和存储资源。

Description

人脸的识别方法、装置、设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及计算机视觉和人脸识别技术领域，提出一种人脸的识别方法、装置、设备及存储介质。

背景技术

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。人脸识别被广泛用于支付、视频监控、考勤等身份识别场景。

相关技术中，在对视频进行人脸识别时，根据人脸检测算法和视频帧序列输出人脸抓拍图，根据检测得到的人脸抓拍图进行人脸识别，该方案导致计算资源浪费，人脸识别的处理效率有待提高。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请提出了一种人脸的识别方法、装置、设备及存储介质。

本申请第一方面实施例提出了一种人脸的识别方法，包括：

对当前识别周期内的第一视频帧进行人脸检测，以确定所述第一视频帧中包含的N个人脸图像及分别对应的N个标识，其中，N为自然数；

在所述N个人脸图像中的第一人脸图像的第一标识与缓存中的第二人脸图像的标识匹配的情况下，确定所述第一人脸图像的质量参数；

将所述第一人脸图像的质量参数与所述第二人脸图像的质量参数进行比较，满足条件的情况下，用所述第一人脸图像替换所述缓存中的第二人脸图像；

在所述第一视频帧为所述当前识别周期内的最后一个视频帧的情况下，对所述缓存中各人脸图像进行人脸识别，以确定所述缓存中各人脸图像所属的用户标识。

本申请第二方面实施例提出了一种人脸的识别装置，包括：

检测模块，用于对当前识别周期内的第一视频帧进行人脸检测，以确定所述第一视频帧中包含的N个人脸图像及分别对应的N个标识，其中，N为自然数；

确定模块，用于在所述N个人脸图像中的第一人脸图像的第一标识与缓存中的第二人脸图像的标识匹配的情况下，确定所述第一人脸图像的质量参数；

替换模块，用于将所述第一人脸图像的质量参数与所述第二人脸图像的质量参数进行比较，满足条件的情况下，用所述第一人脸图像替换所述缓存中的第二人脸图像；

识别模块，用于在所述第一视频帧为所述当前识别周期内的最后一个视频帧的情况下，对所述缓存中各人脸图像进行人脸识别，以确定所述缓存中各人脸图像所属的用户标识。

本申请第三方面实施例提出了一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面实施例所述的人脸的识别方法。

本申请第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如第一方面实施例所述的人脸的识别方法。

本申请第五方面实施例提出了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如第一方面实施例所述的人脸的识别方法。

上述申请中的一个实施例具有如下优点或有益效果：由于采用了对当前识别周期内的第一视频帧进行人脸检测，以确定第一视频帧中包含的N个人脸图像及分别对应的N个标识，在N个人脸图像中的第一人脸图像的第一标识与缓存中的第二人脸图像的标识匹配的情况下，确定第一人脸图像的质量参数；将第一人脸图像的质量参数与第二人脸图像的质量参数进行比较，满足条件的情况下，用第一人脸图像替换缓存中的第二人脸图像；在第一视频帧为当前识别周期内的最后一个视频帧的情况下，对缓存中各人脸图像进行人脸识别，以确定缓存中各人脸图像所属的用户标识。根据本申请能够减少特征提取的调用次数，节约计算资源和存储资源。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为本申请实施例所提供的一种人脸的识别方法的流程示意图；

图2为本申请实施例所提供的另一种人脸的识别方法的流程示意图；

图3为本申请实施例所提供的一种人脸的角度示意图；

图4为本申请实施例所提供的另一种人脸的识别方法的流程示意图；

图5为本申请实施例所提供的一种人脸的识别装置的结构示意图；

图6为本申请实施例所提供的另一种人脸的识别装置的结构示意图；

图7示出了适于用来实现本申请实施例的示例性电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1为本申请实施例所提供的一种人脸的识别方法的流程示意图，如图1所示，该方法包括：

步骤101，对当前识别周期内的第一视频帧进行人脸检测，以确定第一视频帧中包含的N个人脸图像及分别对应的N个标识，其中，N为自然数。

本申请实施例的方法，可以应用于人脸识别场景，通过获取包含人脸的视频，从视频中确定进行人脸识别的视频帧，以实现人脸识别。

本实施例中，可以获取包含人脸的视频，该视频可以是实时的视频流，也可以是离线视频文件，其中可包括多帧视频帧，每帧视频帧中可包括一个或多个人脸图像，或者可不包括人脸图像。可选地，识别周期可以是预设的时间段，例如识别周期为十分钟，可以确定识别周期，并从视频中获取当前识别周期内的第一视频帧。

对于第一视频帧进行人脸检测，以确定第一视频帧中包含的人脸图像和人脸图像对应的标识。由于每帧视频帧中可包括至少一个人脸图像或不包括人脸图像，因此可确定第一视频帧中包含的N个人脸图像及分别对应的N个标识，其中，N为自然数。

其中，每个人脸图像对应一个标识，下面分别对确定视频帧中的人脸图像和对应的标识进行说明。

作为一种可能的实现方式，读取当前视频帧编码数据，将编码数据输入解码器进行解码，对解码后的预设格式的视频帧进行颜色空间变换，转换为目标格式，目标格式例如ARGB(一种色彩模式，附加透明度通道A的RGB色彩模式)格式，根据目标格式的视频帧进行人脸检测，以检测视频帧中包含的人脸图像。

在确定第一视频帧中包含的N个人脸图像时，进一步确定N个人脸图像分别对应的N个标识。

作为一种示例，第一视频帧为当前识别周期内的首个视频帧，则对第一视频帧中的人脸图像进行标记。例如确定第一视频帧中包含一个人脸图像，则为该人脸图像分配标识1，再例如确定第一视频帧中包含两个人脸图像，则分别为两个人脸图像分配标识1和2。

作为另一种示例，第一视频帧为并非当前识别周期内的首个视频帧，则获取与第一视频帧相邻的前一视频帧，并确定在前一视频帧的相应区域是否检测到人脸图像，若在相应区域检测到人脸图像，则将相应区域的人脸图像的标识作为第一视频帧的人脸图像的标识，若在相应区域未检测到人脸图像，则为第一视频帧中的人脸图像分配标识。可选地，在为人脸图像分配标识时，可以根据已分配的标识为人脸图像分配不同的标识，例如已有标识1，前一帧未检测到人脸图像的情况，为第一视频帧的人脸图像分配标识2。

步骤102，在N个人脸图像中的第一人脸图像的第一标识与缓存中的第二人脸图像的标识匹配的情况下，确定第一人脸图像的质量参数。

本实施例中，缓存中存在人脸图像，每个人脸图像对应一个标识。其中，第一人脸图像为第一视频帧中检测到的人脸图像，第二人脸图像为缓存中的人脸图像。

可选地，第一标识与第二人脸图像的标识相同，则确定第一标识与缓存中的第二人脸图像的标识匹配，并确定第一人脸图像的质量参数。

在本申请的一个实施例中，在N个标识与缓存中的各个第二人脸图像的标识均未匹配的情况下，将N个人脸图像及分别对应的N个标识存入缓存中。作为一种示例，在当前视频帧中检测到人脸图像并为检测到的人脸图像分配新的标识的情况下，该标识与缓存中的各个第二人脸图像的标识均未匹配，将该人脸图像和对应标识进行缓存。

步骤103，将第一人脸图像的质量参数与第二人脸图像的质量参数进行比较，满足条件的情况下，用第一人脸图像替换缓存中的第二人脸图像。

本实施例中，确定第二人脸图像的质量参数，比较第一人脸图像的质量参数和第二人脸图像的质量参数。可选地，相同标识的第二人脸图像有一张，在第一人脸图像的质量参数大于第二人脸图像的质量参数的情况下，用第一人脸图像替换缓存中的第二人脸图像；相同标识的第二人脸图像有多张，用第一人脸图像替换缓存中质量参数最低的第二人脸图像。

在本申请的一个实施例中，未满足条件的情况下，丢弃第一人脸图像，例如在第一人脸图像的质量参数小于等于第二人脸图像的质量参数的情况下，不执行用第一人脸图像替换缓存中的第二人脸图像。

步骤104，在第一视频帧为当前识别周期内的最后一个视频帧的情况下，对缓存中各人脸图像进行人脸识别，以确定缓存中各人脸图像所属的用户标识。

本实施例中，若第一视频帧为当前识别周期内的最后一个视频帧，则可确定当前识别周期内所有视频帧已完成人脸检测，对当前缓存中的人脸图像进行人脸识别。例如，将上述第一人脸图像替换第二人脸图像后，若第一视频帧为当前识别周期内的最后一个视频帧，则对质量参数高的第一人脸图像进行人脸识别。

可选地，对人脸图像进行人脸识别，以确定人脸图像对应的用户特征，该用户特征可用于识别人脸图像所属的用户标识，例如可用于支付、身份验证等。

本申请实施例的人脸的识别方法，通过对当前识别周期内的第一视频帧进行人脸检测，以确定第一视频帧中包含的N个人脸图像及分别对应的N个标识，在N个人脸图像中的第一人脸图像的第一标识与缓存中的第二人脸图像的标识匹配的情况下，确定第一人脸图像的质量参数；将第一人脸图像的质量参数与第二人脸图像的质量参数进行比较，满足条件的情况下，用第一人脸图像替换缓存中的第二人脸图像；在第一视频帧为当前识别周期内的最后一个视频帧的情况下，对缓存中各人脸图像进行人脸识别，以确定缓存中各人脸图像所属的用户标识。根据本申请实现了在视频中一系列待识别人脸图像中确定质量高的进行缓存，以对缓存的人脸图像进行人脸识别，能够减少特征提取的调用次数，节约计算资源，且减少存储的特征值和人脸图像，节约存储资源，同时保证了人脸识别的准确。

基于上述实施例，下面对确定人脸图像的质量参数进行说明。

图2为本申请实施例所提供的另一种人脸的识别方法的流程示意图，如图2所示，该方法中，上述步骤102包括：

步骤201，在N个人脸图像中的第一人脸图像的第一标识与缓存中的第二人脸图像的标识匹配的情况下，确定第一人脸图像的尺寸及包含的人脸的姿态角。

本实施例中，可以通过相关人脸检测算法得到第一人脸图像的尺寸及包含的人脸的姿态角。

其中，尺寸例如包括人脸图像的宽度和高度，姿态角例如包括三个角度，分别为俯仰角pitch、偏摆角yaw、翻滚角roll，参照图3,当人脸垂直于z轴负方向时，yaw、pitch、roll都为0；如果人脸按yaw箭头方向转动，则yaw由0向90度变化；如果人脸按yaw箭头反方向转动，则yaw由0向-90度变化；如果人脸按pitch箭头方向转动，则pitch由0向90度变化；如果人脸按pitch箭头反方向转动，则pitch由0向-90度变化；如果人脸按roll箭头方向转动，则roll由0向90度变化；如果人脸按roll箭头反方向转动，随转动幅度变大，则roll由0向-90度变化。

可选地，如果roll<0度，则将人脸图像中的人脸沿roll箭头正方向转动，使roll值增大到0度，并更新人脸图像图、宽度及高度；如果roll>0度，则将人脸图像中的人脸沿roll对应箭头负方向转动，使roll值减小到0度为止，并更新人脸图像、宽度及高度。

步骤202，根据第一人脸图像的尺寸及包含的人脸的姿态角，确定第一人脸图像的质量参数。

在本申请的一个实施例中，根据第一人脸图像的宽度和高度的差值，确定第一人脸图像的尺寸参数，根据偏摆角及俯仰角分别与指定角的差值，确定第一人脸图像的角度参数，根据尺寸参数、角度参数、指定的尺寸权重及指定的角度权重，确定第一人脸图像的质量参数。

本实施例中，确定尺寸的权重值和姿态角的权重值，上述权重值为0到1之间的浮点数。作为一种示例，通过如下方式确定人脸图像的质量参数：q＝(pw-fw)*ws+((90–abs(pitch))+(90–abs(yaw)))/2*wp。作为另一种示例，通过如下方式确定人脸图像的质量参数：q＝(pw-fw)*ws+(ph-fh)*ws+((90–abs(pitch))+(90–abs(yaw)))/2*wp。其中，尺寸包括宽度pw及高度ph，尺寸的权重值ws，姿态角的权重值wp，可检测人脸的最小宽度为fw，可检测人脸的最小高度为fh。

需要说明的是，上述确定第一人脸图像的实现方式同样适用于确定第二人脸图像的质量参数。

本实施例中，能够获取到人脸的角度值，根据人脸的角度值确定人脸图像的质量参数，以根据人脸图像的质量参数进行缓存中人脸图像的替换。

基于上述实施例，根据本申请实施例的人脸的识别方法，可以确定每一标识对应的人脸图像的识别次数，根据识别次数执行人脸图像的丢弃和删除，减少人脸图像的处理次数，节约计算资源。

图4为本申请实施例所提供的另一种人脸的识别方法的流程示意图，如图4所示，该方法包括：

步骤401，对当前识别周期内的第一视频帧进行人脸检测，以确定第一视频帧中包含的N个人脸图像及分别对应的N个标识。

其中，N为自然数。

步骤402，在N个人脸图像中的第一人脸图像的第一标识与缓存中的第二人脸图像的标识匹配的情况下，响应于第一标识对应的人脸图像的识别次数小于第一阈值，确定第一人脸图像的质量参数。

其中，识别次数用于表示对人脸图像进行人脸识别的次数，识别次数可存储在缓存中，识别次数与标识对应。

本实施例中，在第一人脸图像的第一标识与缓存中的第二人脸图像的标识匹配的情况下，获取第一标识对应的识别次数，并将识别次数与预设的第一阈值比较，其中第一阈值可以根据需要进行设置，当识别次数小于第一阈值时，执行确定第一人脸图像的质量参数。

在本申请的一个实施例中，在第一人脸图像的第一标识与缓存中的第二人脸图像的标识匹配之后，获取第一标识对应的识别次数，在第一标识对应的人脸图像的识别次数大于或等于第一阈值的情况下，丢弃第一人脸图像，从而无需执行确定第一人脸图像的质量参数的步骤，减少处理量，进一步提高人脸识别的响应速度。

步骤403，在第一人脸图像的质量参数大于第二人脸图像的质量参数的情况下，用第一人脸图像替换缓存中的第二人脸图像。

步骤404，在第一视频帧为当前识别周期内的最后一个视频帧的情况下，对缓存中各人脸图像进行人脸识别，以确定缓存中各人脸图像所属的用户标识。

在本申请的一个实施例中，在用第一人脸图像替换缓存中的第二人脸图像之后，在第一视频帧非当前识别周期内的最后一个视频帧的情况下，返回执行对与第一视频帧相邻的下一个视频帧进行人脸检测的操作，直至将当前识别周期内的全部视频帧检测完毕后，对缓存中满足识别条件的人脸图像进行人脸识别。由此，能够对当前识别周期内确定质量高的人脸图像进行缓存和替换，保证了人脸识别的准确度，并且提高了人脸识别的响应速度。

其中，执行对与第一视频帧相邻的下一个视频帧进行人脸检测的操作可参照前述实施例，此处不再赘述。识别条件可根据实际需要进行设置。

步骤405，将缓存中的各人脸图像对应的识别次数加一。

本实施例中，在对缓存中的各人脸图像进行人脸识别后，将缓存中的各人脸图像对应的识别次数加一，根据各人脸图像的识别次数和各人脸图像对应的标识更新缓存，以更新各标识对应的识别次数。

其中，通过存储每一标识对应的识别次数，在对任一标识人脸图像进行识别后，若后续视频帧中检测到了该标识对应的人脸图像，可以先根据识别次数判断是否小于第一阈值，第一阈值例如设置为1，即每一标识的人脸图像仅识别一次，若识别次数大于等于第一阈值，则无需确定检测到的人脸图像的质量参数并丢弃该人脸图像，由此，若某一用户持续存在于视频画面中，避免对同一人次连续进行特征识别，减少处理量。

步骤406，确定缓存中的各人脸图像分别对应的识别次数，在任一人脸图像对应的识别次数大于或等于第一阈值的情况下，确定任一人脸图像的第二标识是否与N个标识中的任一标识匹配。

本实施例中，缓存中存储了人脸图像、对应标识和对应识别次数。可选地，可以每隔预设周期确定缓存中的各人脸图像分别对应的识别次数，也可以对于每一视频帧确定缓存中的各人脸图像分别对应的识别次数。

其中，举例而言，对于缓存中第二标识的人脸图像，第二标识的人脸图像的识别次数大于或等于第一阈值的情况下，确定第二标识是否与N个标识中的任一标识匹配。例如，N个标识中的任一标识与第二标识相同，确定第二标识与第一标识匹配。

步骤407，在第二标识与N个标识均未匹配的情况下，将任一人脸图像、第二标识及对应的识别次数，从缓存中清除。

本实施例中，若第二标识与N个标识均未匹配，则将该第二标识的人脸图像、第二标识及对应的识别次数，从缓存中清除。其中，在第二标识与N个标识均未匹配的情况下，即认为当前人次的人脸图像已在视频中消失，因此清除缓存，节约存储资源。

举例而言，map作为人脸图像的存储结构，key用来存储人脸图像的标识，value用来存储人脸图像和其对应的质量，存储人脸图像的map结构变量为M。

对于当前视频帧的人脸图像，存在两种情况：(1)当人脸图像的标识不在M中，则将人脸图像标识和相应人脸图像、人脸图像识别次数m1、当前系统时间tc及计算得到的人脸图像质量参数q存入M，其中m1＝0；(2)当人脸图像的标识在M中存在时，首先判断当前人脸标识的已识别次数m1是否大于等于m：

如果m1>＝m，则跳到步骤三；如果m1<m，则计算此人脸图像的q1：如果此人脸标识对应的人脸图像已经被清空，则使用当前人脸图像替换缓存中的人脸图像，并且使q＝q1，跳转到步骤二；

如果q1<＝q，则不进行人脸图像替换，跳转到步骤二；如果q1>q，则使用当前人脸图像替换之前的人脸图像，并且使q＝q1，跳转到步骤二；

步骤二，获取当前系统时间ts，之后依次获取M中各人脸标识的tc：

如果ts–tc<t，则跳转到步骤三；如果ts–tc>＝t，则将此时对应的人脸图像发送至特征提取模块进行人脸识别特征提取，之后从M中删除已发送人脸图像，并更新tc，令tc＝ts；

步骤三，判断M中的人脸是否已在当前视频帧中消失；如果M中的人脸均未在当前视频帧中消失，则继续读取视频帧；如果M中的人脸在当前视频帧中消失，则遍历缓存查看是否存在消失的人脸所对应的人脸图像：

如果存在消失的人脸对应的人脸图像，则发送对应的人脸图像给特征提取模块，之后删除此消失人脸的全部信息，包括标识、人脸图像识别次数m1、人脸图像累计起始时间tc、人脸图像质量参数q、人脸图像，进而继续读取视频帧；如果不存在，则删除此消失人脸的标识、人脸图像识别次数m1、人脸图像累计起始时间tc、人脸图像质量参数q，进而继续读取视频帧；

步骤四，在特征提取模块中，对输入的每张人脸图像分别提取特征，输出特征值；

步骤五，输出的特征值输入特征检索模块，以其中一个输入特征值为例，进行特征检索的说明，即如下描述：

输入特征值为a，计算此输入特征值a与目标特征库D中的每个特征值的距离，距离例如可包括余弦距离等，统计所有计算结果。如果计算结果中，存在超过阈值n的项，则将超过阈值n的项按计算结果进行从大到小的排序，如果排序后的最大项对应的目标特征库中的特征值为b，将输入特征值a对应的人脸图像和特征值b对应的人脸图像行输出。如果计算结果中，不存在超过阈值n的项，则不进行输出，此即没有比中。

步骤六，遍历检索所有输入特征检索模块的特征值。

由此，能够减少特征提取的调用次数，节约计算资源，同时保证了人脸识别的准确。

为了实现上述实施例，本申请还提出一种人脸的识别装置。

图5为本申请实施例所提供的一种人脸的识别装置的结构示意图，如图5所示，该装置包括：检测模块501，确定模块502，替换模块503，识别模块504。

检测模块501，用于对当前识别周期内的第一视频帧进行人脸检测，以确定所述第一视频帧中包含的N个人脸图像及分别对应的N个标识，其中，N为自然数；

确定模块502，用于在所述N个人脸图像中的第一人脸图像的第一标识与缓存中的第二人脸图像的标识匹配的情况下，确定所述第一人脸图像的质量参数；

替换模块503，用于将所述第一人脸图像的质量参数与所述第二人脸图像的质量参数进行比较，满足条件的情况下，用所述第一人脸图像替换所述缓存中的第二人脸图像；

识别模块504，用于在所述第一视频帧为所述当前识别周期内的最后一个视频帧的情况下，对所述缓存中各人脸图像进行人脸识别，以确定所述缓存中各人脸图像所属的用户标识。

在图5的基础上，图6所示的装置包括：检测模块601，确定模块602，替换模块603，识别模块604，缓存模块605，过滤模块606，更新模块607，删除模块608，丢弃模块609，处理模块610。

其中，缓存模块605，用于在所述N个标识与所述缓存中的各个第二人脸图像的标识均未匹配的情况下，将所述N个人脸图像及分别对应的N个标识存入所述缓存中。

可选地，确定模块602具体用于：确定所述第一人脸图像的尺寸及包含的人脸的姿态角；根据所述第一人脸图像的尺寸及包含的人脸的姿态角，确定所述第一人脸图像的质量参数。

可选地，所述第一人脸图像的尺寸包括所述第一人脸图像的宽度和高度，所述姿态角包括偏摆角及俯仰角，确定模块602具体用于：根据所述第一人脸图像的宽度和高度的差值，确定所述第一人脸图像的尺寸参数；根据所述偏摆角及俯仰角分别与指定角的差值，确定所述第一人脸图像的角度参数；根据所述尺寸参数、角度参数、指定的尺寸权重及指定的角度权重，确定所述第一人脸图像的质量参数。

可选地，确定模块602具体用于：响应于所述第一标识对应的人脸图像的识别次数小于第一阈值，确定所述第一人脸图像的质量参数。

过滤模块606，用于在所述第一标识对应的人脸图像的识别次数大于或等于第一阈值的情况下，丢弃所述第一人脸图像。

更新模块607，用于将所述缓存中的各人脸图像对应的识别次数加一。

删除模块608，用于确定所述缓存中的各人脸图像分别对应的识别次数；在任一人脸图像对应的识别次数大于或等于第一阈值的情况下，确定所述任一人脸图像的第二标识是否与所述N个标识中的任一标识匹配；在所述第二标识与所述N个标识均未匹配的情况下，将所述任一人脸图像、所述第二标识及对应的识别次数，从所述缓存中清除。

丢弃模块609，用于在未满足条件的情况下，丢弃所述第一人脸图像。

处理模块610，用于在所述第一视频帧非所述当前识别周期内的最后一个视频帧的情况下，返回执行对与所述第一视频帧相邻的下一个视频帧进行人脸检测的操作，直至将所述当前识别周期内的全部视频帧检测完毕后，对所述缓存中各人脸图像进行人脸识别。

前述实施例对人脸的识别方法的解释说明同样适用于本实施例的人脸的识别装置，本实施例中的检测模块601，确定模块602，替换模块63，识别模块604，可参照前述实施例的检测模块501，确定模块502，替换模块503，识别模块504，此处不再赘述。

本申请实施例的人脸的识别装置，能够减少特征提取的调用次数，节约计算资源，且减少存储的特征值和人脸图像，节约存储资源，同时保证了人脸识别的准确。

为了实现上述实施例，本申请还提出一种计算机程序产品，当计算机程序产品中的指令被处理器执行时实现如前述任一实施例所述的人脸的识别方法。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图7所示，是根据本申请实施例的人脸的识别方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。

存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的人脸的识别方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的人脸的识别方法。

存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的人脸的识别方法对应的程序指令/模块(例如，附图5所示的检测模块501，确定模块502，替换模块503，识别模块504)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的人脸的识别方法。

存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

人脸的识别方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。

输入装置703可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS(VirtualPrivateServer,虚拟专用服务器)服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (23)

1.一种人脸的识别方法，包括：

对当前识别周期内的第一视频帧进行人脸检测，以确定所述第一视频帧中包含的N个人脸图像及分别对应的N个标识，其中，N为自然数；

在所述N个人脸图像中的第一人脸图像的第一标识与缓存中的第二人脸图像的标识匹配的情况下，确定所述第一人脸图像的质量参数；

将所述第一人脸图像的质量参数与所述第二人脸图像的质量参数进行比较，满足条件的情况下，用所述第一人脸图像替换所述缓存中的第二人脸图像；

在所述第一视频帧为所述当前识别周期内的最后一个视频帧的情况下，对所述缓存中各人脸图像进行人脸识别，以确定所述缓存中各人脸图像所属的用户标识。

2.如权利要求1所述的方法，其中，在所述确定所述第一视频帧中包含的N个人脸图像及分别对应的N个标识之后，还包括：

在所述N个标识与所述缓存中的各个第二人脸图像的标识均未匹配的情况下，将所述N个人脸图像及分别对应的N个标识存入所述缓存中。

3.如权利要求1所述的方法，其中，所述确定所述第一人脸图像的质量参数，包括：

确定所述第一人脸图像的尺寸及包含的人脸的姿态角；

根据所述第一人脸图像的尺寸及包含的人脸的姿态角，确定所述第一人脸图像的质量参数。

4.如权利要求3所述的方法，其中，所述第一人脸图像的尺寸包括所述第一人脸图像的宽度和高度，所述姿态角包括偏摆角及俯仰角，所述根据所述第一人脸图像的尺寸及包含的人脸的姿态角，确定所述第一人脸图像的质量参数，包括：

根据所述第一人脸图像的宽度和高度的差值，确定所述第一人脸图像的尺寸参数；

根据所述偏摆角及俯仰角分别与指定角的差值，确定所述第一人脸图像的角度参数；

根据所述尺寸参数、角度参数、指定的尺寸权重及指定的角度权重，确定所述第一人脸图像的质量参数。

5.如权利要求1所述的方法，其中，所述确定所述第一人脸图像的质量参数，包括：

响应于所述第一标识对应的人脸图像的识别次数小于第一阈值，确定所述第一人脸图像的质量参数。

6.如权利要求1所述的方法，其中，在所述第一人脸图像的第一标识与缓存中的第二人脸图像的标识匹配之后，还包括：

在所述第一标识对应的人脸图像的识别次数大于或等于第一阈值的情况下，丢弃所述第一人脸图像。

7.如权利要求1所述的方法，其中，在所述对所述缓存中的各人脸图像进行人脸识别之后，还包括：

将所述缓存中的各人脸图像对应的识别次数加一。

8.如权利要求7所述的方法，其中，还包括：

确定所述缓存中的各人脸图像分别对应的识别次数；

在任一人脸图像对应的识别次数大于或等于第一阈值的情况下，确定所述任一人脸图像的第二标识是否与所述N个标识中的任一标识匹配；

在所述第二标识与所述N个标识均未匹配的情况下，将所述任一人脸图像、所述第二标识及对应的识别次数，从所述缓存中清除。

9.如权利要求1-8任一所述的方法，其中，在所述将所述第一人脸图像的质量参数与所述第二人脸图像的质量参数进行比较之后，还包括：

未满足条件的情况下，丢弃所述第一人脸图像。

10.如权利要求1-8任一所述的方法，其中，在所述用所述第一人脸图像替换所述缓存中的第二人脸图像之后，还包括：

在所述第一视频帧非所当前识别周期内的最后一个视频帧的情况下，返回执行对与所述第一视频帧相邻的下一个视频帧进行人脸检测的操作，直至将所述当前识别周期内的全部视频帧检测完毕后，对所述缓存中各人脸图像进行人脸识别。

11.一种人脸的识别装置，包括：

检测模块，用于对当前识别周期内的第一视频帧进行人脸检测，以确定所述第一视频帧中包含的N个人脸图像及分别对应的N个标识，其中，N为自然数；

确定模块，用于在所述N个人脸图像中的第一人脸图像的第一标识与缓存中的第二人脸图像的标识匹配的情况下，确定所述第一人脸图像的质量参数；

替换模块，用于将所述第一人脸图像的质量参数与所述第二人脸图像的质量参数进行比较，满足条件的情况下，用所述第一人脸图像替换所述缓存中的第二人脸图像；

识别模块，用于在所述第一视频帧为所述当前识别周期内的最后一个视频帧的情况下，对所述缓存中各人脸图像进行人脸识别，以确定所述缓存中各人脸图像所属的用户标识。

12.如权利要求11所述的装置，还包括：

缓存模块，用于在所述N个标识与所述缓存中的各个第二人脸图像的标识均未匹配的情况下，将所述N个人脸图像及分别对应的N个标识存入所述缓存中。

13.如权利要求11所述的装置，其中，所述确定模块具体用于：

确定所述第一人脸图像的尺寸及包含的人脸的姿态角；

根据所述第一人脸图像的尺寸及包含的人脸的姿态角，确定所述第一人脸图像的质量参数。

14.如权利要求13所述的装置，其中，所述第一人脸图像的尺寸包括所述第一人脸图像的宽度和高度，所述姿态角包括偏摆角及俯仰角，所述确定模块具体用于：

根据所述第一人脸图像的宽度和高度的差值，确定所述第一人脸图像的尺寸参数；

根据所述偏摆角及俯仰角分别与指定角的差值，确定所述第一人脸图像的角度参数；

根据所述尺寸参数、角度参数、指定的尺寸权重及指定的角度权重，确定所述第一人脸图像的质量参数。

15.如权利要求11所述的装置，其中，所述确定模块具体用于：

响应于所述第一标识对应的人脸图像的识别次数小于第一阈值，确定所述第一人脸图像的质量参数。

16.如权利要求11所述的装置，还包括：

过滤模块，用于在所述第一标识对应的人脸图像的识别次数大于或等于第一阈值的情况下，丢弃所述第一人脸图像。

17.如权利要求11所述的装置，还包括：

更新模块，用于将所述缓存中的各人脸图像对应的识别次数加一。

18.如权利要求17所述的装置，还包括：

删除模块，用于确定所述缓存中的各人脸图像分别对应的识别次数；

在任一人脸图像对应的识别次数大于或等于第一阈值的情况下，确定所述任一人脸图像的第二标识是否与所述N个标识中的任一标识匹配；

在所述第二标识与所述N个标识均未匹配的情况下，将所述任一人脸图像、所述第二标识及对应的识别次数，从所述缓存中清除。

19.如权利要求11-18任一所述的装置，还包括：

丢弃模块，用于在未满足条件的情况下，丢弃所述第一人脸图像。

20.如权利要求11-18任一所述的装置，还包括：

处理模块，用于在所述第一视频帧非所述当前识别周期内的最后一个视频帧的情况下，返回执行对与所述第一视频帧相邻的下一个视频帧进行人脸检测的操作，直至将所述当前识别周期内的全部视频帧检测完毕后，对所述缓存中各人脸图像进行人脸识别。

21.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的人脸的识别方法。

22.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的人脸的识别方法。

23.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的人脸的识别方法。

Images