CN110889392B - 人脸图像处理的方法及装置 - Google Patents

Abstract

本申请实施例提供一种人脸图像处理的方法及装置，涉及图像处理领域，具体包括：获取第一人脸图像集合；在第一人脸库中获取与第一人脸图像集合中的人脸相似度大于相似度阈值的目标人脸图像，并将目标人脸图像合并入第一人脸图像集合的各人脸图像子集中，得到第二人脸图像集合，结合参考数据对第二人脸图像集合中的各人脸图像进行多轮识别，其中，每一轮识别得到一个识别结果；多个识别结果中的相同部分可以认为是正确的识别结果，因此可以将多个识别结果中的相同部分对应的人脸图像设置在第一人脸库中，得到准确的、开放的第一人脸库。

Description

人脸图像处理的方法及装置

技术领域

本申请涉及图像处理技术领域的人工智能，尤其涉及一种人脸图像处理的方法及装置。

背景技术

随着人工智能的发展，人脸识别得到越来越多的应用。在人脸识别中，通常需要设置人脸库，人脸库中可以包括不同人物的人脸图像和描述信息等，在进行人脸识别时，可以将待识别的人脸与人脸库的匹配，以确定待识别的人脸的相关信息。

现有技术中，基于对人脸库的准确度的考虑，在收集人脸库中的人脸图像时，通常是在用户注册时提示用户按照要求录入人脸图像，从而根据用户注册时录入的人脸图像建立人脸库。

但是在现有技术中，只能对已注册的用户进行人脸识别，能够进行人脸识别的范围有限，导致能够实现人脸识别的概率较低。

发明内容

本申请实施例提供一种人脸图像处理的方法及装置，以解决现有技术中基于人脸库进行人脸识别的范围有限的技术问题。

本申请实施例第一方面提供一种人脸图像处理的方法，包括：

获取第一人脸图像集合；所述第一人脸图像集合中包括至少一个人脸图像子集，每个所述人脸图像子集包括同一个人的人脸图像；在第一人脸库中获取与所述第一人脸图像集合中的人脸相似度大于相似度阈值的目标人脸图像，并将所述目标人脸图像合并入所述第一人脸图像集合的各人脸图像子集，得到第二人脸图像集合；结合参考数据对所述第二人脸图像集合中的各人脸图像进行多轮识别，其中，每一轮识别得到一个识别结果，所述参考数据用于对本地存储的人脸进行描述；将多个所述识别结果中的相同部分对应的人脸图像设置在所述第一人脸库中。

这样，如果第一人脸图像集合中的人脸图像子集存在对应的目标人脸图像，可以基于多轮识别实现对第一人脸库的验证，提升第一人脸库的人脸数据准确度；如果第一人脸图像集合中的人脸图像子集不存在对应的目标人脸图像，该人脸图像子集可以作为新增的人脸图像补充在第一人脸库中，实现对第一人脸库的扩充，从而可以得到准确的、开放的第一人脸库。

可选的，还包括：将多个所述识别结果中的不同部分对应的人脸图像设置在待选人脸库中；计算所述待选人脸库中的各人脸图像与所述第一人脸库全部人脸的相似度；根据所述待选人脸库中的各人脸图像与所述第一人脸库全部人脸的相似度，选择相似度满足预设条件的人脸图像设置在所述第一人脸库中。这样可以将多个识别结果中的不同部分对应的人脸图像进一步验证，从而可以尽可能多的向第一人脸库中补充准确的人脸图像。

可选的，还包括：判断多个所述识别结果中的不同部分在所述第一人脸库中是否对应有人脸图像；将所述不同部分在所述第一人脸库中对应的人脸图像从所述第一人脸库中删除。这样可以节约计算资源，以及保证第一人脸库中不存在存疑的人脸图像。

可选的，所述结合参考数据对所述第二人脸图像集合中的各人脸图像进行多轮识别，包括：在每轮识别之前，调整所述第二人脸图像集合中的各人脸图像的顺序；将所述第二人脸图像集合中的各人脸图像输入人脸识别模型中；所述人脸识别模型是根据所述参考数据训练得到的；利用所述人脸识别模型输出任一轮的识别结果。基于人工智能的人脸识别模型不仅识别效率高，且因为人脸识别模型可以随着人脸图像的不断丰富进行不断完善，进而能够得到准确率较高的识别结果。

可选的，所述获取第一人脸图像集合，包括：从第二人脸库中抽取所述第一人脸图像集合；其中，所述第二人脸库为通过人脸采集设备自动采集人脸得到的开放型人脸库。这样可以便利的获取第一人脸图像集合。

可选的，所述将多个所述识别结果中的相同部分对应的人脸图像设置在所述第一人脸库中包括：获取多个所述识别结果中的相同部分对应的人脸图像中，图像质量高于阈值的人脸图像；将所述图像质量高于阈值的人脸图像设置在所述第一人脸库中。这样，将图像质量高于阈值的人脸图像设置在第一人脸库中，以进一步提升第一人脸库的准确度。

可选的，所述图像质量包括下述至少一种：图像光照数据、图像模糊度数据或图像像素。

可选的，所述参考数据包括以下一种或多种：各人脸在本地存储的历史图片，各人脸的性别数据，或各人脸的年龄数据。

本申请实施例第二方面提供一种人脸图像处理的装置，包括：

第一获取模块，用于获取第一人脸图像集合；所述第一人脸图像集合中包括至少一个人脸图像子集，每个所述人脸图像子集包括同一个人的人脸图像；

第二获取模块，用于在第一人脸库中获取与所述第一人脸图像集合中的人脸相似度大于相似度阈值的目标人脸图像，并将所述目标人脸图像合并入所述第一人脸图像集合的各人脸图像子集，得到第二人脸图像集合；

识别模块，用于结合参考数据对所述第二人脸图像集合中的各人脸图像进行多轮识别，其中，每一轮识别得到一个识别结果，所述参考数据用于对本地存储的人脸进行描述；

第一设置模块，用于将多个所述识别结果中的相同部分对应的人脸图像设置在所述第一人脸库中。

可选的，还包括：

第二设置模块，用于将多个所述识别结果中的不同部分对应的人脸图像设置在待选人脸库中；

计算模块，用于计算所述待选人脸库中的各人脸图像与所述第一人脸库全部人脸的相似度；

选择模块，用于根据所述待选人脸库中的各人脸图像与所述第一人脸库全部人脸的相似度，选择相似度满足预设条件的人脸图像设置在所述第一人脸库中。

可选的，所述识别模块具体用于：

在每轮识别之前，调整所述第二人脸图像集合中的各人脸图像的顺序；

将所述第二人脸图像集合中的各人脸图像输入人脸识别模型中；所述人脸识别模型是根据所述参考数据训练得到的；

利用所述人脸识别模型输出任一轮的识别结果。

可选的，所述第一获取模块具体用于：

从第二人脸库中抽取所述第一人脸图像集合；其中，所述第二人脸库为通过人脸采集设备自动采集人脸得到的开放型人脸库。

可选的，所述第一设置模块具体用于：

获取多个所述识别结果中的相同部分对应的人脸图像中，图像质量高于阈值的人脸图像；

将所述图像质量高于阈值的人脸图像设置在所述第一人脸库中。

可选的，所述图像质量包括下述至少一种：图像光照数据、图像模糊度数据或图像像素。

可选的，所述参考数据包括以下一种或多种：各人脸在本地存储的历史图片，各人脸的性别数据，或各人脸的年龄数据。

可选的，还包括：

判断模块，用于判断多个所述识别结果中的不同部分在所述第一人脸库中是否对应有人脸图像；

删除模块，用于将所述不同部分在所述第一人脸库中对应的人脸图像从所述第一人脸库中删除。

本申请实施例第三方面提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前述第一方面任一项所述的方法。

本申请实施例第四方面提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如前述第一方面中任一项所述的方法。

综上所述，本申请实施例相对于现有技术的有益效果：

本申请实施例中提供了一种人脸图像处理的方法及装置，可以建立开放的人脸库，之后根据对人脸库中的人脸进行自动识别和校验，得到准确的人脸库，不依赖于用户注册，因此能够提升人脸库的覆盖范围，进而使得根据本申请实施例的人脸库进行人脸识别时，识别概率较高。具体来说，首先获取第一人脸图像集合；第一人脸图像集合中包括至少一个人脸图像子集，每个人脸图像子集包括同一个人的人脸图像；在第一人脸库中获取与第一人脸图像集合中的人脸相似度大于相似度阈值的目标人脸图像，并将目标人脸图像合并入第一人脸图像集合的各人脸图像子集中，得到第二人脸图像集合，可以理解，对于第一人脸图像集合的各人脸图像子集，在第一人脸库中可能存在对应的目标人脸图像，也可能不存在对应的目标人脸图像，进一步的，结合参考数据对第二人脸图像集合中的各人脸图像进行多轮识别，其中，每一轮识别得到一个识别结果；多个识别结果中的相同部分可以认为是正确的识别结果，因此可以将多个识别结果中的相同部分对应的人脸图像设置在第一人脸库中。这样，如果第一人脸图像集合中的人脸图像子集存在对应的目标人脸图像，可以基于多轮识别实现对第一人脸库的验证，提升第一人脸库的人脸数据准确度；如果第一人脸图像集合中的人脸图像子集不存在对应的目标人脸图像，该人脸图像子集可以作为新增的人脸图像补充在第一人脸库中，实现对第一人脸库的扩充，从而可以得到准确的、开放的第一人脸库。

附图说明

图1为本申请实施例提供的人脸图像处理的方法适用的系统架构示意图；

图2为本申请实施例提供的人脸图像处理的方法的流程示意图；

图3为本申请实施例提供的人脸图像处理装置的结构示意图；

图4是用来实现本申请实施例的人脸图像处理的方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

本申请实施例的人脸图像处理的方法可以应用于终端或服务器，终端可以包括：手机、平板电脑、笔记本电脑、或者台式电脑等电子设备。本申请实施例对应用的具体设备不作具体限定。

本申请实施例所描述的第一人脸库可以是用于人脸识别的总人脸库，第一人脸库中可以以人为粒度存储人脸图像，示例性的，第一人脸库中可以包括一个或多个人的人脸图像，每个人可以对应有一张或多张人脸图像。

本申请实施例所描述的第二人脸库可以是临时人脸库，例如当日通过人脸采集设备(例如包括摄像头的电子设备等)自动采集人脸得到的当日人脸库等，第二人脸库中在每得到一张人脸图像时，可以将该人脸图像与第一人脸库进行匹配，如果第一人脸库中存在与该人脸图像匹配的信息，则可以将第二人脸库设置为与第一人脸库相似的架构，例如，以人为粒度存储人脸图像，每个人可以对应有一张或多张人脸图像。

如图1所示，图1为本申请实施例提供的方法所适用的应用场景架构示意图。

本申请实施例中，第一人脸库可以设置在服务器12中，第二人脸库可以设置在终端设备11中，终端设备11或服务器12可以从第二人脸库中抽取第一人脸图像集合，用于验证或补充第一人脸库。以执行本申请实施例的方法的执行主体为终端设备11为例，终端设备11在抽取第一人脸图像集合后，可以从服务器22的第一人脸库中获取与第一人脸图像集合中的人脸相似度大于相似度阈值的目标人脸图像，并将目标人脸图像合并入第一人脸图像集合的各人脸图像子集中，得到第二人脸图像集合，可以理解，对于第一人脸图像集合的各人脸图像子集，在第一人脸库中可能存在对应的目标人脸图像，也可能不存在对应的目标人脸图像，进一步的，终端设备11结合参考数据对第二人脸图像集合中的各人脸图像进行多轮识别，其中，每一轮识别得到一个识别结果；多个识别结果中的相同部分可以认为是正确的识别结果，因此可以将多个识别结果中的相同部分对应的人脸图像发送给服务器12，服务器12将多个识别结果中的相同部分对应的人脸图像设置在第一人脸库中。这样，如果第一人脸图像集合中的人脸图像子集存在对应的目标人脸图像，可以基于多轮识别实现对第一人脸库的验证，提升第一人脸库的人脸数据准确度；如果第一人脸图像集合中的人脸图像子集不存在对应的目标人脸图像，该人脸图像子集可以作为新增的人脸图像补充在第一人脸库中，实现对第一人脸库的扩充，从而可以得到准确的、开放的第一人脸库。

可以理解，具体应用中，终端设备11的数量可以为大于或等于1的任意值。服务器12的数量可以为大于或等于1的任意值。执行本申请实施例的方法的主体还可以是服务器12，或不同于上述的终端设备11和服务器12的其他电子设备，具体的实现过程与上述过程类似，只需要根据实际的应用场景改变各执行主体的数据获取方式即可，本申请实施例对此不作具体限定。

如图2所示，图2为本申请实施例提供的人脸图像处理的方法的流程示意图。该方法具体可以包括：

S101：获取第一人脸图像集合；所述第一人脸图像集合中包括至少一个人脸图像子集，每个所述人脸图像子集包括同一个人的人脸图像。

本申请实施例中，第一人脸图像集合中的人脸图像可以是经过初步识别后以人为粒度存储的，使得第一人脸图像集合中，可以包括一个或多个人脸图像子集，每个人脸图像子集包括初步识别中得到的同一个人的人脸图像，可以理解，在初步识别中，可能存在识别结果不准确等现象，例如将两个人的人脸识别为一个人，因此该人脸图像子集中包括的可能并不是绝对的、准确的同一个人的人脸图像，可以是相对的、根据识别判定为同一个人的人脸图像。

可选的，所述获取第一人脸图像集合，包括：从第二人脸库中抽取所述第一人脸图像集合；其中，所述第二人脸库为通过人脸采集设备自动采集人脸得到的开放型人脸库。

本申请实施例中，可以设置独立于第一人脸库的第二人脸库，第二人脸库可以作为临时人脸库，进而可以从第二人脸库中抽取作为验证样本的第一人脸图像集合，从而可以便利的获取第一人脸图像集合。

示例性的，可以在一些存在人物活动的场所中，设置摄像头等，通过摄像头采集人脸图像，并将人脸图像与第一人脸库进行初步匹配后，设置在第二人脸库中，本申请实施例对此不作具体限定。

S102：在第一人脸库中获取与所述第一人脸图像集合中的人脸相似度大于相似度阈值的目标人脸图像，并将所述目标人脸图像合并入所述第一人脸图像集合的各人脸图像子集，得到第二人脸图像集合。

本申请实施例中，可以将第一人脸图像集合中的人脸图像分别与第一人脸库中的人脸图像计算相似度。对于第一人脸图像集合中的任一人脸图像，如果第一人脸库中存在与该任一人脸图像相似度大于相似度阈值的目标人脸图像，则可以将该目标人脸图像合并如该任一人脸图像对应的人脸图像子集中，得到第二人脸图像集合，使得后续可以基于对第二人脸图像集合的识别，验证第一人脸库的准确度。

可以理解，相似度阈值可以根据实际的应用场景进行设定，本申请实施例对此不作具体限定。

可选的，在具体实现中，因为通常的第一人脸库是以人为粒度进行存储的，因此在识别到第一人脸库的某个人对应的人脸图像中，存在与第一人脸图像集合中的人脸图像的相似度高于相似度阈值的情况，可以将第一人脸库中该某个人对应的人脸图像全部合并如第一人脸图像集合中，一方面可以使得该某个人对应的人脸图像在后续全面得到验证，另一方面，还可以避免后续的人脸图像匹配中，对该某个人对应的人脸图像进行的重复匹配，从而可以降低计算量。

可以理解，对于第一人脸图像集合的各人脸图像子集，在第一人脸库中可能存在对应的目标人脸图像，也可能不存在对应的目标人脸图像，本申请实施例对此不作具体限定。

S103：结合所述第一人脸图像集合的参考数据对所述第二人脸图像集合中的各人脸图像进行多轮识别，其中，每一轮识别得到一个识别结果，所述参考数据用于对所述第一人脸图像集合中的人脸进行描述。

本申请实施例中，参考数据可以是本地存储的与人脸识别相关的数据。示例性的，参考数据可以包括本地存储的各人脸的历史图片、各人脸的性别数据或各人脸的年龄数据的一种或多种。

基于参考数据，可以对第二人脸图像集合中的各人脸图像进行多轮识别。例如，在第二人脸图像集合中，可能存在将不同年龄的人脸识别为一个人，或将不同性别的人脸识别为一个人，则通过多轮识别可能存在不同部分，例如，在进行两轮识别的实现中，在第一轮识别中，识别到人脸图像A和人脸图像B为一个人，且，人脸图像C和人脸图像D为一个人；在第二轮识别中，识别到人脸图像A和人脸图像B为一个人，人脸图像C为一个人，人脸图像D为一个人。那么，在多个识别结果中共同识别为一个人的人脸图像，可以认为是准确的，例如，人脸图像A和人脸图像B对应的识别结果可以认为是正确的。如果多个识别结果中出现一张人脸图像对应多个识别结果或新增识别人脸，例如，人脸图像C和人脸图像D在两次识别中的识别结果不同，则可以认为人脸图像C和人脸图像D存疑，后续可以对人脸图像C和人脸图像D进一步验证，或舍弃人脸图像C和人脸图像D，以保证第一人脸库的准确度。

示例性的，还可以基于参考数据训练得到人脸识别模型，进而根据人脸识别模型对第二人脸图像集合中的人脸图像进行识别，每一轮识别可以得到一个识别结果，本申请实施例对此不作具体限定。

可以理解，因为结合参考数据对第二人脸图像集合进行了多轮识别，因此后续可以根据多轮识别的结果得到准确识别的部分。

S104：将多个所述识别结果中的相同部分对应的人脸图像设置在所述第一人脸库中。

本申请实施例中，多个识别结果中的相同部分对应的人脸图像可以认为是准确识别的人脸图像，因此可以将多个识别结果中的相同部分对应的人脸图像设置在第一人脸库中。这样，如果第一人脸图像集合中的人脸图像子集存在对应的目标人脸图像，可以基于多轮识别实现对第一人脸库的验证，提升第一人脸库的人脸数据准确度；如果第一人脸图像集合中的人脸图像子集不存在对应的目标人脸图像，该人脸图像子集可以作为新增的人脸图像补充在第一人脸库中，实现对第一人脸库的扩充，从而可以得到准确的、开放的第一人脸库。

可选的，还可以进一步统计多轮识别结果中，验证得到的第一人脸库中的准确人脸图像或存疑人脸图像概率，以衡量第一人脸库的准确度或错误率，本申请实施例对此不作具体限定。

综上所述，本申请实施例中提供了一种人脸图像处理的方法及装置，可以建立开放的人脸库，之后根据对人脸库中的人脸进行自动识别和校验，得到准确的人脸库，不依赖于用户注册，因此能够提升人脸库的覆盖范围，进而使得根据本申请实施例的人脸库进行人脸识别时，识别概率较高。具体来说，首先获取第一人脸图像集合；第一人脸图像集合中包括至少一个人脸图像子集，每个人脸图像子集包括同一个人的人脸图像；在第一人脸库中获取与第一人脸图像集合中的人脸相似度大于相似度阈值的目标人脸图像，并将目标人脸图像合并入第一人脸图像集合的各人脸图像子集中，得到第二人脸图像集合，可以理解，对于第一人脸图像集合的各人脸图像子集，在第一人脸库中可能存在对应的目标人脸图像，也可能不存在对应的目标人脸图像，进一步的，结合参考数据对第二人脸图像集合中的各人脸图像进行多轮识别，其中，每一轮识别得到一个识别结果；多个识别结果中的相同部分可以认为是正确的识别结果，因此可以将多个识别结果中的相同部分对应的人脸图像设置在第一人脸库中。这样，如果第一人脸图像集合中的人脸图像子集存在对应的目标人脸图像，可以基于多轮识别实现对第一人脸库的验证，提升第一人脸库的人脸数据准确度；如果第一人脸图像集合中的人脸图像子集不存在对应的目标人脸图像，该人脸图像子集可以作为新增的人脸图像补充在第一人脸库中，实现对第一人脸库的扩充，从而可以得到准确的、开放的第一人脸库。

一种可能的实现方式中，本申请实施例的方法还包括：将多个所述识别结果中的不同部分对应的人脸图像设置在待选人脸库中；计算所述待选人脸库中的各人脸图像与所述第一人脸库全部人脸的相似度；根据所述待选人脸库中的各人脸图像与所述第一人脸库全部人脸的相似度，选择相似度满足预设条件的人脸图像设置在所述第一人脸库中。

本申请实施例中，可以将多个识别结果中的不同部分对应的人脸图像进一步验证，从而可以尽可能多的向第一人脸库中补充准确的人脸图像。

具体来说，可以将多个识别结果中的不同部分对应的人脸图像设置在待选人脸库中，该待选人脸库也可以认为是存疑人脸库，进而可以计算待选人脸库中各人脸图像与第一人脸库全部人脸的相似度，得到待选人脸库各人脸图像的影响因子，将符合预设条件的人脸图像设置在第一人脸库中。

示例性的，影响因子可以定义为人脸图像在第一人脸库中，可以覆盖多少该人脸图像所对应的人脸图像子集中的图片(取最大)，及其他人的集合中的图片(取最小)。或者可以理解为，影响因子为该人脸图像在所述第一人脸库中与某一人的全部人脸的相似度，以及与所述第一人脸库中除所述某一人的全部人脸之外的人脸的相似度的组合。

可以理解，如果一人脸图像在第一人脸库中与某一人的全部人脸的相似度都较高，与其他人的人脸的相似度都较低，则该人脸图像大概率属于该某一人，因此，可以将该人脸图像设置在第一人脸库的该某一人对应的人脸图像集合中。

反之，如果一人脸图像在第一人脸库中与某一人的全部人脸部分相似度较高，部分相似度较低，或者与第一人脸库的某一人的部分人脸图像相似度较高，还与另外人的人脸图像相似度较高，则该人脸图像如果设置在第一人脸库中，可能导致基于第一人脸库的人脸识别不准确，因此可以舍弃该人脸图像。

需要说明的是，上述示例说明了一种相似度满足预设条件的人脸图像，实际应用中，还可以根据具体应用场景，设置其他的预设条件，以从待选人脸库中选择识别准确度较高的人脸图像，本申请实施例对此不作具体限定。

另一种可能的实现方式中，本申请实施例的方法还包括：判断多个所述识别结果中的不同部分在所述第一人脸库中是否对应有人脸图像；将所述不同部分在所述第一人脸库中对应的人脸图像从所述第一人脸库中删除。

本申请实施例中，为了节约计算资源，以及保证第一人脸库中不存在存疑的人脸图像，可以将多个识别结果中的不同部分在第一人脸库中对应的人脸图像从第一人脸库中删除。

一种可能的实现中，S103的所述结合参考数据对所述第二人脸图像集合中的各人脸图像进行多轮识别，包括：在每轮识别之前，调整所述第二人脸图像集合中的各人脸图像的顺序；将所述第二人脸图像集合中的各人脸图像输入人脸识别模型中；所述人脸识别模型是根据所述参考数据训练得到的；利用所述人脸识别模型输出任一轮的识别结果。

本申请实施例中，在进行每轮识别时，都打乱第二人脸图像集合中的人脸图像的顺序后，输入人脸识别模型中，可以理解，不同的顺序的识别可能得到不同的识别结果，进而可以通过多轮识别结果判定哪些是准确的人脸图像，哪些是存疑的人脸图像。

本申请实施例中，基于人工智能的人脸识别模型不仅识别效率高，且因为人脸识别模型可以随着人脸图像的不断丰富进行不断完善，进而能够得到准确率较高的识别结果。

一种可能的实现中，S104所述将多个所述识别结果中的相同部分对应的人脸图像设置在所述第一人脸库中包括：获取多个所述识别结果中的相同部分对应的人脸图像中，图像质量高于阈值的人脸图像；将所述图像质量高于阈值的人脸图像设置在所述第一人脸库中。

本申请实施例中，人脸图像的图像质量可以反映基于该人脸图像进行人脸识别时的准确度，例如，人脸图像的图像质量越高，基于该人脸图像进行人脸识别时的准确度越高，因此可以将图像质量高于阈值的人脸图像设置在第一人脸库中，以进一步提升第一人脸库的准确度。

示例性的，图像质量包括下述至少一种：图像光照数据、图像模糊度数据或图像像素，可以理解，各图片质量数据均可以对应有用于反映质量较好的数据区间，例如图像光照数据过高或过低则人脸图像质量都可能低于阈值，在图像光照数据处于较为适宜的区间时，人脸图像质量可以大于阈值。或者，图像模糊度越高，图片质量越差。或者图像像素越高，图片质量越好等。本申请实施例对图像质量和阈值不作具体限定。

图3为本申请实施例提供的人脸图像处理的装置的结构示意图。如图3所示，本实施例提供的人脸图像处理的装置包括：

第一获取模块31，用于获取第一人脸图像集合；所述第一人脸图像集合中包括至少一个人脸图像子集，每个所述人脸图像子集包括同一个人的人脸图像；

第二获取模块32，用于在第一人脸库中获取与所述第一人脸图像集合中的人脸相似度大于相似度阈值的目标人脸图像，并将所述目标人脸图像合并入所述第一人脸图像集合的各人脸图像子集，得到第二人脸图像集合；

识别模块33，用于结合参考数据对所述第二人脸图像集合中的各人脸图像进行多轮识别，其中，每一轮识别得到一个识别结果，所述参考数据用于对本地存储的人脸进行描述；

第一设置模块34，用于将多个所述识别结果中的相同部分对应的人脸图像设置在所述第一人脸库中。

可选的，还包括：

第二设置模块，用于将多个所述识别结果中的不同部分对应的人脸图像设置在待选人脸库中；

计算模块，用于计算所述待选人脸库中的各人脸图像与所述第一人脸库全部人脸的相似度；

选择模块，用于根据所述待选人脸库中的各人脸图像与所述第一人脸库全部人脸的相似度，选择相似度满足预设条件的人脸图像设置在所述第一人脸库中。

可选的，所述识别模块具体用于：

在每轮识别之前，调整所述第二人脸图像集合中的各人脸图像的顺序；

将所述第二人脸图像集合中的各人脸图像输入人脸识别模型中；所述人脸识别模型是根据所述参考数据训练得到的；

利用所述人脸识别模型输出任一轮的识别结果。

可选的，所述第一获取模块具体用于：

从第二人脸库中抽取所述第一人脸图像集合；其中，所述第二人脸库为通过人脸采集设备自动采集人脸得到的开放型人脸库。

可选的，所述第一设置模块具体用于：

获取多个所述识别结果中的相同部分对应的人脸图像中，图像质量高于阈值的人脸图像；

将所述图像质量高于阈值的人脸图像设置在所述第一人脸库中。

可选的，所述图像质量包括下述至少一种：图像光照数据、图像模糊度数据或图像像素。

可选的，所述参考数据包括以下一种或多种：各人脸在本地存储的历史图片，各人脸的性别数据，或各人脸的年龄数据。

可选的，还包括：

判断模块，用于判断多个所述识别结果中的不同部分在所述第一人脸库中是否对应有人脸图像；

删除模块，用于将所述不同部分在所述第一人脸库中对应的人脸图像从所述第一人脸库中删除。

本申请实施例中提供了一种人脸图像处理的方法及装置，可以建立开放的人脸库，之后根据对人脸库中的人脸进行自动识别和校验，得到准确的人脸库，不依赖于用户注册，因此能够提升人脸库的覆盖范围，进而使得根据本申请实施例的人脸库进行人脸识别时，识别概率较高。具体来说，首先获取第一人脸图像集合；第一人脸图像集合中包括至少一个人脸图像子集，每个人脸图像子集包括同一个人的人脸图像；在第一人脸库中获取与第一人脸图像集合中的人脸相似度大于相似度阈值的目标人脸图像，并将目标人脸图像合并入第一人脸图像集合的各人脸图像子集中，得到第二人脸图像集合，可以理解，对于第一人脸图像集合的各人脸图像子集，在第一人脸库中可能存在对应的目标人脸图像，也可能不存在对应的目标人脸图像，进一步的，结合参考数据对第二人脸图像集合中的各人脸图像进行多轮识别，其中，每一轮识别得到一个识别结果；多个识别结果中的相同部分可以认为是正确的识别结果，因此可以将多个识别结果中的相同部分对应的人脸图像设置在第一人脸库中。这样，如果第一人脸图像集合中的人脸图像子集存在对应的目标人脸图像，可以基于多轮识别实现对第一人脸库的验证，提升第一人脸库的人脸数据准确度；如果第一人脸图像集合中的人脸图像子集不存在对应的目标人脸图像，该人脸图像子集可以作为新增的人脸图像补充在第一人脸库中，实现对第一人脸库的扩充，从而可以得到准确的、开放的第一人脸库。

本申请各实施例提供的人脸图像处理的装置可用于执行如前述各对应的实施例所示的方法，其实现方式与原理相同，不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图4所示，是根据本申请实施例的人脸图像处理的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图4所示，该电子设备包括：一个或多个处理器401、存储器402，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图4中以一个处理器401为例。

存储器402即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的人脸图像处理的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的人脸图像处理的方法。

存储器402作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的人脸图像处理的方法对应的程序指令/模块(例如，附图3所示的第一获取模块31、第二获取模块32、识别模块33和第一设置模块34)。处理器401通过运行存储在存储器402中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的人脸图像处理的方法。

存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据人脸图像处理的电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至人脸图像处理的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

人脸图像处理的方法的电子设备还可以包括：输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图4中以通过总线连接为例。

输入装置403可接收输入的数字或字符信息，以及产生与人脸图像处理的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置404可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，可以建立开放的人脸库，之后根据对人脸库中的人脸进行自动识别和校验，得到准确的人脸库，不依赖于用户注册，因此能够提升人脸库的覆盖范围，进而使得根据本申请实施例的人脸库进行人脸识别时，识别概率较高。具体来说，首先获取第一人脸图像集合；第一人脸图像集合中包括至少一个人脸图像子集，每个人脸图像子集包括同一个人的人脸图像；在第一人脸库中获取与第一人脸图像集合中的人脸相似度大于相似度阈值的目标人脸图像，并将目标人脸图像合并入第一人脸图像集合的各人脸图像子集中，得到第二人脸图像集合，可以理解，对于第一人脸图像集合的各人脸图像子集，在第一人脸库中可能存在对应的目标人脸图像，也可能不存在对应的目标人脸图像，进一步的，结合参考数据对第二人脸图像集合中的各人脸图像进行多轮识别，其中，每一轮识别得到一个识别结果；多个识别结果中的相同部分可以认为是正确的识别结果，因此可以将多个识别结果中的相同部分对应的人脸图像设置在第一人脸库中。这样，如果第一人脸图像集合中的人脸图像子集存在对应的目标人脸图像，可以基于多轮识别实现对第一人脸库的验证，提升第一人脸库的人脸数据准确度；如果第一人脸图像集合中的人脸图像子集不存在对应的目标人脸图像，该人脸图像子集可以作为新增的人脸图像补充在第一人脸库中，实现对第一人脸库的扩充，从而可以得到准确的、开放的第一人脸库。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种人脸图像处理的方法，其特征在于，所述方法包括：

获取第一人脸图像集合；所述第一人脸图像集合中包括至少一个人脸图像子集，每个所述人脸图像子集包括同一个人的人脸图像；

在第一人脸库中获取与所述第一人脸图像集合中的人脸相似度大于相似度阈值的目标人脸图像，并将所述目标人脸图像合并入所述第一人脸图像集合的各人脸图像子集，得到第二人脸图像集合；

结合参考数据对所述第二人脸图像集合中的各人脸图像进行多轮识别，其中，每一轮识别得到一个识别结果，所述参考数据用于对本地存储的人脸进行描述；

将多个所述识别结果中的相同部分对应的人脸图像设置在所述第一人脸库中；

所述结合参考数据对所述第二人脸图像集合中的各人脸图像进行多轮识别，包括：

在每轮识别之前，调整所述第二人脸图像集合中的各人脸图像的顺序；

将所述第二人脸图像集合中的各人脸图像输入人脸识别模型中；所述人脸识别模型是根据所述参考数据训练得到的；

利用所述人脸识别模型输出任一轮的识别结果。

2.根据权利要求1所述的方法，其特征在于，还包括：

将多个所述识别结果中的不同部分对应的人脸图像设置在待选人脸库中；

计算所述待选人脸库中的各人脸图像与所述第一人脸库全部人脸的相似度；

根据所述待选人脸库中的各人脸图像与所述第一人脸库全部人脸的相似度，选择相似度满足预设条件的人脸图像设置在所述第一人脸库中。

3.根据权利要求1所述的方法，其特征在于，还包括：

判断多个所述识别结果中的不同部分在所述第一人脸库中是否对应有人脸图像；

将所述不同部分在所述第一人脸库中对应的人脸图像从所述第一人脸库中删除。

4.根据权利要求1所述的方法，其特征在于，所述获取第一人脸图像集合，包括：

从第二人脸库中抽取所述第一人脸图像集合；其中，所述第二人脸库为通过人脸采集设备自动采集人脸得到的开放型人脸库。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述将多个所述识别结果中的相同部分对应的人脸图像设置在所述第一人脸库中包括：

获取多个所述识别结果中的相同部分对应的人脸图像中，图像质量高于阈值的人脸图像；

将所述图像质量高于阈值的人脸图像设置在所述第一人脸库中。

6.根据权利要求5所述的方法，其特征在于，所述图像质量包括下述至少一种：图像光照数据、图像模糊度数据或图像像素。

7.根据权利要求1-4任一项所述的方法，其特征在于，所述参考数据包括以下一种或多种：各人脸在本地存储的历史图片，各人脸的性别数据，或各人脸的年龄数据。

8.一种人脸图像处理的装置，其特征在于，包括：

第一获取模块，用于获取第一人脸图像集合；所述第一人脸图像集合中包括至少一个人脸图像子集，每个所述人脸图像子集包括同一个人的人脸图像；

第二获取模块，用于在第一人脸库中获取与所述第一人脸图像集合中的人脸相似度大于相似度阈值的目标人脸图像，并将所述目标人脸图像合并入所述第一人脸图像集合的各人脸图像子集，得到第二人脸图像集合；

识别模块，用于结合参考数据对所述第二人脸图像集合中的各人脸图像进行多轮识别，其中，每一轮识别得到一个识别结果，所述参考数据用于对本地存储的人脸进行描述；

第一设置模块，用于将多个所述识别结果中的相同部分对应的人脸图像设置在所述第一人脸库中；

所述识别模块具体用于：

在每轮识别之前，调整所述第二人脸图像集合中的各人脸图像的顺序；

将所述第二人脸图像集合中的各人脸图像输入人脸识别模型中；所述人脸识别模型是根据所述参考数据训练得到的；

利用所述人脸识别模型输出任一轮的识别结果。

9.根据权利要求8所述的装置，其特征在于，还包括：

第二设置模块，用于将多个所述识别结果中的不同部分对应的人脸图像设置在待选人脸库中；

计算模块，用于计算所述待选人脸库中的各人脸图像与所述第一人脸库全部人脸的相似度；

选择模块，用于根据所述待选人脸库中的各人脸图像与所述第一人脸库全部人脸的相似度，选择相似度满足预设条件的人脸图像设置在所述第一人脸库中。

10.根据权利要求8所述的装置，其特征在于，还包括：

判断模块，用于判断多个所述识别结果中的不同部分在所述第一人脸库中是否对应有人脸图像；

删除模块，用于将所述不同部分在所述第一人脸库中对应的人脸图像从所述第一人脸库中删除。

11.根据权利要求8所述的装置，其特征在于，所述第一获取模块具体用于：

从第二人脸库中抽取所述第一人脸图像集合；其中，所述第二人脸库为通过人脸采集设备自动采集人脸得到的开放型人脸库。

12.根据权利要求8-11任一项所述的装置，其特征在于，所述第一设置模块具体用于：

获取多个所述识别结果中的相同部分对应的人脸图像中，图像质量高于阈值的人脸图像；

将所述图像质量高于阈值的人脸图像设置在所述第一人脸库中。

13.根据权利要求12所述的装置，其特征在于，所述图像质量包括下述至少一种：图像光照数据、图像模糊度数据或图像像素。

14.根据权利要求8-11任一项所述的装置，其特征在于，所述参考数据包括以下一种或多种：各人脸在本地存储的历史图片，各人脸的性别数据，或各人脸的年龄数据。

15.一种电子设备，其特征在于，包括：

至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-7任一项所述的方法的指令。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，计算机指令用于使所述计算机执行如权利要求1-7任一项所述的方法。

Images