CN110175549B - 人脸图像处理方法、装置、设备及存储介质 - Google Patents

人脸图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110175549B
CN110175549B CN201910420279.1A CN201910420279A CN110175549B CN 110175549 B CN110175549 B CN 110175549B CN 201910420279 A CN201910420279 A CN 201910420279A CN 110175549 B CN110175549 B CN 110175549B
Authority
CN
China
Prior art keywords
face
user
cluster
face image
library
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910420279.1A
Other languages
English (en)
Other versions
CN110175549A (zh
Inventor
陈超
甘振业
王文全
张睿欣
吴佳祥
沈鹏程
李安平
徐兴坤
李绍欣
汪铖杰
李季檩
吴永坚
黄飞跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910420279.1A priority Critical patent/CN110175549B/zh
Publication of CN110175549A publication Critical patent/CN110175549A/zh
Application granted granted Critical
Publication of CN110175549B publication Critical patent/CN110175549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks

Abstract

本申请公开了一种人脸图像处理方法、装置、设备及存储介质，该方法包括：获取多帧人脸图像；确定人脸图像的人脸特征及人脸质量评分；基于人脸图像的人脸特征对多帧人脸图像聚类，得到多个聚类簇；针对每个聚类簇，将聚类簇中人脸质量评分最高的人脸图像确定为标准人脸图像，且如果用户特征库中存在与标准人脸图像的人脸特征匹配的目标人脸特征，将该聚类簇中的人脸图像存储到人脸归类库中与目标人脸特征表征的目标用户对应的人脸图像集合；如不存在目标人脸特征，则确认存在新用户，将该聚类簇中人脸图像存储到人脸归类库中新用户对应的人脸图像集合。本申请的方案可以在不依赖身份已知的人脸库的前提下，实现基于人脸图像的身份归类。

Description

人脸图像处理方法、装置、设备及存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及人脸图像处理方法、装置、设备及存储介质。
背景技术
基于人脸图像的身份归档(或者称归类)是指从大量人脸抓拍图像中归类出不同用户的人脸抓拍图像，以使得属于同一用户身份的人脸抓拍图像归类到一起。
目前，人脸图像的身份归类需要依赖一个身份已知的人脸库，通过将抓取到的人脸图像与该人脸库中各个用户的人脸图像进行比对，来确定该人脸图像所归属的用户。然而，该种方式是仅仅适用于对身份已知的用户的人脸进行归类与识别，对于人脸库之外的用户的人脸图像则无法进行归类，因此，对于商场、街区等存在大量新增人员的场景下，基于身份已知的人脸库，很难实现基于人脸图像的身份归类。
发明内容
有鉴于此，本申请提供了一种人脸图像处理方法、装置、设备及存储介质，可以在不依赖身份已知的人脸库的前提下，实现基于人脸图像的身份归类。
为实现上述目的，本申请提供了如下方案：
一方面，本申请提供了一种人脸图像处理方法，包括：
获取待分析的多帧人脸图像；
确定所述人脸图像的人脸特征以及人脸质量评分；
基于所述人脸图像的人脸特征对所述多帧人脸图像进行聚类，得到多个聚类簇，每个聚类簇包括至少一帧人脸图像；
针对每个聚类簇，将该聚类簇中人脸质量评分最高的人脸图像确定为用于表征该聚类簇对应的用户的标准人脸图像；
针对每个聚类簇，检测用户特征库中是否存在与该聚类簇对应的标准人脸图像的人脸特征匹配的目标人脸特征，所述用户特征库包括已归类出的各个用户的人脸特征；
如果所述用户特征库中存在所述目标人脸特征，则从人脸归类库中确定所述目标人脸特征表征的目标用户对应的人脸图像集合，并将该聚类簇中各帧人脸图像存储到所述目标用户对应的人脸图像集合中，所述人脸归类库包括已归类出的各个用户的人脸图像集合；
如果所述用户特征库中不存在所述目标人脸特征，则确认检测到未归类的新用户，将该聚类簇对应的标准人脸图像的人脸特征存储为所述用户特征库中所述新用户的人脸特征，并将该聚类簇中各帧人脸图像存储到人脸归类库中所述新用户对应的人脸图像集合中。
在一种可能实现方式中，还包括：输出所述人脸归类库中归类出的各个用户对应的人脸图像集合。
在又一种可能的实现方式中，所述用户特征库中还包括：已归类出的各个用户对应的标准人脸集合，用户对应的标准人脸集合包括：用于表征该用户的至少一帧标准人脸图像；
在确定出所述用户特征库中存在所述目标人脸特征之后，还包括：
将该聚类簇对应的标准人脸图像存储到所述用户特征库中所述目标用户对应的标准人脸集合中；
从所述标准人脸集合中，选取属于人脸质量评分较高的前指定位的至少一帧标准人脸图像；
依据所述至少一帧标准人脸图像的人脸特征，更新所述目标用户的人脸特征。
又一方面，本申请还提供了一种人脸图像处理装置，包括：
图像获取单元，用于获取待分析的多帧人脸图像；
图像分析单元，用于确定所述人脸图像的人脸特征以及人脸质量评分；
人脸聚类单元，用于基于所述人脸图像的人脸特征对所述多帧人脸图像进行聚类，得到多个聚类簇，每个聚类簇包括至少一帧人脸图像；
人脸选取单元，用于针对每个聚类簇，将该聚类簇中人脸质量评分最高的人脸图像确定为用于表征该聚类簇对应的用户的标准人脸图像；
特征匹配单元，用于针对每个聚类簇，检测用户特征库中是否存在与该聚类簇对应的标准人脸图像的人脸特征匹配的目标人脸特征，所述用户特征库包括已归类出的各个用户的人脸特征；
第一归类单元，用于如果所述用户特征库中存在所述目标人脸特征，则从人脸归类库中确定所述目标人脸特征表征的目标用户对应的人脸图像集合，并将该聚类簇中各帧人脸图像存储到所述目标用户对应的人脸图像集合中，所述人脸归类库包括已归类出的各个用户的人脸图像集合；
第二归类单元，用于如果所述用户特征库中不存在所述目标人脸特征，则确认检测到未归类的新用户，将该聚类簇对应的标准人脸图像的人脸特征存储为所述用户特征库中所述新用户的人脸特征，并将该聚类簇中各帧人脸图像存储到人脸归类库中所述新用户对应的人脸图像集合中。
又一方面，本申请还提供了一种计算机设备，包括：
处理器和存储器；
其中，所述处理器用于执行所述存储器中存储的程序；
所述存储器用于存储程序，所述程序至少用于：
获取待分析的多帧人脸图像；
确定所述人脸图像的人脸特征以及人脸质量评分；
基于所述人脸图像的人脸特征对所述多帧人脸图像进行聚类，得到多个聚类簇，每个聚类簇包括至少一帧人脸图像；
针对每个聚类簇，将该聚类簇中人脸质量评分最高的人脸图像确定为用于表征该聚类簇对应的用户的标准人脸图像；
针对每个聚类簇，检测用户特征库中是否存在与该聚类簇对应的标准人脸图像的人脸特征匹配的目标人脸特征，所述用户特征库包括已归类出的各个用户的人脸特征；
如果所述用户特征库中存在所述目标人脸特征，则从人脸归类库中确定所述目标人脸特征表征的目标用户对应的人脸图像集合，并将该聚类簇中各帧人脸图像存储到所述目标用户对应的人脸图像集合中，所述人脸归类库包括已归类出的各个用户的人脸图像集合；
如果所述用户特征库中不存在所述目标人脸特征，则确认检测到未归类的新用户，将该聚类簇对应的标准人脸图像的人脸特征存储为所述用户特征库中所述新用户的人脸特征，并将该聚类簇中各帧人脸图像存储到人脸归类库中所述新用户对应的人脸图像集合中。
又一方面，本申请还提供了一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上任一项所述的人脸图像处理方法。
可见，本申请实施例，基于人脸图像的人脸特征对待处理的多帧人脸图像进行聚类，使得同一用户的人脸图像会聚类到同一个聚类簇，这样，检测用户特征库中是否存在与该聚类簇中人脸质量评分最高的标准人脸图像人脸特征匹配的目标人脸特征，便可以分析出该聚类簇中各帧人脸图像所属的用户是否为已归类的用户，如果是，则直接将该聚类簇中各帧人脸图像存储人脸归类库中已归类出的相应用户的人脸图像集合中；如果该聚类簇中各帧人脸所属的用户不属于已归类的用户，在该种情况下，便可以在人脸归类库中创建一个新用户身份，将该聚类簇中各帧人脸图像存储到该新用户对应的人脸图像集合中；同时，为了后续可以将属于该新用户的其他人脸图像也归类到该人脸图像集合中，会将该标准人脸图像的人脸特征存储为用户特征库中该新用户对应的人脸特征。由此可见，本申请可以在不依赖身份已知的人脸库的前提下，也可以实现对人脸图像的用户身份归类，提高了人脸图像的身份归类的便捷性和更为广泛的适用性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1示出了本申请一种人脸图像处理方法所适用的一种场景的系统组成架构示意图；
图2示出了本申请一种人脸图像处理方法所适用的计算机设备的一种组成结构示意图；
图3示出了本申请一种人脸图像处理方法的一种流程示意图；
图4示出了本申请一种人脸图像处理方法的一种实现原理的框架示意图；
图5示出了本申请一种人脸图像处理方法的又一种流程示意图；
图6示出了本申请清理人脸归档库和用户特征库的一种流程示意图；
图7示出了本申请一种人脸图像处理方法应用于一种场景下的流程示意图；
图8示出了本申请一种人脸图像处理装置的一种组成结构示意图。
具体实施方式
本申请实施例的方案适用于对通过摄像头等图像摄取装置抓取到的大量人脸图像进行身份归类(也称为身份归档)。如，对于商场、街区等场景中抓取到的人脸图像进行用户身份归类。
其中，基于人脸图像的身份归类目的是把不同用户的大量人脸图像按照用户身份组织到一起，从而得到每个用户身份对应的一系列的人脸抓拍图像，这样，依据每个用户身份对应一系列人脸抓拍图像可以用于分析该用户身份所出现的时间、路线，从而可以有利于用户行为分析，进而基于用户行为分析进行商品推荐、客流统计、危险情况分析等等。
为了便于理解，先对本申请的人脸图像处理方法所适用的一种系统组成架构进行介绍。
如图1所示，在图1的系统架构中包括：计算机设备101、数据存储设备102以及至少一个图像采集设备103。
其中，图像采集设备103，用于采集图像。如，图像采集设备可以为摄像头，摄像头持续采集所处环境的视频流，该视频流可以包括多帧视频图像。
该数据存储设备102与图像采集设备相连，用于获取图像采集设备采集到的图像并存储。
该计算机设备101可以从数据存储设备获取各个图像采集设备采集到的图像。如，计算机设备可以每隔一定时间获取一定时间段内由各个图像采集设备采集到的视频流。
同时，计算机设备101可以从多帧图像中获取包含人脸的人脸图像，并对人脸图像进行归类，以实现将同一用户的多帧人脸图像归类到一起。
可以理解的是，本申请是以图像采集设备采集到的图像存储到数据存储设备为例进行说明，在实际应用中，计算机设备也可以直接从图像采集设备获取待分析的图像，并进行人脸图像的身份归类。
其中，该计算机设备可以为个人计算机；也可以为服务器，如独立的服务器或者服务器集群中的服务器；当然，该计算机设备还可以为大型主机等等具备图像以及数据处理能力的电子设备。
为了便于理解，参见图2，其示出了本申请实施例的人脸图像处理方法所适用的计算机设备的一种组成结构示意图。在图2中，该计算机设备200可以包括：处理器201和存储器202。
可选的，该计算机设备还可以包括：通信接口203、输入单元204和显示器205和通信总线206。其中，处理器201、存储器202、通信接口203、输入单元204、显示器205、均通过通信总线206完成相互间的通信。
在本申请实施例中，该处理器201，可以为中央处理器(Central ProcessingUnit，CPU)或者可编程逻辑器件等。
该处理器可以调用存储器202中存储的程序，具体的，可以处理器可以执行如下图3以及图7所示流程中的操作。
存储器202中用于存放一个或者一个以上程序，程序可以包括程序代码，所述程序代码包括计算机操作指令，在本申请实施例中，该存储器中至少存储有用于实现以下功能的程序：
获取待分析的多帧人脸图像；
确定该人脸图像的人脸特征以及人脸质量评分；
基于该人脸图像的人脸特征对该多帧人脸图像进行聚类，得到多个聚类簇，每个聚类簇包括至少一帧人脸图像；
针对每个聚类簇，将该聚类簇中人脸质量评分最高的人脸图像确定为用于表征该聚类簇对应的用户的标准人脸图像；
针对每个聚类簇，检测用户特征库中是否存在与该聚类簇对应的标准人脸图像的人脸特征匹配的目标人脸特征，该用户特征库包括已归类出的各个用户的人脸特征；
如果该用户特征库中存在该目标人脸特征，则从人脸归类库中确定该目标人脸特征表征的目标用户对应的人脸图像集合，并将该聚类簇中各帧人脸图像存储到该目标用户对应的人脸图像集合中，该人脸归类库包括已归类出的各个用户的人脸图像集合；
如果该用户特征库中不存在该目标人脸特征，则确认检测到未归类的新用户，将该聚类簇对应的标准人脸图像的人脸特征存储为该用户特征库中该新用户的人脸特征，并将该聚类簇中各帧人脸图像存储到人脸归类库中该新用户对应的人脸图像集合中。
在一种可能的实现方式中，该存储器202可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统以及应用程序等；存储数据区可存储根据计算机的使用过程中所创建的数据。
此外，存储器202可以包括高速随机存取存储器，还可以包括非易失性存储器等。该通信接口203可以为通信模块的接口，如GSM模块的接口。显示器204包括显示面板，如触摸显示面板等；该输入单元可以触摸感应单元、键盘等等。
当然，图2所示的计算机设备结构并不构成对本申请实施例中计算机设备的限定，在实际应用中计算机设备可以包括比图2所示的更多或更少的部件，或者组合某些部件。
结合以上内容，下面结合流程图对本申请的人脸图像处理方法进行介绍。
如图3，其示出了本申请一种人脸图像处理方法的一种流程示意图，本实施例的方法可以应用于前面提到的计算机设备。本实施例的方法可以包括：
S301，获取待分析的多帧人脸图像。
其中，该多帧人脸图像为待进行用户身份归类的人脸图像。
在实际应用中，根据应用场景的不同，获取多帧人脸图像的方式也会有所不同。如，在一种可能的情况下，计算机设备可以直接获取到待分析的多帧人脸图像。
在又一种可能的情况中，计算机设备可能需要从视频流中各帧视频图像中提取出包含人脸的视频图像，即人脸图像。考虑到视频流是连续采集并不断抓取录制的，因此，本申请可以获取待分析时间段内采集到的视频流，例如，每隔一定时长，对时长内的视频流进行分析。相应的，可以对视频流中各帧视频图像分别进行人脸检测与人脸配准，并提取出视频流的各帧视频图像中包含的多帧人脸图像。
S302，确定该人脸图像的人脸特征以及人脸质量评分。
其中，人脸图像的人脸特征的提取方式可以有多种，本申请对此不加限制。如，可以通过深度网络将人脸图像转化为的一组float32值来表征人脸特征。
其中，人脸图像的人脸质量评分用于评判人脸图像的面部对称性、清晰度、人脸遮挡情况等的质量评分。其中，影响人脸图像的人脸质量评分的因素可以有多种，具体可以根据需要设定。一般情况下，人脸图像的人脸质量评分可以与人脸面部对称性、图像清晰度、光线、人脸角度、人脸表情以及人脸遮挡情况等多种因素有关；相应的，人脸质量评分越高表示人脸图像的清晰度越高、光线越高、人脸角度越正、表情越小，且遮挡越少等。
其中，人脸图像的人脸质量评分的确定方式可以有多种，如，可以利用预先训练出的深度网络模型来评估人脸图像的人脸质量评分；也可以是，对人脸图像的多种影响因素分别进行评分，再将各种影响因素的评分进行加权求和得到该人脸质量评分。本申请对于确定人脸图像的人脸质量评分的具体方式不加限制。
S303，基于该人脸图像的人脸特征对该多帧人脸图像进行聚类，得到多个聚类簇。
其中，每个聚类簇包括至少一帧人脸图像。
可以理解的是，在基于人脸特征对多帧人脸图像进行聚类之后，人脸特征相似度较高的人脸图像会被聚类到一个聚类簇，因此，一个聚类簇中的各帧人脸图像可以认为是来自同一个用户的人脸图像。相应的，每个聚类簇对应一个用户。
S304，针对每个聚类簇，将该聚类簇中人脸质量评分最高的人脸图像确定为用于表征该聚类簇对应的用户的标准人脸图像。
可以理解的是，聚类簇中人脸质量评分最高的人脸图像的人脸面部对称性以及清晰度相对较高，且人脸被遮挡的情况也会相对较弱，从而易于识别出该聚类簇对应的用户的面部特征，因此，可以将人脸质量评分最高的人脸图像作为用于表征该聚类簇对应的用户的人脸图像。为了便于区分，此处称为标准人脸图像。
需要说明的是，本实施例是以聚类簇中人脸质量评分最高的人脸图像作为表征该聚类簇对应的用户的标准人脸图像为例，在实际应用中，也可以从人脸质量评分超过设定阈值的人脸图像中随机选取人脸图像作为标准人脸图像。
S305，针对每个聚类簇，检测用户特征库中是否存在与该聚类簇对应的标准人脸图像的人脸特征匹配的目标人脸特征。
其中，该用户特征库包括已归类出的各个用户的人脸特征。
可以理解的是，在本申请实施例中，用户特征库并不是人为构建出的包含身份已知的用户的人脸特征，而是在基于人脸图像进行身份归类的过程中，存储的已归类的用户的人脸图像，因此，该用户特征可以在人脸图像的身份归类过程中自动生成无需人工干预与维护。
其中，如果在处理该多帧人脸图像中第一个聚类簇之前，尚未对其他人脸图像进行身份归类，则该用户特征库可以为空，不包含任何已归类出的用户的人脸特征。如果在处理该多帧人脸图像之前已经处理过其他人脸图像的身份归类，或者当前处理的聚类簇不是该多帧人脸图像中的第一个处理的聚类簇，则该用户特征库中会包括已归类出的用户的人脸特征。
可以理解的是，如果该聚类簇对应的标准人脸图像的人脸特征与用户特征库中的人脸特征匹配，则说明该聚类簇对应的用户属于已归类的用户；如果用户特征库中不存在与该标准人脸图像的人脸特征匹配的人脸特征，则说明目前该聚类簇所对应的用户为一个新检测到的用户，该用户不属于已归类的用户，需要创新一个新用户，并归类该新用户的人脸图像。
其中，为了便于区分，将用户特征库中与该标准人脸的人脸特征匹配的人脸特征称为目标人脸特征。
可以理解的是，由于用户特征库中仅仅存储了已归类出的用户的人脸特征，并未存储已归类的每个用户所有的人脸图像，而相对于各个用户的所有人脸图像，每个用户的人脸特征的数据量相对很少，因此，利用该聚类簇对应的标准人脸图像的人脸特征与用户特征库中已归类的各个用户进行人脸特征比对，所需比对的数据量相对较少，有利于快速检测出该聚类簇对应的用户是否属于已归类的用户。
另外，由于本申请中将聚类簇中人脸质量评分最高的标准人脸图像的人脸特征与用户特征库进行匹配，有利于减少由于人脸被遮挡等因素的影响，从而有利于更为准确的进行人脸匹配，从而减少用户的人脸特征的匹配错误。
S306，如果该用户特征库中存在该目标人脸特征，则从人脸归类库中确定该目标人脸特征表征的目标用户对应的人脸图像集合，并将该聚类簇中各帧人脸图像存储到该目标用户对应的人脸图像集合中。
其中，该人脸归类库包括已归类出的各个用户的人脸图像集合。
在本申请实施例中，已归类出的用户的人脸图像会单独存储到人脸归类库中，在该人脸归类库中针对每个已归类的用户均会存储该用户对应的人脸图像集合，从而使得每个用户对应一个归类出的人脸图像集合。可见，在本申请中，针对每个已归类的用户，不仅会在用户特征库中存储该用户的人脸特征，还会在人脸归类库中存储该用户的人脸图像集合。
相应的，在该聚类簇对应的用户属于已归类的用户，则可以从人脸归类库中确定与该用户特征库中目标人脸特征所代表的目标用户对应的人脸图像集合，从而将该聚类簇中所有人脸图像都存储到该目标用户对应的人脸集合中，以将该聚类簇中人脸图像归类到为该目标用户的人脸图像。
可以理解的是，与用户特征库相似，该人脸归类库也并不同于目前基于身份已知的用户构建出的人脸库，该人脸归类库中的内容是在基于人脸图像的身份构建过程中逐渐生成的。因此，如果在处理该多帧人脸图像中第一个聚类簇之前，尚未对其他人脸图像进行身份归类，则该人脸归类库库可以为空，不包含任何已归类出的用户的人脸图像集合。如果在处理该多帧人脸图像之前已经处理过其他人脸图像的身份归类，或者当前处理的聚类簇不是该多帧人脸图像中的第一个处理的聚类簇，则该人脸归类库中会包括已归类出的用户的人脸特征。
可以理解的是，由于每个已归类的用户仅仅是确定出哪些人脸图像为属于同一个用户的图像，而并不涉及到确定该用户的姓名等身份信息，因此，为了从用户特征库和人脸归类库中找到对应同一个用户的人脸特征和人脸图像集合，本申请可以为每个用户创建一个用户标识，如，采用用户ID1、用户ID2等形式来分区各个用户，不同用户ID表示不同用户。
相应的，在用户特征库中，每个用户标识对应一个人脸特征；而在人脸归类库中每个用户标识对应一个人脸图像集合，且用户特征库与人脸归类库中所包含的用户标识的数量以及所包含的用户标识均相同。例如，假设在用户特征库中存在用户ID5对应的人脸特征，则在该人脸归类库中肯定存在该用户ID5对应的人脸图像集合。
其中，在多帧视频图像为从待分析时间段内采集到的视频流中提取得到时，该用户特征库至少包括：基于待分析时间段之前采集到的视频流归类出的用户的人脸特征；相应的，该人脸归类库至少包括：基于待分析时间段之前采集到的视频流归类出的用户的人脸图像集合。
S307，如果该用户特征库中不存在该目标人脸特征，则确认检测到未归类的新用户，将该聚类簇对应的标准人脸图像的人脸特征存储为该用户特征库中该新用户的人脸特征，并将该聚类簇中各帧人脸图像存储到人脸归类库中该新用户对应的人脸图像集合中。
如果用户特征库中所有已归类用户的人脸特征均与该聚类簇对应的标准人脸图像的人脸特征不匹配，则说明该聚类簇对应的用户与已归类出的各个用户均不属于同一个用户。在此基础上，为了能够对该聚类簇对应的用户的人脸图像进行归档，则需要将该聚类簇中的各帧人脸图像作为一个新用户的人脸图像添加到人脸归类库中。具体的，在该人脸归类库中创建该新用户对应的人脸图像集合，并将该聚类簇中各帧图像添加到该新创建的新用户的人脸图像集合中。
同时，考虑到后续再次获取到人脸图像之后，能够将当前检出的该新用户的人脸图像也归类到该新用户对应的人脸图像集合中，还需要在该用户特征库中存储该新用户的人脸特征。为了能够更为准确的标识该新用户的人脸特征，本申请实施例，将该聚类簇对应的标准人脸图像的人脸特征存储为该新用户的人脸特征。
可选的，为了保证该新用户对应人脸特征与人脸图像集合的对应性，可以在用户特征库中存储该新用户的用户标识对应的人脸特征，并在人脸归类库中将该新用户的用户标识与该新用户的人脸图像集合对应存储。
举例说明，假设已经存在用户ID1到用户ID7，则可以创建用户ID8，相应的，可以将该聚类簇对应的标准人脸图像的人脸特征存储为该用户特征库中用户ID8对应的人脸特征；并在人脸归类库中，将该聚类簇中所有人脸图像存储到用户ID8对应的人脸图像集合中。
可以理解的是，本申请所适用的场景可以有多种，如可以适用于人脸图像数量固定情况下的人脸归类，如，仅对某一天内的人脸图像进行归类，但是，每次人脸归档中产生的用户特征库和人脸特征库均可以作为后续人脸归类的基础。本申请尤其适用于人脸图像随时间逐渐增多的场景，如，商场等环境中每日都会不断采集人脸图像，在该种情况下，有可能会分时段进行人脸图像的身份归类，且对当前获取到的多帧人脸图像进行身份归类之后，后续还会基于已经存在的人脸归类库和用户特征库继续对后续采集到的人脸图像进行身份归档。
可选的，在实际应用中，该完成所有聚类簇的处理之后，还可以输出该人脸归类库中归类出的各个用户对应的人脸图像集合。在实际应用中，每次完成一批人脸图像的处理，便可以输出当前已经归类的各个用户的人脸图像集合；也可以是在满足人脸归类结果输出的条件或者时刻时，再输出该人脸归类库中已经归类出的各个用户对应的人脸图像集合。
需要说明的是，该步骤S305到S306或S307为针对每个聚类簇均需要执行的操作，在实际应用中，可以依次处理各个聚类簇，也可以同时并行处理各个聚类簇。
由本申请以上内容可知，本申请可以在不依赖身份已知的人脸库的前提下，也可以实现对人脸图像的用户身份归类，提高了人脸图像的身份归类的便捷性和更为广泛的适用性。
同时，本申请将用户特征库与存储已归类用户的人脸图像的人脸归类库进行解耦，这样，由于用户特征库中仅仅存储数量相对较少的各个用户的人脸特征，在将聚类簇对应的标准人脸图像的人脸特征与用户特征库进行匹配所需处理的数据量也相对较少，有利于降低识别同一用户所需耗费的数据量，有利于降低人脸特征匹配以及用户识别的复杂度。
可以理解的是，对于存在不断增加的人脸图像的场景，为了能够更为准确的表征出各个已归类用户的人脸特征，在基于人脸图像进行用户归类的过程中，还可以不断更新各个已归类用户的人脸特征。基于此目的，用户特征库中还可以包括：已归类出的各个用户对应的标准人脸集合，用户对应的标准人脸集合包括：用于表征该用户的至少一帧标准人脸图像。相应的，在确定出该用户特征库中存在聚类簇对应的目标人脸特征之后，还可以根据聚类簇对应的标准人脸的人脸特征以及该聚类簇对应的用户的标准人脸集合中各个标准人脸图像的人脸特征，更新该用户特征库中该目标人脸特征。
为了便于理解可以参见4，其示出了本申请的人脸图像处理方法的一种实现原理的框架示意图。
由图4可以看出，本申请中人脸库包括：人脸归类库和人脸特征库两部分，但是该人脸库与现有的存储身份已知的用户的人脸特征的人脸库明显不同，在基于人脸图像进行用户归类的过程中会生成并不断更新用户特征库和人脸归类库。
在图4的用户特征库中人脸特征采用检索特征表示。且，在人脸特征库中，每个用户的人脸图像集合采用人脸标识对应的椭圆形框表示。如图4中，人脸标识依次为ID_0、ID_1、……ID_k……ID_m。其中，m大于k，且m和k均为大于等于1的自然数。
由图4可以看出，对于一个聚类簇中选取出的标准人脸图像而言，如果基于用户特征库中确定存在与该标准人脸图像的人脸特征匹配的已归类用户，则会将该聚类簇中人脸图像存储到人脸归类库中相应用户的人脸图像集合中，同时，还会利用人脸质量评分较高的标准人脸库更新用户特征库中相应用户的人脸特征。
如果基于用户特征库中确定不存在与该标准人脸图像的人脸特征匹配的已归类用户，则会在人脸归类库中各个人脸图像集合的最下面创建一个新的用户标识对应的人脸图像集合，如图4中最下面的人脸图像集合，并将该聚类簇中的人脸图像存储到该最下面的人脸图像集合中。同时，还会将该聚类簇对应的标准人脸图像以及标准人脸图像的人脸特征存储到用户特征库中。
为了便于理解图4，结合图5进行介绍。如图5所示，其示出了本申请一种人脸图像处理方法的又一种流程示意图，本实施例的流程可以包括：
S501，获取待分析的多帧人脸图像。
S502，确定该人脸图像的人脸特征以及人脸质量评分。
S503，基于该人脸图像的人脸特征对该多帧人脸图像进行聚类，得到多个聚类簇。
其中，每个聚类簇包括至少一帧人脸图像。
S504，针对每个聚类簇，将该聚类簇中人脸质量评分最高的人脸图像确定为用于表征该聚类簇对应的用户的标准人脸图像。
S505，针对每个聚类簇，检测用户特征库中是否存在与该聚类簇对应的标准人脸图像的人脸特征匹配的目标人脸特征，如果是，则执行步骤S506；如果否，则执行步骤S510。
其中，该用户特征库包括已归类出的各个用户的人脸特征。
以上步骤S501到S505可以参见前面实施例的相关介绍，在此不再赘述。
S506，如果该用户特征库中存在该目标人脸特征，则从人脸归类库中确定该目标人脸特征表征的目标用户对应的人脸图像集合，并将该聚类簇中各帧人脸图像存储到该目标用户对应的人脸图像集合中。
其中，该人脸归类库包括已归类出的各个用户的人脸图像集合。
S507，将该聚类簇对应的标准人脸图像存储到该用户特征库中该目标用户对应的标准人脸集合中。
其中，该标准人脸集合中对应的用户为目标用户的各个聚类簇中质量评分最高的标准人脸图像。
S508，从该目标用户的标准人脸集合中，选取属于人脸质量评分较高的前指定位的至少一帧标准人脸图像。
如，从该目标用户的标准人脸集合中，选取属于人脸质量评分较高的前5位的标注人脸图像。如果该目标用户的标准人脸集合中人脸图像超过5幅，则可以选取人脸质量评分较高的前5帧标准人脸图像，而该目标用户的标准人脸集合中人脸图像不足5幅，则可以将该标准人脸集合中所有人脸图像均作为选取出的标准人脸图像。
S509，依据选取出的该至少一帧标准人脸图像的人脸特征，更新该目标用户的人脸特征。
如，对该至少一帧标准人脸图像的人脸特征求平均，将求取出的平均值作为该目标用户的人脸特征，并在用户特征库中该目标用户的人脸特征修改为当前最新确定出的人脸特征。
可以理解的是，为了使得用户特征库中用户的人脸特征可以更为准确的表征该用户的面部特征，在随着人脸图像的用户归类的不断执行，不断利用该用户新增的较高人脸质量评分的人脸图像的人脸特征更新该用户的人脸特征，从而可以有利于准确后续可以准确归类出同一用户的人脸图像。
其中，该步骤S507到S509的部分就是图4中检测到已归类用户的情况下，更新用户特征库中用户的人脸特征的具体实现流程。
S510，如果该用户特征库中不存在该目标人脸特征，则确认检测到未归类的新用户，将该聚类簇对应的标准人脸图像的人脸特征存储为该用户特征库中该新用户的人脸特征，将该聚类簇对应的标准人脸图像存储到该用户特征库中该新用户的标准人脸集合中，并将该聚类簇中各帧人脸图像存储到人脸归类库中该新用户对应的人脸图像集合中。
与前面实施例不同，在本实施例中，如果用户特征库不存在与该聚类簇中标准人脸图像的人脸特征匹配的目标人脸特征，还会将该聚类簇对应的标准人脸图像存储到该用户特征库中新创建的该新用户的标准人脸集合中，以便后续可以不断对该新用户的人脸特征进行更新。
可以理解的是，对于一些持续抓拍人脸图像的场景，基于人脸图像的用户归类也会周期性的不断被执行。而考虑到抓拍的人脸图像中会存在较多由于人脸被遮挡、人脸图像的人脸角度存在偏差以及光线差等因素导致的人脸图像的质量较低，而质量较低的人脸图像在用户归档中会产生识别错误的风险，而随着基于人脸图像的用户归类的持续进行，这种风险会不断叠加，从而增加归档错误率。因此，在需要对大量持续增加的人脸图像持续性进行用户归类的场景中，还需要定期(如每隔一周)或者不定期对人脸归类库进行清理，以识别出存在归类错误的用户或者人脸图像。
在一种实现方式中，为了减少不属于某个用户的人脸图像归类到该用户的人脸图像集合中，本申请可以针对人脸归类库中每个人脸图像集合，依据该人脸图像集合中各帧人脸图像的人脸特征，对该人脸图像集合中各帧人脸图像进行聚类。如果该人脸图像集合的各帧人脸图像聚类出至少两个聚类簇，则将至少两个聚类簇中包含人脸图像的数量最多的最大聚类簇保留，并将该至少两个聚类簇中该最大聚类簇之外的聚类簇中的人脸图像删除。
其中，由于每个聚类簇由人脸特征相似的人脸图像组成，因此，每个聚类簇可以表征属于同一个用户的人脸图像的集合，而不同聚类簇所归属的用户会有所不同。因此，如果一个人脸图像集合中所有人脸图像会聚类出两个或者多个聚类簇，则说明该人脸图像集合中可能会包含属于两个或者多个用户的人脸图像，在该种情况下，为了降低将属于不同用户的人脸图像归类到一起的错误，则可以将包含人脸图像的数量较少的聚类簇删除，而在该用户对应的人脸图像集合中保留属于包含人脸图像的数量最多的聚类簇中的各帧人脸图像。
在又一种实现方式中，为了降低同一个用户的人脸图像被归类为两个用户，还可以定期或者不定期对人脸归类库中所有人脸图像集合中的人脸图像进行聚类，如果一个聚类簇对应两个用户，则可以认为这两个用户实际上为同一个用户，将该聚类簇对应的两个用户的人脸图像集合合并，并将合并后的人脸图像集合对应到这两个用户中的一个。
具体的，可以参见图6，其示出了本申请对人脸归类库进行清理的一种流程示意图，该过程可以包括：
S601，依据该人脸归类库中各帧人脸图像的人脸特征，对该人脸归类库中各个用户的人脸图像集合内的人脸图像进行聚类，得到该人脸归类库对应的至少一个聚类簇。
S602，检测该人脸归类库对应的至少一个聚类簇中是否存在满足异常条件的异常聚类簇。
其中，该满足异常条件的异常聚类簇包含的人脸图像归属于该人脸归类库中至少两个已归类用户。如，如果某个聚类簇中即包括对应两个不同已归类用户的人脸图像，则说明存在将同一个用户的人脸图像归到两个用户的归类中，则该聚类簇为异常聚类簇。
S603，针对每个异常聚类簇，确定该人脸归类库中与该异常聚类簇归属的至少两个已归类用户对应的至少两个人脸图像集合，将该至少两个人脸图像集合合并为同一个用户的人脸图像集合，并将用户特征库中与该异常聚类簇归属的至少两个已归类用户对应的人脸特征合并为该同一个用户的人脸特征。
举例说明，如果聚类簇中存在对应用户ID1的人脸图像，也存在对应用户ID2的人脸图像，则该聚类簇属于异常聚类簇。在该种情况下，可以将人脸归类库中用户ID1和用户ID2对应的人脸图像集合合并为一个人脸图像集合，且该人脸图像集合对应的用户标识为用户ID1或者用户ID2。相应的，可以用户特征库中用户ID1和用户ID2的人脸特征进行合并，如基于用户ID1和用户ID2的人脸特征的平均值作为合并后的人脸特征。
为了便于理解本申请的方案，下面结合一个场景进行描述，以本申请的方案应用于持续抓拍包含人脸的视频流的场景为例说明。同时，假设本申请为对第t时刻到第t+h时刻内监控到的视频流进行处理，则基于第0-t时刻的视频流所进行的基于人脸图像的用户归类，已经归类出人脸归类集合中的部分用户的人脸图像，相应的，用户特征库也已经存在已归类用户的人脸特征以及标准人脸集合。
如，参见图7，其示出了本申请一种人脸图像处理方法的又一种流程示意图，本实施例可以包括：
S701，获取第t时刻到第t+h时刻内采集到的视频流。
其中，h为大于1的值，在实际应用中，可以根据需要设定h时，并根据需要设置第t到第t+h时刻所对应的时间段，该时间段为待分析时间段。例如，可以每一个小时获取一次该小时内采集到的视频流。
S702，对该视频流中各帧视频图像进行人脸检测与人脸配准，提取出该视频流的各视频帧中包含的多帧人脸图像。
S703，确定该人脸图像的人脸特征以及人脸质量评分。
S704，基于该人脸图像的人脸特征对该多帧人脸图像进行聚类，得到多个聚类簇。
其中，每个聚类簇包括至少一帧人脸图像。
S705，针对每个聚类簇，将该聚类簇中人脸质量评分最高的人脸图像确定为用于表征该聚类簇对应的用户的标准人脸图像。
S706，针对每个聚类簇，检测在第t时刻之前已构建的用户特征库中是否存在与该聚类簇对应的标准人脸图像的人脸特征匹配的目标人脸特征，如果是，则执行步骤S707；如果否，则执行步骤S710。
其中，该用户特征库至少包括在第t时刻之前基于第0-t时刻的视频流中的人脸图像进行用户归类所得到的已归类出的各个用户的人脸特征。
S707，如果该用户特征库中存在该目标人脸特征，则从第t时刻之前已构建出的人脸归类库中确定该目标人脸特征表征的目标用户对应的人脸图像集合，并将该聚类簇中各帧人脸图像存储到该目标用户对应的人脸图像集合中。
其中，该人脸归类库至少包括在第t时刻之前已归类出的各个用户的人脸图像集合。
S708，将该聚类簇对应的标准人脸图像存储到该用户特征库中该目标用户对应的标准人脸集合中。
其中，该标准人脸集合中对应的用户为目标用户的各个聚类簇中质量评分最高的标准人脸图像。
S709，从该目标用户的标准人脸集合中，选取属于人脸质量评分较高的前指定位的至少一帧标准人脸图像，并依据选取出的该至少一帧标准人脸图像的人脸特征，更新该目标用户的人脸特征。
S710，如果该用户特征库中不存在该目标人脸特征，则确认检测到未归类的新用户，将该聚类簇对应的标准人脸图像的人脸特征存储为该用户特征库中该新用户的人脸特征，将该聚类簇对应的标准人脸图像存储到该用户特征库中该新用户的标准人脸集合中，并将该聚类簇中各帧人脸图像存储到人脸归类库中该新用户对应的人脸图像集合中。
S711，输出该人脸归类库中已归类出的各个用户的人脸图像集合。
可以理解的是，在本实施例中，在完成第t到第t+h时刻的视频流的数据之后，该人脸归类库中实际上存储是第0-第t+h时刻之前所有已归类的用户的人脸图像集合，在该基础上，可以得到该第t+h时刻之前所有人脸图像的用户归类结果。
相应的，在第t+h时刻之后，由于摄像装置仍会持续采集所处环境的视频流，因此，可以在第t+h时刻已经生成的人脸归类库和人脸特征库的基础上，继续对后续采集到的视频流进行基于人脸图像的用户归类，从而不断归类出属于各个不同用户的人脸图像集合。
可以理解的是，对于需要对不断增加的视频流进行人脸图像的用户归类的情况，采用本申请的方案只需要对待分析时间段内采集到这部分人脸图像进行聚类，而无需对待分析时间段以及待分析时间段之前所有的人脸图像进行聚类，便可以完成人脸图像的用户归类，从而大大降低了人脸图像聚类的复杂度和数据处理量。
当然，在本实施例中，同样会定期或者不定期对用户特征库以及人脸归类库进行清理，具体可以参见前面的相关介绍，在此不再赘述。
可以理解的是，在本申请以上实施例中，在基于聚类簇对应的标准人脸图像的人脸特征与用户特征库中的人脸特征进行比对时，如果用户特征库中的人脸特征与标准人脸图像的人脸特征之间的相似度超过设定阈值，则认为该用户特征库中的该人脸特征与该标准人脸图像的人脸特征匹配。
其中，该设定阈值可以根据实际需要设定。
可选的，考虑到人脸图像可以来自对至少两个摄像头，因此，本申请还可以结合采集人脸图像(或者是包含人脸图像的视频流)的至少两个摄像头之间的拓扑关系，以及不同摄像头之间采集到的属于同一人的人脸图像的占比，来设置该设定阈值。
如，对于一对人脸样本，用事件GTpos代表该对人脸样本归属于同一个用户，事件GTneg代表该对人脸样本归属于不同的用户，事件Prpos代表采用本申请的方案将该对人脸样本归类为同一用户，事件Prneg代表采用本申请的方案将该对人脸样本归类为不同用户，根据贝叶斯公式，对于采用本申请的方案预测该将该对人脸样本属于同一用户且准确的概率P(GTneg|Prpos)可以表示为如下公式一：
其中，令P(GTneg|Prpos)为常数A，则可以得到如下公式二：
可以看出，的值由/>决定。
对于一个包含人脸样本对的集合，要保证识别率的稳定性，需要根据其中属于同一个用户的样本对的密度灵活选择设置该设定阈值。其中，属于同一个用户的样本对的密度可以根据摄像头拓扑关系与样本的抓拍时间得到。
而考虑到商场等复杂环境中设置有多台摄像头(或者其他图像采集装置)，在本申请实施例中，获取到的每帧人脸图像都携带有拍摄该人脸图像的摄像头标识以及拍摄时间。
可以理解的是，两个摄像头的距离越近同一时刻或者设定的较短时长区间内采集到的两幅人脸图像属于同一用户的概率越大。基于这一原则，本申请可以在每次需要基于人脸图像进行用户归类的过程中，在对多帧人脸图像进行聚类得到多个聚类簇之后，获取并分别统计每个聚类簇中所包含的各帧人脸图像的摄像头标识及拍摄时间。然后，基于属于一个聚类簇中人脸图像所属的摄像头标识的占比，来分析各个摄像头之间的距离关系；然后基于摄像头之间的距离关系，来设置该设定阈值。
对应本申请的一种人脸图像处理方法，本申请还提供了一种人脸图像处理装置。如图8，其示出了本申请一种人脸图像处理装置的一种组成结构示意图，本实施例的装置可以包括：
图像获取单元801，用于获取待分析的多帧人脸图像；
图像分析单元802，用于确定所述人脸图像的人脸特征以及人脸质量评分；
人脸聚类单元803，用于基于所述人脸图像的人脸特征对所述多帧人脸图像进行聚类，得到多个聚类簇，每个聚类簇包括至少一帧人脸图像；
人脸选取单元804，用于针对每个聚类簇，将该聚类簇中人脸质量评分最高的人脸图像确定为用于表征该聚类簇对应的用户的标准人脸图像；
特征匹配单元805，用于针对每个聚类簇，检测用户特征库中是否存在与该聚类簇对应的标准人脸图像的人脸特征匹配的目标人脸特征，所述用户特征库包括已归类出的各个用户的人脸特征；
第一归类单元806，用于如果所述用户特征库中存在所述目标人脸特征，则从人脸归类库中确定所述目标人脸特征表征的目标用户对应的人脸图像集合，并将该聚类簇中各帧人脸图像存储到所述目标用户对应的人脸图像集合中，所述人脸归类库包括已归类出的各个用户的人脸图像集合；
第二归类单元807，用于如果所述用户特征库中不存在所述目标人脸特征，则确认检测到未归类的新用户，将该聚类簇对应的标准人脸图像的人脸特征存储为所述用户特征库中所述新用户的人脸特征，并将该聚类簇中各帧人脸图像存储到人脸归类库中所述新用户对应的人脸图像集合中。
可选的，该装置还可以包括：
归类结果输出单元，用于输出所述人脸归类库中归类出的各个用户对应的人脸图像集合。
在一种可能的实现方式中，所述用户特征库中还包括：已归类出的各个用户对应的标准人脸集合，用户对应的标准人脸集合包括：用于表征该用户的至少一帧标准人脸图像；
该装置还可以包括：
第一图像存储单元，用于在确定出所述用户特征库中存在所述目标人脸特征之后，将该聚类簇对应的标准人脸图像存储到所述用户特征库中所述目标用户对应的标准人脸集合中；
图像选取单元，用于从所述标准人脸集合中，选取属于人脸质量评分较高的前指定位的至少一帧标准人脸图像；
特征更新单元，用于依据所述至少一帧标准人脸图像的人脸特征，更新所述目标用户的人脸特征。
可选的，该装置还可以包括：
第二图像存储单元，用于在确定出所述用户特征库中不存在所述目标人脸特征之后，将该聚类簇对应的标准人脸图像存储到所述用户特征库中所述新用户的标准人脸集合中。
可选的，在本申请以上装置的实施例中，还可以包括：
集合聚类单元，用于针对人脸归类库中每个人脸图像集合，依据该人脸图像集合中各帧人脸图像的人脸特征，对该人脸图像集合中各帧人脸图像进行聚类；
集合清理单元，用于如果该人脸图像集合的各帧人脸图像聚类出至少两个聚类簇，则将至少两个聚类簇中包含人脸图像的数量最多的最大聚类簇保留，并将所述至少两个聚类簇中所述最大聚类簇之外的聚类簇中的人脸图像删除。
可选的，在以上任意一个装置实施例中，还可以包括：
库聚类单元，用于依据所述人脸归类库中各帧人脸图像的人脸特征，对所述人脸归类库中各个用户的人脸图像集合内的人脸图像进行聚类，得到所述人脸归类库对应的至少一个聚类簇；
异常检测单元，用于检测所述人脸归类库对应的至少一个聚类簇中是否存在满足异常条件的异常聚类簇，所述满足异常条件的异常聚类簇包含的人脸图像归属于所述人脸归类库中至少两个已归类用户；
库清理单元，用于针对每个异常聚类簇，确定所述人脸归类库中与该异常聚类簇归属的至少两个已归类用户对应的至少两个人脸图像集合，将所述至少两个人脸图像集合合并为同一个用户的人脸图像集合，并将用户特征库中与该异常聚类簇归属的至少两个已归类用户对应的人脸特征合并为所述同一个用户的人脸特征。
可选的，在本申请实施例中，图像获取单元，包括：
视频流获取子单元，用于获取待分析时间内采集到的视频流；
图像提取单元，用于对所述视频流中各帧视频图像分别进行人脸检测与人脸配准，并提取出所述视频流的各帧视频图像中包含的多帧人脸图像；
在本申请实施例中，特征匹配单元中的所述用户特征库至少包括：基于待分析时间段之前采集到的视频流归类出的用户的人脸特征；
第一归类单元以及第二各类单元中的人脸归类库至少包括：基于待分析时间段之前采集到的视频流归类出的用户的人脸图像集合。
另一方面，本申请还提供了一种存储介质，该存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现如上任意一个实施例中所描述的人脸图像处理方法。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种人脸图像处理方法，其特征在于，包括：
获取待分析的多帧人脸图像；
确定所述人脸图像的人脸特征以及人脸质量评分；
基于所述人脸图像的人脸特征对所述多帧人脸图像进行聚类，得到多个聚类簇，每个聚类簇包括至少一帧人脸图像；
针对每个聚类簇，将该聚类簇中人脸质量评分最高的人脸图像确定为用于表征该聚类簇对应的用户的标准人脸图像；
针对每个聚类簇，检测用户特征库中是否存在与该聚类簇对应的标准人脸图像的人脸特征匹配的目标人脸特征，所述用户特征库包括已归类出的各个用户的人脸特征；
如果所述用户特征库中存在所述目标人脸特征，则从人脸归类库中确定所述目标人脸特征表征的目标用户对应的人脸图像集合，并将该聚类簇中各帧人脸图像存储到所述目标用户对应的人脸图像集合中，所述人脸归类库包括已归类出的各个用户的人脸图像集合；
如果所述用户特征库中不存在所述目标人脸特征，则确认检测到未归类的新用户，将该聚类簇对应的标准人脸图像的人脸特征存储为所述用户特征库中所述新用户的人脸特征，并将该聚类簇中各帧人脸图像存储到人脸归类库中所述新用户对应的人脸图像集合中。
2.根据权利要求1所述的人脸图像处理方法，其特征在于，还包括：
输出所述人脸归类库中归类出的各个用户对应的人脸图像集合。
3.根据权利要求1或2所述的人脸图像处理方法，其特征在于，所述用户特征库中还包括：已归类出的各个用户对应的标准人脸集合，用户对应的标准人脸集合包括：用于表征该用户的至少一帧标准人脸图像；
在确定出所述用户特征库中存在所述目标人脸特征之后，还包括：
将该聚类簇对应的标准人脸图像存储到所述用户特征库中所述目标用户对应的标准人脸集合中；
从所述标准人脸集合中，选取属于人脸质量评分较高的前指定位的至少一帧标准人脸图像；
依据所述至少一帧标准人脸图像的人脸特征，更新所述目标用户的人脸特征。
4.根据权利要求3所述的人脸图像处理方法，其特征在于，在确定出所述用户特征库中不存在所述目标人脸特征之后，还包括：
将该聚类簇对应的标准人脸图像存储到所述用户特征库中所述新用户的标准人脸集合中。
5.根据权利要求1所述的人脸图像处理方法，其特征在于，还包括：
针对人脸归类库中每个人脸图像集合，依据该人脸图像集合中各帧人脸图像的人脸特征，对该人脸图像集合中各帧人脸图像进行聚类；
如果该人脸图像集合的各帧人脸图像聚类出至少两个聚类簇，则将至少两个聚类簇中包含人脸图像的数量最多的最大聚类簇保留，并将所述至少两个聚类簇中所述最大聚类簇之外的聚类簇中的人脸图像删除。
6.根据权利要求1或5所述的人脸图像处理方法，其特征在于，还包括：
依据所述人脸归类库中各帧人脸图像的人脸特征，对所述人脸归类库中各个用户的人脸图像集合内的人脸图像进行聚类，得到所述人脸归类库对应的至少一个聚类簇；
检测所述人脸归类库对应的至少一个聚类簇中是否存在满足异常条件的异常聚类簇，所述满足异常条件的异常聚类簇包含的人脸图像归属于所述人脸归类库中至少两个已归类用户；
针对每个异常聚类簇，确定所述人脸归类库中与该异常聚类簇归属的至少两个已归类用户对应的至少两个人脸图像集合，将所述至少两个人脸图像集合合并为同一个用户的人脸图像集合，并将用户特征库中与该异常聚类簇归属的至少两个已归类用户对应的人脸特征合并为所述同一个用户的人脸特征。
7.根据权利要求1所述的人脸图像处理方法，其特征在于，所述获取待分析的多帧人脸图像，包括：
获取待分析时间内采集到的视频流；
对所述视频流中各帧视频图像分别进行人脸检测与人脸配准，并提取出所述视频流的各帧视频图像中包含的多帧人脸图像；
所述用户特征库至少包括：基于待分析时间段之前采集到的视频流归类出的用户的人脸特征；
所述人脸归类库至少包括：基于待分析时间段之前采集到的视频流归类出的用户的人脸图像集合。
8.一种人脸图像处理装置，其特征在于，包括：
图像获取单元，用于获取待分析的多帧人脸图像；
图像分析单元，用于确定所述人脸图像的人脸特征以及人脸质量评分；
人脸聚类单元，用于基于所述人脸图像的人脸特征对所述多帧人脸图像进行聚类，得到多个聚类簇，每个聚类簇包括至少一帧人脸图像；
人脸选取单元，用于针对每个聚类簇，将该聚类簇中人脸质量评分最高的人脸图像确定为用于表征该聚类簇对应的用户的标准人脸图像；
特征匹配单元，用于针对每个聚类簇，检测用户特征库中是否存在与该聚类簇对应的标准人脸图像的人脸特征匹配的目标人脸特征，所述用户特征库包括已归类出的各个用户的人脸特征；
第一归类单元，用于如果所述用户特征库中存在所述目标人脸特征，则从人脸归类库中确定所述目标人脸特征表征的目标用户对应的人脸图像集合，并将该聚类簇中各帧人脸图像存储到所述目标用户对应的人脸图像集合中，所述人脸归类库包括已归类出的各个用户的人脸图像集合；
第二归类单元，用于如果所述用户特征库中不存在所述目标人脸特征，则确认检测到未归类的新用户，将该聚类簇对应的标准人脸图像的人脸特征存储为所述用户特征库中所述新用户的人脸特征，并将该聚类簇中各帧人脸图像存储到人脸归类库中所述新用户对应的人脸图像集合中。
9.一种计算机设备，其特征在于，包括：
处理器和存储器；
其中，所述处理器用于执行所述存储器中存储的程序；
所述存储器用于存储程序，所述程序至少用于：
获取待分析的多帧人脸图像；
确定所述人脸图像的人脸特征以及人脸质量评分；
基于所述人脸图像的人脸特征对所述多帧人脸图像进行聚类，得到多个聚类簇，每个聚类簇包括至少一帧人脸图像；
针对每个聚类簇，将该聚类簇中人脸质量评分最高的人脸图像确定为用于表征该聚类簇对应的用户的标准人脸图像；
针对每个聚类簇，检测用户特征库中是否存在与该聚类簇对应的标准人脸图像的人脸特征匹配的目标人脸特征，所述用户特征库包括已归类出的各个用户的人脸特征；
如果所述用户特征库中存在所述目标人脸特征，则从人脸归类库中确定所述目标人脸特征表征的目标用户对应的人脸图像集合，并将该聚类簇中各帧人脸图像存储到所述目标用户对应的人脸图像集合中，所述人脸归类库包括已归类出的各个用户的人脸图像集合；
如果所述用户特征库中不存在所述目标人脸特征，则确认检测到未归类的新用户，将该聚类簇对应的标准人脸图像的人脸特征存储为所述用户特征库中所述新用户的人脸特征，并将该聚类簇中各帧人脸图像存储到人脸归类库中所述新用户对应的人脸图像集合中。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上权利要求1至7任一项所述的人脸图像处理方法。
CN201910420279.1A 2019-05-20 2019-05-20 人脸图像处理方法、装置、设备及存储介质 Active CN110175549B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910420279.1A CN110175549B (zh) 2019-05-20 2019-05-20 人脸图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910420279.1A CN110175549B (zh) 2019-05-20 2019-05-20 人脸图像处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110175549A CN110175549A (zh) 2019-08-27
CN110175549B true CN110175549B (zh) 2024-02-20

Family

ID=67691599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910420279.1A Active CN110175549B (zh) 2019-05-20 2019-05-20 人脸图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110175549B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062407B (zh) * 2019-10-15 2023-12-19 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110781957B (zh) * 2019-10-24 2023-05-30 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN112749603A (zh) * 2019-10-31 2021-05-04 上海商汤智能科技有限公司 活体检测方法、装置、电子设备及存储介质
CN110968719B (zh) * 2019-11-25 2023-04-18 浙江大华技术股份有限公司 一种人脸聚类方法及装置
CN111126159A (zh) * 2019-11-28 2020-05-08 重庆中星微人工智能芯片技术有限公司 用于实时跟踪行人的方法、装置、电子设备和介质
CN111126324B (zh) * 2019-12-25 2023-09-26 深圳力维智联技术有限公司 一种多源异构数据融合的方法、装置、计算机设备及介质
CN111177086A (zh) * 2019-12-27 2020-05-19 Oppo广东移动通信有限公司 文件聚类方法及装置、存储介质和电子设备
CN113127668A (zh) * 2019-12-31 2021-07-16 深圳云天励飞技术有限公司 数据标注方法及相关产品
CN112101238A (zh) * 2020-09-17 2020-12-18 浙江商汤科技开发有限公司 聚类方法及装置、电子设备和存储介质
CN112132030A (zh) * 2020-09-23 2020-12-25 湖南快乐阳光互动娱乐传媒有限公司 视频处理方法及装置、存储介质及电子设备
CN112102551A (zh) * 2020-09-27 2020-12-18 北京市商汤科技开发有限公司 设备控制方法、装置、电子设备及存储介质
CN112329635B (zh) * 2020-11-06 2022-04-29 北京文安智能技术股份有限公司 店铺客流统计方法和店铺客流统计装置
CN112686178B (zh) * 2020-12-30 2024-04-16 中国电子科技集团公司信息科学研究院 一种多视角目标轨迹生成方法、装置和电子设备
CN114863500A (zh) * 2021-01-20 2022-08-05 西门子股份公司 一种图像处理系统、方法、设备和计算机可读介质
CN113435248A (zh) * 2021-05-18 2021-09-24 武汉天喻信息产业股份有限公司 口罩人脸识别底库增强方法、装置、设备及可读存储介质
CN113743308B (zh) * 2021-09-06 2023-12-12 汇纳科技股份有限公司 基于特征质量的人脸识别方法、装置、存储介质及系统
CN116386119A (zh) * 2023-05-09 2023-07-04 北京维艾狄尔信息科技有限公司 基于健身步道的身份识别方法、系统、终端及存储介质
CN116739304A (zh) * 2023-07-20 2023-09-12 紫灿科技(上海)股份有限公司 一种基于产品历史数据的生产误差监控系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016180224A1 (zh) * 2015-05-11 2016-11-17 北京锤子数码科技有限公司 一种人物图像处理方法及装置
CN108875522A (zh) * 2017-12-21 2018-11-23 北京旷视科技有限公司 人脸聚类方法、装置和系统及存储介质
CN109086720A (zh) * 2018-08-03 2018-12-25 腾讯科技（深圳）有限公司 一种人脸聚类方法、装置和存储介质
CN109766754A (zh) * 2018-12-04 2019-05-17 平安科技（深圳）有限公司 人脸五官聚类方法、装置、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016180224A1 (zh) * 2015-05-11 2016-11-17 北京锤子数码科技有限公司 一种人物图像处理方法及装置
CN108875522A (zh) * 2017-12-21 2018-11-23 北京旷视科技有限公司 人脸聚类方法、装置和系统及存储介质
CN109086720A (zh) * 2018-08-03 2018-12-25 腾讯科技（深圳）有限公司 一种人脸聚类方法、装置和存储介质
CN109766754A (zh) * 2018-12-04 2019-05-17 平安科技（深圳）有限公司 人脸五官聚类方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN110175549A (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
CN110175549B (zh) 人脸图像处理方法、装置、设备及存储介质
CN109284729B (zh) 基于视频获取人脸识别模型训练数据的方法、装置和介质
US10242250B2 (en) Picture ranking method, and terminal
US8644563B2 (en) Recognition of faces using prior behavior
CN108229674B (zh) 聚类用神经网络的训练方法和装置、聚类方法和装置
EP2304649B1 (en) Frame based video matching
WO2020259099A1 (zh) 一种信息处理方法及装置、存储介质
EP2742442B1 (en) A method for detecting a copy of a reference video, corresponding apparatus for extracting a spatio-temporal signature from video data and corresponding computer readable storage medium
Parham et al. Animal population censusing at scale with citizen science and photographic identification
JP2022518459A (ja) 情報処理方法および装置、記憶媒体
JP2017033547A (ja) 情報処理装置及びその制御方法及びプログラム
CN108229289B (zh) 目标检索方法、装置和电子设备
CN111241928A (zh) 人脸识别底库优化方法、系统、设备、可读存储介质
CN113963303A (zh) 图像处理方法、视频识别方法、装置、设备及存储介质
CN110543584A (zh) 一种建立人脸索引的方法、装置、处理服务器及存储介质
CN111027385A (zh) 聚类访客统计方法、系统、设备及计算机可读存储介质
JP5538781B2 (ja) 画像検索装置及び画像検索方法
CN111177436A (zh) 一种人脸特征检索方法、装置及设备
CN113987243A (zh) 一种图像聚档方法、图像聚档装置和计算机可读存储介质
CN111522974A (zh) 一种实时归档的方法及装置
De Marsico et al. ES-RU: an e ntropy based rule to s elect r epresentative templates in face su rveillance
CN114519879A (zh) 人体数据归档方法、装置、设备及存储介质
JP2022112831A (ja) 顔追跡装置およびプログラム
CN112232113A (zh) 人员识别方法、人员识别装置、存储介质与电子设备
CN113111689A (zh) 一种样本挖掘方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant