CN112270361B

CN112270361B - 一种人脸数据处理方法、系统、存储介质及设备

Info

Publication number: CN112270361B
Application number: CN202011189316.1A
Authority: CN
Inventors: 刘铂涵
Original assignee: Chongqing Unisinsight Technology Co Ltd
Current assignee: Chongqing Unisinsight Technology Co Ltd
Priority date: 2020-10-30
Filing date: 2020-10-30
Publication date: 2021-10-22
Anticipated expiration: 2040-10-30
Also published as: CN112270361A

Abstract

本发明公开了一种人脸数据处理方法，包括：获取人脸图像并构建人脸图像全集；计算所述人脸图像全集中任意两张人脸图像的相似度；基于相似度阈值与所述相似度对所述人脸图像进行筛选；以相似度超过相似度阈值的人脸图像的序列号为节点，人脸图像的相似度作为边的权值，构建图；通过CW聚类方法对所述图进行聚类，得到聚类结果。本发明通过相似度阈值对人脸图像进行筛选，并根据筛选后的人脸图像构建图，通过CW聚类方法对得到的图进行聚类，具有去冗余力度大的特点。

Description

一种人脸数据处理方法、系统、存储介质及设备

技术领域

本发明属于数据处理领域，具体涉及一种人脸数据处理方法及系统。

背景技术

分类任务是机器学习领域里一个重要的分支。基于人脸的属性分类(如男女，是否戴眼镜，是否戴帽，是否戴口罩)能够帮助安防行业人脸搜索系统对人脸属性进行搜索，因而是一项重要的任务。通常此类任务的实现是运用机器学习的方法，先对大量的人脸图片进行人工标注，再训练神经网络模型而得到。人脸图片一般来自于监控视频。在一段监控视频中，通常以一个固定的频率截帧，然后从每一帧图片中使用人脸检测模型检测出人脸并截图，再送给人工标注。由于监控视频中行人的行为都是随机产生的，因此可能会出现一个人长时间停留在监控画面中，从而出现在很多帧的图片中，最后由人脸检测器产生了许多张他的人脸。亦有可能一个人只是短时间停留在监控画面中，最后由人脸检测器产生了少量他的人脸。在训练神经网络模型时，我们希望的是每个不同的人，图片数量尽量接近。因此，需要一种方法能够去掉冗余出现的人脸。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种人脸数据处理方法、系统、存储介质及设备，用于解决现有技术的缺陷。

为实现上述目的及其他相关目的，本发明提供一种人脸数据处理方法，包括：

获取人脸图像并构建人脸图像全集；

计算人脸图像全集中任意两张人脸图像的相似度；

基于相似度阈值与所述相似度对所述人脸图像进行筛选；

以相似度超过相似度阈值的人脸图像的序列号为节点，人脸图像的相似度作为边的权值，构建图；

通过CW聚类方法对所述图进行聚类，得到聚类结果。

可选地，还包括：对所述聚类结果中的每一类人脸图像进行去冗余操作。

可选地，计算人脸图像全集中任意两张人脸图像的相似度，包括：

对人脸图像进行特征提取，得到人脸特征向量f₁(x₁,x₂,...,x_n)^T和f₂(y₁,y₂,...,y_n)^T；

则相似度表示为：

可选地，确定所述相似度阈值的方法包括：

构建多个人脸对，每个人脸对包括两张人脸图像；所述人脸对包括正例和负例，所述正例包括至少一个简单例正例和至少一个难例正例，所述负例包括至少一个简单例负例和至少一个难例负例；所述简单例正例包括同一人的两张较清晰的人脸图像；所述简单例负例包括不同人的较清晰的人脸图像；所述难例正例包括同一人的两张人脸图像，但两张人脸图像的人脸角度差大或不够清晰或遮挡物较多；所述难例负例包括不同人的人脸图像，两张人脸图像的人脸角度差大或不够清晰或遮挡物较多；

计算所述人脸对中两张人脸图像的相似度；

根据正例中较低的相似度与负例中较高的相似度得到相似度阈值。

可选地，采用多线程技术计算人脸图像全集中任意两张人脸图像的相似度。

可选地，所述采用多线程技术计算人脸图像全集中任意两张人脸图像的相似度，包括：

按人脸图像全集中每张人脸图像的序列号对人脸图像全集中的人脸图像进行排序并分组，得到多个人脸图像子集；每一个线程用于计算一个人脸图像子集中每一张人脸图像与剩余人脸图像中每张人脸图像之间的相似度，其中，剩余人脸图像指人脸图像全集中除了该人脸图像的其他人脸图像，其中，其他人脸图像的序列号大于该人脸图像的序列号。

可选地，根据线程总数p、人脸图像总数n计算每个人脸图像子集中，起始人脸图像的序列号i_k，

k∈[0,p-1]；

根据人脸图像总数n计算最后一个人脸图像子集中，最后一张人脸图像的序列号为n-2；

其余每个人脸图像子集中的最后一张人脸图像的序列号＝后一个人脸图像子集中第一张人脸图像的序列号-1。

为实现上述目的及其他相关目的，本发明提供一种人脸数据处理系统，包括：

图像获取模块，用于获取人脸图像并构建人脸图像全集；

相似度计算模块，用于计算人脸图像全集中任意两张人脸图像的相似度；

图像筛选模块，用于基于相似度阈值与所述相似度对所述人脸图像进行筛选；

图构建模块，用于以相似度超过相似度阈值的人脸图像的序列号为节点，人脸图像的相似度作为边的权值，构建图；

聚类模块，用于通过CW聚类方法对所述图进行聚类，得到聚类结果。

为实现上述目的及其他相关目的，本发明提供一种存储介质，存储计算机程序，所述计算机程序被处理器运行时执行所述的方法。

为实现上述目的及其他相关目的，本发明提供一种设备，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述设备执行所述的方法。

如上所述，本发明的一种人脸数据处理方法、系统、存储介质及设备，具有以下有益效果：

一方面，由于本发明中计算过任意两个特征的相似度，因此只要两个人脸相似，都可以被聚到一类中。

另一方面，由于视频截帧的连续性，即使一个人的正脸和他的侧脸直接计算相似度不高，但由于视频中可能存在他的正脸逐渐过渡到侧脸的过程，根据本发明中计算过任意两个特征的相似度及CW聚类的原理，这一系列过渡过程中的所有人脸图像均可以聚成一个类。

由于本发明采用多线程进行并行计算，充分发挥了计算资源，能够快速地计算所有特征两两之间的相似度。又由于设置了阈值T，使得参与聚类运算的图中只有大于阈值T的边，从而聚类的运算量并不大，能够快速完成。

附图说明

图1为本发明一实施例一种人脸数据处理方法的流程图；

图2为本发明一实施例确定所述相似度阈值T的方法；

图3为本发明一实施例简单例正例的人脸对示意图；

图4为本发明一实施例简单例负例的人脸对示意图；

图5为本发明一实施例难例正例的人脸对示意图；

图6为本发明一实施例难例负例的人脸对示意图；

图7为本发明一实施例聚类结果图；

图8为本发明一实施例一种人脸数据处理系统的示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，一种人脸数据处理方法，包括：

S11获取人脸图像并构建人脸图像全集；

S12计算人脸图像全集中任意两张人脸图像的相似度；

S13基于相似度阈值与所述相似度对所述人脸图像进行筛选；

S14用于以相似度超过相似度阈值的人脸图像的序列号为节点，人脸图像的相似度作为边的权值，构建图；

S15通过CW聚类方法对所述图进行聚类，得到聚类结果。

本发明通过相似度阈值对人脸图像进行筛选，并根据筛选后的人脸图像构建图，通过CW聚类方法地图进行聚类，具有去冗余力度大的特点。

需要说明的是，不相同的两张人脸图像的相似度只计算一次。

在一实施例中，还包括：对所述聚类结果中的每一类人脸图像进行去冗余操作。

去冗余操作，即对每一个类中的人脸图像，随机保留其中之一，其余删除，实现去冗余操作。未删除的人脸图像可以进行人脸属性标注，用于人脸属性分类模型的训练。

在本实施例中，人脸图像可以通过拍照、选择本地图片、输入图片链接地址等方式获得。也可以运用视频处理软件开发包(如opencv)对视频进行固定频率的截帧，得到高清原图。在得到高清原图后，通过人脸检测器进行人脸检测获取人脸所在区域的局部图像，再通过人脸识别模块得到人脸特征向量。通常来说，人脸特征向量通常由不超过512个浮点数构成。

一般来说，两张人脸图像的相度似可以通过计算人脸特征向量的相似度来表示，因此，在本实施例中，计算任意两张人脸图像的相似度，包括：

则相似度表示为：

其中，假入有20张人脸图像，则最终可以得到190个相似度值。

在计算完所有相似值后，就可以结合相似度阈值T来对人脸图像计行筛选，例如将相似度值小于相似度阈值T所对应的人脸图像进行剔除。

其中，如图2所示，确定所述相似度阈值T的方法包括：

S21构建多个人脸对，每个人脸对包括两张人脸图像；所述人脸对包括正例和负例，所述正例包括至少一个简单例正例和至少一个难例正例，所述负例包括至少一个简单例负例和至少一个难例负例；所述简单例正例包括同一人的两张较清晰的人脸图像，如图3所示；所述简单例负例包括不同人的较清晰的人脸图像，如图4所示；所述难例正例包括同一人的两张人脸图像，但两张人脸图像的人脸角度差大或不够清晰或遮挡物较多，如图5所示；所述难例负例包括不同人的人脸图像，两张人脸图像的人脸角度差大或不够清晰或遮挡物较多，如图6所示。

其中，可以能过清晰度来评价人脸图像的清晰程度，清晰度可以通过以下方法计算得到，Brenner梯度函数、Laplacian梯度函数、SMD(灰度方差)、SMD2(灰度方差乘积)、方差函数、能量梯度函数、Vollath函数、熵函数来计算得到。而较清晰的人脸图像可以认为是清晰度大于某一设定的清晰度值的人脸图像，从这些图像中选择同一人的两张人脸图像构成简单例正例，从这些图像中选择两张不同人的人脸图像构成简单例负例。而不够清晰的人脸图像可以认为是清晰度小于某一设定的清晰度值的人脸图像，从这些图像中选择同一人的两张人脸图像构成难例正例；选择两张不同人的人脸图像构成难例负例。当然除了通过清晰度的选择构成难例正例和难例负例的人脸图像，还可以通过人脸角度或遮挡物来选择构成难例正例和难例负例的人脸图像。人脸角度差大可以认为是两张人脸图像中人脸的角度差大于一个设定的阈值；而遮挡物较多可以认为是人脸区域被遮挡的部分超过一定的阈值。

S22计算所述人脸对中两张人脸图像的相似度；

人脸对中两张人脸图像的相似度的计算方法可以参考第一人脸对中两张人脸图像的相似度的计算方法，此处不再赘述。图3的相似度为0.8669，图4的相似度为0.2676，图5的相似度为0.6946，图6的相似度为0.1781。

S23根据正例中较低的相似度与负例中较高的相似度得到相似度阈值。

具体地，可以选择阈值T为(正例中的较低值+负例中的较高值)/2＝0.4811。

当然，除了采用上述方案设置相似度阈值，也可以按经验选取阈值，比如，0.5。

确定的阈值能够保证最大程度区分以上正例和负例的情况。即使得相似度高于阈值的正例数量和相似度低于阈值的负例数量总和最大。

在一实施例中，采用多线程技术计算人脸图像全集中任意两张人脸图像的相似度。需要说明的是，每一个线程应保证相似度的计算量，总线程数应稍低于计算机处理单元具备的线程总数。

在一实施例中，所述采用多线程技术计算人脸图像全集中任意两张人脸图像的相似度，包括：

在对人脸图像进行分组时，人脸图像子集的数量与线程的数量是相同的。每个人脸图像子集中的所有人脸图像的序列号是连续的，相邻两个人脸图像子集中，前一个人脸图像子集中最后一张人脸图像的序列号与后一个人脸图像子集中第一张人脸图像的序列号是连续的。

例如，假设所有人脸图像为f₀,f₁,...,f_n-1，计算人脸图像f_i与剩余特征的相似度定义为计算f_i与f_i+1的相似度、计算f_i与f_i+2的相似度、直到计算f_i与f_n-1的相似度；其中，剩余人脸图像的序列号大于人脸子集中参与到人脸相似度计算的人脸图像f_i的序列号。

在一实施例中，根据线程总数p、人脸图像总数n计算每个人脸图像子集中，起始人脸图像的序列号i_k，

k∈[0,p-1]；

第k个线程计算第k个人脸图像子集中，每一张人脸图像与剩余人脸图像的相似度，k∈[0,p-1]。

假设一批数据，一共得到了8290张人脸图像，使用5个线程。每一个人脸图像子集中的起始人脸图像的序列号i_k为：

i₀＝0，i₁＝875，i₂＝1868，i₃＝3046，i₄＝4582。

根据人脸图像总数8290计算最后一个人脸图像子集中，最后一个人脸图像的序列号为j₄＝8288，其余每个人脸图像子集中的最后一张人脸图像的序列号j_k分别为：

j₀＝874，j₁＝1865，j₂＝3045，j₃＝4581。

进一步，由于一个线程计算一个人脸图像子集中每张人脸图像与人脸图像全集中其他图像的相似度，因此，根据第k个线程计算从

到

每一张人脸图像与剩余人脸图像的相似度，则：

第0号线程计算从f₀到f₈₇₄每一张人脸图像与剩余人脸图像的相似度；

第1号线程计算从f₈₇₅到f₁₈₆₇每一张人脸图像与剩余人脸图像的相似度；

第2号线程计算从f₁₈₆₈到f₃₀₄₅每一张人脸图像与剩余人脸图像的相似度；

第3号线程计算从f₃₀₄₆到f₄₅₈₁每一张人脸图像与剩余人脸图像的相似度；

可以理解的是，每一个线程用于计算一个人脸图像子集中每一张人脸图像与剩余人脸图像中每张人脸图像之间的相似度，剩余人脸图像指人脸图像全集中除了该人脸图像的其他人脸图像，其他人脸图像的序列号大于该人脸图像的序列号。对于人脸全集中最后一张人脸图像f₈₂₈₉，没有序列号比它更大的人脸图像，因此，第4号线程计算从f₄₅₈₂到f₈₂₈₈每一张人脸图像与剩余人脸图像的相似度。

完成了人脸图像相似度的计算后，以相似度超过相似度阈值的人脸图像的序列号为节点，人脸图像的相似度作为边的权值，构建图；最终得到一个特征下标为节点，边带有权值的图(graph)，如图7所示。

使用CW(Chinese Whispers)聚类方法对图进行聚类，得到聚类结果。

在图7中，节点1，2，4，6被聚为一类，节点3，5，7被聚为一类。这意味着，节点1，2，4，6对应的人脸是同一人脸，节点3，5，7对应的人脸是同一人脸。

对上述是同一人的人脸，随机保留一张，发送给标注人员作人脸属性标注。其余删掉，达到去冗余的效果。

表1

基于本发明的人脸数据处理方法，节省标注人力按每人每天标注15000个属性计算。每个人脸应标注4个属性(男女，是否戴眼镜，是否戴帽，是否戴口罩)，因此1人天相当于处理3750个人脸。

如图8所示，一种人脸数据处理系统，包括：

图像获取模块81，用于获取人脸图像并构建人脸图像全集；

相似度计算模块82，用于计算所述人脸图像全集中任意两张人脸图像的相似度；

图像筛选模块83，用于基于相似度阈值与所述相似度对所述人脸图像进行筛选；

图构建模块84，用于以相似度超过相似度阈值的人脸图像的序列号为节点，人脸图像的相似度作为边的权值，构建图；

聚类模块85，用于通过CW聚类方法对所述图进行聚类，得到聚类结果。

由于系统部分的实施例与方法部分的实施例相互对应，因此系统部分的实施例的内容请参见方法部分的实施例的描述，这里暂不赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器((RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims

1.一种人脸数据处理方法，其特征在于，包括：

获取人脸图像并构建人脸图像全集；

计算所述人脸图像全集中任意两张人脸图像的相似度；

基于相似度阈值与所述相似度对所述人脸图像进行筛选；

通过CW聚类方法对所述图进行聚类，得到聚类结果；

确定所述相似度阈值的方法包括：

计算所述人脸对中两张人脸图像的相似度；

根据正例中较低的相似度与负例中较高的相似度得到相似度阈值；

采用多线程技术计算人脸图像全集中任意两张人脸图像的相似度；

所述采用多线程技术计算人脸图像全集中任意两张人脸图像的相似度，包括：

按人脸图像全集中每张人脸图像的序列号对人脸图像全集中的人脸图像进行排序并分组，得到多个人脸图像子集；每一个线程用于计算一个人脸图像子集中每一张人脸图像与剩余人脸图像中每张人脸图像之间的相似度，其中，剩余人脸图像指人脸图像全集中除了该人脸图像的其他人脸图像，其中，其他人脸图像的序列号大于该人脸图像的序列号；

根据线程总数p、人脸图像总数n计算每个人脸图像子集中，起始人脸图像的序列号i _k，