CN106650804A - 一种基于深度学习特征的人脸样本清洗方法及系统 - Google Patents

Abstract

本发明适用于数据挖掘及样本清洗领域，提供了一种基于深度学习特征的人脸样本清洗方法,所述人脸样本清洗方法包括以下步骤：A、利用深度学习技术对人脸图像特征进行提取；B、根据给定的进程数对需要进行处理的样本进行划分，并分配至每个进程；C、对每个进程中相应的人脸特征进行聚类处理；D、在每个聚类结果中选取图像数量最多的类作为主类；E、将主类特征对应图像拷贝至目标目录并保留原有文件结构。深度学习提取的人脸特征维度低而且具有非常好的鉴别能力，一方面可以提高样本的清洗精度，另一方面也可以节约清洗时间；多进程并行设计，能够充分利用硬件的运算能力，从而提高整个运算的效率，降低耗时。

Description

一种基于深度学习特征的人脸样本清洗方法及系统

技术领域

本发明属于数据挖掘及样本清洗领域，所使用的技术基于图像处理和机器学习，尤其涉及一种基于深度学习特征的人脸样本清洗方法及系统。

背景技术

深度学习提取人脸特征: 深度学习是机器学习的一个分支，它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。一个观测值（例如一幅图像）可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更加容易地从实例中学习任务（例如，人脸识别或面部表情识别）。

DBSCAN(Density-Based Spatial Clustering of Applications with Noise)聚类算法：是一个比较有代表性的基于密度的非监督式聚类算法。与划分和层次聚类方法不同，它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的空间数据库中发现任意形状的聚类。

多进程并行运算：当用户敲入命令执行一个程序的时候，对系统而言，它将启动一个进程。但和程序不同的是，在这个进程中，系统可能需要再启动一个或多个进程来完成独立的多个任务。多进程编程的主要内容包括进程控制和进程间通信，利用多进程能够将一个大型的任务拆分成多个小任务交给多个进程同时处理，从而成倍地提高运算速度。

现有技术方案：a). 特征提取：

i. 方向梯度直方图（Histogram of Oriented Gradient, HOG）特征: 是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。

ii. Gabor特征提取：Gabor 滤波器定义为：其脉冲响应为一个谐波函数（即下式中的余弦函数）和一个高斯函数的乘积。根据信号与系统理论，时频域的卷积和乘积互为傅里叶变换。Gabor滤波器的傅里叶变换为谐波和高斯函数各自傅里叶变换的卷积。它的小波特性说明了Gabor滤波结果是描述图像局部灰度分布的有力工具, 因此, 可以使用Gabor滤波来抽取图像的纹理信息。

b). 人脸分类方法：

i. 支持向量机SVM (Support Vector Machine): 是一个有监督的学习模型，通常用来进行模式识别、分类、以及回归分析。SVM的主要思想可以概括为两点：⑴它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能；⑵它基于结构风险最小化理论之上在特征空间中建构最优分割超平面，使得学习器得到全局最优化，并且在整个样本空间的期望风险以某个概率满足一定上界。

ii. KNNK最邻近结点算法（k-Nearest Neighbor algorithm）：该算法的基本思路是：在给定新图像后，考虑在训练图像集中与该新图像距离最近（最相似）的 K 个图像，根据这 K 个图像所属的类别判定新图像所属的类别。

由于特征提取方法受噪声等干扰，且分类模型的效果往往跟人工调教参数的准确性存在很大关联性，因此使得最终的精确度较低，区分不同人脸的效果不好。2. 由于特征维度高及使用串行运算设计等原因，使得整个过程效率低，耗时长，随着图像数量上升，耗费的时间往往呈指数增长。3. 在建立初期模型时，往往需要人工对部分数据进行标记。由于需要人工参与该部分工作，因此使得效率进一步降低，且模型的好坏跟人工标记的样本情况及样本数量存在很大关系，不具有普适性。另一方面，分类模型的建立跟训练样本的分布情况存在关联性，由于不可能人工挑选出太多的样本，因此基于小样本训练的模型往往容易出现过拟合的情况，导致当新的未在训练样本中出现过的测试样本出现时，模型无法给出正确的分类。

在现有技术中，首先在人脸图像特征提取这一部分，通常采用基于传统图像处理的方法，包括LBP、HOG、SIFT、SURF和Gabor等方法，这些基于图像全局和局部特征进行描述的方法在表现力上有一定的局限性，且较易受光照、姿势、表情等因素影响，其次这些方法提取出的特征维度都较高，导致后期需要处理的数据量较大。本发明就现有人脸特征提取存在的特征表达能力欠佳、维度较高等问题进行解决。

现有技术对人脸样本进行清洗，通常需要大量人力进行人工筛选，然后基于人工筛选后的样本建立分类模型，人工筛选的缺点也非常明显，首先是效率低下，其次是存在较多错误。本发明要实现全自动化，即整个过程中不需要人工的参与。

现有技术中，部分实现方法除了图像本身外，往往需要结合人名等非图像的信息对人脸进行分类，即需要引入除图像本身外的其他数据，这一步即降低了效率，也无法保证了通用性。本发明要实现完全基于图像信息即可对大规模人脸进行分类的效果。

基于现有技术中存在的上述缺点以及单线程等其他原因，现有技术的实现方法通常都精确度较低，且耗时长。

发明内容

本发明的目的在于提供一种基于深度学习特征的人脸样本清洗方法，旨在解决上述的技术问题。

本发明是这样实现的，一种基于深度学习特征的人脸样本清洗方法，所述人脸样本清洗方法包括以下步骤：

A、利用深度学习技术对人脸图像特征进行提取；

B、根据给定的进程数对需要进行处理的样本进行划分，并分配至每个进程；

C、对每个进程中相应的人脸特征进行聚类处理；

D、在每个聚类结果中选取图像数量最多的类作为主类；

E、将主类特征对应的图像拷贝至目标目录并保留原有文件结构。

本发明的进一步技术方案是：所述步骤C中还包括以下步骤：

C1、运用多进程对人脸特征样本进行清洗。

本发明的进一步技术方案是：所述步骤C中的聚类处理为DBSCAN聚类，所述DBSCAN聚类依据的数据来自其所对应的人脸图像特征。

本发明的进一步技术方案是：所述步骤B中在进行切片处理中将大的存有所有图像特征的文件夹切片为多个小的存有部分图像特征的文件夹。

本发明的进一步技术方案是：所述步骤B中的进程数的多少是根据硬件系统设备的情况进行选择的。

本发明的另一目的在于提供一种基于深度学习特征的人脸样本清洗系统，所述人脸样本清洗系统包括：

图像特征提取模块，用于利用深度学习技术对人脸图像特征进行提取；

特征文件切片模块，用于根据给定的进程数对需要进行处理的样本进行划分，并分配至每个进程；

聚类处理模块，用于对每个进程中相应的人脸特征进行聚类处理；

主类选取模块，用于在每个聚类结果中选取图像数量最多的类作为主类；

拷贝保留模块，用于将主类特征对应的图像拷贝至目标目录并保留原有文件结构。

本发明的进一步技术方案是：所述聚类处理模块中还包括：

清洗单元，用于运用多进程对人脸特征样本进行清洗。

本发明的进一步技术方案是：所述聚类处理模块中的聚类处理为DBSCAN聚类，所述DBSCAN聚类依据的数据来自其所对应的人脸图像特征。

本发明的进一步技术方案是：所述特征文件切片模块中在进行切片处理中将大的存有所有图像特征的文件夹切片为多个小的存有部分图像特征的文件夹。

本发明的进一步技术方案是：所述特征文件切片模块中的进程数的多少是根据硬件系统设备的情况进行选择的。

本发明的有益效果是：深度学习提取的人脸特征维度低而且具有非常好的鉴别能力，一方面可以提高样本的清洗精度，另一方面也可以节约清洗时间；多进程并行设计，能够充分利用硬件运算能力，从而提高整个运算的效率，降低耗时；使用DBCAN聚类算法对人脸样本进行聚类，实现了非监督式的人脸分类，同时基于DBSCAN密度聚类的原理，加上同一人脸在不同情况下保持相似的事实，也提高了人脸分类的精确度，另一方面也能够避免了需要人工干预导致的效率和精确度下降。

附图说明

图1是本发明实施例提供的基于深度学习特征的人脸样本清洗方法的流程图。

图2是本发明实施例提供的基于深度学习特征的人脸样本清洗系统的结构框图。

具体实施方式

图1示出了本发明提供的基于深度学习特征的人脸样本清洗方法，其详述如下：

步骤S1，利用深度学习技术对人脸图像特征进行提取；在深度学习的过程中，对人类的脸部图像进行特征的提取；其中在深度学习提取人脸特征从数据面上就降低了维度，也就是降低了数据量。

步骤S2，根据给定的进程数对需要进行处理的样本进行划分，并分配至每个进程；系统会根据硬件设备本身的情况选择相适应的进程数，将提取的人脸特征文件按照进程数进行切片，在切片的过程中，将一个大的存有所有人脸图像特征的文件切片为多个小的存有部分人脸图像特征的文件。

步骤S3，对每个进程中相应的人脸特征进行聚类处理；运行多进程人脸样本清洗脚本，对每个进程中的每个文件夹中的人脸进行DBSCAN聚类处理，DBSCAN聚类依据的数据来自对应的图像特征；DBSCAN人脸图像聚类由于其算法特点，只需要统计某个数据点给定半径范围内的其他数据点数量，可利用比较判断，而不需要完全计算每一个数据点之间的距离，减少了计算量从而提升了效率，且由于其非监督式的特点，实现了整个算法全自动化的功能。而多进程并行设计使得处理大规模的人脸样本成为可能，通过分割特征文件减少内存的占用，并利用多进程调用尽可能多的硬件资源，进一步提升了效率。其中，多进程并行设计应作为技术亮点，多进程并行设计除了利用多进程运算本身，还应包括为了适合多进程运算所做的数据预处理过程。

步骤S4，在每个聚类结果中选取图像数量最多的类作为主类；在每个文件夹的聚类结果中，选取图像数量最多的类作为主类(main cluster)。

步骤S5，将主类特征对应的图像拷贝至目标目录并保留原有文件结构；将maincluster特征图像拷贝至目标目录并保留原有文件结构；从原始图像中选取主类中所对应的图像，即为清洗后的可用图像，拷贝至结果保存的目录中，保留原有的文件结构。

深度学习提取人脸特征部分：

本发明采用深度学习提取的特征，能够得到较低维度数目的特征值（在目前应用中为128维），相比传统方法提取的特征（从256至1000维等），能够有效的降低数据维度，从而大大减少了在后续的清洗过程中分类算法的运算量，也避免了“维度灾难”对算法效果的影响。同时，由于深度学习自身的特性，使得它所提取出的低维特征能够表征比传统特征提取算法更多的人脸信息。

DBSCAN聚类算法：

由于DBSCAN是基于数据密度的聚类算法，具有可伸缩性，能够找出在噪声中存在的高密度区域，放到人脸图像的聚类中，同一个人的人脸图像是有明显的相似性的，因此他的特征在特征空间中也就是靠近的，基于这些特点，DBSCAN就能够很好地将同一个人的人脸图像聚到同一个类中。且由于该算法的核心是统计某个数据点的给定半径范围内是否有其他数据点，因此不需要计算具体的距离，大大减少了运算量，提高了整体效率。

多进程并行设计：

利用多进程能够将一个大型的任务拆分成多个小任务交给多个进程同时处理，从而成倍地提高运算速度。并且由于本发明将特征文件按照进程数进行了切分，使得进程之间不需要调用相同的数据，不会存在数据的重复存放导致浪费内存空间的问题。从而避免了多进程最重要的内存占用问题。而根据算法所运行的硬件情况去设置进程数，能够充分利用硬件资源又不至于出现内存溢出等问题。

在提取人脸特征部分，本发明使用的是深度学习方法，而在传统的特征提取方法中，也有一些方法能够提取较低维度的特征，例如Gabor小波特征提取方法等，但是都无法像深度学习一样能够对人脸图像有明确的针对性，即无法保证提取出来的特征能够表征足够多的人脸信息。

而在DBSCAN聚类算法部分，在进行本发明时，也试验了MeanShift聚类算法，虽然跟DBSCAN算法得到的效果非常接近，但是由于MeanShift算法本身需要进行向量计算，因此在同样的数据情况下，运算耗时大约是DBSCAN算法的10倍。另外有一些其他的聚类算法例如k-means等也能够部分的完成发明目的，但综合聚类效果和效率来看，DBSCAN仍然是最合适本发明的算法。

在多进程并行设计部分，在现有的大部分并行运算设计中，常常用到的是多线程设计，由于多线程能够调用同一块内存空间，因此可以很大程度上地节约内存资源，但是正是由于这个问题，也使得在多线程设计中很容易出现内存调用错误的问题，即在调用同一个数据时进行了修改，但是没有做好锁止设计。另一方面，由于本发明在利用多进程前，已经将需要处理的数据进行了切片，即不存在需要共享的数据，也就不存在传统多进程设计中由于需要将所有任务数据拷贝至每一个进程导致内存占用的问题。最后，由于本发明在聚类时使用的是DBSCAN算法，其运算量较小，而图像结果的保存过程相对更长，使得适合IO密集型的多进程设计更适合本发明。

图2示出了本发明的另一目的在于提供一种基于深度学习特征的人脸样本清洗系统，所述人脸样本清洗系统包括：

图像特征提取模块，用于利用深度学习技术对人脸图像特征进行提取；

特征文件切片模块，用于根据给定的进程数对需要进行处理的样本进行划分，并分配至每个进程；

聚类处理模块，用于对每个进程中相应的人脸特征进行聚类处理；

主类选取模块，用于在每个聚类结果中选取图像数量最多的类作为主类；

拷贝保留模块，用于将主类特征对应的图像拷贝至目标目录并保留原有文件结构。

所述聚类处理模块中还包括：

清洗单元，用于运用多进程对人脸特征样本进行清洗。

所述聚类处理模块中的聚类处理为DBSCAN聚类，所述DBSCAN聚类依据的数据来自其所对应的人脸图像特征。

所述特征文件切片模块中在进行切片处理中将大的存有所有图像特征的文件夹切片为多个小的存有部分图像特征的文件夹。

所述特征文件切片模块中的进程数的多少是根据硬件系统设备的情况进行选择的。

深度学习提取的人脸特征维度低而且具有非常好的鉴别能力，一方面可以提高样本的清洗精度，另一方面也可以节约清洗时间；多进程并行设计，能够充分利用硬件运算能力，从而提高整个运算的效率，降低耗时；使用DBCAN聚类算法对人脸样本进行聚类，实现了非监督式的人脸分类，同时基于DBSCAN密度聚类的原理，加上同一人脸在不同情况下保持相似的事实，也提高了人脸分类的精确度，另一方面也能够避免了需要人工干预导致的效率和精确度下降。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习特征的人脸样本清洗方法，其特征在于，所述人脸样本清洗方法包括以下步骤：

A、利用深度学习技术对人脸图像特征进行提取；

B、根据给定的进程数对需要进行处理的样本进行划分，并分配至每个进程；

C、对每个进程中相应的人脸特征进行聚类处理；

D、在每个聚类结果中选取图像数量最多的类作为主类；

E、将主类特征对应的图像拷贝至目标目录并保留原有文件结构。

2.根据权利要求1所述的人脸样本清洗方法，其特征在于，所述步骤C中还包括以下步骤：

C1、运用多进程对人脸特征样本进行清洗。

3.根据权利要求2所述的人脸样本清洗方法，其特征在于，所述步骤C中的聚类处理为DBSCAN聚类，所述DBSCAN聚类依据的数据来自其所对应的人脸图像特征。

4.根据权利要求3所述的人脸样本清洗方法，其特征在于，所述步骤B中在进行切片处理中将大的存有所有图像特征的文件夹切片为多个小的存有部分图像特征的文件夹。

5.根据权利要求4所述的人脸样本清洗方法，其特征在于，所述步骤B中的进程数的多少是根据硬件系统设备的情况进行选择的。

6.一种基于深度学习特征的人脸样本清洗系统，其特征在于，所述人脸样本清洗系统包括：

图像特征提取模块，用于利用深度学习技术对人脸图像特征进行提取；

特征文件切片模块，用于根据给定的进程数对需要进行处理的样本进行划分，并分配至每个进程；

聚类处理模块，用于对每个进程中相应的人脸特征进行聚类处理；

主类选取模块，用于在每个聚类结果中选取图像数量最多的类作为主类；

拷贝保留模块，用于将主类特征对应的图像拷贝至目标目录并保留原有文件结构。

7.根据权利要求6所述的人脸样本清洗系统，其特征在于，所述聚类处理模块中还包括：

清洗单元，用于运用多进程对人脸特征样本进行清洗。

8.根据权利要求7所述的人脸样本清洗系统，其特征在于，所述聚类处理模块中的聚类处理为DBSCAN聚类，所述DBSCAN聚类依据的数据来自其所对应的人脸图像特征。

9.根据权利要求8所述的人脸样本清洗系统，其特征在于，所述特征文件切片模块中在进行切片处理中将大的存有所有图像特征的文件夹切片为多个小的存有部分图像特征的文件夹。

10.根据权利要求8所述的人脸样本清洗系统，其特征在于，所述特征文件切片模块中的进程数的多少是根据硬件系统设备的情况进行选择的。