CN110348366A - 一种自动化最优人脸搜索方法及装置 - Google Patents

Abstract

本发明公开了一种自动化最优人脸搜索方法及装置，属于图形图像处理技术领域。包括以下步骤：首先采用基于聚焦光场图像的人脸分组方法对人脸进行智能的聚类和分组，然后采用优化聚焦人脸图像搜索方法对人脸图像进行搜索；所述人脸分组方法基于光场图像进行处理，重新对焦后，采用人脸检测方法检测到图像中的人脸，并对第一次出现的人脸创建临时标识作为参考人脸切片，重复出现的人脸标识为距离最短的参考人脸贴片的临时标识；所述优化聚焦人脸图像搜索方法通过评价函数选取清晰度最优的人脸图像。本发明不需要额外的人工操作，可以完成从捕获到处理再到识别的全部工作，通过该方法进行搜索后的图片进行人脸识别，极大提高了人脸识别的准确度。

Description

一种自动化最优人脸搜索方法及装置

技术领域

本发明属于图形图像处理技术领域，具体涉及一种自动化最优人脸搜索方法及装置。

背景技术

人工智能技术的开发和应用已成为国内外学者和研究人员研究的重点和热点。在人工智能领域中，人脸识别技术的研究已经成为热门研究领域，它可以应用于需要身份认证的各种场所之中，例如金融领域中的银行交易身份验证，互联网或网银上的交易身份验证，在国家安全防御中出入安全检查，各种监控系统以及门禁系统等，是解决身份识别的有效手段。

但是，人脸识别在一些特殊场景中的表现效果并不理想，在实践中受到很多因素的影响，比如光照的差异，被识别人脸的表情和年龄的差异，是否化妆等等。特别在智能监控系统中，还存在一些有待解决的挑战。例如，在监控场景中，我们需要识别不同距离不同表情的多张面孔。但在非聚焦区域，低分辨率和高扩散性增加了人脸识别的难度。

光场相机拍摄的图像只是提供了可以重聚焦的能力。但如何从这多张不同聚焦的图像中找出清晰度最高的那张图像，目前的做法是通过人工挑选来完成的。我们在这里提出的方法可以完成机器自动挑选最清晰图像的过程，供后续人脸识别软件进行识别。

发明内容

针对现有技术存在的问题，本发明提供了一种自动化最优人脸搜索方法及装置。

一种自动化最优人脸搜索方法，包括以下步骤：

首先采用基于聚焦光场图像的人脸分组方法对人脸进行智能的聚类和分组，然后采用优化聚焦人脸图像搜索方法对人脸图像进行搜索；

所述人脸分组方法采用光场图像进行处理，重新对焦后，采用人脸检测方法检测到图像中的人脸，并对第一次图像中出现的人脸创建临时标识作为参考人脸切片，下一幅彩色图像中出现的人脸标识为距离最短的参考人脸贴片的临时标识，标识相同的贴片划分为同一组；

所述优化聚焦人脸图像搜索方法通过评价函数选取同一组中清晰度最优的人脸图像供后续人脸识别；所述方法自动完成图像的最优搜索。

进一步的，所述的所述人脸分组方法为：

S1)从第一个重新聚焦的集合开始，为第一张图像中的所有人脸创建临时标识，作为参考人脸切片，并记录它们在图像中的位置和大小；

S2)对下一幅彩色图像中的每一张人脸，计算它与所有参考人脸切片之间的距离，找到距离最短的参考人脸贴片；

S3)如果找到距离最短的参考人脸贴片，则将其标识为距离最短的参考人脸贴片的临时标识；否则，将为人脸贴片创建一个新的临时标识，并将其位置和大小记录为一个新的参考人脸贴片，其中每个参考人脸贴片标识代表一个组，不同的人脸贴片标识代表不同的组，同样的人脸贴片标识属于同一组。

进一步的，所属的距离包括位置距离dist和大小sf/sref，所述位置距离dist指人脸贴片和参考人脸贴片之间的距离；所述大小sf/sref，其中sf是指人脸贴片的面积大小，sref是指参考人脸贴片的面积大小。

进一步的，所述的位置距离dist小于阈值d的1/4，且sf/sref在0.9-1.1之间，则认为与该参考人脸贴片距离最短，将人脸图像标识为参考人脸贴片的临时标识，其中d为待分组人脸贴片平均边长的(即人脸检测框长度和宽度之和)1/2。

进一步的，所述的评价函数为多个，通过组合策略对各个评价结果进行集成得到最终的评价结果。

进一步的，所述的对多个评价函数的结果分别进行归一化处理，然后对归一化结果进行加权求和，所有权重之和为1。

进一步的，所述的评价函数为梯度函数和熵函数，分别如下所示：

梯度函数公式：D₁(f)＝∑_y∑_xf(x+2,y)-f(x,y)²

熵函数公式：

其中f为人脸图像；x和y是图像的坐标；p_i为图像中出现灰度值为i的像素的概率；L是灰度级的总数。

进一步的，所述的归一化公式为：

LN₁(D₁)＝D₁/(∑_y∑_x|L-1|²)

一种自动化最优人脸搜索装置，包括聚焦光场图像的人脸分组模块和优化聚焦人脸图像搜索模块，所述聚焦光场图像的人脸分组模块对人脸进行智能的聚类和分组，采用光场图像进行处理，重新对焦后，采用人脸检测方法检测到图像中的人脸，并对第一张图像中出现的人脸创建临时标识作为参考人脸切片，下一幅彩色图像中出现的人脸标识为距离最短的参考人脸贴片的临时标识，标识相同的贴片划分为同一组；

优化聚焦人脸图像搜索模块对人脸图像进行搜索，通过评价函数选取同一组中清晰度最优的人脸图像供后续人脸识别，所述聚焦光场图像的人脸分组模块和优化聚焦人脸图像搜索模块均为自动完成。

进一步的，所述的聚焦光场图像的人脸分组模块从第一个重新聚焦的集合开始，为第一张图像中的所有人脸创建临时标识，作为参考人脸切片，并记录它们在图像中的位置和大小；

对下一幅彩色图像中的每一张人脸，计算它与所有参考人脸切片之间的距离，找到距离最短的参考人脸贴片；

如果找到距离最短的参考人脸贴片，则将其标识为距离最短的参考人脸贴片的临时标识；否则，将为人脸贴片创建一个新的临时标识，并将其位置和大小记录为一个新的参考人脸贴片，其中每个参考人脸贴片标识代表一个组，不同的人脸贴片标识代表不同的组，同样的人脸贴片标识属于同一组；

所述距离包括位置距离dist和大小sf/sref，所述位置距离dist指人脸贴片和参考人脸贴片之间的距离；所述大小sf/sref，其中sf是指人脸贴片的面积大小，sref是指参考人脸贴片的面积大小；所述的位置距离dist小于阈值d的1/4，且sf/sref在0.9-1.1之间，则认为与该参考人脸贴片距离最短，将人脸图像标识为参考人脸贴片的临时标识，其中d为待分组人脸贴片的平均边长即人脸检测框长度和宽度之和的1/2。

进一步的，所述的优化聚焦人脸图像搜索模块中的评价函数为多个，对多个评价函数的结果分别进行归一化处理，然后对归一化结果进行加权求和，所有权重之和为1。

本发明通过对人脸进行分组，并利用清晰度函数和投票方法的优化聚焦人脸图像对清晰图像进行搜索，该方法不需要额外的人工操作，搜索过程自动完成，可以完成从捕获到处理再到识别的全部工作，通过该方法进行搜索后的图片进行人脸识别，极大提高了人脸识别的准确度。

附图说明

图1为本发明方法处理流程图；

图2为本发明提出的最优人脸搜索流程图；

图3为不同相机捕获的人脸示意图；

图4为基于不同聚焦深度的人脸分组示意图；

图5为最优人脸搜索的一个例子示意图；

图6为基于本发明方法的人脸识别流程图；

图7为基于传统相机拍摄的图像人脸识别流程图；

图8为本发明最优人脸搜索装置示意图。

具体实施方式

下面结合说明书附图对本发明的技术方案作进一步说明。

本发明主要对光场图像处理，包括一种自动化最优人脸搜索方法及装置，一种基于清晰度函数和投票方法的优化聚焦人脸图像搜索方法，并通过一系列实验证明了该框架的有效性。本发明不需要额外的人工操作，可以完成从捕获到处理再到识别的全部工作。

实施例1

一种自动化最优人脸搜索方法处理流程如图1所示。

基于聚焦光场图像的人脸分组方法：

重新对焦后，得到一组不同深度的彩色图像。将人脸检测方法应用到每一幅彩色图像中，可以检测到人脸。然而，由于每个图像的聚焦深度不同，在实际应用中，人脸检测可能无法检测到模糊的人脸，从而导致在不同的图像上检测到的人脸数量不同，或不对应。在实际应用中，对这些彩色图像中检测到的人脸进行实时的人工分组是不现实的。基于此，我们提出人脸自动分组方法，该方法在不知道人脸真实身份的情况下，根据人脸的位置对所有检测到的人脸进行智能的聚类和分组。

从第一个重新聚焦的集合开始，为第一张图像中的所有人脸创建临时标识，作为参考人脸切片，并记录它们在图像中的位置(可以记录它们的人脸检测框左上角的坐标)和大小。然后对下一幅彩色图像中的每一张人脸，计算它与所有参考人脸切片之间的距离，找到距离最短的参考人脸贴片。所述距离包括两个指标，分别为位置距离dist和大小sf/sref,位置距离dist指人脸贴片和参考人脸贴片之间的距离(人脸检测框左上角在整幅图像上的坐标之间的距离)，sf是指人脸贴片的面积大小，sref是指参考人脸贴片的面积大小。如果大小sf/sref在0.9-1.1之间，且位置距离dist小于阈值d的1/4,阈值d为待分组人脸贴片平均边长，即人脸检测框长度和宽度之和的1/2,则将其标识为距离最短的参考人脸贴片的临时标识。否则，将为人脸贴片创建一个新的临时标识，并将其位置和大小记录为一个新的参考人脸贴片。sf/sref选取0.9-1.1的取值范围，为多次实验测试结果，对于不同环境下拍摄照片的人脸识别效果较好，识别的精确度更高。

通过以上步骤，可以对所有的人脸贴片进行分组，其中每个参考人脸贴片代表一个组。

该人脸分组方法可以根据待分组的人脸贴片调整参数，实现自动进行人脸分组。同时，该分组方法易于编程实现。

基于清晰度函数和投票方法的优化聚焦人脸图像搜索方法，如图2所示：

根据上一步的人脸分组，得到人脸组，每一个人脸组中的人脸都对应着相同的人脸具有不同的聚焦程度。为了从每组中选出一张聚焦度最好的脸作为该组的代表，首先需要评估每张人脸的聚焦程度。为了使评价更具鲁棒性，采用一系列的评价函数对人脸的清晰度进行评价，然后利用集成思想通过组合策略对各个评价结果进行集成，最终得到一个更可靠的评价结果来选择最优的人脸。

选择N种评价函数分别对人脸组中的所有人脸进行评价。由于评价方法的不同，需要对每种评价方法的结果分别进行归一化，称为局部归一化。此外，由于应用场景等的不同，对每种评价方法的结果进行加权，这是全局归一化的一个步骤。这些权重之和为1，表示在特定的应用场景中接受不同评估方法的程度，并通过在特定场景中捕获的数据集进行训练和对清晰度函数定制。为了方便起见，所有的权值都可以设置为1/N。

然后将所有评价方法对同一人脸的结果进行累加，得到最终的评价结果。该评价值在0～1之间，值越大表示当前人脸组中的对应人脸清晰度越好，之后的识别效果更好。

与人脸分组一样，该模块可以在没有人工实时控制的情况下自动执行。在寻找最优人脸后，进行最后的识别工作。

下面通过对Gallery数据集在室内使用单反相机拍摄了15个人的450张照片的处理对本发明的技术方案做进一步详细说明。

每个人有30个样本对应两个表情，三个光照条件和五个姿势。这两个表情分别是正常状态和微笑，三个光照条件分别是左侧、右侧的光照和理想的光照条件，这五种姿势分别对应着脸朝前、左、右、上、下。选择接下来的实验设置，考虑到人脸识别的性能通常受到面部表情、姿态和光照环境的影响，数据应该尽可能覆盖实际场景中可能出现的情况。两个probe数据集分别由光场相机和罗技相机(非光场相机)捕获，150个probe样本对应412张人脸样本。对于图片的获取环境包括室内和室外的照明条件以及各种各样的表情和姿势。对常规图像进行处理，通过对采集到的图像进行放大和缩小，得到与光场图像相同的分辨率，从而保证了比较的公平性。图3显示了一些人脸示例，其中图3人脸示例第一行是gallery数据集的一些样本，第二行是probe数据集由传统相机捕获，第三行是probe数据集由光场相机捕获，聚焦的是最近的人脸。

图像选择：

如图4所示，第一列的人脸检测结果是一组远近聚焦的图，实现了基于人脸在图像中的位置和大小的人脸分组。

对于最优人脸搜索，我们选取了梯度函数和熵函数两个评价函数来评价。这两个函数如式(1)和式(2)所示:

D₁(f)＝∑_y∑_xf(x+2,y)-f(x,y)² (1)

其中f为人脸图像；x和y是图像的坐标；p_i为图像中出现灰度值为i的像素的概率；L是灰度级的总数(通常为256)。局部归一化按式(3)和式(4)进行:

LN₁(D₁)＝D₁/(∑_y∑_x|L-1|²) (3)

这将使计算值保持在0到1之间。

如图5所示，从左到右的列显示过程中的状态。为了显示主要的处理，我们将全局归一化权重设置为0.5。在该示例中，第二行中的面部图像算出来的评价值最高，选为最佳面部图像。

最后测试

使用两种经典的人脸识别方法来测试本发明提出的方法。首先利用局部二值模式(LBP)方法提取人脸特征，然后通过基于稀疏表示的分类器(SRC)进行人脸识别。另一种利用主成分分析(PCA)提取人脸特征，利用线性判别分析(LDA)进行人脸识别。图6为本发明整个人脸识别过程的流程图，图7为传统的整个人脸识别过程的流程图，提取是指提取人脸特征，识别是识别人脸。定量测试结果如表1所示，识别准确率由正确识别的样本数量除以测试集总数计算。

表1方法的正确率

从表1的实验结果可以看出，与基于传统相机采集数据的实验结果相比，利用光场相机采集数据，并进行重聚焦，然后利用我们提出的分组方法和最优人脸搜索方法挑选出来的人脸图像清晰度更好。使用LBP和SRC进行人脸识别，识别效果提高了6.29％，使用PCA和LDA进行人脸识别时，效果提高了7.49％。

实施例2

一种自动化最优人脸搜索装置如图8所示，包括聚焦光场图像的人脸分组模块1和优化聚焦人脸图像搜索模块2，所述聚焦光场图像的人脸分组模块1对人脸进行智能的聚类和分组，采用光场图像进行处理，重新对焦后，采用人脸检测方法检测到图像中的人脸，并对第一张图像中出现的人脸创建临时标识作为参考人脸切片，下一幅彩色图像中出现的人脸标识为距离最短的参考人脸贴片的临时标识，标识相同的贴片划分为同一组；分组的具体方法如下：

聚焦光场图像的人脸分组模块1从第一个重新聚焦的集合开始，为第一张图像中的所有人脸创建临时标识，作为参考人脸切片，并记录它们在图像中的位置和大小；

对下一幅彩色图像中的每一张人脸，计算它与所有参考人脸切片之间的距离，找到距离最短的参考人脸贴片；

如果找到距离最短的参考人脸贴片，则将其标识为距离最短的参考人脸贴片的临时标识；否则，将为人脸贴片创建一个新的临时标识，并将其位置和大小记录为一个新的参考人脸贴片，其中每个参考人脸贴片标识代表一个组，不同的人脸贴片标识代表不同的组，同样的人脸贴片标识属于同一组；

所述距离包括位置距离dist和大小sf/sref，所述位置距离dist指人脸贴片和参考人脸贴片之间的距离；所述大小sf/sref，其中sf是指人脸贴片的面积大小，sref是指参考人脸贴片的面积大小；所述的位置距离dist小于阈值d的1/4，且sf/sref在0.9-1.1之间，则认为与该参考人脸贴片距离最短，将人脸图像标识为参考人脸贴片的临时标识，其中d为待分组人脸贴片的平均边长即人脸检测框长度和宽度之和的1/2。

优化聚焦人脸图像搜索模块2对人脸图像进行搜索，通过评价函数选取同一组中清晰度最优的人脸图像供后续人脸识别，所述聚焦光场图像的人脸分组模块和优化聚焦人脸图像搜索模块均为自动完成。

所述的优化聚焦人脸图像搜索模块2中的评价函数为多个，对多个评价函数的结果分别进行归一化处理，然后对归一化结果进行加权求和，所有权重之和为1。

Claims (10)

1.一种自动化最优人脸搜索方法，其特征在于包括以下步骤：

首先采用基于聚焦光场图像的人脸分组方法对人脸进行智能的聚类和分组，然后采用优化聚焦人脸图像搜索方法对人脸图像进行搜索；

所述人脸分组方法基于光场图像进行处理，重新对焦后，采用人脸检测方法检测到图像中的人脸，并对第一张图像中出现的人脸创建临时标识作为参考人脸切片，下一幅彩色图像中出现的人脸标识为距离最短的参考人脸贴片的临时标识，标识相同的贴片划分为同一组；

所述优化聚焦人脸图像搜索方法通过评价函数选取同一组中清晰度最优的人脸图像供后续人脸识别；所述方法自动完成图像的最优搜索。

2.根据权利要求1所述的一种自动化最优人脸搜索方法，其特征在于所述的所述人脸分组方法为：

S1)从第一个重新聚焦的集合开始，为第一张图像中的所有人脸创建临时标识，作为参考人脸切片，并记录它们在图像中的位置和大小；

S2)对下一幅彩色图像中的每一张人脸，计算它与所有参考人脸切片之间的距离，找到距离最短的参考人脸贴片；

S3)如果找到距离最短的参考人脸贴片，则将其标识为距离最短的参考人脸贴片的临时标识；否则，将为人脸贴片创建一个新的临时标识，并将其位置和大小记录为一个新的参考人脸贴片，其中每个参考人脸贴片标识代表一个组，不同的人脸贴片标识代表不同的组，同样的人脸贴片标识属于同一组。

3.根据权利要求2所述的一种自动化最优人脸搜索方法，其特征在于距离包括位置距离dist和大小sf/sref，所述位置距离dist指人脸贴片和参考人脸贴片之间的距离；所述大小sf/sref，其中sf是指人脸贴片的面积大小，sref是指参考人脸贴片的面积大小。

4.根据权利要求3所述的一种自动化最优人脸搜索方法，其特征在于所述的位置距离dist小于阈值d的1/4，且sf/sref在0.9-1.1之间，则认为与该参考人脸贴片距离最短，将人脸图像标识为参考人脸贴片的临时标识，其中d为待分组人脸贴片的平均边长即人脸检测框长度和宽度之和的1/2。

5.根据权利要求1所述的一种自动化最优人脸搜索方法，其特征在于所述的评价函数为多个，通过组合策略对各个评价结果进行集成得到最终的评价结果。

6.根据权利要求4所述的一种自动化最优人脸搜索方法，其特征在于所述的对多个评价函数的结果分别进行归一化处理，然后对归一化结果进行加权求和，所有权重之和为1。

7.根据权利要求5所述的一种自动化最优人脸搜索方法，其特征在于所述的评价函数为梯度函数和熵函数，分别如下所示：

梯度函数公式：D₁(f)＝∑_y∑_x|f(x+2,y)-f(x,y)|²

熵函数公式：

其中f为人脸图像；x和y是图像的坐标；p_i为图像中出现灰度值为i的像素的概率；L是灰度级的总数。

将梯度函数和熵函数分别进行归一化处理，如下所示：

LN₁(D₁)＝D₁/(∑_y∑_x|L-1|²)

8.一种自动化最优人脸搜索装置，其特征在于包括聚焦光场图像的人脸分组模块(1)和优化聚焦人脸图像搜索模块(2)，所述聚焦光场图像的人脸分组模块(1)对人脸进行智能的聚类和分组，采用光场图像进行处理，重新对焦后，采用人脸检测方法检测到图像中的人脸，并对第一张图像中出现的人脸创建临时标识作为参考人脸切片，下一幅彩色图像中出现的人脸标识为距离最短的参考人脸贴片的临时标识，标识相同的贴片划分为同一组；

优化聚焦人脸图像搜索模块(2)对人脸图像进行搜索，通过评价函数选取同一组中清晰度最优的人脸图像供后续人脸识别，所述聚焦光场图像的人脸分组模块和优化聚焦人脸图像搜索模块均为自动完成。

9.根据权利要求8所述的一种自动化最优人脸搜索装置，其特征在于聚焦光场图像的人脸分组模块(1)从第一个重新聚焦的集合开始，为第一张图像中的所有人脸创建临时标识，作为参考人脸切片，并记录它们在图像中的位置和大小；

对下一幅彩色图像中的每一张人脸，计算它与所有参考人脸切片之间的距离，找到距离最短的参考人脸贴片；

如果找到距离最短的参考人脸贴片，则将其标识为距离最短的参考人脸贴片的临时标识；否则，将为人脸贴片创建一个新的临时标识，并将其位置和大小记录为一个新的参考人脸贴片，其中每个参考人脸贴片标识代表一个组，不同的人脸贴片标识代表不同的组，同样的人脸贴片标识属于同一组；

所述距离包括位置距离dist和大小sf/sref，所述位置距离dist指人脸贴片和参考人脸贴片之间的距离；所述大小sf/sref，其中sf是指人脸贴片的面积大小，sref是指参考人脸贴片的面积大小；所述的位置距离dist小于阈值d的1/4，且sf/sref在0.9-1.1之间，则认为与该参考人脸贴片距离最短，将人脸图像标识为参考人脸贴片的临时标识，其中d为待分组人脸贴片的平均边长即人脸检测框长度和宽度之和的1/2。

10.根据权利要求8所述的一种自动化最优人脸搜索装置，其特征在于所述的优化聚焦人脸图像搜索模块(2)中的评价函数为多个，对多个评价函数的结果分别进行归一化处理，然后对归一化结果进行加权求和，所有权重之和为1。