CN108446655A - 一种基于大规模分类器的蛮力人脸特征点识别方法 - Google Patents

Abstract

本发明中提出的一种基于大规模分类器的蛮力人脸特征点识别方法，其主要内容包括：利用大规模分类的回归分析、分类问题的求解策略、预处理过程、后处理过程，其过程为，首先把所有可能的预测情况分解成为许多的离散类别，此过程包括聚类和概率推理两个步骤；然后使用多标签框架来训练大规模的多类别网络，使用一个Softmax网络层代替损失网络层，用来应付决策边界的问题；最后，利用预处理过程来学习一种线性的包围盒回归变量，并增加一个后处理回归步骤来提高准确率。本发明基于大规模分类器，提出了一种蛮力人脸特征点识别方法，其可以避免回归问题当中出现很多解的情况，而且具有更高的鲁棒性和更准确的人脸特征点识别率。

Description

一种基于大规模分类器的蛮力人脸特征点识别方法

技术领域

本发明涉及人脸特征点识别领域，尤其是涉及了一种基于大规模分类器的蛮力人脸特征点识别方法。

背景技术

人脸特征点识别是一门关于人脸特征点(比如眼睛、鼻子、嘴巴等)的识别与定位的研究课题。人脸特征点识别技术应用广泛，比如对齐人脸、人脸变形、人脸识别、人脸表情分析、人机交互等。举例来说，可以利用人脸特征点识别技术获取一张人脸照片的特征点，然后把它通过特征点驱动变形，寻找和它最接近的但是更加符合人类审美的人脸，达到美化人脸的效果。另外，精确的人脸特征点识别与定位可以极大地提高人脸识别的准确率，这对监控与安防行业具有重要的意义。目前，常规的人脸特征点识别方法是利用深度网络，其将识别问题转化成为非线性回归问题。这类方法的不足之处在于，当原始问题是病态问题时，将会出现多个解，这些解都符合原始问题。

本发明提出了一种基于大规模分类器的蛮力人脸特征点识别方法，首先把所有可能的预测情况分解成为许多的离散类别，此过程包括聚类和概率推理两个步骤；然后使用多标签框架来训练大规模的多类别网络，使用一个Softmax网络层代替损失网络层，用来应付决策边界的问题；最后，利用预处理过程来学习一种线性的包围盒回归变量，并增加一个后处理回归步骤来提高准确率。本发明基于大规模分类器，提出了一种蛮力人脸特征点识别方法，可以避免出现很多解的情况，而且具有更高的鲁棒性和人脸特征点的识别准确性。

发明内容

针对现有方法存在可能出现多个解、方法不够鲁棒和不够准确等缺点，本发明的目的在于提供一种基于大规模分类器的蛮力人脸特征点识别方法，首先把所有可能的预测情况分解成为许多的离散类别，此过程包括聚类和概率推理两个步骤；然后使用多标签框架来训练大规模的多类别网络，使用一个Softmax网络层代替损失网络层，用来应付决策边界的问题；最后，利用预处理过程来学习一种线性的包围盒回归变量，并增加一个后处理回归步骤来提高准确率。

为解决上述问题，本发明提供一种基于大规模分类器的蛮力人脸特征点识别方法，其主要内容包括：

(一)利用大规模分类的回归分析；

(二)分类问题的求解策略；

(三)预处理过程；

(四)后处理过程。

其中，所述的利用大规模分类的回归分析，根据给定的人脸图像I，推断出一系列的N维人脸特征点，可以把此任务描述为一个K-类分类问题；

对于每一个离散的类别，可以松弛为任意的注解，该过程一共包括聚类和概率推理两个步骤。

进一步地，所述的聚类，给定一个包含M张人脸图像的训练集合和与之相关的特征点注解(I_i,y_i)，首先产生一系列包含K个离散值的姿态类别；为此，通过对齐实际值检测窗口来居中和放大所有的特征点，实施k均值聚类以产生集合{μ_k}；考虑K的各种不同取值，包括K＝M，对应于单类别的聚类。

进一步地，所述的概率推理，其特征在于，通过探索可以返回关于K个输出类别的Softmax概率分布p_k的分类结构，构造一个关于特征点的混合分布模型：

p(y)∝∑_kp_kφ_k(||y-μ_k||) (1)

式中，φ_k表示标准径向基函数；采用球形高斯核函数来匹配第k个群集；

联合分布允许执行标准的概率运算，如边缘化和条件化，可以计算出关于单独特征点或者数个特征群的边缘不确定性，也可以决定提供外部约束的证据。

其中，所述的分类问题的求解策略，包括朴素K-类分类、软目标、多标签目标；

(1)朴素K-类分类：根据定义的离散类别，可以训练K-类分类器；

(2)软目标：对一些分部评分进行训练，得到合理的预测值；

(3)多标签目标：使一个强学习信号仍然可以引导具有大规模关系的训练样本。

进一步地，所述的朴素K-类分类，一开始，使用标准的深度分类网络对一个姿态进行K-类分类；令s_k(I)是图像I第k类的预测评分，p是预测分布，q是目标分布，那么交叉熵损失函数定义为：

目标分布是在该训练例子当中指定某一姿态类别的一个独热码译码矢量，即：

SoftmaxLoss＝H(p,q),q_k＝δ(k＝c) (3)

c表示实际的类别。

进一步地，所述的软目标，针对训练图像(I_i,y_i)，为了定义合理的预测值集合，需要寻找姿态类别的集合，使它们落于某个距离y_i之内，构造关系集合：

M_i＝{k:||μ_k-y_i||≤τ} (4)

一种针对分部评分的方法是通过M_i来扁平化目标分布q：

SoftTargetLoss＝H(p,q),q_k＝δ(k＝c)/|M_i| (5)

这个函数叫做损失软目标；这个方法把概率密度均匀地分布在所有合理的类别当中。

进一步地，所述的多标签目标，把K目标类别当作K个分开的二值预测问题，有时也叫做多标签分类问题；

一个训练例子对多个类别同时产生一个独立的梯度信号；训练信号的大小不会因为相邻类别的数量而减小；这表明在训练过程中，K-类分类问题可以减少成为K个独立的二值分类问题；在测试过程中，使用一个Softmax网络层代替提出的损失网络层，并输出一个单一的类别标签。

其中，所述的预处理过程，预处理即细化检测；与其他的人脸对齐系统相似，假设给定的人脸图像可以得到粗糙的检测结果；学习一种线性的包围盒回归变量，用于把从分类网络得到的特征提炼出检测窗口；然后把提炼得到的检测图像反馈到分类网络中。

其中，所述的后处理过程，包括姿态类别回归变量和时间平滑；

(1)姿态类别回归变量：为了解决姿态分类网络无法产生精确的大规模预测值这一问题，针对每一个姿态类别k，训练出一个级联线性回归变量；实际上，所有类别之间共享权值，并且由于约束的存在，它们只训练少数的回归变量；由于最后模型使用了样本类，样本类的聚类等价于训练样本的聚类；

(2)时间平滑：提出的模型具有全局不确定性推理能力，这可以用时间平滑来解释；给定关于K个姿态在连续时间帧的分布，可以很容易地构造K-状态隐马尔可夫模型，这个模型仅允许类似的姿态类别(4)之间的转换；接着，可以使用最大乘积推论来解码一系列时间上平滑的、高评分值的姿态类别。

附图说明

图1是本发明一种基于大规模分类器的蛮力人脸特征点识别方法的系统结构图。

图2是本发明一种基于大规模分类器的蛮力人脸特征点识别方法的不确定性估计示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于大规模分类器的蛮力人脸特征点识别方法的系统结构图。

其中，所述的利用大规模分类的回归分析，根据给定的人脸图像I，推断出一系列的N维人脸特征点，可以把此任务描述为一个K-类分类问题；

对于每一个离散的类别，可以松弛为任意的注解，该过程一共包括聚类和概率推理两个步骤。

进一步地，所述的聚类，给定一个包含M张人脸图像的训练集合和与之相关的特征点注解(I_i,y_i)，首先产生一系列包含K个离散值的姿态类别；为此，通过对齐实际值检测窗口来居中和放大所有的特征点，实施k均值聚类以产生集合{μ_k}；考虑K的各种不同取值，包括K＝M，对应于单类别的聚类。

其中，所述的分类问题的求解策略，包括朴素K-类分类、软目标、多标签目标；

(1)朴素K-类分类：根据定义的离散类别，可以训练K-类分类器；

(2)软目标：对一些分部评分进行训练，得到合理的预测值；

(3)多标签目标：使一个强学习信号仍然可以引导具有大规模关系的训练样本。

进一步地，所述的朴素K-类分类，一开始，使用标准的深度分类网络对一个姿态进行K-类分类；令s_k(I)是图像I第k类的预测评分，p是预测分布，q是目标分布，那么交叉熵损失函数定义为：

目标分布是在该训练例子当中指定某一姿态类别的一个独热码译码矢量，即：

SoftmaxLoss＝H(p,q),q_k＝δ(k＝c) (2)

c表示实际的类别。

进一步地，所述的软目标，针对训练图像(I_i,y_i)，为了定义合理的预测值集合，需要寻找姿态类别的集合，使它们落于某个距离y_i之内，构造关系集合：

M_i＝{k:||μ_k-y_i||≤τ} (3)

一种针对分部评分的方法是通过M_i来扁平化目标分布q：

SoftTargetLoss＝H(p,q),q_k＝δ(k＝c)/|M_i| (4)

这个函数叫做损失软目标；这个方法把概率密度均匀地分布在所有合理的类别当中。

进一步地，所述的多标签目标，把K目标类别当作K个分开的二值预测问题，有时也叫做多标签分类问题；

一个训练例子对多个类别同时产生一个独立的梯度信号；训练信号的大小不会因为相邻类别的数量而减小；这表明在训练过程中，K-类分类问题可以减少成为K个独立的二值分类问题；在测试过程中，使用一个Softmax网络层代替提出的损失网络层，并输出一个单一的类别标签。

其中，所述的预处理过程，预处理即细化检测；与其他的人脸对齐系统相似，假设给定的人脸图像可以得到粗糙的检测结果；学习一种线性的包围盒回归变量，用于把从分类网络得到的特征提炼出检测窗口；然后把提炼得到的检测图像反馈到分类网络中。

其中，所述的后处理过程，包括姿态类别回归变量和时间平滑；

(1)姿态类别回归变量：为了解决姿态分类网络无法产生精确的大规模预测值这一问题，针对每一个姿态类别k，训练出一个级联线性回归变量；实际上，所有类别之间共享权值，并且由于约束的存在，它们只训练少数的回归变量；由于最后模型使用了样本类，样本类的聚类等价于训练样本的聚类；

(2)时间平滑：提出的模型具有全局不确定性推理能力，这可以用时间平滑来解释；给定关于K个姿态在连续时间帧的分布，可以很容易地构造K-状态隐马尔可夫模型，这个模型仅允许类似的姿态类别(4)之间的转换；接着，可以使用最大乘积推论来解码一系列时间上平滑的、高评分值的姿态类别。

图2是本发明一种基于大规模分类器的蛮力人脸特征点识别方法的不确定性估计示意图。

通过探索可以返回关于K个输出类别的Softmax概率分布p_k的分类结构，构造一个关于特征点的混合分布模型：

p(y)∝∑_kp_kφ_k(||y-μ_k||) (5)

式中，φ_k表示标准径向基函数；采用球形高斯核函数来匹配第k个群集；

联合分布允许执行标准的概率运算，如边缘化和条件化，可以计算出关于单独特征点或者数个特征群的边缘不确定性，也可以决定提供外部约束的证据。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于大规模分类器的蛮力人脸特征点识别方法，其特征在于，主要包括利用大规模分类的回归分析(一)；分类问题的求解策略(二)；预处理过程(三)；后处理过程(四)。

2.基于权利要求书1所述的利用大规模分类的回归分析(一)，其特征在于，根据给定的人脸图像I，推断出一系列的N维人脸特征点，可以把此任务描述为一个K-类分类问题；

对于每一个离散的类别，可以松弛为任意的注解，该过程一共包括聚类和概率推理两个步骤。

3.基于权利要求书2所述的聚类，其特征在于，给定一个包含M张人脸图像的训练集合和与之相关的特征点注解(I_i,y_i)，首先产生一系列包含K个离散值的姿态类别；为此，通过对齐实际值检测窗口来居中和放大所有的特征点，实施k均值聚类以产生集合{μ_k}；考虑K的各种不同取值，包括K＝M，对应于单类别的聚类。

4.基于权利要求书2所述的概率推理，其特征在于，通过探索可以返回关于K个输出类别的Softmax概率分布p_k的分类结构，构造一个关于特征点的混合分布模型：

p(y)∝∑_kp_kφ_k(‖y-μ_k‖) (1)

式中，φ_k表示标准径向基函数；采用球形高斯核函数来匹配第k个群集；

联合分布允许执行标准的概率运算，如边缘化和条件化，可以计算出关于单独特征点或者数个特征群的边缘不确定性，也可以决定提供外部约束的证据。

5.基于权利要求书1所述的分类问题的求解策略(二)，其特征在于，包括朴素K-类分类、软目标、多标签目标；

(1)朴素K-类分类：根据定义的离散类别，可以训练K-类分类器；

(2)软目标：对一些分部评分进行训练，得到合理的预测值；

(3)多标签目标：使一个强学习信号仍然可以引导具有大规模关系的训练样本。

6.基于权利要求书5所述的朴素K-类分类，其特征在于，一开始，使用标准的深度分类网络对一个姿态进行K-类分类；令s_k(I)是图像I第k类的预测评分，p是预测分布，q是目标分布，那么交叉熵损失函数定义为：

目标分布是在该训练例子当中指定某一姿态类别的一个独热码译码矢量，即：

SoftmaxLoss＝H(p,q),q_k＝δ(k＝c) (3)

c表示实际的类别。

7.基于权利要求书5所述的软目标，其特征在于，针对训练图像(I_i,y_i)，为了定义合理的预测值集合，需要寻找姿态类别的集合，使它们落于某个距离y_i之内，构造关系集合：

M_i＝{k:‖μ_k-y_i‖≤τ} (4)

一种针对分部评分的方法是通过M_i来扁平化目标分布q：

SoftTargetLoss＝H(p,q),q_k＝δ(k＝c)/|M_i| (5)

这个函数叫做损失软目标；这个方法把概率密度均匀地分布在所有合理的类别当中。

8.基于权利要求书5所述的多标签目标，其特征在于，把K目标类别当作K个分开的二值预测问题，有时也叫做多标签分类问题；

一个训练例子对多个类别同时产生一个独立的梯度信号；训练信号的大小不会因为相邻类别的数量而减小；这表明在训练过程中，K-类分类问题可以减少成为K个独立的二值分类问题；在测试过程中，使用一个Softmax网络层代替提出的损失网络层，并输出一个单一的类别标签。

9.基于权利要求书1所述的预处理过程(三)，其特征在于，预处理即细化检测；与其他的人脸对齐系统相似，假设给定的人脸图像可以得到粗糙的检测结果；学习一种线性的包围盒回归变量，用于把从分类网络得到的特征提炼出检测窗口；然后把提炼得到的检测图像反馈到分类网络中。

10.基于权利要求书1所述的后处理过程(四)，其特征在于，后处理过程包括姿态类别回归变量和时间平滑；

(1)姿态类别回归变量：为了解决姿态分类网络无法产生精确的大规模预测值这一问题，针对每一个姿态类别k，训练出一个级联线性回归变量；实际上，所有类别之间共享权值，并且由于约束的存在，它们只训练少数的回归变量；由于最后模型使用了样本类，样本类的聚类等价于训练样本的聚类；

(2)时间平滑：提出的模型具有全局不确定性推理能力，这可以用时间平滑来解释；给定关于K个姿态在连续时间帧的分布，可以很容易地构造K-状态隐马尔可夫模型，这个模型仅允许类似的姿态类别(4)之间的转换；接着，可以使用最大乘积推论来解码一系列时间上平滑的、高评分值的姿态类别。