CN106980825A - 一种基于归一化像素差特征的人脸姿势分类方法 - Google Patents

Abstract

本发明提供一种基于归一化像素差特征的人脸姿势分类方法，该方法读取待测人脸图片，提取人脸检测窗口的NPD特征，并进行人脸检测；对所有检测出的人脸窗口利用基于NPD特征的改进的稀疏表示的分类算法进行人脸姿势分类，该归一化像素差特征的提取方法仅是通过任意两个像素值计算得来，并且具有尺度不变性，克服了姿势分类问题中的遮挡、光照变化，低分辨率和模糊等困难，并且降低了特征提取的时间复杂度和计算复杂度。

Description

一种基于归一化像素差特征的人脸姿势分类方法

技术领域

本发明涉及图像处理领域，更具体地，涉及一种基于归一化像素差特征的人脸姿势分类方法。

背景技术

人脸识别等技术一直是计算机视觉领域的热门话题之一。为了能够提高识别的准确度和效率，前期的预处理工作是十分重要且必不可少的。所以开发一套人脸姿势分类的系统用于人脸识别、分析时对视频图像的预处理是十分必要的。

近年来关于人脸姿态估计的方法越来越多的涌现出来。许多学者和研究人员在此领域不断努力，虽然已经收获了一些进展成果，但这个研究课题仍然有一定难度。人脸姿态估计的方法大致可以归纳为三类：(1)基于仿射变换来重构三维模型的判别法。利用三维模型来分析人脸姿态，理论上似乎很可行，但由二维图像重构三维模型也是十分困难的事情。如果仅用一张或少数几张人脸图片去重构三维模型，则变成了一个欠约束问题，结果则会具有不可靠性。受这些因素的限制，这类方法的实用性不是很强；(2)基于人脸某些特征点(主要是两眼中心、鼻头和嘴巴中心)相对位置模板的判别法。这类方法原理虽然并不复杂且十分直观，但准确地判别特征点的位置却又是一个并不容易的研究课题。特征点所在位置的偏差会对匹配的结果造成很大的影响。同时该方法对人脸姿态在俯仰间的变化不敏感，所以用这类方法对人脸姿态进行判别效果亦不佳；(3)基于人脸图像提取特征，通过统计学习分类的判别法。这类方法是目前的主流趋势，也已取得了较好的实验效果。早期属于此类方法的有主成分分析、支持向量机(support vector machine,SVM)及弹性图匹配等方法。别方法，识别率是当时最高的表现之一。

最近，现有技术中稀疏表示技术用于鲁棒的人脸识别，通过使L1范数最小化的形式，面部图像的训练样本被用作字典来将输入的测试图像编码为它们的稀疏线性组合。面部图像的基于稀疏表示的分类方法(SRC)则通过评估哪一类训练样本可以导致具有稀疏编码系数的输入测试图像的最小重建误差来为了使L1范数稀疏编码在计算上可行，一般来说，面部图像的训练和测试样本的维度应当减小。换言之，需要从原始图像中提取一组特征用于SRC算法。但是现有的研究的特征都属于整体特征。由于在实践中训练样本的数量通常是有限的，所以这类特征不能有效地处理光照、遮挡、表情和局部形变的变化。

发明内容

本发明提出一种能够有效地处理模糊或低分辨率的脸部图像基于归一化像素差特征(NPD，Normalized Pixel Differene)的将人脸姿势进行分类的方法。

为了达到上述技术效果，本发明的技术方案如下：

一种基于归一化像素差特征的人脸姿势分类方法，包括以下步骤：

S1：读取待测人脸图片；

S2：提取人脸检测窗口的NPD特征，并进行人脸检测；

S3：对所有检测出的人脸窗口利用基于NPD特征的改进的稀疏表示的分类算法进行人脸姿势分类。

进一步地，所述步骤S2的过程为：

对每一个人脸检测窗口，提取它的NPD特征；其中，两个像素x,y间的NPD特征定义为：

其中x,y≥0代表两个像素的像素强度值；当x,y＝0时f(0,0)＝0；f(x,y)的符号代表了x,y之间的顺序关系，大小代表了x,y之间的相关差异；f(x,y)是反对称的，所以f(x,y)和f(y,x)对于特征表达来说是等价的，大大减小了特征空间；一个s*s大小的图像块，可以向量化为一个p*1长度的特征向量，其中p＝s*s，则计算该图像块的NPD特征，任意像素的NPD特征记做f(x_i,y_i)，则共可产生p(p-1)/2个NPD特征，即把原始图像块I＝(x₁,x₂,…,x_p)^T映射到了NPD特征空间f＝(f(x₁,x₂),f(x₁,x₃),…,f(x_p-1,x_p))^T。

进一步地，所述步骤S3的过程为：

将NPD特征与SRC算法相结合，应用改进的SRC算法进行稀疏表示，将检测出的人脸窗口按照不同的角度范围将人脸姿势进行分类操作：

记为一组训练样本的第i个目标类，s_i,j,j＝1,2,…,n_i是来自第i类的第j个训练样本，记作一个m维的向量，对于来自这一类测试任一样本y₀∈R_m通过来自A_i中的样本的线性组合来表示，即其中是系数向量，若一共有K个目标类，记A＝[A₁,A₂,…A_K]为来自K个类的n个训练样本的集合，其中n＝n₁+n₂+…+n_k，y₀可以用所有训练样本的线性组合来表示，即y₀＝Aα，在发生遮挡或者损毁的情况下，测试用样本可以重写为：

y₀和遮挡误差e₀通过训练样本字典A和遮挡字典A_e，就能得到相应的稀疏表达，在SRC算法中，遮挡字典A_e被设置为正交矩阵；

记NPD特征向量为χ，无遮挡的SRC可表示为：

χ(y₀)＝X(A₁)α₁+X(A₂)α₂+…+X(A_K)α_K＝X(A)α

其中，X(A)＝[X(A₁)X(A₂)…X(A_K)]，

有遮挡时的SRC可表示为：

其中，X(A_e)是基于NPD特征的遮挡字典，α_e是输入的NPD特征χ(y)相应的表示系数向量；

通过解L1的范数最小化问题或计算残差r_i(y₀)＝||y₀-Aδ_i(α₁)||₂或残差最小的那一类即为最终的分类结果。

进一步地，所述读取的待测图像资源由拍摄设备采集，采集的图像的效果包括：光照多变、被遮挡、呈像模糊、低分辨率。

与现有技术相比，本发明技术方案的有益效果是：

本发明方法读取待测人脸图片，提取人脸检测窗口的NPD特征，并进行人脸检测；对所有检测出的人脸窗口利用基于NPD特征的改进的稀疏表示的分类算法进行人脸姿势分类，该归一化像素差特征的提取方法仅是通过任意两个像素值计算得来，并且具有尺度不变性，克服了姿势分类问题中的遮挡、光照变化，低分辨率和模糊等困难，并且降低了特征提取的时间复杂度和计算复杂度。

附图说明

图1为本发明方法流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，一种基于归一化像素差特征的人脸姿势分类方法，包括以下步骤：

S1：读取待测人脸图片；

S2：提取人脸检测窗口的NPD特征，并进行人脸检测；

S3：对所有检测出的人脸窗口利用基于NPD特征的改进的稀疏表示的分类算法进行人脸姿势分类。

步骤S2的过程为：

对每一个人脸检测窗口，提取它的NPD特征；其中，两个像素x,y间的NPD特征定义为：

其中x,y≥0代表两个像素的像素强度值；当x,y＝0时f(0,0)＝0；f(x,y)的符号代表了x,y之间的顺序关系，大小代表了x,y之间的相关差异；f(x,y)是反对称的，所以f(x,y)和f(y,x)对于特征表达来说是等价的，大大减小了特征空间；一个s*s大小的图像块，可以向量化为一个p*1长度的特征向量，其中p＝s*s，则计算该图像块的NPD特征，任意两个像素的NPD特征记做f(x_i,y_i)，则共可产生p(p-1)/2个NPD特征，即把原始图像块I＝(x₁,x₂,…,x_p)^T映射到了NPD特征空间f＝(f(x₁,x₂),f(x₁,x₃),…,f(x_p-1,x_p))^T。

步骤S3的过程为：

将NPD特征与SRC算法相结合，应用改进的SRC算法进行稀疏表示，将检测出的人脸窗口按照不同的角度范围将人脸姿势进行分类操作：

记为一组训练样本的第i个目标类，s_i,j,j＝1,2,…,n_i是来自第i类的第j个训练样本，记作一个m维的向量，对于来自这一类测试任一样本y₀∈R_m通过来自A_i中的样本的线性组合来表示，即其中是系数向量，若一共有K个目标类，记A＝[A₁,A₂,…A_K]为来自K个类的n个训练样本的集合，其中n＝n₁+n₂+…+n_k，y₀可以用所有训练样本的线性组合来表示，即y₀＝Aα，在发生遮挡或者损毁的情况下，测试用样本可以重写为：

y₀和遮挡误差e₀通过训练样本字典A和遮挡字典A_e，就能得到相应的稀疏表达，在SRC算法中，遮挡字典A_e被设置为正交矩阵；

记NPD特征向量为χ，无遮挡的SRC可表示为：

χ(y₀)＝X(A₁)α₁+X(A₂)α₂+…+X(A_K)α_K＝X(A)α

其中，X(A)＝[X(A₁)X(A₂)…X(A_K)]，

有遮挡时的SRC可表示为：

其中，X(A_e)是基于NPD特征的遮挡字典，α_e是输入的NPD特征χ(y)相应的表示系数向量；

通过解L1的范数最小化问题或计算残差r_i(y₀)＝||y₀-Aδ_i(α₁)||₂或残差最小的那一类即为最终的分类结果。

按照角度范围将人脸姿势分为0°(准正脸)、(0°,-15°]、(-15°,-30°]、(0°,15°]、(15°,30°]共5个类别。

读取的待测图像资源由拍摄设备采集，采集的图像的效果包括：光照多变、被遮挡、呈像模糊、低分辨率。

本发明读取待测人脸图片，提取人脸检测窗口的NPD特征，并进行人脸检测；对所有检测出的人脸窗口利用基于NPD特征的改进的稀疏表示的分类算法进行人脸姿势分类，该特征的提取方法仅是通过任意两个像素值计算得来，并且具有尺度不变性，克服了姿势分类问题中的遮挡、光照变化，低分辨率和模糊等困难，并且降低了特征提取的时间复杂度和计算复杂度。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (4)

1.一种基于归一化像素差特征的人脸姿势分类方法，其特征在于，包括以下步骤：

S1：读取一张待测人脸图片；

S2：提取人脸检测窗口的归一化像素差特征，并进行人脸检测；

S3：对所有检测出的人脸窗口利用基于归一化像素差特征的改进的稀疏表示的分类算法进行人脸姿势分类。

2.根据权利要求1所述的基于归一化像素差特征的人脸姿势分类方法，其特征在于，所述步骤S2的过程为：

对每一个人脸检测窗口，提取它的归一化像素差特征；其中，两个像素x,y间的归一化像素差特征定义为：

$f(x,y)=\frac{x-y}{x+y}---\left(1\right)$

其中x,y≥0代表两个像素的像素强度值；当x,y＝0时f(0,0)＝0；f(x,y)的符号代表了x,y之间的顺序关系，大小代表了x,y之间的相关差异；f(x,y)是反对称的，所以f(x,y)和f(y,x)对于特征表达来说是等价的，大大减小了特征空间；一个s*s大小的图像块，可以向量化为一个p*1长度的特征向量，其中p＝s*s，则计算该图像块的归一化像素差特征，任意两个像素的归一化像素差特征记做f(x_i,y_i)，则共可产生p(p-1)/2个归一化像素差特征，即把原始图像块I＝(x₁,x₂,…,x_p)^T映射到了归一化像素差特征空间f＝(f(x₁,x₂),f(x₁,x₃),…,f(x_p-1,x_p))^T。

3.根据权利要求2所述的基于归一化像素差特征的人脸姿势分类方法，其特征在于，所述步骤S3的过程为：

将归一化像素差特征与基于稀疏表示的分类算法相结合，应用改进的基于稀疏表示的分类算法进行稀疏表示，将检测出的人脸窗口按照不同的角度范围将人脸姿势进行分类操作：

记为一组训练样本的第i个目标类，s_i,j,j＝1,2,…,n_i是来自第i类的第j个训练样本，记作一个m维的向量，对于来自这一类测试任一样本y₀∈R_m通过来自A_i中的样本的线性组合来表示，即其中是系数向量，若一共有K个目标类，记A＝[A₁,A₂,…A_K]为来自K个类的n个训练样本的集合，其中n＝n₁+n₂+…+n_k，y₀可以用所有训练样本的线性组合来表示，即y₀＝Aα，在发生遮挡或者损毁的情况下，测试用样本可以重写为：

$y=y_0+e_0=A\mathrm{\α}+e_0=\[A,A_e\]\left[\begin{array}{c}\mathrm{\α}\\ {\mathrm{\α}}_e\end{array}\right]=\mathrm{\β}\mathrm{\ω}---\left(2\right)$

y₀和遮挡误差e₀通过训练样本字典A和遮挡字典A_e，就能得到相应的稀疏表达，在基于稀疏表示的分类算法中，遮挡字典A_e被设置为正交矩阵；

记归一化像素差特征向量为χ，无遮挡的SRC可表示为：

χ(y₀)＝X(A₁)α₁+X(A₂)α₂+…+X(A_K)α_K＝X(A)α

其中，X(A)＝[X(A₁)X(A₂)…X(A_K)]，

有遮挡时的SRC可表示为：

$\mathrm{\χ}\left(y\right)=\[X\left(A\right),X\left(A_e\right)\]\left[\begin{array}{c}\mathrm{\α}\\ {\mathrm{\α}}_e\end{array}\right]=X\left(B\right)\mathrm{\ω}$

其中，X(A_e)是基于归一化像素差特征的遮挡字典，α_e是输入的NPD特征χ(y)相应的表示系数向量；

通过解L1的范数最小化问题或计算残差r_i(y₀)＝||y₀-Aδ_i(α₁)||₂或残差最小的那一类即为最终的分类结果。

4.根据权利要求1-3任一项所述的基于归一化像素差特征的人脸姿势分类方法，其特征在于，所述读取的待测图像资源由拍摄设备采集，采集的图像的效果包括：光照多变、被遮挡、呈像模糊、低分辨率。