CN101751559A - 人脸皮肤斑痣点检测及利用皮肤斑痣识别人脸的方法 - Google Patents

Abstract

本发明提供一种人脸皮肤斑痣点检测方法，包括检测人脸图像中人脸皮肤上的斑痣点；计算人脸图像的斑痣点的显著性及特征，并根据所述显著性对所述斑痣点分层。本发明还提供了一种利用皮肤斑痣识别人脸的方法，包括：检测出待识别人脸图像上分层次的斑痣点；计算所述待识别人脸图像各层斑痣点与标准人脸图像中对应层次斑痣点之间的空间距离和相似度，进而计算每一层上所述待识别人脸图像与所述标准人脸图像间的相似度；根据所述待识别人脸图像与所述标准人脸图像在每一层上的相似度来计算这两幅图像之间的整体相似度。本发明提高了人脸识别的准确性。

Description

人脸皮肤斑痣点检测及利用皮肤斑痣识别人脸的方法

技术领域

本发明涉及人脸识别领域，特别涉及一种利用皮肤斑痣识别人脸的方法。

背景技术

人脸识别在图像处理领域中具有广泛的应用。现有的人脸识别方法主要是从人脸图像上提取全局特征(如整幅图像的灰度特征、Fourier特征、DCT特征等)或局部特征(如Gabor特征、LBP特征等)，然后利用所提取的全局特征或局部特征来实现人脸的识别。随着摄影、摄像设备的不断进步，通过这些设备所能获取图像的分辨率也在不断提高，相应的，图像所能表达的皮肤纹理信息也将更加明显。因此，利用皮肤纹理信息来实现人脸的识别已经成为人脸识别方法的新的发展方向。

在现有技术中已经存在利用皮肤纹理信息来识别人脸的相关方法。在参考文献1“Jean-S′ebastien Pierrard，Thomas Vetter，‘Skin Detail Analysis forFace Recognition’，Proceedings of the 2007 Conference on Computer Vision andPattern Recognition”和参考文献2“Anil K.Jain and Unsang Park，‘FACIALMARKS：SOFT BIOMETRIC FOR FACE RECOGNITION’，IEEE InternationalConference on Image Processing(ICIP)，2009”中，都提出了利用皮肤纹理信息来做人脸识别的相关方法。该类方法主要包括以下步骤：

步骤1)、对输入的人脸图像利用多尺度的Blob检测子进行Blob点检测。

步骤2)、通过主动形状模型(参见参考文献1)或三维形变模型(3DMorphable Model)(参见参考文献2)获取人脸图像的皮肤区域。

步骤3)、根据步骤2)得到的皮肤模板，找到皮肤区域上的Blob点集合。

步骤4)、对步骤3)所得到的Blob点集合，计算Blob点的显著性并选择出显著度量值足够大的Blob点。

步骤5)、根据步骤4)得到的Blob点，直接利用Blob点的空间位置(参见参考文献1)或特征点的显著性(参见参考文献2)进行匹配，将匹配结果作为两幅图像的相似度。

从对上述方法的步骤描述可以看出，现有技术直接利用Blob点来计算图像的相似度，但在实际应用中，Blob点之间存在较大的差异性，如果不分情况，将所有的Blob点都等同看待，将会影响最后计算得到的相似度的准确性。

发明内容

本发明的目的是克服现有技术不对Blob点加以区分，影响相似度计算结果准确性的缺陷，从而提供一种利用皮肤斑痣识别人脸的方法。

为了实现上述目的，本发明提供了一种人脸皮肤斑痣点检测方法，包括：

步骤1)、检测人脸图像中人脸皮肤上的斑痣点；

步骤2)、计算人脸图像的斑痣点的显著性及特征，并根据所述显著性对所述斑痣点分层。

上述技术方案中，所述的步骤2)包括：

步骤2-1)、计算斑痣点的显著性；

步骤2-2)、将用于表示斑痣点显著性的整个数值区间分成N个区间，将各个斑痣点按照其显著性的大小划分到对应的区间内；

步骤2-3)、计算斑痣点的特征。

上述技术方案中，在所述的步骤2-1)和步骤2-2)之间还包括：

将所述斑痣点用于表示显著性的数值与一阈值进行比较，舍去低于该阈值的斑痣点。

上述技术方案中，所述的步骤2-3)包括：

步骤2-3-1)、将斑痣点所在的图像块归一到一个相同的尺度；

步骤2-3-2)、与不同尺度方向的Gabor核卷积并计算每个尺度方向核卷积结果的均值；

步骤2-3-3)、将所有核的响应组合为一个向量来表示当前斑痣点的特征。

上述技术方案中，所述的步骤1)包括：

步骤1-1)、输入包含人脸的图像；

步骤1-2)、定位人脸上的特征点，所述特征点用于描述人脸上的器官；

步骤1-3)、裁剪出人脸图像，得到待识别人脸图像；

步骤1-4)、在所述待识别人脸图像上初步检测斑痣点，得到候选斑痣点；

步骤1-5)、从所述候选斑痣点中去除位于图像边缘附近的点；

步骤1-6)、根据步骤1-2)得到的特征点从所述候选斑痣点中去除位于人脸器官上的点。

本发明还提供了一种利用皮肤斑痣识别人脸的方法，包括：

步骤1)、采用所述的人脸皮肤斑痣点检测方法检测出待识别人脸图像上分层次的斑痣点；

步骤2)、计算所述待识别人脸图像各层斑痣点与标准人脸图像中对应层次斑痣点之间的空间距离和相似度，进而计算每一层上所述待识别人脸图像与所述标准人脸图像间的相似度；所述标准人脸图像中对应层次斑痣点由所述的人脸皮肤斑痣点检测方法生成；

步骤3)、根据所述待识别人脸图像与所述标准人脸图像在每一层上的相似度来计算这两幅图像之间的整体相似度。

上述技术方案中，所述的步骤2)包括：

步骤2-1)、提取所述待识别人脸图像中某一层次的斑痣点，提取标准人脸图像中对应层次的斑痣点；

步骤2-2)、计算待识别人脸图像中的已提取斑痣点与标准人脸图像中已提取斑痣点之间的空间距离以及相似度；

步骤2-3)、根据步骤2-2)的计算结果确定形成匹配的斑痣点对；

步骤2-4)、由步骤2-3)所得到的形成匹配的斑痣点对的数目确定在该层次上所述待识别人脸图像与所述标准人脸图像间的相似度；

步骤2-5)、重复步骤2-1)到步骤2-4)，完成对所有层次上所述待识别人脸图像与所述标准人脸图像间的相似度的计算。

上述技术方案中，在所述的步骤2-3)中，两个斑痣点的空间距离小于阈值τ，且两个斑痣点的相似度大于阈值ξ，则这两个斑痣点为匹配的斑痣点对。

上述技术方案中，所述的步骤3)包括：

步骤3-1)、根据各个层次上的斑痣点在人脸识别过程中所起作用的不同，为各层斑痣点设定加权值；

步骤3-2)、结合各个层次上所述待识别人脸图像与所述标准人脸图像间的相似度以及各自的加权值，得到两幅图像之间的整体相似度。

上述技术方案中，在所述的步骤3-1)中，所述的加权值用下列公式计算得到：

$w_i=\frac{1}{{\mathrm{percent}}_i}$

其中，percent_i表示第i层的斑痣点数目占所有斑痣点数目的百分比。

上述技术方案中，在所述的步骤3)中，标准人脸图像的斑痣点信息从已存储的信息中读取，或采用所述的人脸皮肤斑痣点检测方法实时生成。

本发明的优点在于：

本发明将斑痣点分层，然后利用分层后的斑痣点计算待比较图像间的相似度，提高了人脸识别的准确性。

附图说明

图1为从人脸上提取斑痣点的示例图；

图2为人脸上特征点的分布示意图；

图3为斑痣点显著性计算的示意图；

图4为根据分层的斑痣点计算图像相似度的示例图。

具体实施方式

本发明需要根据人脸皮肤上的斑痣点来实现人脸的识别，其中所提到的斑痣点是指与人脸皮肤基色有异的点，如人脸上的雀斑、暗疮、伤疤等都会形成斑痣点。本发明在做人脸识别时，首先需要找出人脸上的斑痣点，然后再利用斑痣点将待识别的人脸与作为比较对象的标准人脸进行比较。其中，在提取斑痣点时，根据斑痣点的显著性将斑痣点分为多个层次，使得在人脸识别时可以将两个待比较图像的斑痣点分层次依次比较，得到各层斑痣点的相似度，最后计算出两个待比较图像间的整体相似度。由所述整体相似度也就能够实现人脸的识别。

下面结合附图和具体实施方式对本发明的具体实现细节予以说明。

在前面的说明中已经提到，要实现人脸识别至少需要有一个待识别的人脸图像以及一个标准人脸图像。无论是待识别人脸图像还是标准人脸图像，从图像中提取斑痣点的操作并无不同，因此，在下面的说明中以任一图像为例，对人脸皮肤上斑痣点的提取予以说明。

如图1所示，在得到一幅包含人脸的图像后，首先定位人脸上的特征点。本发明中所述的特征点是指能够用来指示人脸上特别部位的点，如用来指示嘴巴、鼻子、眉毛、眼睛的点。人脸特征点的定位可以采用现有技术中的多种方法，如主动形状模型法(ASM模型)、主动表现模型法(AAM模型)。本实施例中采用了主动形状模型(ASM模型)来定位人脸特征点，一共得到了103个特征点，图2示出了这些特征点的位置分布。上述特征点的定位将有利于后续步骤中人脸图像的裁剪以及人脸皮肤上斑痣点的提取，在下面的描述中会有进一步的说明。图1中示出了提取特征点以后的人脸图像。

由于在前文中所提到的包含人脸的图像中，人脸区域的面积可能占整个图像面积的很大一部分，也可能只占一小部分，因此，出于方便比对以及确保比对结果正确性的考虑，需要将人脸图像从整个图像中裁剪出来，后续的操作都将在裁剪后的人脸图像上进行。在裁剪的过程中，可以运用前一步骤所得到的特征点，裁剪所使用的方法可以采用现有技术中的相关方法。例如，根据用于表示眼睛位置的特征点，对输入的人脸图像进行仿射变换以裁剪出人脸区域。为了方便比对，所得到的所有裁剪的人脸图像最好固定到一个统一的尺寸上(如300×400像素)。在图1中同样示出了裁剪后的人脸图像。

在得到裁剪后的人脸图像后，就要在该图像上检测斑痣点。在前文中已经提到人脸上的斑痣点是指与人脸皮肤基色有异的点，具体的说，人脸上的斑痣点大多是中间暗周边亮的区域。根据这一特征，在本实施例中可采用多尺度的Blob检测子(如高斯差分算子)来检测人脸上不同尺度上的Blob点。对一幅输入图像I，通过多尺度Blob点检测，可以获得各个检测点的位置(x，y)以及Blob检测子的响应Res。当然，对Blob点的检测还可以采用现有技术中的其他方法，如高斯-拉普拉斯算子，最大稳定极值区域(Maximally Stable Extreme Region，MSER)都可以用来检测Blob点。本步骤所得到的检测结果可以被称为候选斑痣点。

在斑痣点的检测结果中，存在着这样一种例外：一些落在图像边缘附近的点由于所在区域也有较大的对比度，从而在Blob检测器上会有比较大的响应，因此，这些点也会被检测为斑痣点。这一现象显然会影响到最后的识别结果的准确性，需要将这些点从候选斑痣点中删除。考虑到这些点沿边缘方向有比较大的主曲率但垂直于边缘方向上的值很小，因此本实施例中，通过计算给定点的Hessian矩阵的行列式与迹，可以将这些不满足条件的Blob点去除。对于给定的第i个Blob点，其Hessian矩阵定义如下：

$H=\left[\begin{array}{cc}{D}_{\mathrm{xx}}& D_{\mathrm{xy}}\\ D_{\mathrm{xy}}& D_{\mathrm{yy}}\end{array}\right]---\left(1\right)$

其中，D_xx表示图像沿x方向的二阶梯度，D_xy表示图像先沿x方向计算梯度再沿y方向计算梯度，D_yy表示图像沿y方向的二阶梯度。

该点的迹与行列式如下面的公式所示：

Tr(H)＝D_xx+D_yy＝α+β(2)

Det(H)＝D_xxD_yy-(D_xy)²＝αβ(3)

其中，α和β分别表示矩阵H的两个特征值且α＞β。

假定特征值α是特征值β的r倍，即：α＝rβ，则有：

$\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}=\frac{{(\mathrm{\α}+\mathrm{\β})}^2}{\mathrm{\α\β}}=\frac{{(\mathrm{r\β}+\mathrm{\β})}^2}{r{\mathrm{\β}}^2}=\frac{{(r+1)}^2}{r}---\left(4\right)$

通过调整r的值，可以去除那些落在图像边缘上的Blob点，如下面的公式(5)所示，只保留满足如下条件的Blob点：

$\frac{\mathrm{Tr}{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}<\frac{{(r+1)}^2}{r}---\left(5\right)$

在候选斑痣点中，还有一些点位于人脸的五官(如前面所提到的眼睛、鼻子、眉毛、嘴巴)上，例如人眼的瞳孔，这些点也不满足对斑痣点的定义，因此也需要从候选斑痣点中去除位于这些器官上的点。由于在一开始已经定位了人脸上的特征点，因此在此可以直接利用前面所得到的特征点来排除位于器官上的点。在图2中，嘴巴的外轮廓点的标号为75～86，如果检测到的Blob点落在此区域内，则去除；对于眉毛，眼睛以及鼻子，也采用同样的方法去除落在器官上的Blob点。

从候选斑痣点集合中去除那些位于图像边缘附近的点以及位于五官上的点以后，计算剩余斑痣点的显著性。所谓的显著性是指一个斑痣点与周围皮肤基色间的差别的大小，它可以用一个数值表示。如图3所示，对于皮肤区域上的每个Blob点，计算它所在区域的显著性，其计算公式如下面的公式(6)式所示：

$\mathrm{saliency}=\frac{{({\mathrm{mean}}_{\mathrm{center}}-{\mathrm{mean}}_{\mathrm{surround}})}^2}{{\mathrm{std}}_{\mathrm{center}}^2+{\mathrm{std}}_{\mathrm{surround}}^2}---\left(6\right)$

其中，mean_center和mean_surround分别表示中心区域和周边区域的灰度均值，std_center ²和std_surround ²分别表示中心区域和周边区域的灰度方差。如果中心区域与周边区域的差异比较大而各自的方差较小，那么当前点具有很强的显著性。

作为一种优选实现方式，在得到斑痣点的用于表示显著性的数值以后，可以利用该数值对斑痣点做进一步的选择，在后续操作中将进一步选择后的结果作为操作对象。在该选择过程中，将用于表示显著性的数值与阈值t_sal进行比较，根据比较结果从斑痣点的集合中找出显著性较强的候选斑痣点作为正式的斑痣点。所述阈值t_sal的大小可以根据实际需要加以调整，如果阈值t_sal的值设得较大，则选择得到的斑痣点的显著性也就越强，但相应的，满足条件的斑痣点的数目也就越少。

在完成对斑痣点显著性的计算以后，根据计算结果将斑痣点做分层操作。在分层操作的过程中，根据显著性度量的大小划分N个区间，如[t₁，t₂)，[t₂，t₃)，...，[t_N，∞)，然后将根据计算的斑痣点显著性将斑痣点划分为N个集合set_i(1≤i≤N)，这些集合的定义如下：

Set_i＝{v|Saliency(v)≥t_i&Saliency(v)＜t_i+1}(7)

在将待比较的斑痣点划分到不同的集合中以后，还要计算各个斑痣点的特征，所述的特征用来计算点之间的相似度。在计算斑痣点的特征表示时，对于每个Blob点i所在的图像块，把它统一缩放到一个固定的尺寸(如16×16)，然后计算该图像块与5个尺度8个方向的Gabor核卷积之后的幅值并取平均值，计算所得到的结果就是该Blob点的特征，用下面的公式表示：

f_i＝G_0，0，i，…，G_0，4，i，…，G_7，0，i，…，G_7，4，i](8)

其中，G_μ，v，i表示该图像块与第μ个方向第v个尺度的Gabor核卷积得到的幅值。

在将斑痣点划分集合并计算特征后，所得到的Blob点v_i表示为：v_i＝{x_i，y_i，f_i}。

至此，在完成对候选斑痣点的选择、分层以后，得到了能够用于人脸识别的斑痣点信息。在上面的说明中已经提到，无论是待识别人脸图像还是标准人脸图像，都可以通过上述步骤提取图像中的斑痣点，但本领域技术人员应当了解，为了节约资源，在得到标准人脸图像的斑痣点信息后，可以存储相关信息，从而在其他的人脸识别操作中直接使用已有的标准人脸图像的斑痣点信息。

在得到待识别人脸图像与标准人脸图像的斑痣点信息后，就可以利用所述的斑痣点信息来实现人脸识别。如图4所示，由于两个待比较图像中的斑痣点信息分为多个层次，因此首先计算相应层斑痣点集合的相似度。对于两幅图像相应层之间的斑痣点的匹配，可采用如下的策略：假定输入图像I₁和I₂的第i层斑痣点集合分别为 ${\mathrm{Set}}_i^1=\{v_{i,1}^1,v_{i,2}^1,...,v_{i,K}^1\}$ 和 ${\mathrm{Set}}_i^2=\{v_{i,1}^2,v_{i,2}^2,...,v_{i,L}^2\},$ 其中v表示Blob点的特征表示。对于Set_i ¹中的每个斑痣点，根据公式(9)计算它与Set_i ²中每个斑痣点的空间距离，根据公式(10)计算它与Set_i ²中每个斑痣点的特征之间的相似度：

$d(v_i^1,v_j^2)=\sqrt{{(x_i^1-x_j^2)}^2+{(y_i^1-y_j^2)}^2}---\left(9\right)$

其中，d(v_1i，v_2j)和sim(v_1i，v_2j)分别表示两斑痣点的空间距离和根据局部特征计算得到的相似度。

满足如下条件的一对斑痣点才被定义为一个匹配：

$d(v_i^1,v_j^2)<\mathrm{\&tau;}---\left(11\right)$

$\mathrm{sim}(v_i^1,v_j^2)>\mathrm{\&xi;}---\left(12\right)$

其中，τ和ξ为设定的阈值。

每一层上两幅图像的相似度S_i(1≤i≤N)可以通过计算每一层上的斑痣点的匹配数目得到。

在得到两幅待比较图像在各个层次上的相似度以后，可以计算两幅图像最终的相似度。由于不同层上的斑痣点的数目不一致，而且不同层斑痣点在人脸识别过程中所起到的作用大小也不相同，因此，需要为各层斑痣点设定一个加权值，在本实施例中，该加权值根据下面的公式(13)计算得到。

$w_i=\frac{1}{{\mathrm{percent}}_i}---\left(13\right)$

其中，percent_i表示第i层的特征点数目占所有特征点数目的百分比。当然，w_i需要进行归一化以保证总和为1。

最终，两幅图像的相似度计算如下式所示：

$S(I_1,I_2)=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{w}_i*S_i---\left(14\right)$

以上是对本发明的利用斑痣点识别人脸图像的完整过程的说明。本发明的方法可以单独使用，也可以与其他人脸识别方法配合使用。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (11)

1.一种人脸皮肤斑痣点检测方法，包括：

步骤1)、检测人脸图像中人脸皮肤上的斑痣点；

步骤2)、计算人脸图像的斑痣点的显著性及特征，并根据所述显著性对所述斑痣点分层。

2.根据权利要求1所述的人脸皮肤斑痣点检测方法，其特征在于，所述的步骤2)包括：

步骤2-1)、计算斑痣点的显著性；

步骤2-2)、将用于表示斑痣点显著性的整个数值区间分成N个区间，将各个斑痣点按照其显著性的大小划分到对应的区间内；

步骤2-3)、计算斑痣点的特征。

3.根据权利要求2所述的人脸皮肤斑痣点检测方法，其特征在于，在所述的步骤2-1)和步骤2-2)之间还包括：

将所述斑痣点用于表示显著性的数值与一阈值进行比较，舍去低于该阈值的斑痣点。

4.根据权利要求2或3所述的人脸皮肤斑痣点检测方法，其特征在于，所述的步骤2-3)包括：

步骤2-3-1)、将斑痣点所在的图像块归一到一个相同的尺度；

步骤2-3-2)、与不同尺度方向的Gabor核卷积并计算每个尺度方向核卷积结果的均值；

步骤2-3-3)、将所有核的响应组合为一个向量来表示当前斑痣点的特征。

5.根据权利要求1所述的人脸皮肤斑痣点检测方法，其特征在于，所述的步骤1)包括：

步骤1-1)、输入包含人脸的图像；

步骤1-2)、定位人脸上的特征点，所述特征点用于描述人脸上的器官；

步骤1-3)、裁剪出人脸图像，得到待识别人脸图像；

步骤1-4)、在所述待识别人脸图像上初步检测斑痣点，得到候选斑痣点；

步骤1-5)、从所述候选斑痣点中去除位于图像边缘附近的点；

步骤1-6)、根据步骤1-2)得到的特征点从所述候选斑痣点中去除位于人脸器官上的点。

6.一种利用皮肤斑痣识别人脸的方法，包括：

步骤1)、采用权利要求1-5之一的人脸皮肤斑痣点检测方法检测出待识别人脸图像上分层次的斑痣点；

步骤2)、计算所述待识别人脸图像各层斑痣点与标准人脸图像中对应层次斑痣点之间的空间距离和相似度，进而计算每一层上所述待识别人脸图像与所述标准人脸图像间的相似度；所述标准人脸图像中对应层次斑痣点由权利要求1-5之一所述的人脸皮肤斑痣点检测方法生成；

步骤3)、根据所述待识别人脸图像与所述标准人脸图像在每一层上的相似度来计算这两幅图像之间的整体相似度。

7.根据权利要求6所述的利用皮肤斑痣识别人脸的方法，其特征在于，所述的步骤2)包括：

步骤2-1)、提取所述待识别人脸图像中某一层次的斑痣点，提取标准人脸图像中对应层次的斑痣点；

步骤2-2)、计算待识别人脸图像中的已提取斑痣点与标准人脸图像中已提取斑痣点之间的空间距离以及相似度；

步骤2-3)、根据步骤2-2)的计算结果确定形成匹配的斑痣点对；

步骤2-4)、由步骤2-3)所得到的形成匹配的斑痣点对的数目确定在该层次上所述待识别人脸图像与所述标准人脸图像间的相似度；

步骤2-5)、重复步骤2-1)到步骤2-4)，完成对所有层次上所述待识别人脸图像与所述标准人脸图像间的相似度的计算。

8.根据权利要求7所述的利用皮肤斑痣识别人脸的方法，其特征在于，在所述的步骤2-3)中，两个斑痣点的空间距离小于阈值τ，且两个斑痣点的相似度大于阈值ξ，则这两个斑痣点为匹配的斑痣点对。

9.根据权利要求6所述的利用皮肤斑痣识别人脸的方法，其特征在于，所述的步骤3)包括：

步骤3-1)、根据各个层次上的斑痣点在人脸识别过程中所起作用的不同，为各层斑痣点设定加权值；

步骤3-2)、结合各个层次上所述待识别人脸图像与所述标准人脸图像间的相似度以及各自的加权值，得到两幅图像之间的整体相似度。

10.根据权利要求9所述的利用皮肤斑痣识别人脸的方法，其特征在于，在所述的步骤3-1)中，所述的加权值用下列公式计算得到：

$w_i=\frac{1}{\mathrm{percen}{t}_i}$

其中，percent_i表示第i层的斑痣点数目占所有斑痣点数目的百分比。

11.根据权利要求1所述的利用皮肤斑痣识别人脸的方法，其特征在于，在所述的步骤3)中，标准人脸图像的斑痣点信息从已存储的信息中读取，或采用权利要求1-5之一所述的人脸皮肤斑痣点检测方法实时生成。

Images