CN101408929A - 一种用于人脸识别系统的多模板人脸注册方法和装置 - Google Patents

Abstract

提供一种人脸图像注册装置，所述装置包括：输入单元，输入待注册图像；人脸检测单元，对通过输入单元输入的待注册图像执行人脸检测；眼睛定位单元，对经过人脸检测单元检测得到的人脸图像执行眼睛定位；人脸区域分割单元，根据眼睛定位单元已经定位出的眼睛的位置来切割人脸区域；人脸特征提取单元，对人脸区域分割单元切割出来的人脸区域提取人脸特征；评估单元，根据人脸特征提取单元提取的人脸特征来评估人脸图像；以及注册单元，根据评估单元的评估结果来确定是否向人脸识别系统注册图像。

Description

一种用于人脸识别系统的多模板人脸注册方法和装置

技术领域

本发明涉及一种人脸注册方法和装置，具体地说，涉及一种人脸识别系统的多模板人脸注册方法和装置。

背景技术

现有技术中，在向人脸识别系统注册人脸的时候，通常采用“随到，随注册”的方法。也就是说，每收到一张人脸图像，就将它注册到人脸识别系统中，当注册到一定数量人脸图像，便不再注册。这种随机注册人脸图像不能确保注册的人脸图像是否对今后的识别有用，很容易导致注册同一个人的大量雷同的照片。使得系统在面对大变化的识别时，识别率很低。例如在注册的时候，如果只有一种姿态注册到人脸识别系统中，而在识别时，待识别照片姿态与注册照片姿态相差很大，那么就非常难于被识别出来，从而导致识别率很低。

图1是描述现有技术的人脸注册过程的流程图。

参照图1，在步骤S101，首先输入待注册的图像。然后，在步骤S102执行人脸检测，以寻找人脸区域的大体位置。在确定人脸区域的大体位置之后，在步骤S103进行眼睛定位。步骤S104根据眼睛的位置切割人脸区域，并且在步骤S105提取人脸的特征，并在步骤S106向人脸识别系统注册。

在根据图1所示的方法注册了人脸图像之后，得到如图2所示的人脸图像库。作为示例，在图2中示出A、B、C和D4个人的人脸，每个人注册了5张人脸图像。

从图2中的已注册图像可以看出，对同一人很容易造成只注册到某种姿态、表情、光线的图像。

当根据图2所示的注册的人脸库判断某人是人脸库中的哪个人时，很容易发生错误，如图3所示。在图3中，当判断人脸图像1属于哪个人时，由于对于人C只注册了左脸，而待识别的人脸图像是右脸，导致在寻找与人脸图像1匹配的人时，误认为人脸图像1属于注册了右脸的人B。

为了避免注册的时候，向人脸识别系统多次注册一种姿态、表情、光线的人脸图像。因此，在注册的时候，需要一种能够提高识别准确率的人脸识别方法。

发明内容

本发明的目的在于提供一种能够提高识别准确率的人脸图像注册方法和装置，在所述方法中对待注册的图像进行评估，看看该种姿态、表情、光线的人脸图像是否已经注册，如果已经被注册了，就不再重新注册，从而减少同一个人雷同照片被注册，使得注册的照片尽量覆盖各种变化。本发明能够使得识别的准确率提高。

为了实现上述目的，根据本发明的一方面，提供一种人脸图像注册方法，所述方法包括步骤：一种人脸图像注册方法，所述方法包括步骤：输入待注册图像；对输入的待注册图像执行人脸检测；对经过检测得到的图像执行眼睛定位；根据已经定位出的眼睛的位置来切割人脸区域；对切割出来的人脸区域提取人脸特征；根据提取的人脸特征来评估人脸图像；以及根据评估结果来确定是否向人脸识别系统注册图像。

所述评估人脸图像的步骤还包括：判断待注册图像所属的人是否已经在人脸识别系统中注册过；如果判断待注册图像所属的人已经在人脸识别系统中注册过，则计算待注册图像与已注册图像之间的相似度；检测是否已经完成所有已注册图像与待注册图像之间的相似度计算；以及在已经完成所有已注册图像与待注册图像之间的相似度计算之后，排序计算相似度的最大值，并将相似度的最大值与预设阈值进行比较，以判断是否对待注册图像进行注册。

如果判断待注册图像所属的人没有在人脸识别系统中注册过，对待注册图像进行注册。

根据本发明的一方面，提供一种人脸图像注册装置，所述装置包括：输入单元，输入待注册图像；人脸检测单元，对通过输入单元输入的待注册图像执行人脸检测；眼睛定位单元，对经过人脸检测单元检测得到的图像执行眼睛定位；人脸区域分割单元，根据眼睛定位单元已经定位出的眼睛的位置来切割人脸区域；人脸特征提取单元，对人脸区域分割单元切割出来的人脸区域提取人脸特征；评估单元，根据人脸特征提取单元提取的人脸特征来评估人脸图像；以及注册单元，根据评估单元的评估结果来确定是否向人脸识别系统注册图像。

所述评估单元包括：判断单元，判断待注册图像所属的人是否已经在人脸识别系统中注册过；相似度计算单元，如果判断单元判断待注册图像所属的人已经在人脸识别系统中注册过，则计算待注册图像与已注册图像之间的相似度；检测单元，检测是否已经完成所有已注册图像与待注册图像之间的相似度计算；以及比较单元，如果已经完成所有已注册图像与待注册图像之间的相似度计算，则从相似度计算单元计算的相似度找出相似度的最大值，并将相似度的最大值与预设阈值进行比较，以判断是否对待注册图像进行注册。

如果判断单元判断待注册图像所属的人没有在人脸识别系统中注册过，对待注册图像进行注册。

将在接下来的描述中部分阐述本发明另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明的实施而得知。

附图说明

通过下面结合附图对本发明的示例性实施例进行的描述，本发明的上述和其它目的、特点和优点将会变得更加清楚，其中：

图1是示出现有技术的人脸注册方法的流程图；

图2是示出根据现有技术的人脸注册方法注册的人脸图像库；

图3是示出使用图2所示的人脸图像库来识别人脸的示例；

图4是示出根据本发明的示例性实施例的人脸图像识别装置的框图；

图5是示出根据本发明的示例性实施例的向人脸识别系统注册人脸图像的人脸注册方法的流程图；

图6是示出根据本发明的示例性实施例的评估模块的框图；

图7是示出根据本发明的示例性实施例的对待注册的图像进行评估的流程图；

图8是采用本发明的方法判断是否对待注册图像进行注册的示例；

图9是采用本发明的方法判断是否对待注册图像进行注册的另一示例；

图10是根据本发明的人脸注册方法注册的人脸图像库的示例；以及

图11是使用图10所示的人脸图像库来识别人脸的示例。

具体实施方式

提供例如详细的结构和部件的在说明书中定义的内容以帮助全面理解本发明的实施例。因此，本领域的普通技术人员将认识到，在不脱离本发明的范围和精神的情况下，可对在此描述的实施例进行各种改变和修改。另外，为了清楚和简明，将省略对已知功能和结构的描述。

现在，详细描述本发明的实施例，其示例在附图中表示，其中，相同的标号始终表示相同的部件。以下通过参考附图描述实施例以解释本发明。

图4是示出根据本发明的示例性实施例的人脸图像注册装置的框图。

参照图4，根据本发明的示例性实施例的人脸图像注册装置100包括：输入单元110、人脸检测单元120、眼睛定位单元130、人脸区域分割单元140、人脸特征提取单元150、评估单元160和注册单元170。

输入单元110输入待注册的图像。当需要向人脸注册系统注册人脸图像时，通过输入单元110来输入待注册的图像。

人脸检测单元120检测从输入单元110输入的待注册图像，以找出人脸区域。

眼睛定位单元130在已找出的人脸区域中对人的眼睛进行定位。也就是说，在已经确定的人脸区域内寻找并确定眼睛的位置，然后将两只眼睛的中心位置坐标计算出来。在本发明的示例性实施例中，采用主动形状模型对两只眼睛的眼皮和眼角进行搜索。在搜索过程中，计算待定位图像的梯度变化特征，然后搜索那些梯度变化特征与主动形状模型中的眼皮、眼角的特征最吻合的位置，从而搜索待定位图像的眼皮及其眼角位置。

人脸区域分割单元140根据已经定位出的眼睛的位置对输入的待注册图像进行分割。根据眼睛定位单元130给出的眼睛位置，将眼睛位置对齐到一个预先定义的位置，然后将人脸区域切割出来。当人脸区域切割时，根据待切割图像眼睛位置与预先定义的眼睛位置关系，对待切割的人脸区域图像进行几何旋转、平移、伸缩。最后得到眼睛位置固定的、图像大小固定的人脸图像。

人脸特征提取单元150对通过人脸区域分割单元140分割出来的人脸图像提取人脸特征。提取的人脸特征是Gabor小波特征。对图像的每一个像素位置进行多尺度、多方向的小波特征提取，从而形成高维的特征向量。

评估单元160根据通过人脸特征提取单元150提取的人脸特征来评估待注册的图像是否需要进行注册。

注册单元170根据评估单元160的评估结果来确定是否向人脸识别系统注册图像。

图5是示出根据本发明的示例性实施例的人脸图像注册方法的流程图。

参照图5，首先，在步骤S501，输入单元110输入待注册的图像。

然后，在步骤S502，人脸检测单元120执行人脸检测。即，对输入的待注册图像进行检测，以在所述图像中寻找人脸区域的大体位置，并且确定人脸的大体尺寸。根据本发明的示例性实施例的人脸检测采用最大的拒绝法。也就是说，首先对于那些显著不是人脸的区域采用简单的分类器进行优先排除；接着再采用稍微复杂点的分类器，对于那些不是特别显著的图像区域进行再次排除；最后采用比较复杂的分类器，对于那些不是人脸，却与人脸及其相似的区域进行最后的排除。经过这样的处理后，剩下的没有被排除的区域就是人脸区域。

在进行人脸检测之后，进入步骤S503对眼睛进行定位。眼睛定位单元130在已经确定的人脸区域内寻找并确定眼睛的位置。将两只眼睛的中心位置坐标计算出来。在本发明的示例性实施例中，采用主动形状模型对两只眼睛的眼皮和眼角进行搜索。在搜索过程中，眼睛定位单元130计算待定位图像的梯度变化特征，然后搜索那些梯度变化特征与主动形状模型中的眼皮、眼角的特征最吻合的位置，从而搜索待定位图像的眼皮及其眼角位置。

经过步骤S503对眼睛进行定位之后，在步骤S504进行人脸区域分割。根据上述步骤S503给出的眼睛位置，将眼睛位置对齐到一个预先定义的位置，然后将人脸区域切割出来。当人脸区域切割时，根据待切割图像眼睛位置与预先定义的眼睛位置关系，对待切割的人脸区域图像进行几何旋转、平移、伸缩。最后得到眼睛位置固定的、图像大小固定的人脸图像。

在切割人脸区域之后进行步骤S505的人脸特征提取。在本发明的示例性实施例中，所提取的人脸特征是Gabor小波特征。人脸特征提取单元150对图像的每一个像素位置进行多尺度、多方向的小波特征提取，从而形成高维的特征向量。

在步骤S506，评估单元160根据提取的人脸特征来评估待注册人脸是否需要进行注册。将参照图5来详细描述评估是否将待注册人脸图像注册到人脸识别系统的过程。

如果在步骤S506确定需要对待注册人脸进行注册，则进行步骤S507，将待注册人脸图像注册到人脸识别系统。如果在步骤S506确定不需要对待注册人脸图像进行注册，则不注册所输入的待注册图像。

下面将参照图6和图7对图5中的步骤S506进行详细描述。

图6是示出根据本发明的示例性实施例的评估模块160的框图。

参照图6，评估单元160包括判断单元161、相似度计算单元162、检测单元163和比较单元164。

判断单元161用于判断待注册的图像所属的人是否在人脸识别系统中注册过。

如果待注册的图像所属的人已经在人脸识别系统中注册过，则相似度计算单元162计算待注册的图像与该人已经注册的人脸图像之间的相似度。

在相似度计算单元162计算待注册的图像与该人已注册的图像中的一个之间的相似度之后，由检测单元163检查已注册图像中是否存在没有与待注册图像进行对比的图像。如果检测单元163检查出还存在未与待注册图像进行对比的图像，则相似度计算单元162继续计算未进行比较的图像与待注册图像之间的相似度。

比较单元164将相似度计算单元162计算出的相似度进行排列，并找出的相似度的最大值，并将相似度的最大值与预先设置的阈值进行比较，以判断待注册图像是否需要进行注册。

图7是示出根据本发明的示例性实施例的评估是否将待注册人脸注册到人脸识别系统的流程图。

首先，在步骤S701，判断单元161判断待注册的图像所属的人是否在人脸识别系统中注册过。如果待注册的图像所属的人没有在人脸识别系统中注册过，则进入步骤S507，直接将待注册的图像注册到人脸注册系统。相反，如果待注册的图像所属的人已经在人脸识别系统中注册过，则进行到步骤S702。在步骤S702，相似度计算单元162将输入的待注册人脸图像与该人已经注册的所有人脸图像中的一个进行对比，也就是说，计算待注册图像与该人已经注册的所有人脸图像中的一个的相似度。在计算相似度时，根据在步骤S505提取的人脸图像特征，相似度计算单元162计算待注册图像的特征矢量与已注册图像的特征向量之间的cosine距离。计算出的cosine距离就是相似度。在相似度的计算中，cosine距离只是其中的一种方法。相似度的计算可以采用很多种计算方式，诸如欧几里德距离、马氏距离等等。现将详细描述对两者之间cosine距离的计算。

假设待注册图像的特征矢量是v1，已注册图像的特征向量是v2。在计算两幅图像的特征向量之间的cosine距离的时候，首先计算各自特征向量的模(norm)。利用等式1计算norm。

等式1：

norm＝v[1]·v[1]+v[2]·v[2]K+v[N]·v[N]

利用等式1计算v1的norm为norm1＝v1[1]·v1[1]+v1[2]·v1[2]+…+v1[N]·v1[N]，计算v2的norm为norm2＝v2[1]·v2[1]+v2[2]·v2[2]+…+v2[N]·v2[N]。

然后，利用等式2计算两个向量的cosine距离。

等式2：

s＝(v1[1]·v2[1]+v1[2]·v2[2]K+v1[N]·v2[N])/(sqrt(norm1)·sqrt(norm2))

计算的cosine距离即为待注册图像的特征矢量与已注册图像的特征向量之间的相似度。

在步骤S703，检测单元163检查已注册图像中是否存在没有与待注册人脸图像进行对比的人脸图像。如果在步骤S703检查出已注册图像中存在没有与待注册人脸图像进行对比的人脸图像，则返回步骤S702，计算待注册人脸图像与已注册图像的相似度，直到完成所有已经注册的图像与待注册图像的对比。

已经完成所有已经注册的图像与待注册图像的对比之后，在步骤S704，比较单元164将相似度计算单元162计算出来的相似度进行排列，并找出计算的所有相似度中的最大值。接着在步骤S705，比较单元164将相似度的最大值与预先定义的阈值T进行比较。如果相似度的最大值大于阈值T，则说明该类型的图像已经注册，不可以再进行注册。如果相似度的最大值不大于阈值T。则说明该类型图像还没有注册，可以进行注册。然后进行图5的步骤S507，将待注册人脸图像注册到人脸识别系统。

图8和图9分别是采用根据本发明的示例性实施例的方法判断是否对待注册图像进行注册的两个示例。

在图8中，假设已经对人E注册了4张人脸图像，将待注册图像E0与人E的已注册的人脸图像E1、E2、E3和E4分别进行比较，即分别计算E0与E1、E2、E3和E4之间的相似度。对计算的相似度进行排序，将相似度的最大值与预设阈值T进行比较。判断结果是相似度的最大值(E0与E4之间的相似度)大于阈值T，因此不再对E0进行注册。

在图9中，假设已经对人F注册了4张人脸图像，将待注册图像F0与人F的已注册的人脸图像F1、F2、F3和F4分别进行比较，即分别计算F0与F1、F2、F3和F4之间的相似度。对计算的相似度进行排序，将相似度的最大值与预设阈值T进行比较。判断结果是相似度的最大值小于阈值T，因此对F0进行注册。

图10是采用本发明的方法注册的人脸图像库的示例。在图10所示的示例中为X、Y、Z和W4个人中的每个人注册了5张人脸图像。图11是使用图10所示的人脸图像库识别人脸的示例。在图11中，当判断图像2属于哪个人时，由于采用本发明的方法注册的人脸库尽量覆盖每个人的各种变化，因此可以很容易地识别出图像2属于人X。

采用根据本发明的示例性实施例的具有评估能力的人脸图像注册方法和人脸图像注册装置进行注册，能够使注册图像尽量覆盖各种变化，减少同一人雷同照片被注册，从而使得识别的准确率提高。

尽管已经参照其特定的示例性实施例显示和描述了本发明，但本领域的技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对其进行形式和细节的各种改变。因此，本发明的范围不限于上述实施例，而是由权利要求及其等同物来限定。

Claims (14)

1、一种人脸图像注册方法，所述方法包括步骤：

输入待注册图像；

对输入的待注册图像执行人脸检测；

对经过检测得到的图像执行眼睛定位；

根据已经定位出的眼睛的位置来切割人脸区域；

对切割出来的人脸区域提取人脸特征；

根据提取的人脸特征来评估人脸图像；以及

根据评估结果来确定是否向人脸识别系统注册图像。

2、如权利要求1所述的人脸图像注册方法，其中，在评估人脸图像的步骤中包括：

判断待注册图像所属的人是否已经在人脸识别系统中注册过；

如果判断待注册图像所属的人已经在人脸识别系统中注册过，则计算待注册图像与已注册图像之间的相似度；

检测是否已经完成所有已注册图像与待注册图像之间的相似度计算；以及

在已经完成所有已注册图像与待注册图像之间的相似度计算之后，排序计算相似度的最大值，并将相似度的最大值与预设阈值进行比较，以判断是否对待注册图像进行注册。

3、如权利要求2所述的人脸图像注册方法，其中，在评估人脸图像的步骤中还包括：如果判断待注册图像所属的人没有在人脸识别系统中注册过，则对待注册图像进行注册。

4、如权利要求1所述的人脸图像注册方法，其中，执行人脸检测使用最大的拒绝法。

5、如权利要求1所述的人脸图像注册方法，其中，执行眼睛定位使用主动形状模型。

6、如权利要求1所述的人脸图像注册方法，其中，在提取人脸特征的步骤中，提取的人脸特征是Gabor小波特征。

7、如权利要求2所述的方法，其中，计算待注册图像的特征向量和已注册图像的特征向量之间的距离来作为待注册图像和已注册图像之间的相似度。

8、一种人脸图像注册装置，所述装置包括：

输入单元，输入待注册图像；

人脸检测单元，对通过输入单元输入的待注册图像执行人脸检测；

眼睛定位单元，对经过人脸检测单元检测得到的图像执行眼睛定位，以得到眼睛的位置；

人脸区域分割单元，根据眼睛定位单元已经定位出的眼睛的位置来切割人脸区域；

人脸特征提取单元，对人脸区域分割单元切割出来的人脸区域提取人脸特征；

评估单元，根据人脸特征提取单元提取的人脸特征来评估人脸图像；以及

注册单元，根据评估单元的评估结果来确定是否向人脸识别系统注册图像。

9、如权利要求8所述的人脸图像注册装置，其中，评估单元包括：

判断单元，判断待注册图像所属的人是否已经在人脸识别系统中注册过；

相似度计算单元，如果判断单元判断待注册图像所属的人已经在人脸识别系统中注册过，则计算待注册图像与已注册图像之间的相似度；

检测单元，检测是否已经完成所有已注册图像与待注册图像之间的相似度计算；以及

比较单元，如果已经完成所有已注册图像与待注册图像之间的相似度计算，则从相似度计算单元计算的相似度排序找出相似度的最大值，并将相似度的最大值与预设阈值进行比较，以判断是否对待注册图像进行注册。

10、如权利要求9所述的人脸图像注册装置，其中，如果判断单元判断待注册图像所属的人没有在人脸识别系统中注册过，则对待注册图像进行注册。

11、如权利要求8所述的人脸图像注册装置，其中，人脸检测单元使用最大的拒绝法。

12、如权利要求8所述的人脸图像注册装置，其中，眼睛定位单元使用主动形状模型。

13、如权利要求8所述的人脸图像注册装置，其中，人脸特征提取单元提取的人脸特征是Gabor小波特征。

14、如权利要求9所述的人脸图像注册装置，其中，相似度计算单元计算待注册图像的特征向量和已注册图像的特征向量之间的距离来作为待注册图像和已注册图像之间的相似度。

Images