CN1045129C - 个人识别装置 - Google Patents

Abstract

人的面孔图象从图象输入部输入，从输入面孔图象中抽出眼、鼻、口等的特征点，使用抽出来的特征点，按指定的规则将面孔图象分割成多个图象单元，将面孔图象作为单元的集合来记述。并且，抽出每个单元的特征量，把面孔图象作为特征量的集合来表现，从而来识别一个人。

Description

个人识别装置

技术领域：

本发明涉及为了允许人们进入室内而根据人的面孔图像识别是不是其本人以及从数据文件中依次检索出与输入的面孔图象近似的个人的个人识别装置。

背景技术：

先有的根据面孔图像的个人识别技术例如有特开昭63-177273号专利公开文件上记载的技术。下面对其构成进行说明。

第15图表示先有的根据面孔图象的个人识别装置的一种构成的方框图。图中21是输入面孔图象的图象输入部；22是由A/D变换器、中央处理器、存储器等构成的特征点抽出部；23是将人的面孔图象特征点记录在卡片等上的个人数据库；24是利用从上述特征点抽出部22和上述个人数据库23来的特征点信息检出其差分，根据得到的差分是否大于某一阀值进行是不是其本人的个人识别的判定部。

在上述先有的技术中进行个人识别时，通过特征点抽出部22将从图象输入部21输入的面孔图象的特征点抽出来，通过判定部检出该特征点与个人数据库登记的面孔图像的特征点的差别，根据该差别的大小来进行个人识别处理。这时，当两幅面孔图象之间存在着图象大小、摄影角度的差别时，特征点之间的差别就会增大，从而出现即使是同一个人却被当成是另一个人的情况。此外，为了防止出现这样的事情，必需将图象输入部与被摄影者的距离固定，输入正面图象。但是，用这样的输入方法一方面对被摄影者来说是个负担，另外无论怎样调整姿势使正面对着镜头也会由于面部的微小偏转、倾斜使之很难进行正确的正面摄影。

本发明的基本目的在于提供一种具有高识别能力的个人识别装置。

本发明的目的还在于提供一种即使在摄影条件(照明条件、面部方向等)多少产生变动时也能进行正确的判定的个人识别装置。

发明的公开：

为达到上述目的，本发明在将输入的人的面孔图象中将眼、鼻、口等部位的特征点抽出来的基础上，利用抽出来的特征点将面孔图象分割成三角形等小单元，将面孔图象作为这一单元集合来记述。而且，按每个单元分别抽出特征量，根据抽出来的特征量的集合来特定人的面孔图象。作为特征量可以使用各单元的平均亮度。这时，因为是作为单色图象来处理的，虽然处理比较简单，但得到的由浓淡不同的单元形成的图象可以充分反映面孔特征，并且，凹凸和平坦度、弯曲度等也可以间接地表现出来。因而，通过使用这些特征量便能正确地进行个人图象识别。此外，作为特征量除了平均亮度之外还可以利用相邻单元的亮度差。

实际的方法是，使用把基准图象作为单元的集合记述下来的基准构造模型，将输入的面孔图象的特征点抽出来之后与基准构造模型的特征点进行比较，在从基准构造模型中抽出来的特征点信息的基础上进行变形拟合得到与输入的面孔图象对应的拟合构造模型。这样求得的拟合构造模型，如前所述，作为单元集合来表现，并抽出各单元的特征量。

抽出的特征量与事先准备好的个人数据库的各个人的特征量进行比较，通过计算两特征量之间的差距来检出其一致度。当要确认某个人时只要与数据库中这个人的数据进行比较即可，当要检索某个人时，依次与个人数据库中的数据进行比较，抽出其中一致度最高的面孔图象。

基准构造模型可以是2维模型也可以是3维模型。在3维模型时，如果把各单元的法线矢量与亮度一起作为特征量抽出的话，就能够比较明确地表现面孔的凹凸、根据亮度分布可以推定光源的位置，从而可以进行与光源位置对应的修正。此外，在面部相对照相机多少有点倾斜的情况下，通过修正以使亮度分布左右对称，可以防止因倾斜而产生的判定误差。

附图的简单说明：

根据对附图示出的本发明的最佳实施例的如下说明，即可知道本发明的目的和特征。

第1图是本发明的个人识别装置的系统构成图。

第2图是本发明的个人识别装置的实施例的方框图。

第3图是表示面孔特征点的说明图。

第4图、第5图、第6图及第7图分别是表示眉、眼、鼻、口的特征点的位置的放大说明图。

第8图是表示抽出来的特征点的分布图。

第9图是表示基准构造模型的框架构造的图；第10图是表示在抽出来的特征点的基础上对第9图的基准构造模型变形拟合后的框架构造的图。

第11图是本发明的个人识别装置的系统草图。

第12图是特征点抽出的流程图。

第13图是说明顶点线性内插方式的说明图。

第14图是表示本发明的个人识别装置的现有的一个实施例的方框图。

第15图是表示先有的个人识别装置的构成的方框图。

实施本发明的最佳形态：

下面详细说明本发明的实施例。

<系统构成>

本发明的个人识别装置的硬件如第1图所示，基本上由用于对被识别人的面部进行摄象的摄象机1组成的图象输入部2、和由输入摄象机1摄影下来的面孔图象数据的微型计算机3组成的图象处理部4构成。该图象处理部4具有由微型计算机机3、显示必要信息的显示器5、记录必要信息的打印机6、操作微型计算机3的键盘7和鼠标器(图中未示出)构成的操作装置。

<功能方框的构成>

第2图是表示本发明的第1实施例的、把对微型计算机3输入的面孔图象进行图象处理的内容当作功能块抽出来表示的方框图。

从图象输入部2输入的面孔图象首先存放到图象记忆部12，特征点抽出部13如下面所述从存放的面孔图象中抽出特征点。这里特征点这一术语意味着为了对如图3的黑点例示那样，为了特别指定构成面孔图象的各个要素、如眼、鼻、口、头、颊等而事先确定的点。因此，所谓特征点的抽出即意味着检出例如表示眼睛瞳孔中心的特征点究竟位于输入面孔图象上的什么位置，根据检出各个特征点的位置信息来记述个人的面孔特征。第4图、第5图、第6图、第7图分别详细地表示了眉、眼、鼻、口的特征点。关于特征点的抽出方法将在后面叙述，第8图仅例示出已抽出的特征点。

由特征点抽出部13对其位置已指定的特征点在构造模型拟合部15中分别与事先确定的面孔的基准构造模型的特征点进行比较，对基准构造模型进行变形拟合，使基准构造模型的每个特征点与抽出来的对应特征点一致。

基准构造模型又称之为基准线条框架，如第9图例示的那样，是将基准面孔图象分割成多个小单元(patch)作为单元的集合而近似表现的图形。这些单元可以是任意的多角形(polygon)，但从容易处理的角度来看，最好是使用第5图所示的三角形。具体拟合方法后面再述，用第8图所示的抽出特征点对第9图的基准构造模型进行拟合的结果如第10图所示。以下将拟合后的构造模型称为拟合构造模型。

再回到第2图中来，特征量抽出部16在由构造模型拟合部15得出的拟合构造模型的基础上，将存放在图象记忆部12中的面孔图象的每个单元一个一个地挑出来，抽出每个单元的特征量。作为特征量可以使用例如单元内的平均亮度。当把亮度作为特征量时，在一定的照明条件下面孔表面的亮度分布比较忠实地反映出面孔的立体形状。此外，亮度分布还具有不容易受摄象时面部偏向一边的影响的优点。特征量不限于各单元的亮度(平均亮度)，也可以采用相邻单元之间亮度的差分。

这样，抽出拟合构造模型的特征量之后，判定部18依次将抽出的特征量与个人数据库17中事先准备好的各个人的特征量进行比较，根据计算差距来判定一致度，并将结果输出(个人检索)。

在对某个人进行判别时，即判断输入的面孔图象是否确实是这个人时，判定部18将抽出来的特征量与存放在个人数据库17中本人的特征量的差距(差的绝对值)进行计算，当差距的总和小于事先指定的阈值时，就认定这个人就是其本人。

第11图是上面的人物识别处理的图式化，由图便可明了处理的顺序。

下面，具体说明每个处理步骤。

<特征点的抽出>

下面说明的特征点抽出虽不是本项发明的特点所在，但本项发明是以特征点抽出作为其前提的。并且，关于作为前提的特征点抽出方式，本项发明人已提出了特愿平4-9753号专利申请，其内容记载在已公开的专利文件特开平5-197793号中，这里使用第12图的流程图来说明其基本原理。

特征点抽出如上所述由特征点抽出部13执行。

首先，在步骤S1中，输入图象记忆部12中记忆的面孔图象，在步骤S2中经亮度变换生成单色的浓淡图象后，在步骤S3中生成边缘图象。这时，使用例如Sobel算符(D.H.Ballard，C.M.Brown著，副村晃夫译的“Computer Vision”，日本计算机协会，1987，P.98)那样的不仅能得出边缘的大小又能得出其方向的算符对边缘进行抽出。这样得到的边缘由于具有大小和方向要素因而被称之谓边缘矢量。由抽出边缘所得到的图象实际上不能图示出来，但在显示器5上是将左右方向的边缘用绿色显示，上下方向的边缘用红色显示，根据颜色浓淡来显示边缘的强度。

接着，在步骤S4中决定表示眼睛和鼻子等面部器官在什么地方的搜索区域。该搜索区域包括眉区、眼球区、鼻区、左、右颊区、口区共6个区域，首先，从位于面孔图象上下方向的中央部的虹彩搜索区域开始决定左右眼球位置。左右眼球位置检出后，就可以推测出虹彩间的距离和从倾斜度推测出面部总体的大小。其它5个区域用已经得到的眼球的位置来依次决定。

各个搜索区域决定之后，在步骤S5中将各搜索区域的边缘图象进行0或1的二值化。通常，抽出来的边缘各自具有大小、也包含有噪音。二值化以除去噪音为目的来进行、用于判定指定的阈值。该阈值使用按搜索区域中的面积比20％的边缘象素为1，而其余为0的数值。

其次，在步骤S6中，使用形状样品对已二值化的边缘图象进行形状匹配，判定一致度以便导出候补区域。由于边缘和形状样品的各部件的形状数据都是以矢量来表示的，所以该一致度φ可以根据例如取2个矢量的标量积来计算。

具体说来，假定边缘图象中的边缘矢量为：

U_i.j＝(U_X，U_Y)    (i，j：图象的X、Y座标， $U_X^2+U_Y^2=1$ 或0)

形状数据为：

要素数据P_K＝(l_K，m_K)    (l_K，m_K：要素的X、Y座标)

梯度矢量V_K＝(V_X，V_Y)     $(V_X^2+V_Y^2=1)$

其中，1≤K≤n(n为要素个数)

则边缘图象中座标(i，j)处的与形状数据的一致度φ为：

φ＝(∑U_i+lK，J+mK·V_K)/n    (1≤K≤n)

其中，U_i+lK，j+mK·V_K＝U_X×V_K+U_Y×V_Y

这样，就可算出搜索区域各座标下的与形状数据的一致度。其中，一致度φ大的多个座标点的地方就被当作该面孔部件的候补区域。

实际上，例如在眼睛的样品的睛况下，在边缘图象中，两眼球、眉、颊和耳之间的头发部分、鼻孔等作为具有一致度高的部分被提取出来。即，在已决定的虹彩搜索区域内，当使用了眼球形状样品进行一致度判定后，便可将上述各部分作为虹彩的候补区域而导出。

在下一个步骤S7中，相对于上述那样得到的候补领域的各边缘图象，使对应的形状样品变形进行一致度(matching)判定。变形的方法是将各部件的形状样品的要素偏开一点，计算其与各边缘图象的一致度，使形状样品的形状变形，以使一致度增加(步骤S7)。当达到最高的一致度时(步骤S8)，就从这时的形状样品的形状中抽出特征点(步骤S9)。

特征点的抽出，例如就眉毛来说，按第4图所示的规定来进行。即，对拟合后(一致度最高)的眉毛形状而言，首先将左右端点作为特征点，再将两端点间3等分的各3等分线与上、下的交点共4个点作为特征点。因而，一个眉毛共抽出6个特征点。同样，对眼睛来说如第5图所示，抽出眼睛上下左右的4个点和眼球的中心点共5个点作为特征点。就鼻和口来说，也各自用第6图、第7图所示的方法进行特征点的抽出。

实际中特征点的抽出在第12图的流程图中虽然没有明示，却是按以下步骤进行的。

首先，抽出眼球。如上所述，根据计算两眼球之位置可以推测面部总体的大小和倾斜度。知道两眼球的倾斜度(两特征点连线的倾斜度)后，因为知道了输入的面孔图象的倾斜度，首先在步骤S9中抽出了眼球特征点的时候，在步骤S10中对边缘图象进行修正倾斜度的仿射变换。

仿射变换后，抽出眼睛轮廓的特征点。眼睛的特征点抽出后，由于可以推测眉毛的位置再对眉毛的特征点进行抽出。进而，根据抽出口的特征点可以推测鼻、颚的位置，所以再抽出这些部件的特征点，最后抽出头顶和两颊轮廓的特征点。特征点的抽出虽然不一定按上述顺序进行，但如果按上述顺序进行的话，则具有能顺利进行特征点的抽出的优点。这样，抽出全部特征点后，特征点抽出程序即告结束。

<构造模型拟合处理程序>

由特征抽出部13将共计49个特征点(参照第3图)抽出后，利用这49个特征点进行基准构造模型(第9图)的变形拟合。该变形拟合在构造模型拟合部15中进行。

基准构造模型是由如第9图所示的205个顶点数据和将这些顶点连结起来形成的385个三角形单元构成。变形拟合时，由于连结构造本身不变，通过对顶点数据根据抽出的特征点进行拟合，可以得到拟合构造模型。

该拟合按下面的程序进行。

(a)当所求的顶点正好是对应的特征点本身时(例如，眼球的中心、眼角、口的两端等)，将抽出的特征点的座标照搬过来使用。

(b)当所求的顶点不是特征点时，按照指定的规则选定3个特征点，使用这3个特征点的座标按下面的要领进行线性内插。

线性内插的方法参照第13图来说明。

在第13图中，左侧的3角形P₀P₁P₂是由将基准构造模型上的顶点q包围起来的三个特征点P₀、P₁、P₂形成的三角形；右侧的ΔP₀′P₁′P₂′是由与基准构造模型的特征点P₀、P₁、P₂对应抽出来的特征点P₀′P₁′P₂′形成的三角形。点q′是对基准点构造模型上的上述顶点q经线性内插后得到的顶点。现在，假定特征点P₀、P₁、P₂的座标为(X₀，Y₀)，(X₁，Y₁)，(X₂，Y₂)、顶点q的座标为(X，Y)，假定特征点P₀、P₁、P₂对顶点q的权重比为m₀、m₁、m₂，其中，m₀、m₁、m₂可以根据以下3个方程式的求解来求得。

m₀+m₁+m₂＝1

X＝m₀X₀+m₁X₁+m₂X₂

Y＝m₀Y₀+m₁Y₁+m₂Y₂

其次，假定变形后的构造模型即拟合构造模型对应的特征点P₀′，P₁′，P₂′的座标为(X′₀，Y′₀)，(X′₁，Y′₁)，(X′₂，Y′₂)，使用上面求出的权重比m₀、m₁、m₂可以按下式求出。

X′＝m₀X′₀+m₁X′₁+m₂X′₂

Y′＝m₀Y′₀+m₁Y′₁+m₂Y′₂

特征点的选定规定如下。

规则1.根据3个特征点作成三角形。

规则2.变形前后位相不变。即按顺时钟方向的顺序不变(P₀→P₁→P₂：P′₀→P′₁→P′₂)。

规则3：三角形内存在顶点q。

规则4：P₀，P₁，P₂尽可能靠近顶点q。

该线性内插对全部205个顶点进行。据此，可以得到如第10图所示的拟合构造模型。此外，基准构造模型的外围部分必须全部是特征点，所以在构造模型拟合部15中，头部周围、颚部周围使用二次函数等函数进行近似。

<亮度改正>

亮度改正是为了防止由于摄影时光源位置的偏差引起的误判而进行的。

如第14图所示，在特征量抽出部16的次级设置了改正面孔图象亮度的亮度改正部19。这时，基准构造模型部14将各单元的法线矢量作为数据存放起来。即，将基本构造模型立体化，事先给出各单元的法线矢量。而且，特征量抽出部16从由构造模型拟合部15得到的拟合构造模型中抽出各单元的亮度和法线矢量。根据这些抽出来的各单元的亮度和法线矢量来推定光源的位置。例如，当将面孔图象分割成上下左右4部分时，现实各部分的亮度分布，可以推定光源相对于被摄影的面部处于什么方向。当推定的光源位置与个人数据库部17中生成人物特征量时的光源位置不同时，进行亮度改正使亮度分布与两种情况下的光源相吻合。即，将与过去光源方向的法线相近的单元的亮度降低、将与现在光源方向的法线相近的单元的亮度提高。经过这样的亮度改正后，即使在不同的照明条件下也能有效地防止误判。

以上对本发明的实施例进行了详细的描述，但是，本发明并不限于上述实施例，使用者根据情况所作的变动和修正，凡是在权利要求范围内记载的技术思想范围之内的都应该包含在本发明之内。

产业上利用的可能性：

按照本发明的构成，通过使用从多个图象单元中抽出来的特征量，可以进行高精度的个人识别和特定个人的确认。

Claims (6)

1.一种个人识别装置，其特征在于，它由以下各部分组成：输入应识别的个人的面孔图象的图象输入部；将从图象输入部输入的面孔图象信息存放起来的图象记忆部；从存放在图象记忆部的图象中抽出特征点的特征点抽出部；根据抽出来的特征点将面孔图象按照指定的规则细分为图象单元、作为图象单元的集合描述、同时抽出每个图象单元的特征量的特征量抽出部；计算由特征量抽出部抽出来的特征量与事先求出该个人的面孔图象的特征量的差距、进行识别处理、以确定具有由所述图象输入部所输入的面孔图象的人是不是待识别的人的判定部。

2.按权利要求1所述的个人识别装置，其特征在于：特征量抽出部由将作为基准的面孔的构造按图象单元的集合描述的基准构造模型部和根据由特征点抽出部抽出来的特征点使基准构造模型进行变形，从而使其与输入的面孔图象拟合的构造模型拟合部组成。

3.按权利要求1所述的个人识别装置，其特征在于：使用各图象单元的平均亮度作为特征量。

4.按权利要求1所述的个人识别装置，其特征在于：使用各图象单元的平均亮度的差分作为特征量。

5.按权利要求3所述的个人识别装置，其特征在于：根据图象单元的平均亮度的分布推定光源的位置，与推定的光源的位置对应地改正图象单元的平均亮度。

6.按权利要求5所述的个人识别装置，其特征在于：基准构造模型是根据图象单元和其法线矢量定义的立体模型，每个图象单元的法线矢量与平均亮度同时检测，根据法线矢量和平均亮度来推定光源的位置。

Images