CN100350877C - 活体眼睛判定方法及活体眼睛判定装置 - Google Patents

Abstract

用和照相机(11)的光轴同轴(的光)照射被摄影者的眼睛(EY)，进行摄影。这时，如果眼睛(EY)是活体的眼睛，就产生视网膜反射，瞳孔区域的亮度增高。活体眼睛判定部(17)，根据照相机(11)拍摄的图象的瞳孔区域的亮度值，判定图象包含的眼睛是不是活体的眼睛。

Description

活体眼睛判定方法及活体眼睛判定装置

技术领域

本发明涉及例如在虹膜认证中防止将不是活体的眼睛错误地认证而判定图象中反映的眼睛是不是活体的眼睛的所谓活体眼睛判定的技术。

背景技术

近几年来，使用虹膜图象的个人认证技术，开始在重要设施所在地的进出入管理、银行等的ATM(Automated Teller Machine)及PC录入用途等中得到利用。特别是专利文献1记述的方法，已在世界各国投付使用，逐渐成为事实上的世界标准方式。

在专利文献1记述的方法中，从拍摄虹膜的图象中抽出虹膜区域，用极座标表现虹膜区域后，进行2D Gabor Wavelet滤波，生成虹膜代码。然后将生成的虹膜代码与预先注册的虹膜代码加以比较，从而进行个人认证。

另外，在使用虹膜图象的个人认证中，有可能将虹膜的照片及假眼等弄错后进行认证。防止这种误认证的技术，在专利文献2、3中记述着。在专利文献2中，检出眼睛的眨眼，或检出瞳孔直径的变化。在专利文献3中，加上可见光刺激后，观察瞳孔直径的变化。

(专利文献1)特许第3307936号公报

(专利文献2)特开2000-105830号公报

(专利文献3)特许第3315648号公报

可是，在现有技术中，存在如下问题。

首先，在专利文献2中存在需要高速快门或处理时间较长的问题。而在专利文献3中，也存在着为了观察瞳孔直径的变化，而需要相当长的时间的问题。

发明内容

鉴于上述问题，本发明的课题是：可以用简易的方法，判别活体的眼睛和照片及假眼。

在本发明中，利用称作“视网膜反射”的现象。在此对视网膜反射做一简单说明。

图1是眼球的剖面图，是表示视网膜反射的机理的图形。如图1所示，光通过瞳孔(未被虹膜堵住的区域)射入，被视网膜反射，该反射光沿着和入射光大致相同的路线反向前进，通过瞳孔射到眼球的外部。因此，在眼睛的图象中，整个瞳孔显得明亮。

图2(a)是产生视网膜反射时的眼睛的图象的示意图，图2(b)是表示图2(a)的图象的水平线L中的亮度分布的曲线图。由图2(b)可知：在瞳孔区域中，亮度增大。

这种视网膜反射是活体眼睛特有的现象，在打印图象及假眼中不会产生。本发明就是着眼于这一点而问世的。

就是说，为了解决上述课题，在本发明中，使用和照相机的光轴同轴的光照射被拍摄对象而拍摄的图象，根据所述图象反映的眼睛的瞳孔区域的亮度值，判定是不是活体的眼睛。

采用本发明后，在使用和照相机的光轴同轴的光照射并拍摄的图象中，活体的眼睛在视网膜反射的作用下，瞳孔区域的亮度增大。另一方面，在照片及打印图象或假眼中，不产生视网膜发应，所以瞳孔区域的亮度没有活体的眼睛那么高。因此，根据图象的瞳孔区域的亮度值，可以简易地判定图象中反映的眼睛是不是活体的眼睛。

另外，在本发明中，使用和照相机的光轴同轴的光照射并拍摄的第1图象和用和照相机的光轴不同的光轴照射并拍摄的第2图象，根据所述第1及第2图象反映的眼睛的瞳孔区域的亮度值，判定所述图象包含的眼睛是不是活体的眼睛。

采用本发明后，关于活体的眼睛，在用和照相机的光轴同轴的光照射并拍摄的第1图象中，瞳孔区域的亮度在视网膜反射的作用下变大，而在用和照相机的光轴不同的光轴照射并拍摄的第2图象中，瞳孔区域的亮度变小。就是说，在第1及第2图象中，在瞳孔区域出现很大的亮度差异。另一方面，在照片及打印图象或假眼中，在第1及第2图象中，瞳孔区域的亮度差异没有活体的眼睛那么大。因此，根据图象的瞳孔区域的亮度值，可以简易地判定图象中反映的眼睛是不是活体的眼睛。另外，即使使用发生视网膜反射时的照片及打印图象时，由于在第1及第2图象中不产生亮度差，所以可以进行高精度的判断。

附图说明

图1是眼球的剖面图，是表示视网膜反射的机理的图形。

图2(a)是产生视网膜反射时的眼睛的图象，(b)是表示(a)的图象中的亮度分布的曲线图。

图3是表示角膜反射的机理的图形。

图4是表示本发明的各实施方式涉及的包含活体眼睛判定的虹膜认证方法的流程图。

图5是本发明的第1实施方式涉及的包含活体眼睛判定的虹膜认证装置的一个结构示例。

图6是表示眼睛的构造的主视图。

图7是表示本发明的各实施方式涉及的包含活体眼睛判定的虹膜认证方法的其它示例的流程图。

图8是表示活体眼睛判定方法的流程图。

图9是使用同轴反射照明拍摄实际的眼睛后的图象的示意图。

图10是使用同轴反射照明拍摄图象的打印输出后的图象的示意图。

图11是表示能够拍摄视网膜反射的范围的图形。

图12是表示能够拍摄视网膜反射的范围的图形。

图13是本发明的各实施方式涉及的摄影装置的其它结构示例。

图14是图13的摄影装置拍摄的图象的示意图。

图15是本发明的各实施方式涉及的摄影装置的其它结构示例。

图16是图15的照明配置的变形例。

图17是本发明的第2实施方式涉及的包含活体眼睛判定的虹膜认证装置的一个结构示例。

图18是使用非同轴照明拍摄活体的眼睛的图象的示意图。

图19是使用非同轴照明拍摄的打印输出的示意图。

图20是表示本发明的第3实施方式涉及的瞳孔区域的亮度值涉及的指标的时间变化的示意图。

图21是表示从图20那样的指标的时间变化获得的频率特性的示例。

图22是表示瞳孔直径和虹膜亮度·瞳孔亮度之比的关系的曲线图。

具体实施方式

采用本发明的第1样态后，作为活体眼睛判定方法，提供包括：取得用和照相机的光轴同轴的光照射并拍摄的图象第1步骤；和根据所述图象的瞳孔区域中的亮度值，判定所述图象反映的眼睛是不是活体的眼睛的第2步骤。

采用本发明的第2样态后，提供在所述第2步骤中，在瞳孔区域和虹膜区域的亮度值的差或比，大于所定的临界值时，判定该眼睛是活体的眼睛的第1样态的活体眼睛判定方法。

采用本发明的第3样态后，提供在所述第1步骤中，取得时间连续的多枚所述图象；在所述第2步骤中，根据由所述各图象获得的瞳孔区域中的亮度值涉及的所定指标的时间变化，判定该眼睛是活体的眼睛的的第1样态的活体眼睛判定方法。

采用本发明的第4样态后，提供所述所定的指标，是瞳孔区域中的亮度值的平均值的第3样态的活体眼睛判定方法。

采用本发明的第5样态后，提供所述所定的指标，是瞳孔区域和虹膜区域的亮度值的比值的第3样态的活体眼睛判定方法。

采用本发明的第6样态后，提供所述所定的指标，是瞳孔区域中的各象素的亮度值的总和的第3样态的活体眼睛判定方法。

采用本发明的第7样态后，提供作为所述亮度值的总和，使用用虹膜区域的面积归一化的值的第6样态的活体眼睛判定方法。

采用本发明的第8样态后，作为活体眼睛判定方法，提供包括：取得用和照相机的光轴同轴的光照射被拍摄对象而拍摄的第1图象，和用和照相机的光轴不同的光轴照射被拍摄对象而拍摄的第2图象的第1步骤；和根据该眼睛的瞳孔区域中的亮度值，判定所述第1及第2图象反映的眼睛是不是活体的眼睛的第2步骤。

采用本发明的第9样态后，提供在所述第2步骤中，求出所述第1图象中的瞳孔区域和虹膜区域的亮度值的差——第1亮度差，和所述第2图象中的瞳孔区域和虹膜区域的亮度值的差——第2亮度差，在所述第1亮度差和所述第2亮度差之差的绝对值，大于所定的临界值时，判定该眼睛是活体的眼睛的第8样态的活体眼睛判定方法。

采用本发明的第10样态后，提供在所述第2步骤中，求出所述第1图象中的瞳孔区域和虹膜区域的亮度值之比——第1亮度比，和所述第2图象中的瞳孔区域和虹膜区域的亮度值之比——第2亮度比，在所述第1亮度比和所述第2亮度比之比，大于所定的临界值时，判定该眼睛是活体的眼睛的第8样态的活体眼睛判定方法。

采用本发明的第11样态后，作为活体眼睛判定装置，提供的装置包括：拍摄被拍摄对象的照相机；用和所述照相机的光轴同轴的光照射所述被拍摄对象的照明单元；接收用所述照明单元照明时，由所述照相机拍摄的图象，根据所述图象的该眼睛的瞳孔区域中的亮度值，判定所述图象反映的眼睛是不是活体的眼睛的活体眼睛判定部。

采用本发明的第12样态后，提供的装置包括：拍摄被拍摄对象的照相机；用和所述照相机的光轴同轴的光照射所述被拍摄对象的第1照明单元；用和所述照相机的光轴不同轴的光照射所述被拍摄对象的第2照明单元；接收用所述第1照明单元照明时由所述照相机拍摄的第1图象及用所述第2照明单元照明时由所述照相机拍摄的第2图象，根据所述第1及第2图象的该眼睛的瞳孔区域中的亮度值，判定所述第1及第2图象反映的眼睛是不是活体的眼睛的活体眼睛判定部。

下面，参照附图，讲述本发明的实施方式。

(第1实施方式)

图4是表示本发明的第1实施方式涉及的虹膜认证方法的流程图。在图4的流程图中，包含进行活体眼睛判定的步骤S14、S15。

图5是本实施方式涉及的虹膜认证装置的一个结构示例。在图5中，摄影装置10包括：拍摄被摄影者的眼睛EY(被拍摄对象)的照相机11，和照明12及半透半反镜13。由照明12发出的光，被半透半反镜13反射后，照射眼睛EY。照相机11在照明12进行照明时，通过做半透半反镜13媒介，拍摄眼睛EY的图象。这时，照相机11的光轴和照明12成为同轴(同轴反射照明)。就是说，由照明12及半透半反镜13构成照明单元19。另外，图象处理部15具有虹膜认证部16及活体眼睛判定部17，对摄影装置10获得的眼睛的图象，实施包含活体眼睛判定的虹膜认证。由摄影装置10及活体眼睛判定部17构成活体眼睛判定装置。

首先，在步骤S11中，由摄影装置10拍摄虹膜图象。如图6所示，从正面看时，眼睛由瞳孔A1、虹膜A2及巩膜A3构成。将瞳孔A1和虹膜A2的交界处称作“瞳孔外缘E1”，将虹膜A2和巩膜A3的交界处称作“瞳孔外缘E2”。在步骤S11中，进行图象内至少包含虹膜A2的摄影。

摄影装置10的照明12，例如由1个或多个具有近红外的波长域的LED构成。使用近红外光照射眼睛EY的优点，是不会使被摄影者感到晃眼。

另外，为了将拍摄的图象用于虹膜认证，在照相机11前，设置可见光阻挡滤镜14。这样，照相机11只接收近红外成分的光。

此外，在本实施方式中，在光源中使用了具有近红外的波长域的LED，但也可以使用其它光源及其它波长域(例如可见光)。

摄影时，只在照相机11曝光时，使照明12同步发光。这样，可以减少被摄影者的眼睛所受照射的负担。

接着，在步骤S12中，使用在步骤S11中拍摄的图象，进行虹膜认证。该处理由虹膜认证部16实施。关于虹膜认证的手法，使用哪种方法都行。在此，采用专利文献1记述的手法。其手法简要如下：

(1)决定瞳孔外缘E1及瞳孔外缘E2，抽出虹膜区域。

(2)将抽出的虹膜区域由xy直交座标系变换成为rθ极座标系。

(3)决定解析区域(将半径方向8等分成环状)。

(4)采用多刻度的2-d Gabor滤波器，将Gabor滤波器输出后的信号二值化后，作为虹膜代码。

(5)比较预先注册的注册虹膜代码和认证时的虹膜代码(排他性的OR)，计算2个代码间的汉明距离。

(6)汉明距离在临界值以下时，作为本人接收，否则作为他人拒绝。

然后，在步骤S13中，检查认证是否成功。在上述(6)中，作为本人接收时，就是认证成功(Yes)，进入步骤S14。否则(No)，作为他人拒绝而结束处理。

在步骤S14中，进行活体眼睛判定。该处理由活体眼睛判定部17进行，详细内容后文再述。然后，判定结束在判定不是活体的眼睛时(在S15中

为No)，就拒绝，并且结束处理。另一方面，判定是活体的眼睛时(在S15中为Yes)，作为认证成功而结束处理。

此外，在图4的流程中，先进行虹膜认证，只在认证成功时进行活体眼睛判定。但也可以如图7所示，先进行活体眼睛判定(S22)，只在判定是活体的眼睛时(在S23中为Yes)进行虹膜认证。无论采用哪种方法，为了最终得到认证，必须是在活体眼睛判定和虹膜认证的两者中都未被拒绝。

现在，按照图8的流程，详细讲述步骤S14中的活体眼睛判定。这里的处理，与本实施方式涉及的活体眼睛判定方法对应。

首先，在步骤S31中，决定瞳孔区域。在这里，如图4的流程那样，在活体眼睛判定S14之前，先进行虹膜认证S12时，由于在虹膜认证处理中，已经求出瞳孔的位置，所以可以利用其结果。另一方面，如图7的流程那样，在虹膜认证S24之前，先进行活体眼睛判定S22时，在这里决定瞳孔区域。瞳孔区域的决定，可以用任意的方法，例如可以使用专利文献1记述的手法。

接着，在步骤S32中，根据瞳孔区域的亮度值，判定图象反映的眼睛是不是活体的眼睛。象本实施方式这样，使用同轴反射照明摄影时，如果是活体的眼睛，就如图2(a)所示，在视网膜反射的作用下，图象的瞳孔区域整体的亮度变大。与此不同，如果是眼睛的照片及假眼，即使是同轴反射照明也不产生视网膜反射。本实施方式利用这一点，判别活体的眼睛和照片及假眼。

在这里，为了判定活体的眼睛，使用瞳孔区域内的亮度值的平均值。然后，平均值比所定的临界值TH1大时，判断出现视网膜反射，判定图象反映的眼睛是活体的眼睛。

另外，为了避免瞳孔区域内的角膜反射的影响，在计算瞳孔区域内的亮度值的平均值时，可以只使用亮度值小于所定的临界值TH2的象素。图3是表示角膜反射的机理的图形。如图3所示，角膜反射时，光被眼球表面的角膜反射。

作为角膜反射的特征之一，可以列举亮度比视网膜反射变大，亮度容易饱和。因此，适当设定临界值TH2后，可以简单地排除角膜反射的影响。

图9是使用同轴反射照明拍摄实际的眼睛后的图象的示意图，图10是使用同轴反射照明拍摄图象的打印输出后的图象的示意图。在拍摄的实际的眼睛的图象中，如图9所示，出现视网膜反射；在拍摄的打印输出的图象中，如图10所示，不出现视网膜反射。瞳孔区域的亮度值的平均值(但亮度饱和区域除外)，假设在图9中是P1，在图10中是P2。这样，将临界值TH1，设定为P2＜TH1＜P1，就能够判断是不是活体的眼睛。

毫无疑问，图象的明亮度，随着照明的强度、透镜的光圈、照相机的黑色电平及增益而变化，临界值TH1的值，可以根据它们的值进行调整。

另外，由图2(b)可知：视网膜反射时，瞳孔区域内的亮度值几乎一样大，所以还可以在活体眼睛的判定条件中，添加瞳孔区域的亮度值的分散或标准偏差是否小于所定的临界值TH3。在图9中，假设瞳孔区域的亮度值的标准偏差(但亮度饱和区域除外)是σ1时，将临界值TH3设定为TH3＞σ1即可。不仅根据瞳孔区域的亮度值，而且还包含标准偏差进行判定后，可以更加正确地进行活体眼睛判定。

另外，在各图象中，还可以比较瞳孔区域和虹膜区域彼此的亮度值。例如，在瞳孔区域的亮度值比虹膜区域的亮度值大时，判定是活体的眼睛。在图10的图象中，利用瞳孔区域的亮度值P2比虹膜区域的亮度值I1小这一点，就可以判定不是活体的眼睛。另一方面，在图9的图象中，利用瞳孔区域的亮度值P2比虹膜区域的亮度值I1大这一点，则可以判定是活体的眼睛。

进而，还可以将瞳孔区域和虹膜区域的亮度值的差是否大于所定的临界值TH4，作为活体的眼睛的判定条件。亮度值的差，在图9的图象中是P1-I1，在图10的图象中是P2-I2。这样，将TH4设定为P2-I2＜TH4＜P1-I1后，就能够判断图10不是活体的眼睛的图象。

或者，还可以将瞳孔区域和虹膜区域的亮度值的比是否大于所定的临界值TH5，作为活体的眼睛的判定条件。亮度值的比，在图9的图象中是P1/I1，在图10的图象中是P2/I2。这样，将TH5设定为P2/I2＜TH4＜P1/I1后，就能够判断图10不是活体的眼睛的图象。

综上所述，采用本实施方式后，可以根据瞳孔区域的亮度值，从用和照相机的光轴同轴的光照射被拍摄对象而拍摄的图象中，区别活体的眼睛和照片及假眼。所以，可以利用简易的方法实现活体眼睛判定，例如，在个人认证中，能够防止将不是活体的眼睛误认证，提高认证的可靠性。

此外，为了获得良好的视网膜反射，被摄影者的眼睛EY必须正对照相机11。因此，可以在可见光阻挡滤镜14或摄影装置10的前方设置的透明的外罩的中央等上，设置引导视线的指示器。另外，还可以在照明12的傍边另行设置引导视线用的可见光照明。这时，为了不使被摄影者感到晃眼，可以将可见光照明的亮度设置成能够视认的最低限度。

此外，在图4的流程中，在虹膜认证之后，进行活体眼睛判定；在图7的流程中，则在活体眼睛判定之后，进行虹膜认证。但虹膜认证和活体眼睛判定未必非要按照一先一后的顺序进行，还可以由2个运算装置例如虹膜认证部16和活体眼睛判定部17同时进行。

<关于“同轴”>

在本实施方式中，用和照相机的光轴同轴(的光)照射被拍摄对象。但这时的“同轴”，并不意味着严密的同轴，只要是能够拍摄到视网膜反射的程度的“大致同轴”即可。就是说，本发明中的所谓“同轴”，不只是严密的同轴，还包含能够拍摄到视网膜反射的范围内的大概的同轴。

下面，参照图11及图12，对能够拍摄到视网膜反射的范围加以讲述。照明的入射光，在相当于透镜的晶状体的作用下折射，在视网膜上成象。在视网膜上成象的照明光，被晶状体折射后向眼球的外面射出。人的眼睛与照明的焦点吻合、而且相当于透镜的晶状体没有象差时，在视网膜上成象的照明光，如图11所示，再一次聚光到照明的位置。因此，将照相机置于图11的斜线区域时，能够拍摄视网膜反射。

另一方面。人的眼睛与照明的焦点不吻合、而且晶状体有象差时，如图12所示，能够拍摄视网膜反射的区域进一步扩大。

所以，作为本发明的“同轴”包含的情况，可以定义为：照相机的光轴被图11及图12的斜线区域包含时，在能够拍摄视网膜反射的程度内，基本上是同轴。

顺便指出：作为即使照明与照相机光轴错开，也出现视网膜反射的示例，可以列举由照相机的闪光灯造成的红眼现象。在普通的照相机中，透镜位置与闪光灯的位置虽然不同，但因其距离比摄影距离小，所以尽管不是完全的同轴，却能够拍摄到视网膜反射——红眼。

<摄影装置的其它结构>

在本实施方式中，为了使照明12和照相机11的光轴成为同轴，设置半透半反镜13。但也可以对半透半反镜13而言，将照明12和照相机11的位置相反设置。这时，照明12的光，透过半透半反镜13后照射眼睛EY，照相机11拍摄被半透半反镜13反射的图象。

另外，将照明12和照相机11的光轴成为同轴的结构，即使不使用半透半反镜13也能够实现。例如，在图13的摄影装置10A中，作为照明单元的照明12A的光，配置在照相机11前方的光轴上。但是在这种结构中，需要在照明12A和照相机11之间，设置遮光单元18，以免照明12A的光直接射入照相机11。当然，由于通过遮光单元18的区域后不能拍摄被拍摄对象，所以用图13的摄影装置10A拍摄的图象，如图14所示，遮光区域CR就被包含在瞳孔区域A1内。但是，由于在虹膜认证中，只要能够获得虹膜区域A2的图象即可，所以不成问题。

另外，在图15的摄影装置10B中，与照相机11的光轴稍微错开地配置作为照明单元的照明12B。但是对照明12B而言的照相机11的位置，包含在图12所示的能够拍摄视网膜反射的区域中。就是说，被摄影者的眼睛EY，被和照相机11的光轴所谓“同轴”(的光)照明。进而，作为图15的变形，可以如图16所示，在照相机透镜11a的周围，设置多个作为照明单元的照明12c。

(第2实施方式)

本发明的第2实施方式涉及的虹膜认证方法，基本的处理流程，与第1实施方式一样。不同的是：在用和照相机的光轴同轴照射被拍摄对象而拍摄的第1图象之外，还取得用和照相机的光轴不同的光轴照射被拍摄对象而拍摄的第2图象，使用这些第1及第2图象，进行活体眼睛判定。

图17是本实施方式涉及的虹膜认证装置的结构示例，与图5相同的构成要素，赋予和图5一样的符号。图17的摄影装置20，与图5的摄影装置10的不同之处是：在照明12之外，还设置照明21。照明21用和照相机11的光轴不同的光轴直接照射被摄影的眼睛EY(即不是同轴反射照明而是非同轴反射照明)。由照明12及半透半反射镜13构成第1照明单元19，由照明21构成第2照明单元。另外，图象处理部22具有虹膜认证部23及活体眼睛判定部24，对摄影装置20得到的眼睛的图象，实施包含活体眼睛判定的虹膜认证。由摄影装置20及活体眼睛判定部24构成活体眼睛判定装置。

在此，参照图4的流程，讲述本实施方式的处理。毫无疑问，如图7所示，既可以在虹膜认证之前进行活体眼睛判定，也可以同时进行虹膜认证和活体眼睛判定。

首先，在步骤S11中，由摄影装置20拍摄虹膜图象。在这里，分别在只使照明12发光时和只使照明21发光时进行摄影。将只使照明12发光时、即同轴反射照明时的图象作为第1图象，只使照明21发光时、即不是同轴反射照明时的图象作为第2图象。

接着，在步骤S12中，使用在步骤S11中拍摄的图象进行虹膜认证。该处理由虹膜认证部23实施。在虹膜认证中，至少使用第1及第2图象中的一个。在这里，假设使用第2图象进行认证。但毫无疑问，也可以使用第1图象进行认证。另外，还可以使用第1及第2图象进行认证，按照安全保障的级别，决定认证方针。例如，其中某一个认证成功，就作为最终认证成功，或者双方认证成功，才作为最终认证成功。虹膜认证的方法，如第1实施方式所述。

然后，在步骤S13中，检查认证是否成功。认证成功时(Yes)，进入步骤S14。否则(No)，就作为他人拒绝而结束处理。

在步骤S14中，进行活体眼睛判定。详细内容后文再述。然后，判定的结果，在判定不是活体的眼睛时(在S15中为No)，就拒绝，并且结束处理。另一方面，判定是活体的眼睛时(在S15中为Yes)，作为认证成功而结束处理。

现在，按照图8的流程，详细讲述步骤S14中的活体眼睛判定。这里的处理，与本实施方式涉及的活体眼睛判定方法对应。

首先，在步骤S31中，对第1及第2图象，决定瞳孔区域。在这里，由于在步骤S12中，已经求出第2图象的瞳孔的位置，所以可以在决定第1图象的瞳孔区域时利用。但第1及第2图象的摄影间隔较短时，例如在用30帧/S的照相机连续摄影时，第1及第2图象中的瞳孔区域被认为几乎不变。因此，可以将第2图象中的瞳孔位置，作为第1图象中的瞳孔位置采用。另一方面，如图7的流程那样，在虹膜认证S24之前，先进行活体眼睛判定S22时，在这里决定瞳孔区域。瞳孔区域的决定，可以用任意的方法，例如可以使用专利文献1记述的手法。

接着，在步骤S32中，根据第1及第2图象中的瞳孔区域的亮度值，判定图象反映的眼睛是不是活体的眼睛。如果是活体的眼睛，同轴反射照明时，在视网膜反射的作用下，瞳孔区域整体的亮度变大。而不是同轴反射照明时，瞳孔区域整体的亮度变小。本实施方式利用这一点，判别活体的眼睛和照片及假眼。

在这里，为了判定活体的眼睛，使用瞳孔区域内的亮度值的平均值。在第1及第2图象中，将瞳孔区域的亮度值的平均值分别设定为Pa、Pb后，在亮度差(Pa-Pb)比所定的临界值TH1大时，判断出现视网膜反射，判定图象反映的眼睛是活体的眼睛。

图18及图19是使用非同轴照明拍摄的第2图象的示例，图18是拍摄的实际的眼睛，图19是拍摄的打印输出。另外，作为使用同轴照明拍摄的第1图象，从图9及图10获得后，亮度差(Pa-Pb)，在实际的眼睛的图象(图9及图18)中就成为P1-P3，在打印输出的图象(图10及图19)中就成为P2-P4。因此，将临界值TH1设定为P2-P4＜TH1＜P1-P3后，就能够判别是不是活体的眼睛。

另外，在第1图象中的瞳孔区域的亮度平均值Pa大于所定的临界值TH2、而且第2图象中的瞳孔区域的亮度平均值Pa小于所定的临界值TH3时，也可以判定是活体的眼睛。

另外，还可以使用瞳孔区域和虹膜区域的亮度值的差。假设第1图象中的虹膜区域的亮度平均值为Ia、第2图象中的虹膜区域的亮度平均值为Ib，那么例如在第1图象中的亮度差即第1差(Pa-Ia)和第2图象中的亮度差即第2差(Pb-Ib)之差的绝对值大于临界值TH4时，判定是活体的眼睛。在先前的示例中，实际的眼睛，其第1图象(图9)中的亮度差(Pa-Ia)是P1-I1，第2图象(图18)中的亮度差(Pb-Ib)是P3-I3，它们的差的绝对值成为|(P1-I1)-(P3-I3)|。另一方面，打印输出，其第1图象(图10)中的亮度差(Pa-Ia)是P2-I2，第2图象(图19)中的亮度差(Pb-Ib)是P4-I4，它们的差的绝对值成为|(P2-I2)-(P4-I4)|。因此，将临界值TH4设定为|(P2-I2)-(P4-I4)|＜TH1＜|(P1-I1)-(P3-I3)|后，可以判别是不是活体的眼睛。这和关于瞳孔区域的亮度值，求出第1图象和第2图象之差，以及关于虹膜区域的亮度值，求出第1图象和第2图象之差，使用它们的差的绝对值的方法，是等效的。就是说，|(Pa-Ia)-(Pb-Ib)|＝|(Pa-Pb)-(Ia-Ib)|。

另外，在第1图象中的亮度差(Pa-Ia)大于所定的临界值TH6、而且第2图象中的亮度差(Pb-Ib)大于所定的临界值TH5时，也可以判定是活体的眼睛。

或者，还可以使用瞳孔区域和虹膜区域的亮度值的比。假设第1图象中的亮度比即第1比Pa/Ia和第2图象中的亮度比即第2比Pb/Ib之比大于临界值TH7时，判定是活体的眼睛。在先前的示例中，实际的眼睛，其第1图象(图9)中的亮度比Pa/Ia是P1/I1，第2图象(图18)中的亮度比Pb/Ib是P3/I3，它们的比成为(P1/I1)/(P3/I3)。另一方面，打印输出，其第1图象(图10)中的亮度比Pa/Ia是P2/I2，第2图象(图19)中的亮度比Pb/Ib是P4/I4，它们的比成为(P2/I2)/(P4-I4)。因此，将临界值TH7设定为(P2/I2)/(P4-I4)＜TH7＜(P1/I1)/(P3-I3)后，可以判别是不是活体的眼睛。这和关于瞳孔区域的亮度值，求出第1图象和第2图象之比，以及关于虹膜区域的亮度值，求出第1图象和第2图象之比，使用它们的差的绝对值的方法，是等效的。就是说，(Pa/Ia)/(Pb/Ib)＝(Pa/Pb)/(Ia/Ib)。

另外，在第1图象中的亮度比Pa/Ia大于所定的临界值TH9、而且第2图象中的亮度比Pb/Ib大于所定的临界值TH8时，也可以判定是活体的眼睛。

另外，为了避免瞳孔区域内的角膜反射的影响，在计算瞳孔区域内的亮度值的平均值时，可以只使用亮度值小于所定的临界值TH10的象素。另外，视网膜反射时，瞳孔区域内的亮度值几乎一样大，所以还可以在活体眼睛的判定条件中，添加瞳孔区域的亮度值的分散或标准偏差是否小于所定的临界值TH11。

综上所述，采用本实施方式后，可以使用用与照相机的光轴同轴的光照射被拍摄对象而拍摄的图象和用与照相机的光轴不同轴的光照射被拍摄对象而拍摄的图象，根据两图象的瞳孔区域的亮度值，区别活体的眼睛和照片及假眼。所以，可以利用简易的方法实现高精度的活体眼睛判定，例如，在个人认证中，能够防止将不是活体的眼睛误认证，提高认证的可靠性。

此外，在本实施方式中，拍摄第1图象时，只使照明12发光；拍摄第2图象时，只使照明21发光。但是在拍摄第1图象时，使照明12和照明21同时发光也行。这时，如果使虹膜区域的亮度由照明21确保，使照明12采用引起视网膜反射的最低限度的光量，就能够减少视网膜的中心部附近被光照射后造成的眼睛的负担。

此外，将照相机和照明作为非同轴时，只要与同轴错开到不引起视网膜反射的程度即可。

(第3实施方式)

本发明的第3实施方式涉及的虹膜认证方法，基本的处理流程，与第1实施方式一样。不同的是：在用和照相机的光轴同轴照射被拍摄对象而拍摄图象之际，取得多枚图象，使用这些图象，进行活体眼睛判定。

作为本实施方式涉及的虹膜认证装置，和第1实施方式一样，使用图5的装置。图5的构成要素，与在第1实施方式中讲述的一样，故不再赘述。

在此，参照图4的流程，讲述本实施方式的处理。毫无疑问，如图7所示，既可以在虹膜认证之前进行活体眼睛判定，也可以同时进行虹膜认证和活体眼睛判定。

首先，在步骤S11中，由摄影装置20拍摄多枚虹膜图象。在这里，在这里，以每移30帧的摄影速度拍摄虹膜图象，使照明12与照相机11的曝光时同步发光。

接着，在步骤S12中，使用在步骤S11中拍摄的多枚图象进行虹膜认证。该处理由虹膜认证部23实施。

在这里，另外进行图象质量判定，将图象质量判定的评价值最高的1枚图象，用于虹膜认证。作为图象质量，可以使用焦点值、眼睑的张开程度等。毫无疑问，拍摄的多枚虹膜图象中，将哪张图象用于认证都可以。另外，还可以将所有的虹膜图象都用于认证，只要有某一张认证成功，就是最终认证成功，或者用所定比例的虹膜图象进行认证成功后，就作为最终认证成功。可以按照安全保障级别，决定认证方针。虹膜认证的手法，见第1实施方式所述。

然后，在步骤S13中，检查认证是否成功。认证成功时(Yes)，进入步骤S14。否则(No)，就作为他人拒绝而结束处理。

在步骤S14中，进行活体眼睛判定。该处理由活体眼睛判定部17实施。

详细内容后文再述。然后，判定的结果，在判定不是活体的眼睛时(在S15中为No)，就拒绝，并且结束处理。另一方面，判定是活体的眼睛时(在S15中为Yes)，作为认证成功而结束处理。

现在，按照图8的流程，详细讲述本实施方式的步骤S14中的活体眼

睛判定。这里的处理，与本实施方式涉及的活体眼睛判定方法对应。

首先，在步骤S31中，对拍摄的多枚虹膜图象，决定瞳孔区域。在用每秒30帧的摄影速度连续摄影时，多枚虹膜图象中的瞳孔区域被认为几乎不变，所以可以只对第1枚的图象将瞳孔区域的探索区域做的稍大一些进行探索，第2枚以后，可以将前一帧中的瞳孔区域作为探索的初始值，只对其周边进行探索，从而削减计算量。瞳孔区域的决定，可以用任意的手法，例如可以使用专利文献1记述的手法。

接着，在步骤S32中，根据多枚图象中的瞳孔区域的亮度值，判定图象反映的眼睛是不是活体的眼睛。在这里，活体的眼睛，即使周围的明亮程度一定时，其瞳孔也反复进行微小的收缩·散大动作。就是说，发生所谓的瞳孔动摇。在本实施方式中，从如果是活体的眼睛就要引起视网膜反射的同轴照明下拍摄的多枚图象中，求出根据瞳孔区域中的亮度值的所定指标的时间变化。然后，从该指标的时间变化中，检出有无同样的瞳孔，判定是不是活体的眼睛。

在这里，瞳孔动摇即瞳孔收缩·散大的程度，可以从瞳孔直径的时间变化中直接测量。可是，本发明申请人实际进行试验后的结果，判明基于以下理由，在通常的虹膜认证中，难以高精度地测量瞳孔直径的变化。

就是说，一般来说，用于虹膜认证的虹膜图象，根据照相机的规格等，以虹膜的直径约200象素的析象度拍摄。另外，在通常的明亮程度的环境中，尽管瞳孔开度在人们之间稍有差异，但瞳孔径·虹膜径比却是0.40左右。这时，瞳孔直径约为80象素。另外，根据本专利申请人的试验，在这种条件下的瞳孔动摇引起的瞳孔直径的变动宽度，标准偏差是3.7象素(4名被试验者的平均值)。可以预料：由于存在瞳孔区域的检出误差等，精确测量标准偏差是3.7象素左右的周期变动，实际上相当困难。这样，可以认为：在进行虹膜认证之际的一般的拍摄环境中，难以高精度地检出瞳孔直径的变化。

因此，在本实施方式中，根据在同轴照明下的瞳孔区域中的亮度值涉及的指标的时间变化，测量瞳孔直径有无微小的变化。在同轴照明的作用下出现视网膜反射时，瞳孔区域的明亮程度，是通过瞳孔到达视网膜的光量越大越明亮，即瞳孔直径越大越明亮。因此，根据瞳孔区域(即视网膜反射)的亮度值，或该亮度值涉及的指标的时间变化，可以判定瞳孔有无收缩·散大。

作为亮度值涉及的指标，有多种多样。例如：可以将瞳孔区域包含的各象素的亮度值的平均值，作为所定的指标。这时，在瞳孔区域产生镜面反射(角膜反射)时，可以计算除角膜反射区域外的区域的亮度值的平均值。由于角膜反射区域的亮度值通常极其大，所以给亮度值设定适当的临界值后，可以特定其范围。

另外，还可以将瞳孔区域和虹膜区域的亮度值之比，作为所定的指标使用。这样，能够使其对于环境变化具有粗壮性。

作为环境的变化，例如，可以考虑多个图象的摄影中，同轴照明与被拍摄对象的距离变化。在出入管理装置那样的固定式的摄影装置中，由于被拍摄者的头部活动，从而造成同轴照明与被拍摄对象的距离变化。另外，在便携式的摄影装置中，由于把持装置的手的抖动或被拍摄者的头部活动，从而造成同轴照明与被拍摄对象的距离变化。在照明不是完全的平行光时，与照明的距离变化后，瞳孔区域的亮度值也要随之变化，所以但凭瞳孔区域的亮度值，未必能够精确测量瞳孔动摇。

另一方面，虹膜区域的亮度值虽然在一定的照明下不会变化，但在同轴照明与被拍摄对象的距离变化时，和瞳孔区域的亮度值一样，也要随着它变化。因此，使用瞳孔区域和虹膜区域的亮度值之比后，可以将环境变化的影响除外，高精度地只测量瞳孔的收缩·散开引起的亮度变化。

另外，还可以将瞳孔区域中各象素的亮度值的总和，作为所定的指标使用。就是说，瞳孔散大后，如上所述，在视网膜反射引起的瞳孔区域的亮度增大的同时，瞳孔区域的面积也增大。另一方面，瞳孔收缩后，在瞳孔区域的亮度变小的同时，瞳孔区域的面积也变小。所以，将瞳孔区域中的亮度值的总和，作为指标使用后，瞳孔动摇引起的指标的时间变化，与使用亮度值的平均值时相比，得到进一步的强调。所以，能够提高对于计测噪声而言的S/N，能够提高测量精度。

进而，作为瞳孔区域中各象素的亮度值的总和，可以使用被虹膜区域的面积归一化的值。例如，照明和被拍摄对象的距离变化时，在瞳孔区域的亮度变化的同时，析象度也变化。因此，关于瞳孔区域中的亮度值的总和，应该除去亮度变化的影响，在被虹膜区域的亮度值(例如平均值)归一化后，再由虹膜区域的面积归一化。这样，还能够除去析象度变化的影响。作为虹膜区域的面积，例如可以使用表示虹膜外缘(参照图6)的圆的面积(如果设虹膜半径为r象素，就是πr2)。另外，还可以使用实际露出来的虹膜区域的面积。此外，取代用虹膜区域的亮度值和面积进行归一化，使用虹膜区域中的象素的亮度值的总和后进行归一化，也能获得同样的效果。另外，还可以省略用虹膜区域的亮度值进行归一化的处理，只用面积进行归一化。

图20是表示这样求出的瞳孔区域的亮度值涉及的指标的时间变化的示意图。纵轴的变动程度因指标的采取方法而异。但是关于活体的眼睛，可以获得起因于图20所示的瞳孔动摇的周期性的变动。

接着，根据图20所示的指标时间变化，判定是不是活体的眼睛。在这里，采用傅里叶变换，使用频率特性对图20所示的指标时间变化进行判定。图21是表示有关活体眼睛的由指标时间变化获得的频率与功率的关系的曲线图。图21是作为所定的指标，使用瞳孔区域中的亮度和的情况，是将40序列(4眼×10序列)的频率特性平均化后描点而成。横轴为频率，纵轴为功率，均取对数。在图21中，还将描点作为近似直线的虚线一并表示。由图21可知：对于频率的对数而言，功率的对数基本上直线性地减少，就是说，具有1/f特性。因此，可以根据认证时拍摄的序列的频率特性是否成为1/f特性，进行活体眼睛判定。

此外，在摄影析象度非常高时以及瞳孔直径的变化很大时(例如，使摄影环境的可见光照度变化时，但为了引起视网膜反射而使红外光的照明强度一定时)，可以高精度地取得瞳孔直径的变化。这时，还可以根据瞳孔直径的时间变动的频率特性，进行活体眼睛判定处理。另外，还可以同时使用瞳孔直径和瞳孔区域的亮度值。例如，利用瞳孔直径和瞳孔区域的亮度值之间是否存在相关的关系，进行活体眼睛判定。图22是表示瞳孔直径和虹膜亮度·瞳孔亮度之比的关系的曲线图。图22是一边使摄影环境的可见光强度变化，一边用每秒30帧的拍摄速度对两个人拍摄虹膜图象时的结果。由图22可知：随着瞳孔直径的增大，瞳孔亮度变大，结果使虹膜亮度·瞳孔亮度之比变小。根据有无这种相互关系，可以进行活体眼睛判定。

综上所述，采用本实施方式后，从用和照相机的光轴同轴照射被拍摄对象后在时间上连续拍摄的多枚图象中，求出瞳孔区域的亮度值涉及的所定的指标的时间变化。然后，根据该指标的时间变化，可以区别活体的眼睛和照片及假眼。这样，可以采用简易的方法，实现高精度的活体眼睛判定，例如，在个人认证中，能够防止误将不是活体的眼睛认证，提高可靠性。

此外，在上述实施方式中，对作为照明使用LED的例子进行了讲述。LED因具有耗电量低、寿命长的优点，所以是利用日益增多的光源。但在国际标准IEC60825-1(JlS C6802)中，作为以激光器为基准的光源，规定了安全基准。在商品化之际，当然必须满足该安全基准。但为了进行活体眼睛判定而用于同轴反射照明时，即使满足安全基准，对眼睛弱的人及眼睛疲劳的人来说，也有可能增加其负担。

考虑到这种情况，最好使照明只在照相机曝光时间(例如16ms或33ms)发光。或者给实施活体眼睛判定的次数设定限制。例如，按人计数每天的认证次数，认证次数超过上限值时，不进行活体眼睛判定。或者还可以进行不使用同轴反射照明的其它活体眼睛判定。

此外，在上述各实施方式中，活体眼睛判定与虹膜认证一起进行。但也可以用于其它用途。另外，以上讲述的是对近红外光图象进行活体眼睛判定的情况，但本发明的方法并不局限于近红外光照明下的图象，毫无疑问，也可以在可见光照明下的图象中采用。这时，不使用可见光阻挡滤镜。虹膜认证用的图象，例如，也可以另外进行摄影。

另外，在上述各实施方式中，活体眼睛判定由摄影装置附带的图象处理部实施。但本发明并不局限于这种结构。例如，可以利用图5所示的摄影装置10搭载的便携式终端拍摄眼睛的图象，通过网络将该图象发送给服务器。然后在服务器中，接收该图象，实施活体眼睛判定。就是说，本发明还包括取得用同轴反射照明拍摄的眼睛的图象，或与此同时还取得用非同轴反射照明拍摄的眼睛的图象，实施判定图象反映的眼睛是不是活体的眼睛的处理的这种结构。

本发明根据图象的瞳孔区域的亮度值，能够简易地判定图象反映的眼睛是不是活体的眼睛，所以例如在使用虹膜图象的个人认证中，可以利用简易的结构，排除使用照片或假眼等的不正当的冒充。

Claims (4)

1、一种活体眼睛判定方法，包括：取得用与照相机的光轴同轴的光照射被拍摄对象而拍摄的第1图象、和用与照相机的光轴不同轴的光照射所述被拍摄对象而拍摄的第2图象的第1步骤；和

根据所述第1及第2图象中眼睛的瞳孔区域中的亮度值，判定所拍摄的所述第1及第2图象中的该眼睛是不是活体的眼睛的第2步骤。

2、如权利要求1所述的活体眼睛判定方法，其特征在于：在所述第2步骤中，

求出所述第1图象中的瞳孔区域与虹膜区域之间的亮度值之差——第1亮度差，和所述第2图象中的瞳孔区域与虹膜区域的亮度值之差——第2亮度差，

在所述第1亮度差与所述第2亮度差之差的绝对值，大于规定的临界值时，判定该眼睛是活体的眼睛。

3、如权利要求1所述的活体眼睛判定方法，其特征在于：在所述第2步骤中，

求出所述第1图象中的瞳孔区域与虹膜区域的亮度值之比——第1亮度比，和所述第2图象中的瞳孔区域与虹膜区域的亮度值之比——第2亮度比，

在所述第1亮度比和所述第2亮度比之比，大于规定的临界值时，判定该眼睛是活体的眼睛。

4、一种活体眼睛判定装置，包括：拍摄被拍摄对象的照相机；

用和所述照相机的光轴同轴的光照射所述被拍摄对象的第1照明单元；

用和所述照相机的光轴不同轴的光照射所述被拍摄对象的第2照明单元；以及

接收用所述第1照明单元照明时由所述照相机拍摄的第1图象及用所述第2照明单元照明时由所述照相机拍摄的第2图象，根据所述第1及第2图象中眼睛的瞳孔区域中的亮度值，判定所拍摄的所述第1及第2图象的该眼睛是不是活体的眼睛的活体眼睛判定部。

Images