CN100444779C - 瞳孔检测装置和虹膜认证装置 - Google Patents

Abstract

具备：将同心圆状的多个圆分别作为积分圆设定在眼睛图像上并提取位于积分圆的圆周上的眼睛图像的图像数据的图像数据提取部(220)；表示积分圆的中心坐标的指针部(260)；沿着积分圆中的每一者的圆周对图像数据提取部(220)所提取的图像数据进行积分的环圆周积分部(230)；检测积分圆的积分值相对于积分圆的半径阶跃状地进行变化的瞳孔半径检测部(250)；以及当积分圆的积分值相对于积分圆的半径阶跃状地变化时，检测出该积分圆的中心坐标作为瞳孔位置坐标的瞳孔位置检测部(280)；其中，图像数据提取部(220)同时地提取多个图像数据。

Description

瞳孔检测装置和虹膜认证装置

技术领域

本发明涉及个人认证等所使用的虹膜认证装置，特别是涉及从眼睛图像(包含眼睛的图像)中检测出瞳孔位置的瞳孔检测装置。

背景技术

近些年来，提出了从眼睛图像中检测出瞳孔位置的各种各样的方法。例如，已知的有将眼睛图像的图像数据(以下简称为“眼睛图像数据”)2值化(黑白化)，来检测低辉度区域中的圆形区域的方法。此外，已知的有对于半径为r而中心坐标为(x0，y0)的圆的弧计算图像强度I(x，y)的环圆周积分，并计算随着半径r增加而与r有关的该量的部分的导函数的方法等。上述现有的结构，例如已在特表平8-504979号公报中公开。

为了使用这些方法精度良好地检测瞳孔，需要高速地处理庞大的图像数据，即使是使用处理能力高的大的CPU或大容量存储器，在现有的状况下也难以实时地处理眼睛图像的图像数据。此外，如果将CPU的处理量减少到能够实时地处理图像数据的程度，则会出现检测精度降低等的问题。

发明内容

本发明提供能够高速且精度良好地进行瞳孔位置的检测的瞳孔检测装置和虹膜认证装置。

本发明的瞳孔检测装置，具备：图像数据提取部；环圆周积分部；瞳孔半径检测部；以及瞳孔位置检测部。图像数据提取部，将多个圆分别作为积分圆设定在眼睛图像上并提取位于积分圆的圆周上的眼睛图像的图像数据。环圆周积分部，沿着积分圆中的每一者的圆周对图像数据提取部所提取的图像数据进行积分。瞳孔半径检测部，检测环圆周积分部的积分值相对于积分圆的半径阶跃状地进行变化。瞳孔位置检测部，当瞳孔半径检测部检测出阶跃状的变化时，检测出该积分圆的中心坐标作为瞳孔位置坐标。并且，多个圆被设定为同心圆状，图像数据提取部同时地提取多个图像数据。

附图说明

图1是使用本发明的实施例的瞳孔检测装置的虹膜认证装置的电路框图。

图2是表示使用本发明的实施例的瞳孔检测装置的虹膜认证装置的动作的流程图。

图3A是表示包含瞳孔的图像的一例的图。

图3B是表示对于积分圆的半径的积分值的图。

图3C是表示用积分圆的半径对积分值进行微分后的值的图。

图3D是表示在眼睛图像上移动的积分圆的图。

图4是本发明的实施例的瞳孔检测装置的电路框图。

图5是本发明的实施例的图像数据提取部的电路图。

图6是表示本发明的实施例的瞳孔检测装置的眼睛图像的1帧的动作的流程图。

标记说明

100 虹膜认证装置

120 拍摄部

130 照明部

140 认证处理部

200 瞳孔检测装置

220 图像数据提取部

230 环圆周积分部

250 瞳孔半径检测部

260 指针部

280 瞳孔位置检测部

具体实施方式

本发明的瞳孔检测装置，具备：图像数据提取部、环圆周积分部、瞳孔半径检测部、瞳孔位置检测部。图像数据提取部，将多个的圆分别作为积分圆设定在眼睛图像上，来提取位于积分圆的圆周上的眼睛图像的图像数据。环圆周积分部沿着积分圆中的每一者的圆周对图像数据提取部所提取的图像数据进行积分。

瞳孔半径检测部对环圆周积分部的积分值相对于积分圆的半径阶跃状地变化进行检测。瞳孔位置检测部，在瞳孔半径检测部检测出阶跃状的变化的情况下，检测出该积分圆的中心坐标作为瞳孔位置坐标。然后，多个的圆被设定为同心圆状，图像数据提取部同时地提取多个图像数据。利用这种结构能够高速且精度良好地进行瞳孔位置的检测。

此外，优选地本发明的瞳孔检测装置的瞳孔半径检测部的结构为，当同心圆状的多个积分圆之中半径最接近的2个积分圆的积分值的差值大于指定的阈值时，则视为积分值相对于积分圆的半径阶跃状地变化。由此，能够使用规模比较小的电路构成瞳孔半径检测部。

此外，优选地本发明的瞳孔检测装置的指定的阈值被设定在，积分圆位于虹膜上时的积分值与积分圆位于瞳孔上时的积分值之差的1/4倍～1倍的范围内。由此，能够提高正确地检测出瞳孔的概率。

此外，优选地本发明的瞳孔检测装置的图像数据提取部中的部分帧存储器是将先进先出(FIFO)型的行存储器多条连接的结构。进而，优选设置用于将与同心圆状的多个积分圆的各自的圆周上的像素对应的图像数据引出(取出)的引出线的结构。由此，能够使用规模比较小的电路构成图像数据提取部。

此外，优选地本发明的瞳孔检测装置，是具备表示积分圆的中心坐标的指针部并且该指针部具备对与向部分帧存储器取入图像数据的周期同步的时钟进行计数的计数器。由此，能够使用规模比较小的电路构成指针部。

此外，优选地本发明的瞳孔检测装置的环圆周积分部，具有沿着积分圆中的每一者的圆周对图像数据提取部所提取的图像数据进行加法运算的多个加法器。由此，能够使用规模比较小的电路构成环圆周积分部。

此外，优选地本发明的瞳孔检测装置的瞳孔半径检测部，具备差分器(也称减法器)、比较器(comparator)和寄存器。差分器计算同心圆状的多个积分圆之中的半径最接近的2个积分圆的积分值的差值。比较器将从差分器输出的差值和指定的阈值进行比较。寄存器将差值大于指定的阈值时的积分圆的半径作为瞳孔半径予以保持。由此，能够使用规模比较小的电路构成瞳孔半径检测部。

此外，优选地本发明的瞳孔检测装置的瞳孔位置检测部是具备，当瞳孔半径检测部将积分圆的半径检测为瞳孔半径时，将表示该积分圆的中心坐标的指针部的计数器输出作为瞳孔位置坐标予以保持的寄存器。由此，能够使用规模比较小的电路构成瞳孔位置检测部。

此外，本发明的虹膜认证装置的特征在于具备本发明的瞳孔检测装置。利用这种结构，能够提供出装载能够高速且精度良好地进行瞳孔位置的检测的瞳孔检测装置的虹膜认证装置。

下面，使用附图对使用本发明的实施例的瞳孔检测装置的虹膜认证装置进行说明。

(实施例)

图1是使用本发明的实施例的瞳孔检测装置200的虹膜认证装置100的电路框图。图1，除了瞳孔检测装置200之外，还表示出构成虹膜认证装置100所需要的拍摄部120、照明部130和认证处理部140。

虹膜认证装置100具备拍摄部120、瞳孔检测装置200、认证处理部140和照明部130。拍摄部120对使用者的眼睛图像进行拍摄。瞳孔检测装置200从眼睛图像中检测出瞳孔位置及其半径。认证处理部140将从眼睛图像得到的虹膜代码与已登录的虹膜代码进行比较来进行个人认证。照明部130照射适于眼睛图像获取的光量的近红外线，对使用者的眼睛及其周边部分进行照明。

拍摄部120，具有引导反射镜121、可见光截止滤光器122、透镜123、拍摄元件124和前处理部125。在本发明的实施例中，通过作为透镜123使用固定焦点透镜来实现光学系统的小型、轻量化和低成本化。引导反射镜121通过使用者映入自己的眼睛而将眼睛向正确的拍摄位置引导。

然后，使用者的眼睛通过可见光截止滤光器122和透镜123被拍摄元件124拍摄。前处理部125，从拍摄元件124的输出信号中取出图像数据成分，在作为增益调整等图像数据进行了必要的处理的基础上，作为使用者的眼睛图像数据进行输出。

瞳孔检测装置200，具备图像数据提取部220、环圆周积分部230、瞳孔半径检测部250、指针部260和瞳孔位置检测部280。详细情况将在后边说明，利用这种结构，从前处理部125输出的眼睛图像数据中检测出瞳孔并向认证处理部140输出瞳孔中心坐标及其半径。

认证处理部140，根据从瞳孔检测装置200输出的瞳孔的中心坐标，从眼睛图像数据中分出虹膜图像。然后，通过将虹膜图像变换成表示虹膜的模样的固有的虹膜代码并与已登录的虹膜代码进行比较来执行认证动作。

图2是表示使用本发明的实施例的瞳孔检测装置200的虹膜认证装置100的动作的流程图。首先，通过使用者站在虹膜认证装置100的前边来开始认证动作(S11)。然后，拍摄部120对使用者的眼睛图像进行拍摄(S12)。前处理部125判定所获得的眼睛图像的聚焦、辉度、对比度等的图像质量是否合适。然后，当不合适时，进行照明控制或相对于使用者的指示等所需要的处理，再次取入眼睛图像(S13)。

在所获得的眼睛图像为合适的情况下，则瞳孔检测装置200检测瞳孔位置及其半径。然后，向认证处理部140输出瞳孔的中心坐标及其半径(S20)。在对瞳孔进行了检测后，认证处理部140，根据瞳孔的中心坐标从眼睛图像数据中分出虹膜图像(S41)。然后，通过将虹膜图像变换成表示虹膜的模样的固有的虹膜代码(S42)，并将其与已登录的虹膜代码进行比较来执行认证动作(S43)。

接着，详细地对瞳孔检测装置200的结构及其动作进行说明。图3A～图3D是用于说明瞳孔检测装置200的瞳孔位检测方法的图。图3A是表示包含瞳孔的图像的一例的图。图3B是表示对于积分圆的半径的积分值的图。图3C是表示用积分圆的半径对积分值进行微分后的值。图3D是表示在眼睛图像上移动的积分圆。

在包含瞳孔的图像中，如图3A所示，存在表示瞳孔的圆盘状的低辉度区域和在其外侧的表示虹膜的圆环状的中辉度区域。因此，当以瞳孔中心的位置坐标(Xo，Yo)为中心，沿着半径R的积分圆C的圆周对图像数据进行环圆周积分时，如图3B所示，形成积分值I以瞳孔半径Ro为边界阶跃状地变化。因此，如图3C所示，通过求出当用半径R对积分值I进行微分后的值dI/dR超过指定的阈值(以下称为“差阈值”)ΔIth时的积分圆的半径，就能够知道瞳孔半径Ro。

瞳孔检测装置200，根据以上的思考方法，检测瞳孔的位置坐标(Xo，Yo)和瞳孔半径Ro。首先，如图3D所示，在眼睛图像上假定中心坐标相等而半径不同的n个积分圆C₁～C_n，并对于各个积分圆C_i(i＝1～n)对位于其圆周上的图像数据进行积分。实际上是计算位于各个积分圆C_i的圆周上的像素的图像数据的平均值。或者，从位于圆周上的像素中选择一定数量(m个)的像素并对其图像数据进行加法运算。

在本发明的实施例中，设同心圆状的积分圆的数量n为20，从位于各个积分圆C_i的圆周上的像素中选择m＝8个像素，对其图像数据进行加法运算而作为环圆周积分的积分值I。当积分圆C₁～C_n的中心与瞳孔中心一致时，如上所述，则对于各个积分圆C_i的积分值I_i阶跃状地进行变化。因此，当求积分值I_i对于半径R的差值ΔI_i时，在与瞳孔半径Ro相等时，表示出大的极大值ΔI。

另一方面，当积分圆C₁～C_n的中心与瞳孔中心不一致时，由于积分值I_i缓慢地变化，所以其差值ΔI_i不表示大的值。因此，通过求出差值ΔI_i表示比差阈值ΔIth大的值的积分圆C_i，就能够求出瞳孔位置及其半径。

然后，使积分圆C₁～C_n向眼睛图像上的各个位置移动，反复进行上述的动作。这样，通过求出差值ΔI_i表示大的值时的积分圆C_i的中心坐标(X，Y)和此时的半径R，就能够求出瞳孔的位置坐标(Xo，Yo)和瞳孔的半径Ro。

另外，在256灰度级的图像信号的情况下，瞳孔的平均辉度为40灰度级左右，虹膜的平均辉度为100灰度级左右。因此，积分圆位于瞳孔上时的积分值I大致为40×8＝320，积分圆位于虹膜上时的积分值I大致为100×8＝800。因此，作为差阈值ΔIth，设定在从作为其差的1倍的480到作为其差的1/4倍的120的范围内即可。

但是，当差阈值ΔIth过小时，则误检测出瞳孔以外的物体的概率将增加，反之，如果过于大，则无法检测出瞳孔的可能性将增大。因此，优选地实验性地求出最佳值来设定差阈值ΔIth。在本发明的实施例中，将差阈值Δith设定为瞳孔的平均辉度的积分值与虹膜的平均辉度的积分值之差的2/3。

图4是本发明的实施例的瞳孔检测装置200的电路框图。瞳孔检测装置200，具备：图像数据提取部220、环圆周积分部230、瞳孔半径检测部250、指针部260和瞳孔位置检测部280。图像数据提取部220，将积分圆C₁～C_n设定到眼睛图像上，并提取各个积分圆C_i的圆周上的图像数据。环圆周积分部230，将所提取的图像数据以每个积分圆C_i的方式进行环圆周积分。

瞳孔半径检测部250，求出积分值I_i对于半径R_i的差值ΔI_i，并将它们与差阈值ΔIth进行比较。然后，通过求出表示比差阈值ΔIth大的差值时的积分圆的半径，检测出同心圆状的积分圆的积分值阶跃状地变化的积分圆的半径。指针部260，表示积分圆C₁～C_n的中心坐标(X，Y)。瞳孔位置检测部280，保持差值ΔI_i变得比差阈值ΔIth大时的积分圆的中心坐标。

图5是图像数据提取部220的电路图。并且，在图5中表示1个积分圆C_i和与之对应的加法器230_i。图像数据提取部220由部分帧存储器210和用于从其中引出图像数据的引出线L_i构成。图像数据提取部220将多个图像数据以每个积分圆的方式集中地同时提取并输出。部分帧存储器210，是将先进先出(FIFO型)的行存储器215多个串联连接的存储器。

并且，利用引出线L_i在图像上从与积分圆C_i对应的m个像素中引出图像数据。另外，为了便于看图，在图5中仅表示1个积分圆C_i和将位于该圆周上的4个像素数据引出的引出线L_i。但是，在本发明的实施例中，从20个积分圆C₁～C₂₀引出了各8个数据的引出线。

并且，每次当向部分帧存储器210每1个像素地输入图像数据sig后，保持在部分帧存储器210内的图像全体就每1个像素地进行移位。因此，从引出线L_i引出的图像数据也每1个像素地进行移位。即，当向部分帧存储器210输入了1个像素的图像数据sig后，在眼睛图像上积分圆C₁～C_n就向右移动1个像素的量。然后，当输入了1行的图像数据sig后，在眼睛图像上，积分圆C₁～C_n就向下移动1行的量。

这样，在向部分帧存储器210输入1帧的图像数据的期间内，在眼睛图像上，积分圆C₁～C_n就扫描了眼睛图像全体。因此，指针部260，通过对与向部分帧存储器210取入图像数据的周期同步的时钟进行计数，而利用X计数器262和Y计数器264的输出表示出积分圆的中心坐标(X，Y)。

如图4所示，环圆周积分部230，具备对于积分圆C₁～C_n中的每一者独立的加法器230_i～230_n。并且，加算位于各个积分圆C_i的圆周上的m个图像数据，并将各自的加算结果作为积分值I_i向瞳孔半径检测部250输出。

瞳孔半径检测部250，具备n-1个减法器252_i～252_n-1、选择器253、比较器254和寄存器255。减法器252_i～25_2n-1求出对于各个积分圆C_i的积分值I_i相对于半径R的差。即，求出积分圆C₁～C_n之中的对于半径为1个数不同的圆C_i与C_i-1的积分值I_i与I_i-1的差值ΔI_i。

然后，通过选择器253依次用比较器254与差阈值ΔIth进行比较。当差值ΔI_i比差阈值ΔIth大时，寄存器255就保持该情况下的积分圆的半径。另外，也可以设置当差值ΔI_i比差阈值ΔIth大时保持这时的差值ΔI_i的寄存器259，在图4中用虚线表示寄存器259。

瞳孔位置检测部280具备寄存器286、287，其将在由瞳孔半径检测部250检测出瞳孔时的X计数器262和Y计数器264的值保持于寄存器286、287内。

下面，使用流程图对瞳孔检测装置200的动作进行说明。在以下的说明中，设眼睛图像数据是顺序扫描数据，设1帧例如由480行×640像素的数字数据构成。图6是表示本发明的实施例的瞳孔检测装置200的眼睛图像1帧的动作的流程图。

首先，瞳孔检测装置200取入1个像素的图像数据sig(S51)。如果所取入的图像数据是1帧的开头的数据(S52)，则使Y计数器264复位，并且使瞳孔半径检测部250的寄存器255、瞳孔位置检测部280的寄存器286、287复位(S53)。如果所取入的数据是1行的开头的数据(S54)，则使X计数器262复位，并使Y计数器264加1(S55)。然后，使X计数器262加1(S56)。

接着，将所取入的图像数据取入到部分帧存储器210内。之后，在眼睛图像上，从与n个积分圆C₁～C_n对应的像素之中的各个积分圆C_i中每m个地引出共计n×m个图像数据。然后，与各个积分圆C_i对应的加法器230_i分别计算出图像数据的积分值I_i，瞳孔半径检测部250分别计算积分值I_i的差值ΔI_i(S57)。

然后，对差值ΔI_i和差阈值ΔIth进行比较(S58)。当差值ΔI_i比差阈值ΔIth大时，则视为检测出了瞳孔，并将这时的积分圆的半径作为瞳孔半径Ro予以保持。同时，瞳孔位置检测装置280将积分圆的中心坐标作为瞳孔位置坐标(Xo，Yo)予以保持(S59)。当差值ΔI_i小于等于差阈值ΔIth时，则返回步骤S51，取入下1个像素的量的图像数据。

以上的从步骤S51到步骤S59的一连串的动作，按照向部分帧存储器210每输入1个像素的量的图像数据的方式执行。例如，在帧频为30Hz，眼睛图像由640×480像素构成的情况下，就用小于等于1/(30×640×480)秒的时间执行上述一连串的动作。并且，由于当向部分帧存储器210输入1个像素后，积分圆在图像上移动1个像素的量，所以在输入1帧的图像的期间内，积分圆在图像上进行一次扫描。这样，能够使用规模比较小的电路对于由拍摄部120所拍摄的图像数据实时地进行瞳孔检测。

另外，在上述的实施例中，对差值ΔI_i和差阈值ΔIth进行比较，在差值ΔI_i成为比差阈值ΔIth大的时刻，就视为检测出了瞳孔。然后，将此时的积分圆的半径和中心坐标分别作为瞳孔的半径和瞳孔的中心坐标。但是，也可以考虑到会有在真的瞳孔位置以外的位置上，差值ΔI_i偶然地会变得比差阈值ΔIth大的可能性。也可以做成为这样的结构，即在存在多个比差阈值ΔIth大的差值ΔI_i的情况下，分别将与最大的差值对应的积分圆的半径和中心坐标作为瞳孔的半径和瞳孔的中心坐标。利用这种结构，能够防止瞳孔检测装置的误动作，从而提高瞳孔检测精度。

此外，在本实施例，虽然将同心圆状的积分圆的数量设为20，将从1个积分圆引出的图像数据的数量设为8个，但是，优选地这些数量兼顾检测精度、处理时间、电路规模等地来决定。

按照本发明，能够提供出能够高速且精度良好地进行瞳孔位置的检测的瞳孔检测装置和虹膜认证装置。

工业上利用的可能性。

由于本发明能够提供出能够高速且精度良好地进行瞳孔位置的检测的瞳孔检测装置，所以作为个人认证等所使用的虹膜认证装置等是有用的。

Claims (4)

1.一种瞳孔检测装置，具备：

将先进先出(FIFO)型的行存储器多个串联连接起来并且每1个像素地输入图像数据的部分帧存储器；

从在上述部分帧存储器中保存的、瞳孔和虹膜应该被拍摄的图像数据中引出同心圆状的多个积分圆上的图像数据的多条引出线；

对由上述多条引出线引出的图像数据按上述积分圆的每一个进行加算的、分别与上述多个积分圆对应的多个加算部；以及

求取半径相邻的2个上述积分圆的上述多个加算部的加算结果的差值并且将上述差值与阈值进行比较的瞳孔半径检测部，其中该阈值是根据上述瞳孔的平均辉度和上述虹膜的平均辉度的关系求取的；

其中，每次向上述部分帧存储器输入1像素的图像数据时，上述瞳孔半径检测部便将上述差值与上述规定的阈值进行比较，并在上述差值大于上述规定的阈值时，认为在上述部分帧存储器所保存的图像数据中存在瞳孔的图像。

2.根据权利要求1所述的瞳孔检测装置，其中，上述阈值被设定在积分圆位于虹膜上时的积分值与积分圆位于瞳孔上时的积分值之差的1/4倍～1倍的范围内。

3.一种虹膜认证装置，具备权利要求1所述的瞳孔检测装置。

4.一种瞳孔检测方法，包括：

向将先进先出(FIFO)型的行存储器多个串联连接而成的部分帧存储器每1个像素地输入图像数据的步骤；

多条引出线从在上述部分帧存储器中保存的、瞳孔和虹膜应该被拍摄的图像数据中引出同心圆状的多个积分圆上的图像数据的步骤；

与上述多个积分圆分别对应的多个加算部对由上述多条引出线引出的图像数据按上述积分圆的每一个进行加算的步骤；以及

瞳孔半径检测部求取半径相邻的2个上述积分圆的上述多个加算部的加算结果的差值并且将上述差值与阈值进行比较的步骤，其中该阈值是根据上述瞳孔的平均辉度和上述虹膜的平均辉度的关系求取的；

其中，每次向上述部分帧存储器输入1像素的图像数据时，上述瞳孔半径检测部便将上述差值与上述规定的阈值进行比较，并在上述差值大于上述规定的阈值时，认为在上述部分帧存储器所保存的图像数据中存在瞳孔的图像。

Images