CN1805702A - 瞳孔检测装置和虹膜认证装置 - Google Patents

瞳孔检测装置和虹膜认证装置 Download PDF

Info

Publication number
CN1805702A
CN1805702A CNA2005800005451A CN200580000545A CN1805702A CN 1805702 A CN1805702 A CN 1805702A CN A2005800005451 A CNA2005800005451 A CN A2005800005451A CN 200580000545 A CN200580000545 A CN 200580000545A CN 1805702 A CN1805702 A CN 1805702A
Authority
CN
China
Prior art keywords
pupil
mentioned
candidate
pupil candidate
integration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800005451A
Other languages
English (en)
Other versions
CN100403973C (zh
Inventor
杉田守男
若森正浩
藤松健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1805702A publication Critical patent/CN1805702A/zh
Application granted granted Critical
Publication of CN100403973C publication Critical patent/CN100403973C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

具备：从眼睛图像中检测能够成为瞳孔的候补的瞳孔候补的位置的瞳孔候补检测部(210)；保持检测出的多个瞳孔候补的位置的瞳孔候补保持部(280)；以及选择多个瞳孔候补之中的、在距离瞳孔候补的中心位置指定的距离或指定的距离以内的区域存在其它的瞳孔候补的中心位置的瞳孔候补的瞳孔选择部(290)。

Description

瞳孔检测装置和虹膜认证装置
技术领域
本发明涉及可在个人认证等中使用的虹膜认证装置，特别是涉及从包括眼睛的图像(以下简称为“眼睛图像”)中检测瞳孔的位置的瞳孔检测装置。
背景技术
过去以来提出了从眼睛图像中检测出瞳孔位置的各种各样的方法，例如，已知的有将眼睛图像的图像数据(以下简称为“眼睛图像数据”)2值化(黑白化)，来检测低辉度区域中的圆形区域的方法，或者对于半径为r而中心坐标为(x0，y0)的圆的弧计算图像强度I(x，y)的环圆周积分，并计算随着半径r增加而与r有关的该量的部分的导函数的方法(例如参见特表平8-504979号公报)等。此外，对于消除睫毛或外来光反射的影响来提高检测精度的方法也提出了一些方案(例如特开2002-119477号公报)。
为了使用这些方法精度良好地检测瞳孔，需要高速地处理庞大的图像数据，即使是使用处理能力高的大的CPU或大容量存储器，在现有的状况下也难以实时地处理眼睛图像的图像数据。此外，如果将CPU的处理量减少到能够实时地处理图像数据的程度，则会出现检测精度降低等的问题。
发明内容
本发明提供能够高速且精度良好地进行瞳孔位置的检测的瞳孔检测装置和虹膜认证装置。
本发明的瞳孔检测装置，具备：从眼睛图像中检测成为瞳孔的候补的瞳孔候补的位置的瞳孔候补检测部；保持多个瞳孔候补检测部所检测出的瞳孔候补的位置的瞳孔候补保持部；以及将被保持在瞳孔候补保持部的瞳孔候补之中的、在距离瞳孔候补的中心位置指定的距离或指定的距离以内的区域存在其它的瞳孔候补的中心位置的瞳孔候补选择为瞳孔的瞳孔选择部。
附图说明
图1是使用本发明的实施例1的瞳孔检测装置的虹膜认证装置的电路框图。
图2A是表示包含瞳孔的图像的一例的图。
图2B是表示对于积分圆的半径的积分值的图。
图2C是表示用积分圆的半径对积分值进行微分后的值的图。
图2D是表示在眼睛图像上移动的积分圆的图。
图3A是表示积分圆位于虹膜区域时的眼睛图像及此时的辉度的一例的图。
图3B是表示积分圆位于眼镜框上时的眼睛图像及此时的辉度的一例的图。
图4是同一实施例的瞳孔检测装置的电路框图。
图5是同一实施例的图像数据提取部的电路图。
图6是同一实施例的瞳孔候补保持部和瞳孔选择部的电路框图。
图7是用于说明同一实施例的瞳孔选择部的动作的图。
图8是表示同一实施例的瞳孔检测装置的眼睛图像的1帧的动作的流程图。
图9是本发明的另一实施例中的用于从瞳孔候补中选择瞳孔的流程图。
标记说明
120 拍摄部
130 照明部
140 认证处理部
200 瞳孔检测装置
220 图像数据提取部
230 环圆周积分部
240 辉度差算出部
250 变化圆检测部
260 指针部
280 瞳孔候补保持部
290 瞳孔选择部
具体实施方式
本发明的瞳孔检测装置，具备：从眼睛图像中检测能够成为瞳孔的候补的瞳孔候补的位置的瞳孔候补检测部；保持多个瞳孔候补检测部所检测出的瞳孔候补的位置的瞳孔候补保持部；以及将被保持在瞳孔候补保持部的瞳孔候补之中的、在距离瞳孔候补的中心位置指定的距离或指定的距离以内的区域存在其它的瞳孔候补的中心位置的瞳孔候补选择为瞳孔的瞳孔选择部。利用这种结构，能够提供出能够精度良好且高速地进行瞳孔位置的检测的瞳孔检测装置。
此外，本发明的瞳孔检测装置，具备：将同心圆状的多个圆分别作为积分圆设定在眼睛图像上，并提取位于上述积分圆的圆周上的眼睛图像的图像数据的图像数据提取部；将图像数据提取部提取的图像数据沿着积分圆中的每一者的圆周进行积分的环圆周积分部；从上述多个积分圆中检测上述环圆周积分部的积分值相对于积分圆的半径阶跃状地变化的积分圆的变化圆检测部；将由变化圆检测部检测出的积分圆的中心坐标作为瞳孔候补的坐标位置进行保持的瞳孔候补保持部；以及选择由瞳孔候补保持部所保持的瞳孔候补之中的、在距离瞳孔候补的中心坐标指定的距离或指定的距离以内的区域存在其它的瞳孔候补的中心位置的瞳孔候补的瞳孔选择部。利用这种结构，能够使用规模比较小的电路对于由拍摄部拍摄的图像数据实时地进行瞳孔检测。
此外，本发明的瞳孔检测装置的变化圆检测部，将环圆周积分部的积分值相对于积分圆的半径阶跃状地进行变化的变化大小作为评价值输出；瞳孔候补保持部，将检测输入数据中的具有最大值的数据的最大值检测器多个串联地连接而构成，其通过向瞳孔候补保持部输入评价值而按照评价值大的顺序保持瞳孔候补。利用这种结构，能够使用评价值按着大的顺序排列瞳孔候补。
此外，本发明的瞳孔检测装置的最大值检测器，也可以是如下的结构，具备：保持输入数据的寄存器、比较保持在寄存器内的数据和输入数据的比较器、以及选择并输出保持在寄存器内的数据或输入数据中的任何一者的选择器；寄存器，根据比较器的输出，当输入数据比所保持的数据大时，保持上述输入数据；选择器，根据比较器的输出，当输入数据比寄存器所保持的数据大时，选择寄存器所保持的数据，而当输入数据比寄存器所保持的数据小时，则选择输入数据。利用这种结构，能够用比较简单的电路实现最大值检测器。
此外，本发明的瞳孔检测装置的瞳孔选择部，也可以是如下的结构，即、对于多个瞳孔候补，将相互距离接近的瞳孔候补作为1个组进行分组，从各自的组中选择瞳孔候补的数量最多的组、或瞳孔候补的评价值的总和最高的组，并从该被选择的组中决定瞳孔位置。利用这种结构，能够使用比较简单的算法实现瞳孔选择部。
本发明的虹膜认证装置，具备本发明的瞳孔检测装置。利用这种结构，能够提供出装载了能够精度良好且高速地进行瞳孔位置的检测的瞳孔检测装置的虹膜认证装置。
下面，使用附图对使用本发明的实施例的瞳孔检测装置的虹膜认证装置进行说明。
(实施例1)
图1是使用本发明的实施例1的瞳孔检测装置200的虹膜认证装置100的电路框图。在图1中，除了瞳孔检测装置200之外，还表示出用于构成虹膜认证装置100所需要的拍摄部120、照明部130和认证处理部140。
实施例1的虹膜认证装置100，具备：拍摄使用者的眼睛图像的拍摄部120；从眼睛图像中检测瞳孔位置及其半径的瞳孔检测装置200；将从眼睛图像得到的虹膜代码与已经登录的虹膜代码进行比较以进行个人认证的认证处理部140；照射适于取得眼睛图像的光量的近红外线而对使用者的眼睛及其周边部分进行照明的照明部130。
拍摄部120，具有引导反射镜121、可见光截止滤光器122、透镜123、拍摄元件124和前处理部125。在实施例中，通过作为透镜123使用固定焦点透镜来实现光学系统的小型、轻量化和低成本化。引导反射镜121，通过使用者映入自己的眼睛而将眼睛向正确的拍摄位置引导。
并且，使用者的眼睛通过透镜123、可见光截止滤光器122由拍摄元件124进行拍摄。前处理部125，从拍摄元件124的输出信号中取出图像数据成分，在作为增益调整等图像数据进行了需要的处理的基础上，作为使用者的眼睛图像数据输出。
瞳孔检测装置200，具有瞳孔候补检测部210、瞳孔候补保持部280、以及瞳孔选择部290，其从眼睛图像中检测出瞳孔位置及其半径并向认证处理部140输出。
认证处理部140，根据瞳孔检测装置200所检测出的瞳孔中心坐标和瞳孔半径，从眼睛图像数据中分出虹膜图像。然后，通过将虹膜图像变换成表示虹膜的模样的固有的虹膜代码，并将其与已经登录的虹膜代码进行比较来执行认证动作。
下面，对瞳孔检测装置200的瞳孔检测方法进行说明。图2A～2D是用于说明本发明的实施例1的瞳孔检测装置200的瞳孔检测方法的图。图2A是表示包含瞳孔的图像的一例的图，图2B是表示对于积分圆的半径的积分值的图，图2C是表示用积分圆的半径对积分值进行微分后的值的图，图2D是表示在眼睛图像上移动的积分圆的图。
如图2A所示，包含瞳孔的图像，存在表示瞳孔的圆盘状的低辉度区域和在其外侧表示虹膜的圆环状的中辉度区域。因此，当以瞳孔中心的位置坐标(Xo，Yo)为中心沿着半径R的积分圆C的圆周对图像数据进行环圆周积分时，则如图2B所示，积分值I在瞳孔半径为Ro时阶跃状地进行变化。因此，通过求出用半径R对积分值I进行微分后的值dI/dR超过阈值(以下记为“差阈值”)ΔIth时的积分圆的半径，就能够知道瞳孔半径Ro。
根据以上的思考方法，瞳孔检测装置200检测瞳孔的位置坐标(Xo，Yo)以及瞳孔半径Ro。首先，如图2D所示，在眼睛图像上设定中心坐标相等而半径不同的n个积分圆C1～Cn，对于各个积分圆Ci(i＝1～n)积分位于其圆周上的图像数据。实际上是计算位于各个积分圆Ci的圆周上的像素的图像数据的平均值，或者，从位于圆周上的像素中选择一定数量(m个)的像素，加算其图像数据。
在实施例1中，设同心圆状的积分圆的数量n为20，从位于各个积分圆Ci的圆周上的像素中选择m＝8个像素，将加算其图像数据的环圆周积分的积分值设为I。这时，当积分圆C1～Cn的中心与瞳孔中心一致时，如上所述，由于对于各个积分圆Ci的积分值Ii阶跃状地进行变化，所以当求积分值Ii相对于半径R的差值ΔIi时，当半径R与瞳孔半径Ro相等时，就表示大的极大值。
然而，当积分圆C1～Cn的中心与瞳孔中心不一致时，由于积分值Ii缓慢地变化，所以差值ΔIi不表示大的值。因此，通过求出差值ΔIi表示比差阈值ΔIth大的值的积分圆Ci，就能够求出瞳孔的位置及其半径。
然后，使积分圆C1～Cn向眼睛图像上的各个位置移动，反复进行上述的动作。这样，通过求出差值ΔIi表示大的值时的积分圆Ci的中心坐标(X，Y)及此时的半径R，就能够求出瞳孔的位置坐标(Xo，Yo)和瞳孔的半径Ro。
然而，由于图像的原因存在偶发性地差值ΔIi表示出大的值的可能性。特别是，虽然减小积分圆的数量n或在各个积分圆上选择的像素的数量m而能够减少计算量，从而能够进行高速的瞳孔检测，但相反，偶发性地差值ΔIi表示出大的值的可能性增高，而瞳孔检测精降低。为此，通过在瞳孔检测装置200中设置辉度差算出部240，对于积分圆Ci中的每一者求出圆周上的辉度的最大值与最小值之差Bi，仅仅在该差Bi小于指定的阈值(以下记为“辉度差阈值”)Bth的情况下，将积分值Ii或其差值ΔIi作为有效，就防止了瞳孔检测精度的降低。
图3A和图3B是用于说明辉度差算出部240的动作的图。图3A是表示积分圆位于虹膜区域时的眼睛图像及此时的辉度的一例的图，图3B是表示积分圆位于眼镜框上时的眼睛图像及此时的辉度的一例的图。
当积分圆C1～Cn的中心与瞳孔中心一致时，由于各个积分圆Ci位于瞳孔区域内部、虹膜区域内部等辉度比较均匀的区域，所以圆周上的图像数据的辉度偏差小。在图3A中表示位于作为圆环状的中辉度区域的虹膜区域的积分圆。在该情况下，圆周上的辉度的最大值与最小值之差Bi小，成为小于等于辉度差阈值Bth。
但是，例如图3B所示，当积分圆C1～Cn的中心位于黑的眼镜框的一部分上时，由于圆周上的辉度在眼镜框上低而在皮肤的部分上变高，所以辉度的最大值与最小值之差Bi就变大。这样，通过求出各个积分圆Ci的圆周上的辉度的最大值与最小值之差Bi，并且仅仅在该差Bi比辉度差阈值Bth小的情况下，将积分值Ii或其差值ΔIi作为有效，就能够防止将眼镜框误判定为瞳孔等的误判定，从而能够防止瞳孔检测精度的降低。
另外，优选地作为辉度差阈值Bth设定得比圆周上的辉度数据的所预料的偏差稍大。从经验方面来说，设定为比虹膜的平均辉度与瞳孔的平均辉度之差大，而比皮肤的平均辉度与瞳孔的平均辉度之差小即可。例如，在256灰度级的图像信号的情况下，由于瞳孔的平均辉度为40灰度级左右，虹膜的平均辉度为100灰度级左右，而皮肤的平均辉度为200灰度级左右，所以作为辉度差阈值Bth设定在60～160之间即可。
此外，作为差阈值Bth，由于积分圆位于瞳孔上时的积分值I大致为40×8＝320，而积分圆位于虹膜上时的积分值I大致为100×8＝800，所以，作为差阈值ΔIth，设定为其差480的一半左右、即设定为240左右即可。
图4是本发明的实施例1的瞳孔检测装置200的电路框图。瞳孔检测装置200，具备：瞳孔候补检测部210、瞳孔候补保持部280和瞳孔选择部290。
瞳孔候补检测部210，具备：将积分圆C1～Cn设定到眼睛图像上并提取各个积分圆Ci的圆周上的图像数据的图像数据提取部220、对所提取的图像数据以每个积分圆Ci的方式进行环圆周积分的环圆周积分部230、以每个积分圆的方式求出图像数据的最大值与最小值之差Bi的辉度差算出部240、求出积分值Ii对于半径Ri的差值ΔIi并输出当差值的最大值ΔI大于差阈值ΔIth时的差值ΔIi和积分圆的半径R的变化圆检测部250、以及表示积分圆C1～Cn的中心坐标(X，Y)的指针部260。
瞳孔候补保持部280，在变化圆检测部250输出比差阈值ΔIth大的差值ΔIi时，将其看作检测出瞳孔候补的结果，并存储多个瞳孔候补的位置坐标(X，Y)和半径R，瞳孔选择部290，从多个瞳孔候补中选择出1个瞳孔。
图5是图像数据提取部220的电路图。同时，在图5中还表示出与1个积分圆Ci对应的加法器230i和辉度差算出器240i。图像数据提取部220由部分帧存储器222及用于从其中引出(取出)图像数据的引出线L构成。
部分帧存储器222，是将先进先出(FIFO型)的行存储器224多个串联连接起来的存储器。并且，利用引出线Li在图像上从与积分圆Ci对应的m个像素中引出图像数据。另外，为了便于看图，虽然在图5中仅表示出1个积分圆Ci和引出位于其圆周上的4个图像数据的引出线Li，但在实施例1中，从20个积分圆C1～C20中引出了各自8个的数据的引出线。
并且，由于每次当向部分帧存储器222内每1个像素地输入图像数据后，被保持在部分帧存储器222内的图像全体就每1个像素地进行移位，因此，从引出线Li引出的图像数据也每1个像素地进行移位。即，当向部分帧存储器222输入1个像素的量的图像数据后，在眼睛图像上积分圆C1～Cn就向右移动1个像素的量，而当输入1行的图像数据后，在眼睛图像上，积分圆C1～Cn就向下移动1行的量。
这样，在向部分帧存储器222输入1帧的图像数据的期间内，在眼睛图像上，积分圆C1～Cn就扫描眼睛图像全体。这时的积分圆的中心坐标(X，Y)由X计数器262和Y计数器264的输出表示。
环圆周积分部230具备相对于积分圆C1～Cn中的每一者独立的加法器230i～230n，其加算位于各个积分圆Ci的圆周上的m个图像数据，并将各自的加算结果作为积分值Ii向变化圆检测部250输出。
辉度差算出部240，具备相对于积分圆C1～Cn中的每一者独立的辉度差算出器240i～240n，各个辉度差算出器240i都具备检测位于积分圆Ci的圆周上的m个图像数据的最大值的最大值检测器241i、检测最小值的最小值检测器242i、计算最大值与最小值之差Bi的减法器243i、对差Bi及辉度差阈值Bth进行比较的比较器244i。并且，向变化圆检测部250输出n个比较结果。
变化圆检测部250，具备减法器252i～252n-1、选择器253、比较器254。减法器252i求对于各个积分圆Ci的积分值Ii相对于半径R的差。即，求对于积分圆C1～Cn之中的半径1个数不同的积分圆Ci与Ci-1的积分值Ii与Ii-1的差值ΔIi。但是，当对于积分圆Ci的图像数据的最大值与最小值之差Bi大于辉度差阈值Bth时，则强制性地将差值ΔIi设定为0。
然后，选择器253和比较器254，向瞳孔候补保持部280输出差值ΔIi大于差阈值ΔIth的积分圆C的半径R，并且作为评价值Jo还向瞳孔候补保持部280输出该差值ΔI。这时，由于当对于积分圆Ci的图像数据的最大值与最小值之差Bi大于辉度差阈值Bth时，减法器252i强制性地将差值ΔIi设定为0，所以在差Bi大于辉度差阈值Bth的情况下，就不会向瞳孔候补保持部280输出半径Ri。
如使用图3说明的那样，当积分圆C1～Cn的中心与瞳孔的中心一致时，像素数据的最大值与最小值之差Bi将成为小于等于某一限定的值。但是，当与瞳孔的中心不一致时，差Bi将增大。因此，通过去除差Bi比辉度差阈值ΔIth大时的信息，能够减少误检测的可能性，从而能够提高瞳孔检测精度。
图6是瞳孔候补保持部280与瞳孔选择部290的电路框图。瞳孔候补检测部280是多个最大值检测器2801～280k分别被串联连接。最大值检测器280i中的每一者都具备：保持瞳孔候补的X坐标、Y坐标、半径R和评价值J的最大值的寄存器282i、283i、284i和285i；对输入的评价值Ji-1和保持在寄存器285i内的评价值Ji进行比较的比较器281i；选择输入的X坐标、Y坐标、半径R以及评价值J和所保持的X坐标、Y坐标、半径R以及评价值J中的任何一者的选择器286i、287i、288i和289i。
向开头的最大值检测器2801中输入表示积分圆的坐标的X计数器262和Y计数器264的输出Xo、Yo，并输入变化圆检测部250的输出Ro。
然后，当从变化圆检测部250输出的评价值Jo比寄存器2851所保持的评价值J1大时，则通过选择器2861～2891向第2个最大值检测器2802输出到此为止保持在寄存器2821～2851中的X坐标X1、Y坐标Y1、半径R1和评价值J1，并且，将新输入的X坐标Xo、Y坐标Yo、半径Ro和评价值Jo保持在寄存器2821～2851内。
当评价值Jo小于等于评价值J1时，则通过选择器2861～2891向第2个最大值检测器2802输出新输入的X坐标Xo、Y坐标Yo、半径Ro和评价值Jo。
第2个最大值检测器2802，当从第1个最大值检测器2801输出的评价值J1大于寄存器2852所保持的评价值J2时，则向第3个最大值检测器2803输出到此为止保持在寄存器2822～2852中的X坐标X2、Y坐标Y2、半径R2和评价值J2，并且将新输入的X坐标X1、Y坐标Y1、半径R1和评价值J1保持在寄存器2822～2852内。当评价值J1小于等于评价值J2时，则向第3个最大值检测器2803输出新输入的X坐标X1、Y坐标Y1、半径R1和评价值J1。
以下同样，第i个最大值检测器280i，当从上游侧的最大值检测器280i-1输出的评价值Ji-1比到此为止所保持的评价值Ji大时，则向下游侧的最大值检测器280i+1输出到此为止所保持的数据，并且保持上游侧的数据。当评价值Ji-1小于等于评价值Ji时，则向下游侧输出上游侧的数据。
其结果，在开头的最大值检测器2801内保持对于评价值最大的瞳孔候补的X坐标X1、Y坐标Y1、半径R1和评价值J1，在第2个最大值检测器2802内保持对于第2个评价值大的瞳孔候补的X坐标X2、Y坐标Y2、半径R2和评价值J2，在第i个最大值检测器280i内保持对于第i个评价值大的瞳孔候补的X坐标Xi、Y坐标Yi、半径Ri和评价值Ji。
瞳孔选择部290，从被保持在瞳孔候补保持部280内的多个瞳孔候补中选择出1个在距离瞳孔候补的中心位置指定的距离或指定的距离以内的区域存在其它的瞳孔候补的中心位置的瞳孔候补，并将其位置坐标和半径作为瞳孔的位置坐标和半径向认证处理部140输出。在本实施例中，将指定的距离设为1.5个像素。因此，瞳孔选择部290，对于瞳孔候补中的每一者，计数在与瞳孔候补的位置坐标(Xi，Yi)相邻的上下左右的4个像素和斜向方向的4个像素的共计8处的像素位置上包含的瞳孔候补的数量，并将此时包含最多的瞳孔候补的瞳孔候补选择为真的瞳孔。
在存在多个包含最多的瞳孔候补的瞳孔候补的情况下，则将这些瞳孔候补之中的评价值Ji最大的瞳孔候补选择为真的瞳孔。其结果，由瞳孔选择部290选择的瞳孔，成为在其周围存在其它的瞳孔候补的瞳孔。虽然瞳孔选择部290也可以使用进行以上的动作的专用电路构成，但在本实施例中，使用设置在认证处理部140内的CPU(未图示)进行上述的处理。
图7是用于说明瞳孔选择部290的动作的图。瞳孔候补P1、P2是错误地将睫毛检测为瞳孔的瞳孔候补，瞳孔候补P3～P11是检测出真的瞳孔的瞳孔候补。这样，通常被误检测出的瞳孔候补大部分不会密集，但却有在真的瞳孔的周围瞳孔候补密集的倾向。这种倾向依赖于瞳孔候补的检测精度，检测精度越好则密集的瞳孔候补的数量就越少。
但是，即使提高了精度，由于还会存在依赖于拍摄元件的1个像素左右的误差，所以在与真的瞳孔的中心位置相邻的像素位置上存在其它的瞳孔候补的中心的可能性高。因此，通过将在周围存在其它的瞳孔候补的瞳孔候补选择为真的瞳孔，能够消除错将睫毛等检测为瞳孔等的误检测，从而能够提高瞳孔的检测精度。
在此，优选地由瞳孔候补保持部280检测的瞳孔候补的数量k、以及用于由瞳孔选择部290计数在周围存在的瞳孔候补的数量的像素位置的数量，由瞳孔候补的检测精度、被误检测的瞳孔候补的数量的估计等来决定。在本实施例中，预计在真的瞳孔的位置的上下左右聚集了各1个的瞳孔候补的可能性，作为用于计数瞳孔候补的数量的像素位置的数量，设定了包括上下左右4个像素和斜向方向4个像素的共计8个像素的区域。此外，在真的瞳孔的位置上集中有9个(真的瞳孔1个，上下左右各1个，斜向方向各1个)瞳孔候补，并假定被误检测的瞳孔候补最多存在6个，从而将检测的瞳孔候补的数量k设定为15。
这样，通过从眼睛图像中检测出多个瞳孔候补，并从多个瞳孔候补中选择在与瞳孔候补的中心位置相邻的像素位置上存在其它的瞳孔候补的中心位置的瞳孔候补，能够消除错误地将睫毛等检测为瞳孔等的误检测，从而能够提高瞳孔检测精度。
接下来，对瞳孔检测装置200的动作进行说明。在以下的说明中，设眼睛图像数据是顺序扫描数据，设1帧由例如480行×640像素的数字数据构成。图8是表示本发明的实施例1的瞳孔检测装置200的眼睛图像1帧的动作的流程图。
首先，瞳孔检测装置200取入1个像素的量的图像数据(S51)。如果取入的图像数据是1帧的开头的数据(S52)，则使Y计数器264复位并且使瞳孔候补保持部280的各个寄存器282～285复位(S53)。如果取入的数据是1行的开头的数据(S54)，则使X计数器262复位，并使Y计数器264加1(S55)。然后，使X计数器262加1(S56)。
接着，将取入的图像数据取入到部分帧存储器222内。之后，在眼睛图像上，从与n个积分圆C1～Cn对应的像素之中的各个积分圆Ci中每m个地引出n×m个图像数据。然后，与各个积分圆Ci对应的加法器230i分别计算图像数据的积分值Ii，辉度差算出器240i计算图像数据的最大值与最小值之差Bi。变化圆检测部250计算各自的积分值Ii的差值ΔIi。但此时，当差Bi比辉度差阈值Bth大时，则强制性地使差值ΔIi为0(S57)。
然后，比较器254对差值ΔIi和差阈值ΔIth进行比较(S58)，当差值ΔIi比差阈值ΔIth大时，瞳孔候补保持部280将此时的X计数器262、Y计数器264和积分圆的半径Ro作为瞳孔候补保持，并且也将其差值ΔIi作为评价值Jo保持。这时，瞳孔候补保持部280，按照评价值大的顺序重新排列瞳孔候补并保持最多k个瞳孔候补(S59)。接着，判定取入的数据是否是1帧的末尾的数据(S60)，如果不是末尾，则返回步骤S51。
当输入的图像数据为1帧的最后的像素的数据时，瞳孔选择部290，针对各自的瞳孔候补，计算在与其中心坐标相邻的像素位置上存在的其它的瞳孔候补的数量，并将该值最大的瞳孔候补的X坐标、Y坐标和半径的值作为真的瞳孔的X坐标Xo、Y坐标Yo和瞳孔半径Ro向虹膜认证处理部140输出(S61)。
以上的从步骤51到步骤60的一连串的动作，向部分帧存储器222每输入1个像素的量的图像数据地来执行。例如，在帧频为30Hz，眼睛图像由640×480像素构成的情况下，在小于等于1/(30×640×480)秒的时间内执行上述的一连串的动作。并且，由于当向部分帧存储器222输入1个像素后积分圆就在图像上移动1个像素的量，所以在输入1帧的图像的期间内积分圆在图像上进行1次扫描。这样，能够使用比较小规模的电路，对于由拍摄部120拍摄的图像数据实时地进行瞳孔检测。
另外，从多个瞳孔候补中选择在距离中心位置指定的距离或指定的距离以内的附近存在其它的瞳孔候补的中心位置的瞳孔候补的方法，并不限于上述的方法。例如，也可以采用这样的结构，即、对于多个瞳孔候补，将相互距离接近的瞳孔候补作为1个组进行分组，并且将各自的组所包含的瞳孔候补的数量多的组、或者所含有的瞳孔候补的评价值高的组等作为线索，来选择真的瞳孔。图9是基于这样的思考方法的用于从瞳孔候补中选择瞳孔的流程图。
首先，瞳孔选择部290取入1个瞳孔候补。设取入的瞳孔候补的X坐标、Y坐标、半径和评价值分别为Xi、Yi、Ri和Ji(S71)。接着，针对X坐标、Y坐标和半径中的每一者，查找是否存在瞳孔候补的值Xi、Yi和Ri与组的平均值Xgj、Ygj和Rgj(j是0或正整数)之差比指定的阈值Xth、Yth和Rth小的组。即，查找是否存在满足|Xi-Xgj|＜Xth、|Yi-Ygj|＜Yth、|Ri-Rgj|＜Rth的组(S72)。
当存在时，在将在步骤S71取入的瞳孔候补追加到该组中(S73)，当不存在时，则创建仅包括在步骤S71取入的瞳孔候补的新的组(S74)。接着，对于在步骤S73追加了瞳孔候补的组或在步骤S74新创建的组，进行平均值Xgj、Ygj和Rgj的再计算(S75)。
当残存尚未分组的瞳孔候补时，则返回步骤S71(S76)。当所有的瞳孔候补的分组结束后，对于各自的组求包含在该组内的各个瞳孔候补的评价值的总和∑J(S77)。然后，将评价值的总和∑J为最大的组的X坐标、Y坐标和半径的平均值Xgj、Ygj和Rgj作为瞳孔的X坐标、Y坐标和半径向虹膜认证处理部140输出(S78)。
按照以上的方法，虽然原理上由于瞳孔候补的顺序而存在分组的结果发生变化等的不稳定性，但由于被误检测出的瞳孔候补是孤立的，而包含真的瞳孔的瞳孔候补的集合是密集的，所以只要例如将Xth、Yth的值设定为所预计的瞳孔半径的1/2左右，实际上不会发生问题。此外，按照该流程，数据处理比较简单，从而适于高速动作。
此外，本实施例的变化圆检测部250的选择器253，具有选择差值ΔIi的最大值和此时的积分圆C的半径R的功能。然而，瞳孔候补保持部280原本就具有检测最大值的功能。因此，作为选择器253，也可以采用单纯地以分时的方式将减法器2521～252n-1的输出和积分圆的半径输出的结构。
另外，在本实施例中，虽然将同心圆状的积分圆的数量设为20，将从1个积分圆引出的图像数据的数量设为8个，但是，优选地这些数量兼顾检测精度、处理时间、电路规模等地进行决定。
按照本发明，能够提供出能够精度良好且高速地进行瞳孔位置的检测的瞳孔检测装置和虹膜认证装置。
工业上利用的可能性.
由于本发明能够提供出能够精度良好且高速地进行瞳孔位置检测的瞳孔检测装置，所以作为个人认证等所使用的虹膜认证装置是有用的。

Claims (6)

1.一种瞳孔检测装置，具备：
从眼睛图像中检测能够成为瞳孔的候补的瞳孔候补的位置的瞳孔候补检测部；
保持多个上述瞳孔候补检测部检所测出的瞳孔候补的位置的瞳孔候补保持部；以及
将被保持在上述瞳孔候补保持部的瞳孔候补之中的、在距离瞳孔候补的中心位置指定的距离或指定的距离以内的区域存在其它的瞳孔候补的中心位置的瞳孔候补选择作为瞳孔的瞳孔选择部。
2.一种瞳孔检测装置，具备：
将同心圆状的多个圆分别作为积分圆设定在眼睛图像上，并提取位于上述积分圆的圆周上的眼睛图像的图像数据的图像数据提取部；
将上述图像数据提取部提取的图像数据沿着积分圆中的每一者的圆周进行积分的环圆周积分部；
从上述多个积分圆中检测上述环圆周积分部的积分值相对于积分圆的半径阶跃状地变化的积分圆的变化圆检测部；
将由上述变化圆检测部检测出的积分圆的中心坐标作为瞳孔候补的坐标位置进行保持的瞳孔候补保持部；以及
选择由上述瞳孔候补保持部所保持的瞳孔候补之中的、在距离瞳孔候补的中心坐标指定的距离或指定的距离以内的区域存在其它的瞳孔候补的中心位置的瞳孔候补的瞳孔选择部。
3.根据权利要求2所述的瞳孔检测装置，其中，
上述变化圆检测部，将上述环圆周积分部的积分值相对于积分圆的半径阶跃状地进行变化的变化大小作为评价值输出；
上述瞳孔候补保持部，是将检测输入数据中的具有最大值的数据的最大值检测器多个串联地连接而构成的，其通过向上述瞳孔候补保持部输入上述评价值而按照评价值大的顺序保持瞳孔候补。
4.根据权利要求3所述的瞳孔检测装置，其中，
上述最大值检测器具备：保持输入数据的寄存器、比较保持在上述寄存器内的数据和上述输入数据的比较器、以及选择并输出保持在上述寄存器内的数据或上述输入数据中的任何一者的选择器；
上述寄存器，根据上述比较器的输出，当上述输入数据比所保持的数据大时，保持上述输入数据；
上述选择器，根据上述比较器的输出，当上述输入数据比上述寄存器所保持的数据大时，选择上述寄存器所保持的数据，而当上述输入数据比上述寄存器所保持的数据小时，则选择上述输入数据。
5.根据权利要求2所述的瞳孔检测装置，其中，上述瞳孔选择部，对于多个瞳孔候补，将相互距离接近的瞳孔候补作为1个组进行分组，从各自的组中选择瞳孔候补的数量最多的组、或瞳孔候补的评价值的总和最高的组，并从该被选择的组中决定瞳孔位置。
6.一种虹膜认证装置，具备权利要求1～权利要求5中的任意一项所述的瞳孔检测装置。
CNB2005800005451A 2004-07-14 2005-05-18 瞳孔检测装置和虹膜认证装置 Expired - Fee Related CN100403973C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004206932A JP3966309B2 (ja) 2004-07-14 2004-07-14 瞳孔検出装置および虹彩認証装置
JP206932/2004 2004-07-14

Publications (2)

Publication Number Publication Date
CN1805702A true CN1805702A (zh) 2006-07-19
CN100403973C CN100403973C (zh) 2008-07-23

Family

ID=35783655

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005800005451A Expired - Fee Related CN100403973C (zh) 2004-07-14 2005-05-18 瞳孔检测装置和虹膜认证装置

Country Status (5)

Country Link
US (1) US20070036396A1 (zh)
EP (1) EP1767141A4 (zh)
JP (1) JP3966309B2 (zh)
CN (1) CN100403973C (zh)
WO (1) WO2006006298A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104114079A (zh) * 2011-10-24 2014-10-22 Iriss医疗科技有限公司 用于识别眼部健康状况的系统和方法
CN112464829A (zh) * 2020-12-01 2021-03-09 中航航空电子有限公司 一种瞳孔定位方法、设备、存储介质及视线追踪系统

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8090157B2 (en) * 2005-01-26 2012-01-03 Honeywell International Inc. Approaches and apparatus for eye detection in a digital image
US9020854B2 (en) 2004-03-08 2015-04-28 Proxense, Llc Linked account system using personal digital key (PDK-LAS)
US8433919B2 (en) 2005-11-30 2013-04-30 Proxense, Llc Two-level authentication for secure transactions
US8036152B2 (en) 2006-01-06 2011-10-11 Proxense, Llc Integrated power management of a client device via system time slot assignment
US11206664B2 (en) 2006-01-06 2021-12-21 Proxense, Llc Wireless network synchronization of cells and client devices on a network
US8659427B2 (en) 2007-11-09 2014-02-25 Proxense, Llc Proximity-sensor supporting multiple application services
US8171528B1 (en) 2007-12-06 2012-05-01 Proxense, Llc Hybrid device having a personal digital key and receiver-decoder circuit and methods of use
WO2009079666A1 (en) 2007-12-19 2009-06-25 Proxense, Llc Security system and method for controlling access to computing resources
US8508336B2 (en) 2008-02-14 2013-08-13 Proxense, Llc Proximity-based healthcare management system with automatic access to private information
WO2009126732A2 (en) 2008-04-08 2009-10-15 Proxense, Llc Automated service-based order processing
JP5365214B2 (ja) * 2009-01-22 2013-12-11 日本電気株式会社 画像処理装置、生体認証装置、画像処理方法及びプログラム
US9418205B2 (en) 2010-03-15 2016-08-16 Proxense, Llc Proximity-based system for automatic application or data access and item tracking
US9322974B1 (en) 2010-07-15 2016-04-26 Proxense, Llc. Proximity-based system for object tracking
US9265450B1 (en) 2011-02-21 2016-02-23 Proxense, Llc Proximity-based system for object tracking and automatic application initialization
JP2013215549A (ja) * 2012-03-16 2013-10-24 Fujitsu Ltd 画像処理装置、画像処理プログラムおよび画像処理方法
US9405898B2 (en) 2013-05-10 2016-08-02 Proxense, Llc Secure element as a digital pocket
JP6751324B2 (ja) * 2016-09-14 2020-09-02 株式会社デンソーアイティーラボラトリ 虹彩検出装置、虹彩検出方法、およびプログラム
KR102369412B1 (ko) 2017-02-02 2022-03-03 삼성전자주식회사 홍채 인식 장치 및 방법
US11003936B2 (en) * 2019-06-14 2021-05-11 Tobii Ab Method and system for controlling an eye tracking system
WO2021171396A1 (ja) * 2020-02-26 2021-09-02 三菱電機株式会社 瞳孔位置検出装置、視線検出装置、及び瞳孔位置検出方法
WO2021171395A1 (ja) * 2020-02-26 2021-09-02 三菱電機株式会社 瞳孔位置検出装置、視線検出装置、及び瞳孔位置検出方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4641349A (en) * 1985-02-20 1987-02-03 Leonard Flom Iris recognition system
US5291560A (en) * 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
US6419638B1 (en) * 1993-07-20 2002-07-16 Sam H. Hay Optical recognition methods for locating eyes
US6095989A (en) * 1993-07-20 2000-08-01 Hay; Sam H. Optical recognition methods for locating eyes
US5481622A (en) * 1994-03-01 1996-01-02 Rensselaer Polytechnic Institute Eye tracking apparatus and method employing grayscale threshold values
US5805745A (en) * 1995-06-26 1998-09-08 Lucent Technologies Inc. Method for locating a subject's lips in a facial image
US6144754A (en) * 1997-03-28 2000-11-07 Oki Electric Industry Co., Ltd. Method and apparatus for identifying individuals
CN1144152C (zh) * 1999-07-22 2004-03-31 中国科学院自动化研究所 基于虹膜识别的身份鉴定方法
JP2001167252A (ja) * 1999-12-10 2001-06-22 Oki Electric Ind Co Ltd 眼画像作成方法、アイリス認証方法及びアイリス認証装置
JP4469476B2 (ja) * 2000-08-09 2010-05-26 パナソニック株式会社 眼位置検出方法および眼位置検出装置
US7277561B2 (en) * 2000-10-07 2007-10-02 Qritek Co., Ltd. Iris identification
JP2004021406A (ja) * 2002-06-13 2004-01-22 Matsushita Electric Ind Co Ltd 目位置特定方法及び認証装置
JP2004240583A (ja) * 2003-02-04 2004-08-26 Brother Ind Ltd 画像処理装置およびそれを備えた画像読み取り装置
US7599524B2 (en) * 2003-04-04 2009-10-06 Sarnoff Corporation Method and apparatus for providing a robust object finder
US20050031173A1 (en) * 2003-06-20 2005-02-10 Kyungtae Hwang Systems and methods for detecting skin, eye region, and pupils
US7756301B2 (en) * 2005-01-26 2010-07-13 Honeywell International Inc. Iris recognition system and method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104114079A (zh) * 2011-10-24 2014-10-22 Iriss医疗科技有限公司 用于识别眼部健康状况的系统和方法
CN112464829A (zh) * 2020-12-01 2021-03-09 中航航空电子有限公司 一种瞳孔定位方法、设备、存储介质及视线追踪系统
CN112464829B (zh) * 2020-12-01 2024-04-09 中航航空电子有限公司 一种瞳孔定位方法、设备、存储介质及视线追踪系统

Also Published As

Publication number Publication date
US20070036396A1 (en) 2007-02-15
JP3966309B2 (ja) 2007-08-29
EP1767141A4 (en) 2009-08-05
JP2006025969A (ja) 2006-02-02
WO2006006298A1 (ja) 2006-01-19
CN100403973C (zh) 2008-07-23
EP1767141A1 (en) 2007-03-28

Similar Documents

Publication Publication Date Title
CN1805702A (zh) 瞳孔检测装置和虹膜认证装置
CN1805701A (zh) 瞳孔检测装置和虹膜认证装置
CN1842819A (zh) 瞳孔检测装置和虹膜认证装置
CN104732183B (zh) 一种基于图像采样线灰度信息分析的一维条码识别方法
CN104541302B (zh) 距离提示对象分割系统和方法
CN1842818A (zh) 瞳孔检测装置和虹膜认证装置
US9767604B2 (en) Image analysis method by analyzing point cloud using hierarchical search tree
CN100345154C (zh) 足球机器人视觉快速识别方法
US9070016B2 (en) Biometric authentication apparatus, biometric authentication method and recording medium
CN106524909B (zh) 三维图像采集方法及装置
CN1777915A (zh) 脸图像候选区域检索方法、检索系统以及检索程序
CN1242074A (zh) 用于三维彩色扫描的方法和装置
JP2003317102A (ja) 瞳孔・虹彩円検出装置
US9544146B2 (en) Image processing apparatus, biometric authentication apparatus, image processing method and recording medium
JP3675629B2 (ja) パターン認識方法、装置および記録媒体
CN108394789A (zh) 基于计算机视觉的电梯导轨表面磨损程度检测方法及装置
EP3125159A1 (en) Optical character recognition localization tool
CN105721854A (zh) 摄像装置及其便携式终端以及使用摄像装置的摄像方法
CN103824275A (zh) 在图像中搜寻鞍点状结构并测定其信息的系统和方法
CN1805703A (zh) 瞳孔检测装置和虹膜认证装置
CN110378934A (zh) 主体检测方法、装置、电子设备和计算机可读存储介质
EP3494545B1 (en) Methods and apparatus for codeword boundary detection for generating depth maps
KR20080032746A (ko) 움직임 인식 방법 및 그 장치
US20150085078A1 (en) Method and System for Use in Detecting Three-Dimensional Position Information of Input Device
CN1275022A (zh) 虚拟演播室摄像机内外参数检测方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080723

Termination date: 20100518