CN102831441A - 对照装置 - Google Patents

对照装置 Download PDF

Info

Publication number
CN102831441A
CN102831441A CN201210133106XA CN201210133106A CN102831441A CN 102831441 A CN102831441 A CN 102831441A CN 201210133106X A CN201210133106X A CN 201210133106XA CN 201210133106 A CN201210133106 A CN 201210133106A CN 102831441 A CN102831441 A CN 102831441A
Authority
CN
China
Prior art keywords
image
login
layered
mentioned
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210133106XA
Other languages
English (en)
Other versions
CN102831441B (zh
Inventor
长岛圣
中岛宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Azbil Corp
Original Assignee
Azbil Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Azbil Corp filed Critical Azbil Corp
Publication of CN102831441A publication Critical patent/CN102831441A/zh
Application granted granted Critical
Publication of CN102831441B publication Critical patent/CN102831441B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/248Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches

Abstract

本发明涉及一种对照装置,其兼得高精度和高速处理。在对照参照图像和登录图像时,针对参照图像将其原图像作为分辨率最高的高分辨率图像,在其下层制作第1低分辨率图像,在其更下层制作第2低分辨率图像。逐个读出登录图像,在登录图像的分层图像(J0、J1、J2)中设定特征区域(S0、S1、S2),通过从低分辨率图像向高分辨率图像的分层搜索,搜索参照图像中的对应区域(S2’、S1’、S0’)。此时,基于任意的低分辨率的分层图像,例如登录图像的分层图像(J2)的特征区域(S2)和参照图像的分层图像(I2)的对应区域(S2’)的近似度,判断是否将读出的登录图像选择为与参照图像对照的登录图像候补,锁定与参照图像对照的登录图像。

Description

对照装置
技术领域
本发明涉及对参照图像和登录图像进行对照的对照装置。
背景技术
近年来,在计算机室、重要机械室的出入室管理、针对计算机终端、银行的金融终端的访问管理等的需要个人认证的领域中,代替以往的密码和ID卡,正在开发基于生物体信息来进行个人认证的系统。
使用了生物体信息的个人认证系统由于不需要记忆或携带、被盗取的危险性低而备受瞩目。在基于生物体信息的个人认证中,利用指纹、虹膜、脸、掌纹、笔记等,其中使用了脸的个人认证由于便利性和接受性高而备受瞩目。
例如,在用于大厦等的出入室管理的个人认证系统中,拍摄想要入室的人脸作为参照图像,对照该参照图像和预先已登录的人脸的图像(登录图像),在参照图像和登录图像一致的情况下,允许此人入室。
在该参照图像和登录图像的对照处理中,本申请人分别针对参照图像以及登录图像,将该原图像作为分辨率最高的高分辨率图像,制作将该高分辨率图像作为最上层的、分辨率不同的多个分层图像,从该分层图像的低分辨率图像朝向高分辨率图像进行使用了相位限定相关法(POC:Phase-Only Correlation)的对应点的搜索(例如,参照专利文献1、2),基于搜索后的对应区域的相位限定相关值,进行参照图像和登录图像的对照。以下,将基于使用该分层图像的对应点搜索的对照方式称为分层POC。
在该分层POC中,例如,针对参照图像,将其原图像(128×128像素的图像)作为高分辨率图像,在该高分辨率图像的下层制作64×64像素的图像(第1低分辨率图像),在该第1低分辨率图像的下层制作32×32像素的图像(第2低分辨率图像)。而且,登录图像与参照图像相同,将其原图像(128×128像素的图像)作为高分辨率图像,在该高分辨率图像的下层制作64×64像素的图像(第1低分辨率图像),在该第1低分辨率图像的下层制作32×32像素的图像(第2低分辨率图像)。在包含该原图像的分层图像中,将高分辨率图像的分层作为第0层,将第1低分辨率图像的分层作为第1层,将第2低分辨率图像的分层作为第2层。
而且,针对登录图像的原图像在x轴向决定m个,在y轴向决定n个基准点,按照在该登录图像的原图像中决定的每个基准点,根据最下层(第2层)的分层图像,决定搜索窗口(局部区域),开始与该局部区域对应的参照图像中的对应区域的搜索。该对应区域的搜索通过POC对照进行,若对于该分层图像其对应区域的搜索结束,则使该分层图像的搜索结果反映在下一分层(第1层)的搜索中,依次对分辨率高的分层图像进行对应区域的搜索,按顺序反复进行对应区域的搜索直至最上层(第0层)的分层图像。
而且,在最上层(第0层)的分层图像中,若发现对应区域,则求出该对应区域的相位限定相关值。以下同样地,按照登录图像的每个局部区域,从低分辨率图像向高分辨率图像对参照图像的对应区域进行搜索,求出搜索后的对应区域的相位限定相关值,基于该求出的相位限定相关值进行参照图像和登录图像的对照。
此外,POC是用傅立叶变换对原图像的数据和应与其对照的图像的数据进行数学处理,分解成振幅(浓淡数据)和相位(像的轮廓数据),其中仅使用相位信息,求出两图像的相关的算法,具有防干扰、得到高精度的运算结果的特点。
除了上述的专利文献1、2外,在专利文献3等中也对POC的详细内容进行了说明。在POC中,对一方的图像实施二维离散的傅立叶变换来制作傅立叶图像。然后,合成该傅立叶图像和实施相同的处理而制作的另一方的图像的傅立叶图像,对该合成傅立叶图像进行将振幅作为1的处理,并且实施二维离散的傅立叶变换来作为相关数据。虽该相关数据(POC函数)的频率空间中的振幅被设为1,仅采用相位,但基本上能够认为是使一方的图像和另一方的图像重叠的数据,表示一方的图像和另一方的图像的关联。
专利文献1:日本特开2008-209275号公报
专利文献2:日本特开2008-123141号公报
专利文献3:日本特开平10-63847号公报
然而,在基于上述的分层POC的对照中,虽能够以高精度进行参照图像和登录图像的对照,但若应用于使参照图像与多个登录图像循环对照的1:N对照,则处理量变多,存在对照速度降低这样的问题。
发明内容
本发明是为解决这样的课题而完成的,其目的在于提供一种能够兼得高精度和高速处理的对照装置。
为了实现这样的目的,本发明对照装置,其用于对参照图像和登录图像进行对照,该对照装置具备:分层图像制作单元,其针对上述参照图像,制作将其原图像作为分辨率最高的高分辨率图像,并将该高分辨率图像作为最上层的分辨率不同的多个分层图像;登录图像存储单元,其存储与上述参照图像同一分辨率的多个登录图像;登录图像读出单元,其逐个读出存储在上述登录图像存储单元中的登录图像;特征区域设定单元,其针对通过上述分层图像制作单元制作的参照图像的分层图像以及通过上述登录图像读出单元读出的登录图像的与上述参照图像的分层图像对应的分层图像的任何一方,设定预先决定的特征区域;对应区域搜索单元,其从另一方的分层图像中搜索与通过上述特征区域设定单元已设定上述特征区域的一方的分层图像的该特征区域对应的对应区域,第1登录图像候补选择单元,其基于通过上述特征区域设定单元在一方的分层图像中设定的特征区域和通过上述对应区域搜索单元从另一方的分层图像中搜索出的对应区域的近似度,将通过上述登录图像读出单元读出的登录图像作为与上述参照图像对照的登录图像候补进行选择。
在该发明中,在对照参照图像和登录图像时,针对参照图像,制作将其原图像作为分辨率最高的高分辨率图像,并将该高分辨率图像作为最上层的分辨率不同的多个分层图像。而且,从登录图像存储单元逐个读出登录图像,判断是否将该读出的登录图像作为与参照图像对照的登录图像候补。即,在对照参照图像和登录图像之前,锁定实际对照的登录图像。由此,减少1:N对照中的对照次数,使高精度和高速处理兼得。
在本发明中,在登录图像存储单元中存储有与参照图像同一分辨率的多个登录图像。该情况下,登录图像可以仅存储该登录图像的原图像,也可以存储包含该登录图像的原图像的分层图像。在存储登录图像的分层图像的情况下,使其与参照图像的分层图像对应,存储将其原图像作为分辨率最高的高分辨率图像,将该高分辨率图像作为最上层的分辨率不同的多个分层图像。
在本发明中,在存储登录图像的分层图像的情况下,作为登录图像读出包含其原图像的分层图像。该情况下,针对制作的参照图像的分层图像或读出的登录图像的分层图像设定特征区域。例如,作为特征区域,设定包含眼、鼻等特征部分的区域。而且,从另一方的分层图像搜索与设定特征区域的一方的分层图像的该特征区域对应的对应区域,基于在一方的分层图像中设定的特征区域和从另一方的分层图像搜索出的对应区域的近似度,进行登录图像候补的选择。
在本发明中,在仅存储登录图像的原图像的情况下,作为登录图像读出该原图像,制作将该原图像作为分辨率最高的高分辨率图像,并将该高分辨率图像作为最上层的分辨率不同的多个分层图像。该登录图像的分层图像与参照图像的分层图像对应地制作。而且,针对参照图像的分层图像或登录图像的分层图像设定特征区域,从另一方的分层图像中搜索与设定特征区域的一方的分层图像的该特征区域对应的对应区域,基于在一方的分层图像中设定的特征区域和从另一方的分层图像中搜索出的对应区域的近似度,进行登录图像候补的选择。
在本发明中,对应区域的搜索例如通过从低分辨率图像向高分辨率图像的分层搜索来进行。该情况下,根据任意的低分辨率的分层图像进行特征区域和对应区域的近似度的计算,在计算出的近似度满足规定的基准值的情况下,将读出的登录图像作为登录图像候补进行选择。而且,该情况下,在分层图像的每个分层,作为基准值,使用根据分层的分辨率和特征区域的位置决定的基准值。
在本发明中,设置从参照图像中取得规定的测量信息的测量信息取得单元、和基于通过测量信息取得单元取得的测量信息从存储在登录图像存储单元的多个登录图像中选择与参照图像对照的登录图像候补的第2登录图像候补选择单元,第1登录图像候补选择单元对通过第2登录图像候补选择单元选择出的登录图像候补进行组合来选择登录图像候补。
例如,从参照图像中作为规定的测量信息,取得瞳孔间距离、脸尺寸、瞳孔尺寸、脸曲率等,基于该取得的测量信息锁定登录图像。而且,对基于该测量信息锁定的登录图像和基于特征区域与对应区域的近似度锁定的登录图像进行组合,得到最终的登录图像候补。
该情况下,考虑如下各种方式,进一步基于特征区域和对应区域的近似度来锁定基于测量信息锁定的登录图像,得到最终的登录图像候补,或取得基于测量信息锁定的登录图像以及基于特征区域与对应区域的近似度锁定的登录图像的AND而得到最终的登录图像候补,或取得基于测量信息锁定的登录图像以及基于特征区域与对应区域的近似度锁定的登录图像的OR而得到最终的登录图像候补等。
另外,在本发明中,在选择出的登录图像候补的数为0的情况下,可以将参照图像和登录图像的对照结果设为不一致。例如,尽管全部读出存储的登录图像,在选择出的登录图像候补的数为0的情况下,将参照图像和登录图像的对照结果设为不一致。这样,在进行参照图像和登录图像的对照之前,即在锁定与参照图像对照的登录图像的分类处理的阶段,可得到对照结果。
根据本发明,逐个读出登录图像,针对参照图像的分层图像以及登录图像的分层图像中的任意一方设定特征区域,从另一方的分层图像中搜索与设定该特征区域的一方的分层图像的该特征区域对应的对应区域,基于在一方的分层图像中设定的特征区域和从另一方的分层图像中搜索出的对应区域的近似度,将读出的登录图像作为与参照图像对照的登录图像候补进行选择,因此,在进行参照图像和登录图像的对照前,锁定与参照图像对照的登录图像,使1:N对照中的对照次数减少,能够兼得高精度和高速处理。
附图说明
图1是表示本发明的一实施方式的对照装置的结构框图。
图2是表示该对照装置中的对象物的登录处理的流程图。
图3是表示该对照装置中的对象物的对照处理的流程图。
图4是表示该对照装置中的对象物的对照处理中的登录图像候补的选择处理的第1例(登录图像候补的选择处理1)的流程图。
图5是将登录图像候补的选择处理中制作的参照图像的分层图像以及读出的登录图像的分层图像与特征区域以及对应区域一并例示的图。
图6是表示作为规定特征区域的点而预先决定的基准点以及以该基准点为中心针对登录图像的最上层的分层图像(高分辨率图像(原图像))设定的特征区域的图。
图7是表示登录图像候补的选择处理的第2例(登录图像候补的选择处理2)的流程图。
图8是表示登录图像候补的选择处理的第3例(登录图像候补的选择处理3)的流程图。
图9是与登录图像候补的选择处理1、2、3组合使用的登录图像处理4的流程图。
图10是与登录图像候补的选择处理1、2、3组合使用的登录图像处理5的流程图。
图11是表示登录图像候补的选择处理1的变形例的流程图。
图12是表示登录图像候补的选择处理2的变形例的流程图。
图13是表示登录图像候补的选择处理3的变形例的流程图。
图14是表示登录图像候补的选择处理5的变形例的流程图。
附图符号说明
10、11...CCD照相机;10-1、11-1...透镜;12...液晶显示装置(LCD);20...处理部;20-1...控制部;20-2...ROM;20-3...RAM;20-4...硬盘(HD);20-5...帧存储器(FM);20-6...外部连接部(I/F);20-7...傅立叶变换部(FFT);I0、I1、I2...参照图像的分层图像;J0、J1、J2...登录图像的分层图像;S0、S1、S2...特征区域;S0’、S1’、S2’...对应区域;PL...基准点板;P1...基准点。
具体实施方式
以下,基于附图对本发明的实施方式进行详细说明。
图1是表示该发明的一实施方式的对照装置的结构框图。在该图中,10是第1CCD照相机,11是第2CCD照相机,12是液晶显示装置(LCD),20是处理部,处理部20具备:具有CPU的控制部20-1、ROM20-2、RAM20-3、硬盘(HD)20-4、帧存储器(FM)20-5、外部连接部(I/F)20-6、傅立叶变换部(FFT)20-7,在ROM20-2中存储有登录程序和对照程序。另外,CCD照相机10、11间隔规定的距离L而设置。即,CCD照相机10、11是其透镜10-1、11-1间的距离为L,在横向排列而配置。由图易知,是从上方观察对照装置的图,且是从横向观察对象物(人脸)的图。
对象物的登录
在该对照装置中,在使对象物为人脸M1的情况下,按照如下方式进行该对象物(登录对象物)M1的登录。在运用前,利用者将脸M1朝向CCD照相机10、11,按登录开始开关(未图示)。
图像捕捉
若按下登录开始开关(图2:步骤S101的是),则控制部20-1经由帧存储器20-5,将捕捉了来自CCD照相机10的登录对象物M1的图像作为左照相机的图像获取,将捕捉了来自CCD照相机11的登录对象物M1的图像作为右照相机的图像获取(步骤S102)。
脸区域的检测
而且,控制部20-1根据获取的左照相机的图像以及右照相机的图像通过图像处理检测脸区域(步骤S103)。而且此时,若脸区域的亮度不在一定范围内,则进行增益控制,再次进行左照相机的图像以及右照相机的图像的获取。而且,虽在该例子中检测左右的脸区域,但也可以检测左或右的任何一方的脸区域。
瞳孔区域的检测以及脸图像的归一化
而且,控制部20-1根据检测出的左右脸区域的图像(左右的脸图像)通过图像处理检测瞳孔区域(步骤S104),通过3D测量计算从照相机至登录对象物M1的距离R(步骤S105),基于该计算出的距离R使右脸图像的尺寸归一化(步骤S106)。
分层图像的制作
而且,控制部20-1将在步骤S106中归一化的脸图像作为登录图像的原图像,将该原图像(128×128像素的图像)作为最上层(第0层)的高分辨率图像,在该高分辨率图像的下层(第1层)制作64×64像素的图像(第1低分辨率图像),在该第1低分辨率图像的下层(第2层)制作32×32像素的图像(第2低分辨率图像)(步骤S107)。
而且,控制部20-1将包含该原图像的分层图像(高分辨率图像、第1低分辨率图像、第2低分辨率图像)作为利用者的登录图像保存在HD20-4中(步骤S108)。以下同样地,针对全部的利用者,将该利用者的登录图像(包含原图像的分层图像)保存在HD20-4中。在该实施方式中,将利用者的人数设为数千人规模,将这些利用者的登录图像保存在HD20-4中。
此外,在该例子中,虽登录右脸图像,但也可以登录左脸图像,还可以登录左右脸的图像。在该实施方式中,为了便于说明假设登录右脸图像。
对象物的对照
在该对照装置中,在将对照对象物作为人脸M1的情况下,按照如下方式进行该脸M1的对照。图3表示控制部20-1根据存储在ROM20-2中的对照程序执行的对照处理的流程图。
图像捕捉
利用者站在CCD照相机10、11的前面。于是,控制部20-1对脸M1出现于CCD照相机10、11的拍摄区域进行识别,经由帧存储器20-5,将捕捉了来自CCD照相机10的脸M1的图像作为左照相机的图像获取,将捕捉了来自CCD照相机11的脸M1的图像作为右照相机的图像获取(步骤S201)。
脸区域的检测
而且,控制部20-1根据已获取的左照相机的图像以及右照相机的图像通过图像处理来检测脸区域(步骤S202)。而且此时,若脸区域的亮度不在一定范围内,则进行增益控制,再次进行左照相机的图像以及右照相机的图像的获取。而且,虽在该例子中检测了左右脸区域,但也可以检测左或右的任何一方的脸区域。
瞳孔区域的检测以及脸图像的归一化
而且,控制部20-1根据检测出的左右脸区域的图像(左右的脸图像)通过图像处理检测瞳孔区域(步骤S203),通过3D测量计算从照相机至对照对象物M1的距离R(步骤S204),基于该计算出的距离R使右脸图像的尺寸归一化(步骤S205)。
登录图像候补的选择:登录图像候补的选择处理1(实施方式1)
控制部20-1将在步骤S205中归一化的脸图像作为参照图像的原图像,开始与该参照图像对照的登录图像候补的选择处理(步骤S206)。图4中将该登录图像候补的选择处理的第1例(登录图像候补的选择处理1)的流程图作为实施方式1来表示。
在该登录图像候补的选择处理1中,控制部20-1将在步骤S205中得到的参照图像的原图像(128×128像素的图像)作为最上层(第0层)的高分辨率图像,在该高分辨率图像的下层(第1层)制作64×64像素的图像(第1低分辨率图像),在该第1低分辨率图像的下层(第2层)制作32×32像素的图像(第2低分辨率图像)(步骤S301)。
然后,控制部20-1读出保存在HD20-4中的第1个登录图像(包含原图像的分层图像)(步骤S302)。即,针对第1个登录图像,读出位于最上层(第0层)的高分辨率图像(128×128像素的图像)、位于该高分辨率图像的下层(第1层)的第1低分辨率图像(64×64像素的图像)、以及位于该第1低分辨率图像的下层(第2层)的第2低分辨率图像(32×32像素的图像)。
图5(a)、(b)例示在步骤S301中制作的参照图像的分层图像和在步骤S302中读出的登录图像的分层图像。在图5(a)中,J0是位于登录图像的第0层的分层图像(高分辨率图像(128×128像素的图像)),J1是位于登录图像的第1层的分层图像(第1低分辨率图像(64×64像素的图像)),J2是位于登录图像的第2层的分层图像(第2低分辨率图像(32×32像素的图像)),在图5(b)中,I0是位于参照图像的第0层的分层图像(高分辨率图像(128×128像素的图像)),I1是位于参照图像的第1层的分层图像(第1低分辨率图像(64×64像素的图像)),I2是位于参照图像的第2层的分层图像(第2低分辨率图像(32×32像素的图像))。
控制部20-1在得到这样的参照图像的分层图像I0、I1、I2以及登录图像的分层图像J0、J1、J2后,通过读入预先决定的基准点,在登录图像的分层图像J0、J1、J2中设定用于对应区域搜索的特征区域(步骤S303)。
在该例子中,从针对登录图像的原图像而设定的图6(a)所示的基准点板PL,读入作为规定特征区域的点预先决定的基准点P1,将以该基准点P1为中心的32×32像素的区域作为特征区域S0设定于登录图像的分层图像J0。在该例子中,将基准点P1决定为在分层图像J0中,作为特征部分的右眼进入特征区域S0的范围内的点。
同样地,针对登录图像的分层图像J1,将以与基准点P1对应的点为中心的32×32像素的区域设定成特征区域S1,针对登录图像的分层图像J2,将以与基准点P1对应的点为中心的32×32像素的区域设定成特征区域S2。而且,由于分层图像J2是32×32像素的图像,因此,分层图像J2的整个区域被设定成特征区域S2。
而且,控制部20-1通过从低分辨率图像向高分辨率图像的分层搜索,进行与登录图像的分层图像的特征区域对应的参照图像的分层图像的对应区域的搜索(步骤S304),找出与登录图像的最上层(第0层)的分层图像(高分辨率图像)J0中的特征区域S0对应的参照图像的最上层(第0层)的分层图像(高分辨率图像)I0中的对应区域S0’。
该情况下,首先针对最下层(第2层)的分层图像J2、I2,通过POC对照进行与特征区域S2对应的对应区域S2’的搜索。若在该最下层的对应区域的搜索结束,则使在该最下层的搜索结果反映在下一分层(第1层)的搜索中,即反映在基于POC对照对第1层的分层图像J1、I1中与特征区域S1对应的对应区域S1’进行的搜索中。
而且,若该第1层中的对应区域的搜索结束,则使该第1层中的搜索结果反映在下一分层(第0层)的搜索中,即反映在基于POC对照对第0层的分层图像J0、I0中与特征区域S0对应的对应区域S0’进行的搜索中。这样,找出与登录图像的最上层(第0层)的分层图像(高分辨率图像)J0中的特征区域S0对应的参照图像的最上层(第0层)的分层图像(高分辨率图像)I0中的对应区域S0’。
而且,控制部20-1计算该找出的登录图像的分层图像J0(高分辨率图像)中的特征区域S0和参照图像的分层图像I0(高分辨率图像)中的对应区域S0’的近似度(步骤S305),将该计算出的近似度和预先决定的基准值TH进行比较(步骤S306)。
若计算出的近似度为基准值TH以上(步骤S306的是),则将在步骤S302中读出的登录图像作为登录图像候补进行选择(步骤S307),将选择出的登录图像候补的数M(初始值0)设为M=M+1(步骤S308)。
而且,在确认选择出的登录图像候补的数M未达到100(步骤S309的否)的基础上,而且确认在HD20-4中保存有其他的登录图像(步骤S310的是),则从HD20-4读出下一登录图像(步骤S302),反复步骤S303以下的处理。
由此,从HD20-4逐个读出登录图像的分层图像,计算该登录图像的最上层的分层图像J0中的特征区域S0和参照图像的最上层的分层图像I0中的对应区域S0’的近似度,比较该计算出的近似度和基准值TH,将计算出的近似度为基准值TH以上的登录图像作为登录图像候补进行选择。
而且,若在该处理的反复中,选择出的登录图像候补的数M成为100(步骤S309的是),则控制部20-1结束登录图像候补的选择处理,进入图3所示的步骤S207的处理。
此外,在该处理的反复中,在选择出的登录图像候补的数M达到100之前,没有了其他的登录图像(步骤S310的否),则控制部20-1检查是否存在选择出的登录图像候补(步骤S311)。这里,若存在选择出的登录图像候补(步骤S311的是),则结束登录图像候补的选择处理,进入图3所示的步骤S207的处理。
与此相对,若不存在选择出的登录图像候补(步骤S311的否),即尽管从HD20-4读出全部登录图像,选择出的登录图像候补的数为0,则将参照图像和登录图像的对照结果设为不一致(步骤S312),结束处理。该情况的对照结果显示在液晶显示装置12中。
参照图像和登录图像候补的对照
控制部20-1在上述的登录图像候补的选择处理后(步骤S206),从HD20-4读出通过该选择处理选择出的第1个登录图像候补(步骤S207)。然后,利用分层POC对照在步骤S205中得到的参照图像和在步骤S207中读出的登录图像候补(步骤S208)。由于前面叙述了分层POC因此省略这里的详细说明。
然后,对通过该分层POC得到的相关值与阈值进行比较(步骤S209),若相关值为阈值以上(步骤S209的是),则设为参照图像和登录图像的对照结果为一致(步骤S210),结束处理。该情况的对照结果显示在液晶显示装置12中。而且,经由外部连接部20-6,输出解锁指令等。
若相关值不是阈值以上(步骤S209的否),则控制部20-1在确认其他的登录图像候补保存在HD20-4中的基础上(步骤S211的是),从HD20-4读出下一登录图像候补(步骤S207),反复步骤S208以下的处理。
由此,从HD20-4逐个读出登录图像候补,重复该读出的登录图像候补和参照图像的基于分层POC的对照,直至得到一致这样的对照结果。
在基于该分层POC的对照的反复中,若没有其他的登录图像候补(步骤S211的否),则控制部20-1将参照图像和登录图像的对照结果设为不一致(步骤S212),结束处理。该情况的对照结果显示在液晶显示装置12中。
这样,在本实施方式中,在进行参照图像和登录图像的对照前,与参照画像进行对照的登录图像被锁定,减少1:N对照中的对照次数,兼得高精度和高速处理。
此外,在该例子中,虽以分层POC进行登录图像候补和参照图像的对照,但未必以分层POC进行,也可以采用仅使用原图像的一般的对照手法。
另外,在该例子中对照二维图像,但也可以对照三维图像。在对照三维图像的情况下,考虑应用基于ICP(Iterative Closest Point)算法的对照手法。
实施方式2:登录图像候补的选择处理2
图7中,将图3所示的流程图中的步骤206中的登录图像候补的选择处理的其它的例子(登录图像候补的选择处理2)作为实施方式2来表示。
在该登录图像候补的选择处理2中,控制部20-1将在步骤S205中得到的参照图像的原图像(128×128像素的图像)作为最上层(第0层)的高分辨率图像,在该高分辨率图像的下层(第1层)制作64×64像素的图像(第1低分辨率图像),在该第1低分辨率图像的下层(第2层)制作32×32像素的图像(第2低分辨率图像)(步骤S401,参照图5(b))。
而且,控制部20-1读出保存在HD20-4中的第1个登录图像(包含原图像的分层图像)(步骤S402)。即,针对第1个登录图像,读出位于最上层(第0层)的高分辨率图像(128×128像素的图像)、位于该高分辨率图像的下层(第1层)的第1低分辨率图像(64×64像素的图像)、以及位于该第1低分辨率图像的下层(第2层)的第2低分辨率图像(32×32像素的图像)(参照图5(a))。
接下来,控制部20-1读入预先决定的基准点P1(参照图6(a)),在登录图像的分层图像J0、J1、J2中设定用于对应区域搜索的特征区域S0、S1、S2(参照图5(a):步骤S403)。
然后,控制部20-1设N=2(步骤S404),进行与登录图像的第N层的分层图像的特征区域对应的参照图像的第N层的分层图像的对应区域的搜索(步骤S405)。该情况下,由于N=2,因此,通过POC对照进行与登录图像的第2层的分层图像J2的特征区域S2对应的参照图像的第2层的分层图像I2的对应区域S2’的搜索。
然后,控制部20-1计算该搜索出的登录图像的第2层的分层图像J2中的特征区域S2和参照图像的第2层的分层图像I2中的对应区域S2’的近似度(步骤S406),读出预先决定的第2层的基准值TH(步骤S407),对计算出的近似度和读出的第2层的基准值TH进行比较(步骤S408)。这里,根据该分层的分辨率和特征区域S2的位置来决定第2层的基准值TH。
若计算出的近似度为第2层的基准值TH以上(步骤S408的是),则将在步骤S402中读出的登录图像作为登录图像候补进行选择(步骤S409),将选择出的登录图像候补的数M(初始值0)设为M=M+1(步骤S410)。
而且,在确认选择出的登录图像候补的数M未达到100(步骤S411的否)的基础上,并确认在HD20-4中保存有其他的登录图像(步骤S413的是),则从HD20-4读出下一登录图像(步骤S402),反复步骤S403以下的处理。
若计算出的近似度不是第2层的基准值TH以上(步骤S408的否),则确认存在更高分辨率的分层图像(步骤S412的是),并设N=N-1(步骤S414),返回步骤S405。该情况下,由于N=1,因此,控制部20-1反映第2层的分层中的搜索结果,通过POC对照进行与登录图像的第1层的分层图像J1的特征区域S1对应的参照图像的第1层的分层图像I1的对应区域S1’的搜索(步骤S405)。
然后,控制部20-1计算该搜索出的登录图像的第1层的分层图像J1中的特征区域S1和参照图像的第1层的分层图像I1中的对应区域S1’的近似度(步骤S406),读出预先决定的第1层的基准值TH(步骤S407),对计算出的近似度和读出的第1层的基准值TH进行比较(步骤S408)。这里,第1层的基准值TH是根据该分层的分辨率和特征区域S1的位置来决定的。
若计算出的近似度为第1层的基准值TH以上(步骤S408的是),则将在步骤S402中读出的登录图像作为登录图像候补进行选择(步骤S409),将选择出的登录图像候补的数M设为M=M+1(步骤S410)。
而且,在确认选择出的登录图像候补的数M未达到100的基础上(步骤S411的否),且确认在HD20-4中保存有其他的登录图像(步骤S413的是),则从HD20-4读出下一登录图像(步骤S402),反复步骤S403以下的处理。
若计算出的近似度不是第1层的基准值TH以上(步骤S408的否),则确认存在更高分辨率的分层图像(步骤S412的是),并设N=N-1(步骤S414),返回步骤S405。该情况下,由于N=0,因此,控制部20-1反映第1层的分层中的搜索结果,通过POC对照进行与登录图像的第0层的分层图像J0的特征区域S0对应的参照图像的第0层的分层图像I0的对应区域S0’的搜索(步骤S405)。
然后,控制部20-1计算该搜索出的登录图像的第0层的分层图像J0中的特征区域S0和参照图像的第0层的分层图像I0中的对应区域S0’的近似度(步骤S406),读出预先决定的第0层的基准值TH(步骤S407),对计算出的近似度和读出的第0层的基准值TH进行比较(步骤S408)。这里,第0层的基准值TH是根据该分层的分辨率和特征区域S0的位置来决定的。
若计算出的近似度为第0层的基准值TH以上(步骤S408的是),则将在步骤S402中读出的登录图像作为登录图像候补进行选择(步骤S409),将选择出的登录图像候补的数M设为M=M+1(步骤S410)。
然后,在确认选择出的登录图像候补的数M未达到100的基础上(步骤S411的否),并确认在HD20-4中保存有其他的登录图像(步骤S413的是),则从HD20-4读出下一登录图像(步骤S402),反复步骤S403以下的处理。
若计算出的近似度不是第0层的基准值TH以上(步骤S408的否),则控制部20-1检查是否存在更高分辨率的分层图像(步骤S412)。该情况下,由于不存在比第0层的分辨率高的分层图像(步骤S412的否),因此,在确认在HD20-4中保存有其他的登录图像的基础上(步骤S413的是),从HD20-4读出下一登录图像(步骤S402),反复步骤S403以下的处理。
由此,从HD20-4逐个读出登录图像的分层图像,按照分辨率低的顺序计算出登录图像的分层图像的特征区域和参照图像的分层图像的对应区域的近似度,对计算出的近似度和该分层的基准值TH进行比较,将确认了在任意一个分层中近似度为基准值TH以上的登录图像作为登录图像候补进行选择。
而且,若在该处理的反复中,选择出的登录图像候补的数M成为100(步骤S411的是),则控制部20-1结束登录图像候补的选择处理,进入图3所示的步骤S207的处理。
此外,在该处理的反复中,在选择出的登录图像候补的数M达到100之前,没有其他的登录图像的情况下(步骤S413的否),控制部20-1检查是否存在选择出的登录图像候补(步骤S415)。这里,若存在选择出的登录图像候补(步骤S415的是),则结束登录图像候补的选择处理,进入图3所示的步骤S207的处理。
与此相对,若不存在选择出的登录图像候补(步骤S415的否),即尽管从HD20-4读出全部登录图像,选择出的登录图像候补的数为0,则将参照图像和登录图像的对照结果设为不一致(步骤S416),结束处理。此时的对照结果被显示在液晶显示装置12中。
此外,在该实施方式2中,在步骤S404中设N=2,从第2层(最下层)的分层图像开始与特征区域对应的对应区域的搜索以及近似度的计算,但也可以在步骤S404中设N=1,从第1层的分层图像开始与特征区域对应的对应区域的搜索以及近似度的计算。
实施方式3:登录图像候补的选择处理3
图8中,将在图3所示的流程图中的步骤206中的登录图像候补的选择处理的其他的例子(登录图像候补的选择处理3)作为实施方式3来表示。
在该登录图像候补的选择处理3中,控制部20-1将在步骤S205中得到的参照图像的原图像(128×128像素的图像)作为最上层(第0层)的高分辨率图像,在该高分辨率图像的下层(第1层)制作64×64像素的图像(第1低分辨率图像),在该第1低分辨率图像的下层(第2层)制作32×32像素的图像(第2低分辨率图像)(步骤S501,参照图5(b))。
而且,控制部20-1设N=2(步骤S502),读出保存在HD20-4中的第1个登录图像(包含原图像的分层图像)(步骤S503)。即,针对第1个登录图像,读出位于最上层(第0层)的高分辨率图像(128×128像素的图像)、位于该高分辨率图像的下层(第1层)的第1低分辨率图像(64×64像素的图像)、以及位于该第1低分辨率图像的下层(第2层)的第2低分辨率图像(32×32像素的图像)(参照图5(a))。
接下来,控制部20-1读入预先决定的基准点P1(参照图6(a)),在登录图像的分层图像J0、J1、J2中设定用于对应区域搜索的特征区域S0、S1、S2(参照图5(a):步骤S504)。
然后,控制部20-1进行与登录图像的第N层的分层图像的特征区域对应的参照图像的第N层的分层图像的对应区域的搜索。该情况下,由于N=2,因此,通过POC对照进行与登录图像的第2层的分层图像J2的特征区域S2对应的参照图像的第2层的分层图像I2的对应区域S2’的搜索。
然后,控制部20-1计算该搜索出的登录图像的第2层的分层图像J2中的特征区域S2和参照图像的第2层的分层图像I2中的对应区域S2’的近似度(步骤S506),读出预先决定的第2层的基准值TH(步骤S507),对计算出的近似度和读出的第2层的基准值TH进行比较(步骤S508)。这里,第2层的基准值TH根据该分层的分辨率和特征区域S2的位置来决定。
若计算出的近似度为第2层的基准值TH以上(步骤S508的是),则将在步骤S503中读出的登录图像作为登录图像候补进行选择(步骤S509),将选择出的登录图像候补的数M(初始值0)设为M=M+1(步骤S510)。
然后,在确认选择出的登录图像候补的数M未达到100的基础上(步骤S511的否),并确认在HD20-4中保存有其他的登录图像(步骤S512的是),从HD20-4读出下一登录图像(步骤S503),反复步骤S504以下的处理。
若计算出的近似度不是第2层的基准值TH以上(步骤S508的否),则在确认在HD20-4中保存有其他的登录图像的基础上(步骤S512的是),从HD20-4读出下一登录图像(步骤S503),反复步骤S504以下的处理。
由此,从HD20-4逐个读出登录图像的分层图像,计算该登录图像的第2层的分层图像中的特征区域和参照图像的第2层的分层图像中的对应区域的近似度,对计算出的近似度和第2层的基准值TH进行比较,将已确认计算出的近似度为基准值TH以上的登录图像作为登录图像候补进行选择。
而且,在该处理中,从HD20-4读出全部的登录图像,没有其他的登录图像的情况下(步骤S512的否),控制部20-1确认存在更高分辨率的分层图像(步骤S513的是),设N=N-1(步骤S514),返回步骤S503。
由此,控制部20-1再次读出保存在HD20-4中的第1个登录图像(包含原图像的分层图像)(步骤S503),反复步骤S504以下的处理。
该情况下,由于N=1,因此,通过POC对照进行与登录图像的第1层的分层图像J1的特征区域S1对应的参照图像的第1层的分层图像I1的对应区域S2’的搜索(步骤S505),计算该搜索出的登录图像的第1层的分层图像J1中的特征区域S1和参照图像的第1层的分层图像I1中的对应区域S1’的近似度(步骤S506),读出预先决定的第1层的基准值TH(步骤S507),对计算出的近似度和读出的第1层的基准值TH进行比较(步骤S508)。这里,第1层的基准值TH根据该分层的分辨率和特征区域S1的位置来决定。
若计算出的近似度为第1层的基准值TH以上(步骤S508的是),则将在步骤S503中读出的登录图像作为登录图像候补进行选择(步骤S509),将选择出的登录图像候补的数M设为M=M+1(步骤S510)。
而且,确认登录图像候补的数M未达到100(步骤S511的否),并确认在HD20-4中保存有其他的登录图像(步骤S512的是),则从HD20-4读出下一登录图像(步骤S503),反复步骤S504以下的处理。
若计算出的近似度不是第1层的基准值TH以上(步骤S508的否),则在确认在HD20-4中保存有其他的登录图像的基础上(步骤S512),从HD20-4读出下一登录图像(步骤S503),反复步骤S504以下的处理。
由此,从HD20-4逐个读出登录图像的分层图像,计算该登录图像的第1层的分层图像中的特征区域和参照图像的第1层的分层图像中的对应区域的近似度,对计算出的近似度和第1层的基准值TH进行比较,将已确认计算出的近似度为第1层的基准值TH以上的登录图像作为登录图像候补进行选择。
然后,在该处理中,从HD20-4读出全部的登录图像,在没有其他的登录图像的情况下(步骤S512的否),控制部20-1确认存在更高分辨率的分层图像(步骤S513的是),设N=N-1(步骤S514),返回步骤S503。
由此,控制部20-1再次读出保存在HD20-4中的第1个登录图像(包含原图像的分层图像)(步骤S503),反复步骤S504以下的处理。
该情况下,由于N=0,因此,通过POC对照进行与登录图像的第0层的分层图像J0的特征区域S0对应的参照图像的第0层的分层图像I0的对应区域S0’的搜索(步骤S505),计算该搜索出的登录图像的第0层的分层图像J0中的特征区域S0和参照图像的第0层的分层图像I0中的对应区域S0’的近似度(步骤S506),读出预先决定的第0层的基准值TH(步骤S507),对计算出的近似度和读出的第0层的基准值TH进行比较(步骤S508)。这里,第0层的基准值TH根据该分层的分辨率和特征区域S0的位置来决定。
若计算出的近似度为第0层的基准值TH以上(步骤S508的是),则将在步骤S503中读出的登录图像作为登录图像候补进行选择(步骤S509),将选择出的登录图像候补的数M设为M=M+1(步骤S510)。
然后,确认登录图像候补的数M未达到100(步骤S511的否),并确认在HD20-4中保存有其他的登录图像(步骤S512的是),则从HD20-4读出下一登录图像(步骤S503),反复步骤S504以下的处理。
若计算出的近似度不是1第0层的基准值TH以上(步骤S508的否),则在确认在HD20-4中保存有其他的登录图像的基础上(步骤S512),从HD20-4读出下一登录图像(步骤S503),反复步骤S504以下的处理。
由此,从HD20-4逐个读出登录图像的分层图像,计算该登录图像的第0层的分层图像中的特征区域和参照图像的第0层的分层图像中的对应区域的近似度,对计算出的近似度和第0层的基准值TH进行比较,将确认了计算出的近似度为第0层的基准值TH以上的登录图像作为登录图像候补进行选择。
此外,在该处理的反复中,若选择出的登录图像候补的数M为100(步骤S511的是),则控制部20-1结束登录图像候补的选择处理,进入图3所示的步骤S207的处理。
另外,在该处理的反复中,在选择出的登录图像候补的数M达到100之前,没有更高分辨率的分层图像的情况下(步骤S513的否),控制部20-1检查是否存在选择出的登录图像候补(步骤S515)。这里,若存在选择出的登录图像候补(步骤S515的是),则结束登录图像候补的选择处理,进入图3所示的步骤S207的处理。
与此相对,若不存在选择出的登录图像候补(步骤S515的否),即尽管针对第1层、第2层、第0层的全部分层,从HD20-4读出全部的登录图像,选择出的登录图像候补的数为0,则将参照图像和登录图像的对照结果设为不一致(步骤S516),结束处理。该情况的对照结果显示在液晶显示装置12中。
此外,在该实施方式3中,在步骤S502中设N=2,从第2层(最下层)的分层图像开始与特征区域对应的对应区域的搜索以及近似度的计算,但也可以在步骤S502中设N=1,从第1层的分层图像开始与特征区域对应的对应区域的搜索以及近似度的计算。
另外,在上述的实施方式1~3中,在登录图像的分层图像J0、J1、J2中决定了特征区域S0、S1、S2,但可以在参照图像的分层图像I0、I1、I2中决定规定特征区域S0、S1、S2,从登录图像的分层图像J0、J1、J2中搜索对应区域S0’、S1’、S2’。
实施方式4:登录图像候补的选择处理4
图9表示登录图像候补的选择处理4的流程图。在实施方式4中,组合该登录图像候补的选择处理4与登录图像候补的选择处理1、2、3,得到最终的登录图像候补。而且,在该实施方式4中,将在登录图像候补的选择处理1、2、3中选择的登录图像候补作为第1登录图像候补,将在登录图像候补的选择处理4中选择的登录图像候补作为第2登录图像候补。
在登录图像候补的选择处理4中,控制部20-1根据在步骤S205中得到的参照图像作为测量信息计算瞳孔间距离(步骤S601),从HD20-4选择该计算出的瞳孔间距离所属的登录图像的瞳孔间距离组(步骤S602)。而且,将该瞳孔间距离组的登录图像作为第2登录图像候补进行选择(步骤S603)。
而且,控制部20-1组合在登录图像候补的选择处理4中选择出的第2登录图像候补和在登录图像候补的选择处理1、2、3中选择出的第1登录图像候补,得到最终的登录图像候补。
例如,作为实施方式4的第1例,针对在登录图像候补的选择处理4中选择出的第2登录图像候补,进行登录图像候补的选择处理1或者2或者3,得到最终的登录图像候补。
例如,作为实施方式4的第2例,取得在登录图像候补的选择处理1或者2或者3中选择出的第1登录图像候补和在登录图像候补的选择处理4中选择出的第2登录图像候补的AND,得到最终的登录图像候补。
例如,作为实施方式4的第3例,取得在登录图像候补的选择处理1或者2或者3中选择出的第1登录图像候补和在登录图像候补的选择处理4中选择出的第2登录图像候补的OR,得到最终的登录图像候补。
此外,在该实施方式4中,作为测量信息从参照图像取得瞳孔间距离,但也可以取得脸尺寸、瞳孔尺寸、脸曲率等,并基于该取得的测量信息选择第1登录图像候补。
实施方式5:登录图像候补的选择处理5
图10表示登录图像候补的选择处理5的流程图。在实施方式5中,组合该登录图像候补的选择处理5与登录图像候补的选择处理1、2、3,得到最终的登录图像候补。而且,在该实施方式5中,将在登录图像候补的选择处理1、2、3中选择的登录图像候补作为第1登录图像候补,将在登录图像候补的选择处理5中选择的登录图像候补作为第3登录图像候补。
在该登录图像候补的选择处理5中,控制部20-1将在步骤S205中得到的参照图像的原图像(128×128像素的图像)作为最上层(第0层)的高分辨率图像,在该高分辨率图像的下层(第1层)制作64×64像素的图像(第1低分辨率图像),在该第1低分辨率图像的下层(第2层)制作32×32像素的图像(第2低分辨率图像)(步骤S701,参照图5(b))。
而且,控制部20-1读出保存在HD20-4中的第1个登录图像(包含原图像的分层图像)(步骤S702)。即,针对第1个登录图像,读出位于最上层(第0层)的高分辨率图像(128×128像素的图像)、位于该高分辨率图像的下层(第1层)的第1低分辨率图像(64×64像素的图像)、以及位于该第1低分辨率图像的下层(第2层)的第2低分辨率图像(32×32像素的图像)(参照图5(a))。
然后,控制部20-1设N=2(步骤S703),计算参照图像的第N层的分层图像和登录图像的第N层的分层图像的近似度(步骤S704)。该情况下,由于N=2,因此,计算参照图像的第2层的分层图像I2和登录图像的第2层的分层图像J2的近似度。
然后,读出预先决定的第2层的基准值TH(步骤S705),对计算出的近似度和读出的第2层的基准值TH进行比较(步骤S706)。此处,第2层的基准值TH根据该分层的分辨率来决定。
若计算出的近似度为第2层的基准值TH以上(步骤S706的是),则将在步骤S702中读出的登录图像作为登录图像候补(第3登录图像候补)进行选择(步骤S707),将选择出的登录图像候补的数M(初始值0)设为M=M+1(步骤S708)。
而且,确认选择出的登录图像候补的数M未达到100(步骤S709的否),并确认在HD20-4中保存有其他的登录图像(步骤S712的是),则从HD20-4读出下一登录图像(步骤S702),反复步骤S703以下的处理。
若计算出的近似度不是第2层的基准值TH以上(步骤S706的否),则在确认存在更高的分辨率的分层图像的基础上(步骤S710的是),设N=N-1(步骤S711),返回步骤S704。该情况下,由于N=1,因此,控制部20-1计算参照图像的第1层的分层图像I1和登录图像的第1层的分层图像J1的近似度。
然后,读出预先决定的第1层的基准值TH(步骤S705),对计算出的近似度和读出的第1层的基准值TH进行比较(步骤S706)。这里,第1层的基准值TH根据该分层的分辨率来决定。
若计算出的近似度为第1层的基准值TH以上(步骤S706的是),则将在步骤S702中读出的登录图像作为登录图像候补(第3登录图像候补)进行选择(步骤S707),将选择出的登录图像候补的数M设为M=M+1(步骤S708)。
然后,确认选择出的登录图像候补的数M未达到100(步骤S709的否),并确认在HD20-4中保存有其他的登录图像(步骤S712的是),则从HD20-4读出下一登录图像(步骤S702),反复步骤S703以下的处理。
若计算出的近似度为第1层的基准值TH以上(步骤S706的否),则在确认存在更高分辨率的分层图像的基础上(步骤S710的是),设N=N-1(步骤S711),返回步骤S704。该情况下,由于N=0,控制部20-1计算参照图像的第0层的分层图像I0和登录图像的第0层的分层图像J0的近似度。
然后,读出预先决定的第0层的基准值TH(步骤S705),对计算出的近似度和读出的第0层的基准值TH进行比较(步骤S706)。这里,第0层的基准值TH根据该分层的分辨率来决定。
若计算出的近似度为第0层的基准值TH以上(步骤S706的是),则将在步骤S702中读出的登录图像作为登录图像候补(第3登录图像候补)进行选择(步骤S707),将选择出的登录图像候补的数M设为M=M+1(步骤S708)。
然后,确认选择出的登录图像候补的数M未达到100(步骤S709的否),并确认在HD20-4中保存有其他的登录图像(步骤S712的是),则从HD20-4读出下一登录图像(步骤S702),反复步骤S703以下的处理。
若计算出的近似度不是第0层的基准值TH以上(步骤S706的否),则控制部20-1检查是否存在更高分辨率的分层图像(步骤S710的是)。该情况下,由于不存在比第0层的分辨率高的分层图像(步骤S710的否),因此,若确认在HD20-4中保存有其他的登录图像(步骤S712的是),则从HD20-4读出下一登录图像(步骤S702),反复步骤S703以下的处理。
由此,从HD20-4逐个读出登录图像的分层图像,按照分辨率低的顺序计算出登录图像的分层图像和参照图像的分层图像的近似度,对计算出的近似度和该分层的基准值TH进行比较,将确认到在任意一个分层中近似度为基准值TH以上的登录图像作为第3登录图像候补进行选择。
然后,在该处理的反复中,若选择出的登录图像候补的数M成为100(步骤S709的是),则控制部20-1结束登录图像候补的选择处理。而且,在该处理的反复中,在选择出的登录图像候补的数M达到100以前,没有其他的登录图像的情况下(步骤S413的否),也结束登录图像候补的选择处理。
然后,控制部20-1组合在登录图像候补的选择处理5中选择出的第3登录图像候补和在登录图像候补的选择处理1、2、3中选择出的第1登录图像候补,得到最终的登录图像候补。
例如,作为实施方式5的第1例,针对在登录图像候补的选择处理5中选择出的第3登录图像候补,进行登录图像候补的选择处理1或者2或者3,得到最终的登录图像候补。
例如,作为实施方式5的第2例,取得在登录图像候补的选择处理1或者2或者3中选择出的第1登录图像候补和在登录图像候补的选择处理5中选择出的第3登录图像候补的AND,得到最终的登录图像候补。
例如,作为实施方式5的第3例,取得在登录图像候补的选择处理1或者2或者3中选择出的第1登录图像候补和在登录图像候补的选择处理5中选择出的第3登录图像候补的OR,得到最终的登录图像候补。
此外,在该实施方式5中,组合登录图像候补的选择处理5与登录图像候补的选择处理1、2、3,得到最终的登录图像候补,但也可以组合登录图像候补的选择处理4以及5与登录图像候补的选择处理1、2、3,得到最终的登录图像候补。
另外,在上述的实施方式1~3中,进行登录图像候补的选择直至达到M=100,但在近似度非常高的情况下可以就此结束登录图像候补的选择。例如,以实施方式1(图4)来说,在步骤S306中近似度是远大于基准值TH的规定值THmax以上的情况下,在此结束登录图像候补的选择。在实施方式5(图10)中也同样,在步骤S706中近似度是远大于基准值TH的规定值THmax以上的情况下,也可以在此结束第3登录图像候补的选择。由此,能够实现高速化。
另外,在上述的实施方式1~3中,进行了登录图像候补的选择直至达到M=100,但也可以对全部的登录图像进行用于分类的对照处理,将近似度(评分)较高的前M个作为登录图像候补进行选择。例如,对实施方式1(图4)来说,针对保存在HD20-4中的登录图像的全部进行用于分类的对照处理从而求出近似度,将该近似度较高的前M个登录图像作为登录图像候补进行选择。在实施方式5(图10)中也同样,可以针对保存在HD20-4中的登录图像的全部进行用于分类的对照处理从而求出近似度,将该近似度较高的前M个登录图像作为第3登录图像候补进行选择。
另外,在上述的实施方式1~5中,虽没有对近似度的计算方法(例如,在步骤S208(图3)、步骤S305(图4)、步骤S406(图7)、步骤S506(图8)、步骤S704(图10)等中的近似度的计算方法)的详细内容进行叙述,但作为该情况下的近似度的计算方法能够考虑如下方法。
在特定的脸数据、特定的分层、特定的区域中计算近似度的方法
方案1.将每个对应点的相关值的平均值作为近似度。
方案2.将比阈值T高的对应点的数作为近似度。
Figure BDA0000158880970000261
不易受特定区域的干扰(衣物等)影响。
方案3.按照上下左右全体等每个区域,将比阈值″T_high″高的对应点的数作为近似度。阈值″T_high″可以按照每个区域来改变。
Figure BDA0000158880970000262
能够实现不易受太阳镜、眼镜、胡须的产生、伤、眼带等的影响的对照。
方案4.按照上下左右全体等每个区域,将比阈值″T_high″高的对应点的数作为近似度。此时,在任意一个区域中,在比阈值″T_low″低的对应点的数较多的情况下,在后段的近似度判定处理中作为NG。阈值″T_high″,″T_low″可以按照每个区域来改变。
Figure BDA0000158880970000271
能够防止因相同的衣物的他人误认。例如,因框粗的眼镜的误认。
此外,例如在实施方式1(图4)中,在步骤S305中进行近似度的计算,在步骤S306中进行近似度和基准值的比较,但可以在1步中进行近似度的计算和基准值的比较。在其他的实施方式中也相同。
另外,在上述的实施方式1~5中,将登录图像的分层图像作为登录图像存储在HD20-4中,但也可以仅存储登录图像的原图像。在仅存储登录图像的原图像的情况下,进行登录图像(原图像)的读出后,将该读出的登录图像的原图像作为最上层(第0层)的高分辨率图像,在该高分辨率图像的下层(第1层)制作第1低分辨率图像,在该第1低分辨率图像的下层(第2层)制作第2低分辨率图像。
图11表示在登录图像候补的选择处理1中,进行登录图像(原图像)的读出后,制作登录图像的分层图像时的流程图。该情况下,在步骤S302中读出登录图像的原图像,在该步骤S302之后,设置制作登录图像的分层图像的步骤S313。
图12表示在登录图像候补的选择处理2中,进行登录图像(原图像)的读出后,制作登录图像的分层图像时的流程图。该情况下,在步骤S402中读出登录图像的原图像,在步骤S402之后,设置制作登录图像的分层图像的步骤S417。
图13表示在登录图像候补的选择处理3中,进行登录图像(原图像)的读出后,制作登录图像的分层图像时的流程图。该情况下,在步骤S503中读出登录图像的原图像,在步骤S503之后,设置制作登录图像的分层图像的步骤S517。
图14表示在登录图像候补的选择处理5中,进行登录图像(原图像)的读出后,制作登录图像的分层图像时的流程图。该情况下,在步骤S702中读出登录图像的原图像,在步骤S702之后,设置制作登录图像的分层图像的步骤S713。
产业上的可利用性
本发明的对照装置作为对照参照图像和登录图像的对照装置,不限于管理出入室的系统,能够在认证各种对象物的系统(例如打印等的图像检查、焊锡基板检查等)中利用。

Claims (5)

1.一种对照装置,其用于对参照图像和登录图像进行对照,该对照
装置的特征在于,具备:
分层图像制作单元,其针对上述参照图像,制作将其原图像作为分辨率最高的高分辨率图像,并将该高分辨率图像作为最上层的分辨率不同的多个分层图像;
登录图像存储单元,其存储与上述参照图像同一分辨率的多个登录图像;
登录图像读出单元,其逐个读出存储在上述登录图像存储单元中的登录图像;
特征区域设定单元,其针对通过上述分层图像制作单元制作的参照图像的分层图像以及通过上述登录图像读出单元读出的登录图像的与上述参照图像的分层图像对应的分层图像的任何一方,设定预先决定的特征区域;
对应区域搜索单元,其将与通过上述特征区域设定单元已设定上述特征区域的一方的分层图像的该特征区域对应的对应区域从另一方的分层图像中搜索出,
第1登录图像候补选择单元,其基于通过上述特征区域设定单元在一方的分层图像中设定的特征区域和通过上述对应区域搜索单元从另一方的分层图像中搜索出的对应区域的近似度,将通过上述登录图像读出单元读出的登录图像选择为与上述参照图像对照的登录图像候补。
2.根据权利要求1所述的对照装置,其特征在于,
上述对应区域搜索单元通过从低分辨率图像向高分辨率图像的分层搜索,对与在上述一方的分层图像中设定的特征区域对应的另一方的分层图像的对应区域进行搜索,
上述第1登录图像候补选择单元根据任意的低分辨率的分层图像,进行上述特征区域和上述对应区域的近似度的计算,在计算出的近似度满足规定的基准值的情况下,将通过上述登录图像读出单元读出的登录图像选择为登录图像候补。
3.根据权利要求2所述的对照装置,其特征在于,
上述第1登录图像候补选择单元在上述分层图像的每个分层,作为上述基准值,使用根据该分层的分辨率和特征区域的位置而决定的基准值。
4.根据权利要求1~3中任意一项所述的对照装置,其特征在于,具备:
测量信息取得单元,其从上述参照图像中取得规定的测量信息;
第2登录图像候补选择单元,其基于通过上述测量信息取得单元取得的测量信息,从存储于上述登录图像存储单元的多个登录图像中选择与上述参照图像对照的登录图像候补,
上述第1登录图像候补选择单元对通过上述第2登录图像候补选择单元选择出的登录图像候补进行组合并选择登录图像候补。
5.根据权利要求1~4中任意一项所述的对照装置,其特征在于,
上述第1登录图像候补选择单元在上述选择出的登录图像候补的数为0时,将上述参照图像和上述登录图像的对照结果设为不一致。
CN201210133106.XA 2011-05-10 2012-04-28 对照装置 Expired - Fee Related CN102831441B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-104998 2011-05-10
JP2011104998A JP5773736B2 (ja) 2011-05-10 2011-05-10 照合装置

Publications (2)

Publication Number Publication Date
CN102831441A true CN102831441A (zh) 2012-12-19
CN102831441B CN102831441B (zh) 2015-02-18

Family

ID=47141925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210133106.XA Expired - Fee Related CN102831441B (zh) 2011-05-10 2012-04-28 对照装置

Country Status (4)

Country Link
US (1) US8750580B2 (zh)
JP (1) JP5773736B2 (zh)
KR (1) KR101268718B1 (zh)
CN (1) CN102831441B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906728A (zh) * 2019-12-04 2021-06-04 杭州海康威视数字技术股份有限公司 一种特征比对方法、装置及设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5923744B2 (ja) * 2012-05-24 2016-05-25 パナソニックIpマネジメント株式会社 画像検索システム、画像検索方法及び検索装置
JP6406900B2 (ja) * 2014-07-09 2018-10-17 キヤノン株式会社 画像処理方法、画像処理装置、プログラム、記録媒体、生産装置、及び組立部品の製造方法
CN104778396B (zh) 2015-04-29 2019-01-29 惠州Tcl移动通信有限公司 一种基于环境筛选帧的眼纹识别解锁方法及系统
KR20180000372U (ko) 2016-07-28 2018-02-07 서동진 휴대폰용 다중 충전장치
JP6558387B2 (ja) 2017-03-14 2019-08-14 オムロン株式会社 画像解析装置、画像解析方法、及び画像解析プログラム
EP3764319B1 (en) * 2018-03-05 2023-11-22 NEC Corporation Image comparison device
US10574848B1 (en) 2018-10-26 2020-02-25 Toshiba Tec Kabushiki Kaisha Information processing apparatus with registered image detection
KR102145517B1 (ko) * 2019-05-31 2020-08-18 주식회사 모르페우스 3차원 측정 데이터를 정합하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US11562555B2 (en) * 2021-06-02 2023-01-24 The Nielsen Company (Us), Llc Methods, systems, articles of manufacture, and apparatus to extract shape features based on a structural angle template

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6181805B1 (en) * 1993-08-11 2001-01-30 Nippon Telegraph & Telephone Corporation Object image detecting method and system
JP2006276948A (ja) * 2005-03-28 2006-10-12 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記憶した記録媒体
CN101110101A (zh) * 2006-07-17 2008-01-23 松下电器产业株式会社 识别图像的方法及设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63204482A (ja) * 1987-02-20 1988-08-24 Nippon Telegr & Teleph Corp <Ntt> 物体識別装置
JPH0634233B2 (ja) * 1987-05-26 1994-05-02 株式会社安川電機 階層化構造的テンプレ−ト・マッチング方法
JP3235075B2 (ja) 1996-08-21 2001-12-04 株式会社山武 パターン照合装置
JP2924958B2 (ja) * 1996-12-27 1999-07-26 日本電気株式会社 指紋カード絞り込み装置及び指紋カード絞り込み方法
US6778703B1 (en) * 2000-04-19 2004-08-17 International Business Machines Corporation Form recognition using reference areas
JP4517449B2 (ja) * 2000-05-10 2010-08-04 株式会社豊田中央研究所 画像における相関演算方法
US6697504B2 (en) * 2000-12-15 2004-02-24 Institute For Information Industry Method of multi-level facial image recognition and system using the same
US6603882B2 (en) * 2001-04-12 2003-08-05 Seho Oh Automatic template generation and searching method
JP4492036B2 (ja) * 2003-04-28 2010-06-30 ソニー株式会社 画像認識装置及び方法、並びにロボット装置
JP2005107587A (ja) * 2003-09-26 2005-04-21 Toshiba Corp 顔認証装置および通行制御装置
KR100559471B1 (ko) * 2003-12-17 2006-03-10 한국전자통신연구원 대칭축을 이용한 얼굴 검출 시스템 및 방법
DE602005012673D1 (de) * 2005-02-21 2009-03-26 Mitsubishi Electric Corp Schnelles Verfahren zum Detektieren von Objekten durch statistischen Mustervergleich
JP4628882B2 (ja) * 2005-06-16 2011-02-09 富士フイルム株式会社 判別器の学習方法、顔判別方法および装置並びにプログラム
US7813531B2 (en) * 2006-05-01 2010-10-12 Unisys Corporation Methods and apparatus for clustering templates in non-metric similarity spaces
JP4382797B2 (ja) * 2006-11-09 2009-12-16 株式会社山武 対応点探索方法および3次元位置計測方法
JP5034554B2 (ja) 2007-02-27 2012-09-26 コニカミノルタホールディングス株式会社 相関演算装置、相関演算方法及びプログラム
JP5045344B2 (ja) * 2007-09-28 2012-10-10 ソニー株式会社 登録装置、登録方法、認証装置及び認証方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6181805B1 (en) * 1993-08-11 2001-01-30 Nippon Telegraph & Telephone Corporation Object image detecting method and system
JP2006276948A (ja) * 2005-03-28 2006-10-12 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記憶した記録媒体
CN101110101A (zh) * 2006-07-17 2008-01-23 松下电器产业株式会社 识别图像的方法及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906728A (zh) * 2019-12-04 2021-06-04 杭州海康威视数字技术股份有限公司 一种特征比对方法、装置及设备
CN112906728B (zh) * 2019-12-04 2023-08-25 杭州海康威视数字技术股份有限公司 一种特征比对方法、装置及设备

Also Published As

Publication number Publication date
US8750580B2 (en) 2014-06-10
KR20120126011A (ko) 2012-11-20
JP2012238057A (ja) 2012-12-06
CN102831441B (zh) 2015-02-18
US20120288164A1 (en) 2012-11-15
JP5773736B2 (ja) 2015-09-02
KR101268718B1 (ko) 2013-05-28

Similar Documents

Publication Publication Date Title
CN102831441B (zh) 对照装置
US8064685B2 (en) 3D object recognition
CN110969087B (zh) 一种步态识别方法及系统
CN104464079B (zh) 基于模板特征点及其拓扑结构的多币种面值识别方法
Thorat et al. Facial recognition technology: An analysis with scope in India
MX2014002827A (es) Aparato de reconocimiento de personas y metodo de reconocimiento de personas.
US20130121535A1 (en) Detection device and method for transition area in space
CN105447532A (zh) 身份认证方法和装置
CN105488486B (zh) 防止照片攻击的人脸识别方法及装置
EP1836649A2 (en) Adaptive fingerprint matching method and apparatus
EP3885979A1 (en) Method and apparatus for detecting liveness based on phase difference
Ganguly et al. 3D face recognition from range images based on curvature analysis
Barman et al. An efficient fingerprint matching approach based on minutiae to minutiae distance using indexing with effectively lower time complexity
AU2013271337A1 (en) Biometric verification
Chu et al. Selecting valid correlation areas for automated bullet identification system based on striation detection
JP6255296B2 (ja) 対象識別装置
CN107533644A (zh) 用于控制电子设备的方法和系统
CN114170690A (zh) 活体识别和构建活体识别模型的方法、装置
JP5773739B2 (ja) 照合装置
CN111340700B (zh) 模型生成方法、分辨率提高方法、图像识别方法及装置
CN110929583A (zh) 一种高检测精度人脸识别方法
WO2006019350A1 (en) 3d object recognition
KR101133225B1 (ko) 자세 추정을 이용한 얼굴 인식 시스템 및 방법
JP5773737B2 (ja) 照合装置
CN109670402B (zh) 人证核验方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150218

Termination date: 20210428