CN111670455A - 认证装置 - Google Patents
认证装置 Download PDFInfo
- Publication number
- CN111670455A CN111670455A CN201880088330.7A CN201880088330A CN111670455A CN 111670455 A CN111670455 A CN 111670455A CN 201880088330 A CN201880088330 A CN 201880088330A CN 111670455 A CN111670455 A CN 111670455A
- Authority
- CN
- China
- Prior art keywords
- authentication
- image
- target person
- face
- optical system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 460
- 238000003384 imaging method Methods 0.000 claims abstract description 198
- 238000004364 calculation method Methods 0.000 claims abstract description 30
- 210000001747 pupil Anatomy 0.000 claims description 24
- 230000001678 irradiating effect Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 description 65
- 238000000034 method Methods 0.000 description 48
- 230000006870 function Effects 0.000 description 24
- 210000001508 eye Anatomy 0.000 description 23
- 238000012545 processing Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 238000000926 separation method Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/45—Structures or tools for the administration of authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
认证装置(1)具备:第一摄像系统(IS1),其用于拍摄认证对象者(100)的第一光学像;第二摄像系统(IS2),其用于拍摄认证对象者(100)的第二光学像;距离计算部(4),其用于基于第一光学像和第二光学像来计算到认证对象者(100)的面部的多个部位中的各个部位的距离(a);三维信息生成部(5),其用于基于由距离计算部(4)计算出的到认证对象者(100)的面部的多个部位中的各个部位的距离(a)来生成认证对象者(100)的面部的三维信息;以及认证部(7),其构成为能够使用由三维信息生成部(5)计算出的认证对象者(100)的面部的三维信息来执行对认证对象者(100)的三维面部认证。
Description
技术领域
本发明一般来说涉及一种构成为能够使用认证对象者的面部的三维信息执行三维面部认证的认证装置,更具体地说,涉及一种构成为能够基于通过光学像的倍率根据到认证对象者的面部的多个部位中的各个部位的距离发生的变化互不相同的至少两个光学系统形成的至少两个光学像的图像倍率比来生成认证对象者的面部的三维信息并使用该三维信息执行三维面部认证的认证装置。
背景技术
以往,在如移动电话、智能手机、笔记本式个人计算机、膝上型计算机那样的各种设备中,利用了如使用密码和ID的认证技术、使用物理密钥或ID卡的认证技术、面部认证、指纹认证、静脉认证、声纹认证、虹膜认证、手形认证那样的生物体认证技术等以进行本人确认。特别地,生物体认证由于不存在使用密码和ID的认证中成为问题的密码或ID的忘记、使用物理密钥或ID卡的认证中成为问题的被盗、丢失这样的问题,因此具有不对用户施加负担这样的优点。
在各种各样的生物体认证技术中也是,因近年来的摄像机模块的小型化、高性能化而在各种设备中搭载摄像机模块,伴随与此而广泛地使用通过拍摄认证对象者的面部并将拍摄到的面部图像与预先登记的本人的面部图像进行对照来进行本人确认的面部认证技术。
在这种使用面部图像进行的认证中,存在本人以外的人物通过某些手段冒充成本人而不正当地通过认证这样的“冒充”问题。例如,在执行对本人以外的认证对象者的认证时,认证对象者大多是通过使认证装置拍摄本人的面部照片来进行“冒充”。在利用本人的面部照片的冒充中,使用打印在如纸张那样的介质上的面部照片、显示于监视器那样的显示装置上的面部照片。另外,在使用认证对象者的面部图像进行的认证中,根据有无化妆、表情的变化、面部的朝向、拍摄时的照明的差异等,认证精度有可能降低。
针对这种问题,利用了使用认证对象者的面部的三维信息(三维形状、面部的部分(眼睛、鼻子、嘴、耳朵等)的深度信息等)的三维面部认证技术。例如,专利文献1公开了如下的认证装置:使用立体法从多个图像中获取认证对象者的面部的三维信息,并基于得到的认证对象者的面部的三维信息来执行对认证对象者的三维面部认证,其中,所述多个图像是使用以使得到的图像之间产生平移视差的方式配置于不同位置的两台摄像机拍摄认证对象者而得到的。
打印在如纸张那样的介质上的面部照片、显示于监视器那样的显示装置上的面部照片不是立体的,因此通过执行这样的三维认证能够防止使用面部照片进行冒充。另外,像这样的认证对象者的面部的三维信息不根据有无化妆、表情的变化、面部的朝向、拍摄时的照明的差异等而变化或者其变化小,因此通过使用认证对象者的面部的三维信息执行三维面部认证,能够执行更准确的面部认证。
在专利文献1那样的立体摄像机方式的认证装置中,通过使用配置于各不相同的位置的两台以上的摄像机来获取具有平移视差的不同的多个图像,基于获取到的多个图像之间的平移视差来获取认证对象者的面部的三维信息。为了基于多个图像之间的平移视差来准确地计算认证对象者的面部的三维信息,需要获取大的平移视差。因此,在一个认证装置内,需要将两个以上的摄像机离开较远地配置,导致认证装置的尺寸增大。另外,在立体摄像机方式的认证装置中,在认证对象者位于离各摄像机非常近的位置的情况下,由于得到的图像的视场的关系,有时产生拍到用于获取平移视差的被摄体的任意的特征点的图像和没有拍到特征点的图像的情况。在该情况下,存在如下问题:无法准确地得到平移视差,难以准确地计算到认证对象者的距离。
现有技术文献
专利文献
专利文献1:日本特开2007-122454号公报
发明内容
发明要解决的问题
本发明是鉴于上述以往的问题点而得到的,其目的在于提供一种不使用多个图像间的平移视差就能够生成认证对象者的面部的三维信息并且能够使用所生成的认证对象者的面部的三维信息来执行三维面部认证的认证装置。
用于解决问题的方案
这样的目的通过下面的(1)~(9)的本发明来达成。
(1)一种认证装置,其特征在于,具备:
第一摄像系统,其具有第一光学系统和第一摄像元件,所述第一光学系统用于将来自认证对象者的光进行聚光来形成所述认证对象者的第一光学像,所述第一摄像元件用于拍摄由所述第一光学系统形成的所述第一光学像;
第二摄像系统,其具有第二光学系统和第二摄像元件,所述第二光学系统用于将来自所述认证对象者的光进行聚光来形成所述认证对象者的第二光学像,所述第二摄像元件用于拍摄由所述第二光学系统形成的所述第二光学像;
距离计算部,其用于基于所述第一光学像和所述第二光学像来计算到所述认证对象者的面部的多个部位中的各个部位的距离;
三维信息生成部,其用于基于由所述距离计算部计算出的到所述认证对象者的所述面部的所述多个部位中的各个部位的所述距离来生成所述认证对象者的面部的三维信息;以及
认证部,其构成为能够使用由所述三维信息生成部生成的所述认证对象者的所述面部的所述三维信息来执行对所述认证对象者的三维面部认证,
其中,所述第一光学系统和所述第二光学系统构成为所述第一光学像的倍率根据到所述认证对象者的所述面部的所述多个部位中的各个部位的所述距离发生的变化与所述第二光学像的倍率根据到所述认证对象者的所述面部的所述多个部位中的各个部位的所述距离发生的变化不同,
所述距离计算部基于所述第一光学像的所述倍率与所述第二光学像的所述倍率的图像倍率比,来计算到所述认证对象者的所述面部的所述多个部位中的各个部位的所述距离。
(2)根据上述(1)所记载的认证装置,其中,所述第一光学系统和所述第二光学系统构成为从所述第一光学系统的出射光瞳起至所述认证对象者存在于无限远处的情况下的由所述第一光学系统形成的所述第一光学像的成像位置为止的距离与从所述第二光学系统的出射光瞳起至所述认证对象者存在于无限远处的情况下的由所述第二光学系统形成的所述第二光学像的成像位置为止的距离不同,由此,所述第一光学像的所述倍率根据到所述认证对象者的所述面部的所述多个部位中的各个部位的所述距离发生的所述变化与所述第二光学像的所述倍率根据到所述认证对象者的所述面部的所述多个部位中的各个部位的所述距离发生的所述变化不同。
(3)根据上述(1)或(2)所记载的认证装置,其中,在所述第一光学系统的前侧主点与所述第二光学系统的前侧主点之间存在深度方向上的差,由此,所述第一光学像的所述倍率根据到所述认证对象者的所述面部的所述多个部位中的各个部位的所述距离发生的所述变化与所述第二光学像的所述倍率根据到所述认证对象者的所述面部的所述多个部位中的各个部位的所述距离发生的所述变化不同。
(4)根据上述(1)至(3)中的任一项所述的认证装置,其中,所述第一光学系统和所述第二光学系统构成为所述第一光学系统的焦距与所述第二光学系统的焦距互不相同,由此,所述第一光学像的所述倍率根据到所述认证对象者的所述面部的所述多个部位中的各个部位的所述距离发生的所述变化与所述第二光学像的所述倍率根据到所述认证对象者的所述面部的所述多个部位中的各个部位的所述距离发生的所述变化不同。
(5)根据上述(1)至(4)中的任一项所述的认证装置,其中,所述认证部构成为:除了进行所述三维面部认证以外,还能够使用通过所述第一摄像元件拍摄所述第一光学像而得到的第一图像和通过所述第二摄像元件拍摄所述第二光学像而得到的第二图像来执行对所述认证对象者的虹膜认证和二维面部认证。
(6)根据上述(5)所记载的认证装置,其中,所述认证部构成为根据事先设定的安全级别来执行所述三维面部认证、所述二维面部认证以及所述虹膜认证中的至少一方。
(7)根据上述(5)或(6)所记载的认证装置,其中,
所述第一光学系统和所述第二光学系统构成为所述第一光学系统的焦距比所述第二光学系统的焦距长,
所述认证部使用由所述第一摄像元件获取到的所述第一图像来执行对所述认证对象者的所述虹膜认证,并且使用由所述第二摄像元件获取到的所述第二图像来执行对所述认证对象者的所述二维面部认证。
(8)根据上述(1)至(7)中的任一项所述的认证装置,其中,
还具备向所述认证对象者投射规定图案的投影仪,
所述距离计算部基于被所述投影仪投射了所述规定图案的所述认证对象者的所述第一光学像和所述第二光学像,来计算到所述认证对象者的所述面部的所述多个部位中的各个部位的所述距离。
(9)根据上述(1)至(8)中的任一项所述的认证装置,其中,
还具备用于向所述认证对象者照射红外光的红外光照射部,
所述第一摄像系统的所述第一摄像元件和所述第二摄像系统的所述第二摄像)元件中的至少一方构成为能够拍摄所述红外光。
发明的效果
本发明的认证装置能够使用光学像的倍率根据到认证对象者的面部的多个部位中的各个部位的距离发生的变化互不相同的至少两个光学系统,基于由该两个光学系统分别形成的两个光学像的图像倍率比(倍率的比)来测定到认证对象者的面部的多个部位中的各个部位的距离。并且,本发明的认证装置能够基于计算出的到认证对象者的面部的多个部位中的各个部位的距离来生成认证对象者的面部的三维信息,对认证对象者执行三维面部认证。
因此,在本发明的认证装置中,与以往的使用多个图像间的平移视差的立体摄像机方式的认证装置不同,不需要确保大的平移视差,因此即使将两个光学系统靠近地配置,也能够准确地计算到认证对象者的面部的多个部位中的各个部位的距离。由此,与以往的立体摄像机方式的认证装置相比,能够实现认证装置的小型化。另外,在本发明的认证装置中,不使用平移视差来计算到认证对象者的面部的多个部位中的各个部位的距离,因此即使在认证对象者位于离认证装置非常近的位置的情况下,也能够准确地测定到认证对象者的面部的多个部位中的各个部位的距离。另外,根据本发明,由于不需要考虑平移视差来设计认证装置,因此能够增大认证装置的设计自由度。
附图说明
图1是用于说明在本发明的认证装置中使用的测距原理的图。
图2是用于说明在本发明的认证装置中使用的测距原理的图。
图3是用于说明由图2所示的第一光学系统形成的第一光学像的倍率与由图2所示的第二光学系统形成的第二光学像的倍率的图像倍率比根据到测定对象的距离发生变化的曲线图。
图4是概要性地示出本发明的第一实施方式所涉及的认证装置的框图。
图5是用于示出图4所示的认证装置的第一摄像系统和第二摄像系统的摄像范围的概要图。图5的(a)是为了示出图4所示的认证装置的第一摄像系统和第二摄像系统的摄像范围而从被摄体、第一摄像系统以及第二摄像系统的侧面观看到的概要图。图5的(b)是为了示出图4所示的认证装置的第一摄像系统和第二摄像系统的摄像范围而从被摄体的正面观看到的概要图。
图6是概要性地示出本发明的第二实施方式所涉及的认证装置的第一摄像系统和第二摄像系统的框图。
图7是概要性地示出本发明的第三实施方式所涉及的认证装置的第一摄像系统和第二摄像系统的框图。
图8是概要性地示出本发明的第四实施方式所涉及的认证装置的第一摄像系统、第二摄像系统以及红外光照射部的框图。
图9是概要性地示出本发明的第五实施方式所涉及的认证装置的第一摄像系统、第二摄像系统以及投影仪的框图。
图10是示出由本发明的认证装置执行的认证方法的流程图。
图11是更详细地示出由本发明的认证装置执行的认证方法中的认证处理的流程图。
图12是示出由本发明的认证装置执行的认证方法中的三维面部认证的流程图。
具体实施方式
首先,说明在本发明的认证装置中使用的用于计算到测定对象的距离的测距原理。
关于由光学系统形成的光学的倍率mOD,能够利用从光学系统的前侧主点(前侧主面)到测定对象的距离(被摄体距离)a、从光学系统的后侧主点(后侧主面)到光学像的成像位置的距离bOD以及光学系统的焦距f,根据透镜的公式表示为下述式(1)。
[数1]
另外,关于光学像的尺寸YOD,能够根据光学像的倍率mOD和测定对象的实际的尺寸sz表示为下述式(2)。
[数2]
在传感器等摄像元件的摄像面处于光学像的成像位置的情况下,即,在为最佳焦点的情况下,能够用上述式(2)表示光学像的尺寸YOD。在光学系统具有自动对焦功能且总是以最佳焦点进行拍摄的情况下,能够使用上述式(2)求出光学像的尺寸YOD。
然而,在光学系统为不具有自动对焦功能的固定焦点系统且传感器等摄像元件的摄像面不处于光学像的成像位置的情况下,即,存在散焦的情况下,为了求出形成在摄像元件的摄像面上的光学像的尺寸YFD,需要考虑散焦量、即光学像的成像位置与摄像元件的摄像面的位置的在深度方向(光轴方向)上的差(偏移量)。
如图1所示,将从光学系统的出射光瞳起至测定对象存在于无限远处的情况下的光学像的成像位置为止的距离设为EP,将从光学系统的出射光瞳起至测定对象存在于任意的距离a处的情况下的光学像的成像位置为止的距离设为EPOD,将从光学系统的出射光瞳起至摄像元件的摄像面为止的距离(调焦距离:Focus Distance)设为EPFD。另外,将从光学系统的后侧主点起至测定对象存在于任意的距离a处的情况下的光学像的成像位置为止的距离设为bOD,将从光学系统的后侧主点起至摄像元件的摄像面为止的距离设为bFD。
关于从光学系统的后侧主点起至测定对象存在于任意的距离a处的情况下的光学像的成像位置为止的距离bOD,能够根据透镜的公式通过下述式(3)求出。
[数3]
因而,焦距f与距离bOD的差ΔbOD能够通过下述式(4)求出。
[数4]
另外,关于从光学系统的后侧主点起至摄像元件的摄像面为止的距离bFD,能够使用光学像在摄像元件的摄像面成为最佳焦点的情况下的从光学系统的前侧主点到测定对象的距离aFD,根据透镜的公式通过下述式(5)求出。
[数5]
因此,焦距f与距离bFD的差ΔbFD能够通过下述式(6)求出。
[数6]
另外,如根据图1明确可知的那样,以光轴与光学系统的出射光瞳的交点为一个顶点且以测定对象存在于任意的距离a处的情况下的光学像的成像位置处的光学像的尺寸YOD为一个边的直角三角形同以光轴与光学系统的出射光瞳的交点为一个顶点且以摄像元件的摄像面中的光学像的尺寸YFD为一个边的直角三角形为相似关系。因此,根据相似关系,EPOD:EPFD=YOD:YFD成立,能够根据下述式(7)求出摄像元件的摄像面中的光学像的尺寸YFD。
[数7]
EPOD:EPFD=YOD:YFD
EP+ΔbOD:EP+ΔbFD=YOD:YFD
如根据上述式(7)明确可知的那样,摄像元件的摄像面中的光学像的尺寸YFD能够表示为测定对象的实际的尺寸sz、光学系统的焦距f、从光学系统的出射光瞳起至测定对象存在于无限远处的情况下的光学像的成像位置为止的距离EP、从光学系统到测定对象的距离(被摄体距离)a以及光学像在摄像元件的摄像面成为最佳焦点的情况下的从光学系统到测定对象的距离aFD的函数。
接着,如图2所示,假定使用两个摄像系统IS1、IS2拍摄相同的测定对象的情况。第一摄像系统IS1具备:第一光学系统OS1,其将来自测定对象的光进行聚光来形成第一光学像;以及第一摄像元件S1,其用于拍摄由第一光学系统OS1形成的第一光学像。第二摄像系统IS2具备:第二光学系统OS2,其将来自测定对象的光进行聚光来形成第二光学像;以及第二摄像元件S2,其用于拍摄由第二光学系统OS2形成的第二光学像。另外,如根据图2明确可知的那样,第一摄像元件S1的第一光学系统OS1的光轴与第二摄像元件S2的第二光学系统OS2的光轴平行,但不一致。
第一光学系统OS1和第二光学系统OS2分别为具有焦距f1、f2的固定焦点的光学系统。在构成第一摄像系统IS1时,第一光学系统OS1的位置(透镜位置)、即第一光学系统OS1与第一摄像元件S1的分离距离被调整为处于任意的距离aFD1处的测定对象的第一光学像形成在第一摄像元件S1的摄像面上、即处于任意的距离aFD1处的测定对象成为最佳焦点。同样地,在构成第二摄像系统IS2时,第二光学系统OS2的位置(透镜位置)、即第二光学系统OS2与第二摄像元件S2的分离距离被调整为处于任意的距离aFD2处的测定对象的第二光学像形成在第二摄像元件S2的摄像面上、即处于任意的距离aFD2处的测定对象成为最佳焦点。
另外,从第一光学系统OS1的出射光瞳起至测定对象存在于无限远处的情况下的第一光学像的成像位置为止的距离为EP1,从第二光学系统OS2的出射光瞳起至测定对象存在于无限远处的情况下的第二光学像的成像位置为止的距离为EP2。
第一光学系统OS1和第二光学系统OS2被构成并配置为在第一光学系统OS1的前侧主点(前侧主面)与第二光学系统OS2的前侧主点(前侧主面)之间存在深度方向(光轴方向)上的差D。即,当将从第一光学系统OS1的前侧主点到测定对象的距离(被摄体距离)设为a时,从第二光学系统OS2的前侧主点到测定对象的距离为a+D。
通过利用参照图1说明的相似关系,由第一光学系统OS1形成在第一摄像元件S1的摄像面上的第一光学像的倍率m1能够通过下述式(8)表示。
[数8]
在此,EPOD1为从第一光学系统OS1的出射光瞳起至测定对象存在于距离a处的情况下的第一光学像的成像位置为止的距离,EPFD1为从第一光学系统OS1的出射光瞳到第一摄像元件S1的摄像面的距离。在构成第一摄像系统IS1时,调整第一光学系统OS1的位置(透镜位置)以使处于任意的距离aFD1处的测定对象成为最佳焦点,由此决定这些距离EPOD1和距离EPFD1的位置关系。另外,ΔbOD1为焦距f1与从第一光学系统OS1的后侧主点起至测定对象存在于距离a处的情况下的第一光学像的成像位置为止的距离bOD1的差,ΔbFD1为焦距f1与从第一光学系统OS1的后侧主点到第一摄像元件S1的摄像面的距离bFD1的差,mOD1为测定对象存在于距离a处的情况下的第一光学像的成像位置处的第一光学像的倍率。
上述式(1)、(4)及(6)也能够应用于基于第一光学系统OS1的成像,因此上述式(8)能够用下述式(9)表示。
[数9]
在此,aFD1为第一光学像在第一摄像元件S1的摄像面成为最佳焦点的情况下的从第一光学系统OS1的前侧主点到测定对象的距离。
同样地,由第二光学系统OS2形成在第二摄像元件S2的摄像面上的第二光学像的倍率m2能够通过下述式(10)表示。
[数10]
在此,EPOD2为从第二光学系统OS2的出射光瞳起至测定对象存在于距离a+D处的情况下的第二光学像的成像位置为止的距离,EPFD2为从第二光学系统OS2的出射光瞳到第二摄像元件S2的摄像面的距离。在构成第二摄像系统IS2时,调整第二光学系统OS2的位置(透镜位置)以使处于任意的距离aFD2处的测定对象成为最佳焦点,由此决定这些距离EPOD2和距离EPFD2的位置关系。另外,ΔbOD2为焦距f2与从第二光学系统OS2的后侧主点起至测定对象存在于距离a+D处的情况下的第二光学像的成像位置为止的距离bOD2的差,ΔbFD2为焦距f2与从第二光学系统OS2的后侧主点到第二摄像元件S2的摄像面的距离bFD2的差,mOD2为测定对象存在于距离a+D处的情况下的第二光学像的成像位置处的第二光学像的倍率,aFD2为第二光学像在第二摄像元件S2的摄像面成为最佳焦点的情况下的从第二光学系统OS2的前侧主点到测定对象的距离。
因而,由第一光学系统OS1形成在第一摄像元件S1的摄像面上的第一光学像的倍率m1与由第二光学系统OS2形成在第二摄像元件S2的摄像面上的第二光学像的倍率m2的图像倍率比MR能够用下述式(11)表示。
[数11]
在此,K为系数,用下述式(12)表示,所述式(12)由根据第一摄像系统IS1和第二摄像系统IS2的结构决定的固定值f1、f2、EP1、EP2、aFD1及aFD2构成。
[数12]
如根据上述式(11)明确可知的那样,由第一光学系统OS1形成在第一摄像元件S1的摄像面上的第一光学像的倍率m1与由第二光学系统OS2形成在第二摄像元件S2的摄像面上的第二光学像的倍率m2的图像倍率比MR根据从测定对象到第一光学系统OS1的前侧主点的距离a发生变化。
另外,当在上述式(11)中对距离a求解时,能够得到关于到测定对象的距离a的通用公式(13)。
[数13]
在上述式(13)中,f1、f2、EP1、EP2、D及K为根据第一摄像系统IS1和第二摄像系统IS2的结构决定的固定值,因此,只要能够得到图像倍率比MR,就能够计算出从测定对象到第一光学系统OS1的前侧主点的距离a。
在图3中示出基于上述式(13)计算出的、由第一光学系统OS1形成在第一摄像元件S1的摄像面上的第一光学像的倍率m1与由第二光学系统OS2形成在第二摄像元件S2的摄像面上的第二光学像的倍率m2的图像倍率比MR同到测定对象的距离a之间的关系的一例。如根据图3明确可知的那样,图像倍率比MR的值与到测定对象的距离a之间存在一一对应的关系。另一方面,能够通过下述式(14)计算图像倍率比MR。
[数14]
在此,sz为测定对象的实际的尺寸(高度或宽度),YFD1为由第一光学系统OS1形成在第一摄像元件S1的摄像面上的第一光学像的尺寸(像高或像宽),YFD2为由第二光学系统OS2形成在第二摄像元件S2的摄像面上的第二光学像的尺寸(像高或像宽)。
能够根据通过第一摄像元件S1和第二摄像元件S2拍摄第一光学像和第二光学像而获取到的第一光学像的图像(第一图像)和第二光学像的图像(第二图像)来计算第一光学像的尺寸YFD1和第二光学像的尺寸YFD2。因此,能够根据通过使用第一摄像系统IS1和第二摄像系统IS2实际拍摄测定对象而得到的第一图像和第二图像,来实际测量第一光学像的尺寸YFD1和第二光学像的尺寸YFD2,基于此而得到第一光学像的倍率m1与第二光学像的倍率m2的图像倍率比MR。
此外,如根据上述式(11)明确可知的那样,在第一光学系统OS1的焦距f1与第一光学系统OS1的焦距f2相等(f1=f2)、从第一光学系统OS1的出射光瞳起至测定对象处于无限远处的情况下的第一光学像的成像位置为止的距离EP1与从第二光学系统OS2的出射光瞳起至测定对象处于无限远处的情况下的第二光学像的成像位置为止的距离EP2相等(EP1=EP2)并且第一光学系统OS1的前侧主点与第二光学系统OS2的前侧主点之间不存在深度方向(光轴方向)上的差D(D=0)的情况下,图像倍率比MR作为距离a的函数不成立,图像倍率比MR为常数。在该情况下,第一光学像的倍率m1根据到测定对象的距离a发生的变化与第二光学像的倍率m2根据到认证对象者100的距离a发生的变化相同,无法基于图像倍率比MR来计算从第一光学系统OS1到测定对象的距离a。
另外,作为特殊条件,即使在f1≠f2、EP1≠EP2且D=0的情况下,当f1=EP1且f2=EP2时,图像倍率比MR作为距离a的函数也不成立,图像倍率比MR为常数。在这种特殊情况下,也不能基于图像倍率比MR来计算从第一光学系统OS1到测定对象的距离a。
因而,在本发明的认证装置中,以满足下面的三个条件中的至少一个的方式构成和配置第一光学系统OS1和第二光学系统OS2,由此,第一光学像的倍率m1根据到测定对象的距离a发生的变化与第二光学像的倍率m2根据到测定对象的距离a发生的变化不同。
(第一条件)第一光学系统OS1的焦距f1与第二光学系统OS2的焦距f2互不相同(f1≠f2)
(第二条件)从第一光学系统OS1的出射光瞳起至测定对象处于无限远处的情况下的第一光学像的成像位置为止的距离EP1与从第二光学系统OS2的出射光瞳起至测定对象处于无限远处的情况下的第二光学像的成像位置为止的距离EP2互不相同(EP1≠EP2)
(第三条件)第一光学系统OS1的前侧主点与第二光学系统OS2的前侧主点之间存在深度方向(光轴方向)上的差D(D≠0)
此外,即使满足了上述第一条件~第三条件中的至少一个,在如上所述的特殊情况下(f1≠f2、EP1≠EP2、D=0、f1=EP1且f2=EP2),图像倍率比MR作为距离a的函数也不成立,从而无法基于图像倍率比MR来计算从第一光学系统OS1到测定对象的距离a。因而,为了基于图像倍率比MR来计算从第一光学系统OS1到测定对象的距离a,本发明的认证装置构成为还满足图像倍率比MR作为距离a的函数成立的第四条件。
因此,根据基于使用本发明的认证装置获取到的第一图像和第二图像实际测量的第一光学像的尺寸YFD1和第二光学像的尺寸YFD2来计算图像倍率比MR,由此能够计算从第一光学系统OS1的前侧主点到测定对象的距离a。
像这样,本发明的认证装置基于实际测量的第一光学像的尺寸YFD1和第二光学像的尺寸YFD2来计算第一光学像的倍率m1与第二光学像的倍率m2的图像倍率比MR,由此计算从第一光学系统OS1的前侧主点到测定对象的距离a。
在本发明的认证装置中,如图4所示,测定对象是作为本发明的认证装置的认证的对象的认证对象者100的面部的多个部位。由此,在本发明的认证装置中,计算到认证对象者100的面部的多个部位(例如眼睛、鼻子、嘴、耳朵等面部器官)中的各个部位的距离a,基于此而生成认证对象者100的面部的三维信息。通过这样生成的认证对象者100的面部的三维信息被利用于三维面部认证。
下面,基于附图所示的优选的实施方式来详细记述本发明的认证装置,该认证装置构成为:能够利用上述的原理来计算到认证对象者100的面部的多个部位中的各个部位的距离a,由此生成认证对象者100的面部的三维信息,并且使用所生成的面部的三维信息来执行三维面部认证。
<第一实施方式>
首先,参照图4和图5来说明本发明的认证装置的第一实施方式。图4是概要性地示出本发明的第一实施方式所涉及的认证装置的框图。图5是用于示出图4所示的认证装置的第一摄像系统和第二摄像系统的摄像范围的概要图。
图4所示的认证装置1具备:控制部2,其进行对认证装置1的控制;第一摄像系统IS1,其具有第一光学系统OS1和第一摄像元件S1,该第一光学系统OS1用于将来自认证对象者100的光进行聚光来形成认证对象者100的第一光学像,该第一摄像元件S1用于拍摄由第一光学系统OS1形成的第一光学像;第二摄像系统IS2,其具有第二光学系统OS2和第二摄像元件S2,该第二光学系统OS2用于将来自认证对象者100的光进行聚光来形成认证对象者100的第二光学像,该第二摄像元件S2用于拍摄由第二光学系统OS2形成的第二光学像;关联信息存储部3,其存储有将第一光学像的倍率m1与第二光学像的倍率m2的图像倍率比MR同到认证对象者100的面部的多个部位中的各个部位的距离a建立关联的关联信息;距离计算部4,其用于基于第一光学像和第二光学像来计算到认证对象者100的面部的多个部位中的各个部位的距离a;三维信息生成部5,其用于基于由距离计算部4计算出的到认证对象者100的面部的多个部位中的各个部位的距离,来生成认证对象者100的面部的三维信息;认证信息存储部6,其存储有进行认证所需的认证信息;认证部7,其用于执行对认证对象者100的认证处理;操作部8,其用于输入由使用者进行的操作;显示部9,其为液晶面板等,用于显示任意的信息;通信部10,其用于执行与外部设备之间的通信;以及数据总线11,其用于执行认证装置1的各组件间的数据、指示的发送和接收。
本实施方式的认证装置1的特征在于,将第一光学系统OS1和第二光学系统OS2构成为满足为了基于图像倍率比MR来计算到测定对象(即,认证对象者100的面部的多个部位中的各个部位)的距离a所要求的上述三个条件中的、第一光学系统OS1的焦距f1与第二光学系统OS2的焦距f2互不相同(f1≠f2)的第一条件。另一方面,在本实施方式中,第一光学系统OS1和第二光学系统OS2没有被构成并配置为满足上述三个条件中的其它两个条件(EP1≠EP2和D≠0)。并且,本实施方式的认证装置1构成为满足图像倍率比MR作为距离a的函数成立的第四条件。
因此,关于用于使用图像倍率比MR来计算到测定对象(即,认证对象者100的面部的多个部位中的各个部位)的距离a的上述通用公式(13),能够通过EP1=EP2=EP和D=0的条件将其简化,用下述式(15)表示。
[数15]
在此,系数K用下述式(16)表示。
[数16]
本实施方式的认证装置1通过利用第一摄像系统IS1和第二摄像系统IS2拍摄认证对象者100,来计算第一光学像的倍率m1与第二光学像的倍率m2的图像倍率比MR,并且使用上述式(15)来计算到认证对象者100的面部的多个部位中的各个部位的距离a。本实施方式的认证装置1基于计算出的到认证对象者100的面部的多个部位中的各个部位的距离a来生成认证对象者100的面部的三维信息,并执行三维面部认证。
下面,详细记述认证装置1的各组件。控制部2经由数据总线11来与各组件之间进行各种数据、各种指示的发送和接收,来执行对认证装置1的控制。控制部2具备用于执行运算处理的处理器以及保存有进行对认证装置1的控制所需的数据、程序、模块等的存储器,控制部2的处理器通过使用存储器内保存的数据、程序、模块等来执行对认证装置1的控制。另外,控制部2的处理器通过使用认证装置1的各组件,能够提供期望的功能。例如,控制部2的处理器通过使用距离计算部4,能够执行用于基于由第一摄像系统IS1和第二摄像系统IS2拍摄到的第一光学像和第二光学像来计算到认证对象者100的面部的多个部位中的各个部位的距离a的处理。
控制部2的处理器例如是基于计算机可读命令来执行信号操作等运算处理的运算单元,如一个以上的微处理器、微计算机、微控制器、数字信号处理器(DSP)、中央运算处理装置(CPU)、存储器控制单元(MCU)、图像处理用运算处理装置(GPU)、状态机械、逻辑电路、专用集成电路(ASIC)或它们的组合等。特别地,控制部2的处理器构成为取得控制部2的存储器内保存的计算机可读命令(例如数据、程序、模块等),来执行信号操作和控制。
控制部2的存储器为包括易失性存储介质(例如RAM、SRAM、DRAM)、非易失性存储介质(例如ROM、EPROM、EEPROM、快闪存储器、硬盘、光盘、CD-ROM、数字多功能光盘(DVD)、磁盒、磁带、磁盘)或它们的组合的可装卸式或不可装卸式的计算机可读介质。
第一摄像系统IS1和第二摄像系统IS2分别构成并配置为对认证对象者100进行拍摄。第一摄像系统IS1的第一光学系统OS1具有将来自认证对象者100的光进行聚光来在第一摄像系统IS1的第一摄像元件S1的摄像面上形成第一光学像的功能。第二摄像系统IS2的第二光学系统OS2具有用于将来自认证对象者100的光进行聚光来在第二摄像系统IS2的第二摄像元件S2的摄像面上形成第二光学像的功能。第一光学系统OS1和第二光学系统OS2由一个以上的透镜以及光圈等光学元件构成。另外,如图示那样,第一光学系统OS1的光轴与第二光学系统OS2的光轴平行,但不一致。
如上所述,第一光学系统OS1和第二光学系统OS2构成为第一光学系统OS1的焦距f1与第二光学系统OS2的焦距f2互不相同(f1≠f2)。由此,由第一光学系统OS1形成的第一光学像的倍率m1根据到认证对象者100的面部的多个部位中的各个部位的距离a发生的变化与由第二光学系统OS2形成的第二光学像的倍率m2根据到认证对象者100的面部的多个部位中的各个部位的距离a发生的变化不同。
另外,在本实施方式中,第一光学系统OS1和第二光学系统OS2构成为第一光学系统OS1的焦距f1比第二光学系统OS2的焦距f2长(f1>f2)。
此外,本实施方式中的第一光学系统OS1和第二光学系统OS2的结构和配置只要通过满足上述的第一条件(f1≠f2)而使得第一光学像的倍率m1相对于到认证对象者100的面部的多个部位中的各个部位的距离a的变化与第二光学像的倍率m2相对于到认证对象者100的面部的多个部位中的各个部位的距离a的变化互不相同即可,可以是任何方式。
第一摄像系统IS1的第一摄像元件S1具有拍摄由第一光学系统OS1形成的第一光学像并获取第一图像的功能。同样地,第二摄像系统IS2的第二摄像元件S2具有拍摄由第二光学系统OS2形成的第二光学像并获取第二图像的功能。
第一摄像元件S1和第二摄像元件S2可以为具有拜耳阵列等以任意的图案排列的RGB原色系滤波器、CMY补色系滤波器那样的颜色滤波器的CMOS图像传感器、CCD图像传感器等彩色摄像元件,也可以为不具有这种颜色滤波器的黑白摄像元件。
通过第一光学系统OS1在第一摄像元件S1的摄像面上形成第一光学像,通过第一摄像元件S1获取彩色或黑白的第一图像信号。获取到的第一图像经由数据总线11被发送到控制部2、距离计算部4以及认证部7。同样地,通过第二光学系统OS2在第二摄像元件S2的摄像面上形成第二光学像,通过第二摄像元件S2获取彩色或黑白的第二图像。获取到的第二图像经由数据总线11被发送到控制部2、距离计算部4以及认证部7。发送到距离计算部4的第一图像和第二图像使用于计算到认证对象者100的面部的多个部位中的各个部位的距离a。另一方面,发送到认证部7的第一图像和第二图像使用于执行对认证对象者100的二维面部认证以及/或者虹膜认证。另外,发送到控制部2的第一图像和第二图像使用于显示部9进行的图像显示、通信部10进行的对图像的通信。
此外,在图示的方式中,第一摄像系统IS1和第二摄像系统IS2构成在不同的壳体内,但是本发明不限于此。第一摄像系统IS1和第二摄像系统IS2构成在相同的壳体内那样的方式也在本发明的范围内。
关联信息存储部3是用于存储将第一光学像的倍率m1与第二光学像的倍率m2的图像倍率比MR(m2/m1)同从第一光学系统OS1的前侧主点起至认证对象者100的面部的多个部位中的各个部位为止的距离(被摄体距离)a建立关联的关联信息的任意的非易失性记录介质(例如硬盘、快闪存储器)。关联信息存储部3中保存的关联信息是用于根据第一光学像的倍率m1与第二光学像的倍率m2的图像倍率比MR(m2/m1)来计算到认证对象者100的面部的多个部位中的各个部位的距离a的信息。
代表性的是,关联信息存储部3中保存的关联信息是用于基于图像倍率比MR来计算到认证对象者100的面部的多个部位中的各个部位的距离a的上述式(15)(或通用公式(13))、以及该式中的根据第一光学系统OS1和第二光学系统OS2的结构和配置决定的上述的固定值(如果为上述式(15),则为作为固定值的f1、f2、EP以及K)。取而代之地,关联信息存储部3中保存的关联信息也可以为将图像倍率比MR与到认证对象者100的面部的多个部位中的各个部位的距离a唯一地进行了对应的查询表。通过参照关联信息存储部3中保存的这种关联信息,能够基于图像倍率比MR来计算到认证对象者100的面部的多个部位中的各个部位的距离a。
距离计算部4具有基于由第一摄像系统IS1和第二摄像系统IS2拍摄到的第一光学像和第二光学像来计算到认证对象者100的面部的多个部位中的各个部位的距离a的功能。更具体地说,距离计算部4具有基于第一光学像的倍率m1与第二光学像的倍率m2的图像倍率比MR来计算到认证对象者100的面部的多个部位中的各个部位的距离a的功能。距离计算部4从第一摄像系统IS1的第一摄像元件S1接收第一图像,并且从第二摄像系统IS2的第二摄像元件S2接收第二图像。
之后,距离计算部4对第一图像和第二图像实施Canny那样的滤波处理,来提取第一图像内的第一光学像的多个边缘部和第二图像内的第二光学像的多个边缘部。距离计算部4基于提取出的第一光学像的多个边缘部来计算第一光学像的多个部位的尺寸(像宽或像高)YFD1,并且基于提取出的第二光学像的边缘部来计算第二光学像的多个部位的尺寸(像宽或像高)YFD2。
距离计算部4通过变更用于计算尺寸YFD1、YFD2的多个边缘部的组合,来获取第一光学像和第二光学像的多个部位的尺寸YFD1、YFD2。
例如,距离计算部4从提取出的多个边缘部中选择在高度方向上相邻的边缘部,并测定它们的分离距离,由此能够获取光学像中的任意部位的像高。同样地,距离计算部4从提取出的多个边缘部中选择在宽度方向上相邻的边缘部,并测定它们的分离距离,由此能够获取光学像中的任意部位的像宽。
由距离计算部4对提取出的多个边缘部的选择是以涵盖位于与认证对象者100的面部相当的区域的所有边缘部或几个边缘部的组合的方式执行的。此外,也可以为,距离计算部4以涵盖提取出的所有边缘部或几个边缘部的组合的方式执行对提取出的多个边缘部的选择。通过这样,距离计算部4获取第一光学像的多个部位中的各个部位的尺寸YFD1和第二光学像的多个部位中的各个部位的尺寸YFD2。
之后,距离计算部4基于计算出的第一光学像的多个部位中的各个部位的尺寸YFD1和第二光学像的对应部位的尺寸YFD2,通过上述式(14)MR=YFD2/YFD1来计算第一光学像的多个部位中的各个部位的倍率m1与第二光学像的对应部位中的各个部位的倍率m2的图像倍率比MR。当计算出各部位的图像倍率比MR时,距离计算部4参照关联信息存储部3中保存的关联信息,基于图像倍率比MR来计算(确定)到认证对象者100的面部的多个部位中的各个部位的距离a。
三维信息生成部5具有基于由距离计算部4计算出的到认证对象者100的面部的多个部位中的各个部位的距离a来生成认证对象者100的面部的三维信息的功能。三维信息生成部5当从距离计算部4接收到认证对象者100的面部的多个部位中的各个部位的距离a时,基于该距离a生成认证对象者100的面部的三维栅格(三维网格)和纹理,来将认证对象者100的面部三维模型化。
此外,在距离计算部4计算出的到认证对象者100的面部的多个部位中的各个部位的距离a不足以将认证对象者100的面部三维模型化的情况下,三维信息生成部5使用双线性插值、双三次插值、最临近插值等任意的插值技术执行对认证对象者100的面部的高度(深度)信息的插值,来将认证对象者100的面部三维模型化。
之后,三维信息生成部5从认证对象者100的面部的三维模型中提取认证对象者100的面部的三维特征来作为认证对象者100的面部的三维信息。作为从面部的三维模型提取的面部的三维信息,例如能够列举鼻子的高度、鼻子的形状(鼻尖的朝向或形状、鼻梁的形状或高度、鼻翼的形状等)、眼睛凹陷的深度、面部的各部位(眼睛、鼻子、嘴、耳朵、眉毛等)之间的在深度方向上的分离距离。这种认证对象者100的面部的三维信息使用于由后述的认证部7执行的三维面部认证。
认证信息存储部6是存储有执行对认证对象者100的认证所需的认证信息的任意的非易失性记录介质(例如硬盘、快闪存储器)。本发明的认证装置1的管理者等事先通过使用本发明的认证装置1或具有同等功能的摄像装置对被许可了认证的人物进行拍摄,由此获取被许可了认证的人物的三维信息、第一图像以及第二图像,将它们作为认证信息登记到认证信息存储部6内。
在后述的认证部7执行对认证对象者100的认证处理时,将获取到的认证对象者100的三维信息、第一图像以及/或者第二图像与认证信息存储部6中保存的认证信息进行对照,来执行三维面部认证、二维面部认证以及/或者虹膜认证。
此外,在图示的方式中,认证信息存储部6设置在认证装置1的内部,但是本发明不限于此。例如,认证信息存储部6也可以是经由因特网、局域网(LAN)、广域网络(WAN)等各种有线或无线网络连接于认证装置1的外部服务器、外部储存设备。另外,在认证信息存储部6为外部服务器、外部储存设备的情况下,一个以上的认证信息存储部6也可以在多个认证装置1之间共用。在该情况下,认证装置1每当执行对认证对象者100的认证时,使用通信部10来与设置在外部的认证信息存储部6进行通信,执行对认证对象者100的认证。
认证部7构成为能够使用由三维信息生成部5计算出的认证对象者100的面部的三维信息来执行对认证对象者100的三维面部认证。更具体地说,认证部7通过将三维信息生成部5计算出的认证对象者100的面部的三维信息与事先登记于认证信息存储部6的认证信息中包含的面部的三维信息进行比较,来执行对认证对象者100的三维面部认证。
可以为,如果认证对象者100的面部的三维信息中包含的鼻子的高度、眼睛凹陷的深度这样的多个要素中的任一个要素与事先登记于认证信息存储部6的认证信息的面部的三维信息中的对应要素一致,则认证部7判断为三维面部认证成功,也可以为,在多个要素全部与事先登记于认证信息存储部6的认证信息的面部的三维信息中的对应要素一致的情况下,判断为三维面部认证成功。
另外,认证部7构成为除了能够执行上述的三维面部认证以外,还能够使用从第一摄像系统IS1和第二摄像系统IS2接收到的第一图像和第二图像来执行对认证对象者100的虹膜认证和二维面部认证。具体地说,认证部7构成为能够从第一图像以及/或者第二图像中提取面部的二维特征量和眼睛的虹膜信息,使用提取出的面部的二维特征量和眼睛的虹膜信息来执行对认证对象者100的虹膜认证和二维面部认证。关于认证部7从第一图像以及/或者第二图像中提取面部的二维特征量和眼睛的虹膜信息的方法并无特别限定,能够使用本领域中已知的各种算法来提取面部的二维特征量和眼睛的虹膜信息。
认证部7构成为能够将从自第一摄像系统IS1和第二摄像系统IS2接收到的第一图像以及/或者第二图像中提取出的认证对象者100的面部的二维特征量与从事先登记于认证信息存储部6的认证信息中包含的第一图像以及/或者第二图像中提取出的面部的二维特征量进行比较,来执行对认证对象者100的二维面部认证。关于由认证部7执行的二维面部认证的方法并无特别限定,但是例如认证部7能够使用固有面部法、线形判别分析、图形映射法、频率解析法、神经网络法、Viola-Jones法等任意的二维面部认证算法来执行对认证对象者100的二维面部认证。
另外,认证部7将从自第一摄像系统IS1和第二摄像系统IS2接收到的第一图像以及/或者第二图像中提取出的认证对象者100的眼睛的虹膜信息与从事先登记于认证信息存储部6的认证信息中包含的第一图像以及/或者第二图像中提取出的眼睛的虹膜信息进行比较,来执行对认证对象者100的虹膜认证。关于由认证部7执行的虹膜认证的方法并无特别限定,例如认证部7能够使用Dangman算法等任意的虹膜认证算法来执行对认证对象者100的虹膜认证。
此外,在本实施方式中,如上所述,第一光学系统OS1和第二光学系统OS2构成为第一光学系统OS1的焦距f1比第二光学系统OS2的焦距f2长(f1>f2)。因此,本实施方式的认证装置1能够简单地同时获取不同视角的两个图像(第一图像和第二图像)。具体地说,在本实施方式中,由第一摄像系统IS1获取的第一图像的视角比由第二摄像系统IS2获取的第二图像的视角窄,并且由第一摄像系统IS1获取的第一图像的倍率比由第二摄像系统IS2获取的第二图像的倍率高。
在虹膜认证中,使用眼睛的微小结构的虹膜,因此优选为在虹膜认证所使用的图像中,认证对象者100的眼睛被放大,从而被拍得大。当将第一图像与第二图像进行比较时,第一图像为窄视角和高倍率。因此,虹膜认证是使用窄视角和高倍率的第一图像执行的。另外,需要更广范围的图像但不需要关于与虹膜认证相比更微小的结构的信息的二维面部认证是使用广视角和低倍率的第二图像执行的。
在本实施方式中,如图5的(a)和图5的(b)所示,第一摄像系统IS1构成并配置为在第一摄像系统IS1的摄像范围(图5的(a)和图5的(b)中用虚线表示的范围)中仅具有包含认证对象者100的眼睛在内的认证对象者100的眼睛的周边区域。另外,在本实施方式中,第二摄像系统IS2构成并配置为在第二摄像系统IS2的摄像范围(图5的(a)和图5的(b)中用单点划线表示的范围)内包含认证对象者100的面部的整体。
因此,本实施方式的认证部7使用第一摄像系统IS1获取到的第一图像来执行对认证对象者100的虹膜认证,并且使用第二摄像系统IS2获取到的第二图像来执行对认证对象者100的二维面部认证。根据这种结构,能够提高认证对象者100的虹膜认证和二维面部认证的精度。
像这样,认证部7构成为能够执行三维面部认证、二维面部认证以及虹膜认证这三种认证。认证部7能够根据事先对认证装置1设定的安全级别(例如“高”、“中”以及“低”)执行这三种认证中的至少一个。认证装置1的安全级别可以由认证装置1的管理者等使用操作部8手动设定,也可以是认证装置1经由通信部10从管理者等的移动电话、智能手机、笔记本式个人计算机、膝上型计算机等外部设备接收安全级别设定命令,基于该安全级别设定命令来设定安全级别。
例如,在认证装置1的安全级别被设定为“高”的情况下,认证部7执行对认证对象者100的三维面部认证和虹膜认证这两方。在该情况下,为了执行三维面部认证和虹膜认证这两方,进行认证所需的处理时间变长,但是通过执行三维面部认证,能够识破利用照片进行的冒充,进而能够利用三维面部认证和虹膜认证执行双重检查,从而能够提高对认证对象者100的认证的精度。在该情况下,认证部7仅在三维面部认证和虹膜认证这两方成功的情况下判断为对认证对象者100的认证成功。
另外,在尽管虹膜认证成功但三维面部认证失败的情况下,利用照片进行冒充的可能性高。因此,在虹膜认证成功而三维面部认证失败的情况下,认证部7判断为对认证对象者100的认证失败,而且判断为利用照片进行冒充的可能性高。
另外,在认证装置1的安全级别被设定为“中”的情况下,认证部7执行对认证对象者100的二维面部认证和虹膜认证这两方。二维面部认证的处理时间比需要进行面部的三维模型处理的三维面部认证的处理时间短,因此与安全级别被设定为“高”的情况相比,能够缩短进行认证所需要的处理时间。另外,能够执行二维面部认证和虹膜认证的双重检查,从而能够提高对认证对象者100的认证的精度。在该情况下,认证部7仅在二维面部认证和虹膜认证这两方成功的情况下判断为对认证对象者100的认证成功。
另外,在认证装置1的安全级别被设定为“低”的情况下,认证部7执行对认证对象者100的二维面部认证或虹膜认证。在该情况下,在二维面部认证和虹膜认证中的任一方成功的情况下,认证部7判断为对认证对象者100的认证成功。只要二维面部认证和虹膜认证中的任一方成功就判断为对认证对象者100的认证成功,因此能够进一步缩短对认证对象者100进行认证所需的处理时间。关于二维面部认证和虹膜认证的执行顺序并无特别限定,但是例如认证部7构成为首先执行二维面部认证,在认证对象者100的面部的一部分被口罩等隐藏从而二维面部认证失败的情况下,执行虹膜认证。
认证部7对认证对象者100的认证结果(判断结果)经由数据总线11被发送到控制部2。控制部2经由通信部10将接收到的认证结果发送到外部设备(例如门的锁定解除装置、提供任意的应用的终端等)。由此,外部设备能够执行与接收到的认证结果相应的处理。例如,外部设备在接收到对认证对象者100的认证成功的结果的情况下,解除如门的锁定那样的物理锁定或软件的锁定、或者许可任意的应用的启动,在接收到对认证对象者100的认证失败的结果的情况下,维持如门的锁定那样的物理锁定或软件的锁定、或者不许可任意的应用的启动。另外,例如外部设备在接收到利用照片进行了冒充的结果的情况下,将安全警告消息通知给外部设备或认证装置1的管理者等。
像这样,认证部7根据事先设定的安全级别来选择要执行的认证处理,因此能够将本发明的认证装置1使用于各种安全用途。
返回图4,操作部8供认证装置1的用户、管理者等执行操作时使用。操作部8只要能够供认证装置1的用户执行操作即可,并无特别限定,例如能够使用鼠标、键盘、数字键、按钮、拨盘、操作杆、触摸面板等作为操作部8。操作部8将与认证装置1的用户进行的操作相应的信号发送到控制部2的处理器。例如,如上所述,认证装置1的管理者等能够使用操作部8来设定认证装置1的安全级别。
通信部10具有以有线通信或无线通信方式对认证装置1进行数据输入或从认证装置1向外部设备进行数据输出的功能。通信部10也可以构成为能够与因特网那样的网络连接。在该情况下,认证装置1能够通过使用通信部10来与设置在外部的网络服务器、数据服务器那样的外部设备进行通信。
像这样,在本实施方式的认证装置1中,第一光学系统OS1和第二光学系统OS2构成为第一光学系统OS1的焦距f1与第二光学系统OS2的焦距f2互不相同(f1≠f2),由此,第一光学像的倍率m1根据到认证对象者100的面部的多个部位中的各个部位的距离a发生的变化与第二光学像的倍率m2根据到认证对象者100的面部的多个部位中的各个部位的距离a发生的变化互不相同。因此,本实施方式的认证装置1能够基于第一光学像的倍率m1与第二光学像的倍率m2的图像倍率比MR(m2/m1)来唯一地计算出到认证对象者100的面部的多个部位中的各个部位的距离a。并且,本实施方式的认证装置1能够基于计算出的到认证对象者100的面部的多个部位中的各个部位的距离a生成认证对象者100的面部的三维信息,来执行对认证对象者100的三维面部认证。
<第二实施方式>
接着,参照图6详细地记述本发明的第二实施方式所涉及的认证装置。图6是概要性地示出本发明的第二实施方式所涉及的认证装置的第一摄像系统和第二摄像系统的框图。
下面,关于第二实施方式的认证装置1,以与第一实施方式的认证装置1的不同点为中心进行说明,关于同样的事项省略其说明。本实施方式的认证装置1除了第一光学系统OS1和第二光学系统OS2的结构发生了变更这一点以外,与第一实施方式的认证装置1相同。
本实施方式的认证装置1的特征在于,第一光学系统OS1和第二光学系统OS2构成为:满足为了基于图像倍率比MR来计算到测定对象(认证对象者100的面部的多个部位中的各个部位)的距离a而要求的上述三个条件中的、从第一光学系统OS1的出射光瞳起至测定对象处于无限远处的情况下的第一光学像的成像位置为止的距离EP1与从第二光学系统OS2的出射光瞳起至测定对象处于无限远处的情况下的第二光学像的成像位置为止的距离EP2互不相同(EP1≠EP2)的第二条件。另一方面,在本实施方式中,第一光学系统OS1和第二光学系统OS2没有构成并配置为满足上述三个条件中的其它两个条件(f1≠f2和D≠0)。并且,本实施方式的认证装置1构成为满足图像倍率比MR作为距离a的函数成立的第四条件。
因此,关于用于基于图像倍率比MR来计算到测定对象(认证对象者100的面部的多个部位中的各个部位)的距离a的上述通用公式(13),能够通过f1=f2=f和D=0的条件将其简化,用下述式(17)表示。
[数17]
在此,系数K用下述式(18)表示。
[数18]
像这样,在本实施方式的认证装置1中,第一光学系统OS1和第二光学系统OS2构成为从第一光学系统OS1的出射光瞳起至测定对象(认证对象者100的面部的多个部位中的各个部位)处于无限远处的情况下的第一光学像的成像位置为止的距离EP1与从第二光学系统OS2的出射光瞳起至测定对象处于无限远处的情况下的第二光学像的成像位置为止的距离EP2互不相同(EP1≠EP2),由此形成为第一光学像的倍率m1根据到认证对象者100的面部的多个部位中的各个部位的距离a发生的变化与第二光学像的倍率m2根据到认证对象者100的面部的多个部位中的各个部位的距离a发生的变化互不相同。因此,本实施方式的认证装置1能够基于第一光学像的倍率m1与第二光学像的倍率m2的图像倍率比MR(m2/m1)来唯一地计算出到认证对象者100的面部的多个部位中的各个部位的距离a。并且,本实施方式的认证装置1能够基于计算出的到认证对象者100的面部的多个部位中的各个部位的距离a生成认证对象者100的面部的三维信息,来执行对认证对象者100的三维面部认证。
通过本实施方式也能够发挥与上述的第一实施方式同样的效果。此外,本实施方式中的第一光学系统OS1和第二光学系统OS2的结构和配置只要通过满足上述的第二条件(EP1≠EP2)来形成为第一光学像的倍率m1根据到认证对象者100的面部的多个部位中的各个部位的距离a发生的变化与第二光学像的倍率m2根据到认证对象者100的面部的多个部位中的各个部位的距离a发生的变化互不相同即可,可以是任何方式。
另外,在本实施方式中,由于第一光学系统OS1的焦距f1与第二光学系统OS2的焦距f2相同(f1=f2=f),因此可以使用由第一摄像系统IS1获取的第一图像和由第二摄像系统IS2获取的第二图像中的任一方来执行对认证对象者100的虹膜认证。
<第三实施方式>
接着,参照图7来详细记述本发明的第三实施方式所涉及的认证装置。图7是概要性地示出本发明的第三实施方式所涉及的认证装置的第一摄像系统和第二摄像系统的框图。
下面,关于第三实施方式的认证装置1,以与第一实施方式的认证装置1的不同点为中心进行说明,关于同样的事项省略其说明。本实施方式的认证装置1除了第一光学系统OS1和第二光学系统OS2的结构和配置发生了变更这一点以外,与第一实施方式的认证装置1相同。
本实施方式的认证装置1的特征在于,第一光学系统OS1和第二光学系统OS2构成并配置为:满足为了基于图像倍率比MR来计算到测定对象(认证对象者100的面部的多个部位中的各个部位)的距离a而要求的上述三个条件中的、第一光学系统OS1的前侧主点与第二光学系统OS2的前侧主点之间存在深度方向(光轴方向)上的差D(D≠0)的第三条件。另一方面,在本实施方式中,第一光学系统OS1和第二光学系统OS2没有构成为满足上述三个条件中的其它两个条件(f1≠f2和EP1≠EP2)。并且,本实施方式的认证装置1构成为满足图像倍率比MR作为距离a的函数成立的第四条件。
因此,关于用于基于图像倍率比MR来计算到测定对象(认证对象者100的面部的多个部位中的各个部位)的距离a的上述通用公式(13),能够通过f1=f2=f和EP1=EP2=EP的条件将其简化,用下述式(19)表示。
[数19]
在此,系数K用下述式(20)表示。
[数20]
像这样,在本实施方式的认证装置1中,第一光学系统OS1和第二光学系统OS2构成并配置为第一光学系统OS1的前侧主点与第二光学系统OS2的前侧主点之间存在深度方向(光轴方向)上的差D(D≠0),由此第一光学像的倍率m1根据到认证对象者100的面部的多个部位中的各个部位的距离a发生的变化与第二光学像的倍率m2根据到认证对象者100的面部的多个部位中的各个部位的距离a发生的变化互不相同。因此,本实施方式的认证装置1能够基于第一光学像的倍率m1与第二光学像的倍率m2的图像倍率比MR(m2/m1)来唯一地计算出到认证对象者100的面部的多个部位中的各个部位的距离a。并且,本实施方式的认证装置1能够基于计算出的到认证对象者100的面部的多个部位中的各个部位的距离a生成认证对象者100的面部的三维信息,来执行对认证对象者100的三维面部认证。
通过本实施方式也能够发挥与上述的第一实施方式同样的效果。此外,本实施方式中的第一光学系统OS1和第二光学系统OS2的结构和配置只要通过满足上述的第三条件(D≠0)来形成为第一光学像的倍率m1根据到认证对象者100的面部的多个部位中的各个部位的距离a发生的变化与第二光学像的倍率m2根据到认证对象者100的面部的多个部位中的各个部位的距离a发生的变化互不相同即可,可以是任何方式。
另外,在本实施方式中,由于第一光学系统OS1的焦距f1与第二光学系统OS2的焦距f2相同(f1=f2=f),因此可以使用由第一摄像系统IS1获取的第一图像和由第二摄像系统IS2获取的第二图像中的任一方来执行对认证对象者100的虹膜认证。
<第四实施方式>
接着,参照图8来详细记述本发明的第四实施方式所涉及的认证装置。图8是概要性地示出本发明的第四实施方式所涉及的认证装置的第一摄像系统、第二摄像系统以及红外光照射部的框图。
下面,关于第四实施方式的认证装置,以与第一实施方式的认证装置的不同点为中心进行说明,关于同样的事项省略其说明。本实施方式的认证装置1除了认证装置1还具备对认证对象者100照射红外光的红外光照射部12这一点、以及第一摄像元件S1和第二摄像元件S2中的至少一方构成为能够拍摄红外光这一点以外,与第一实施方式的认证装置相同。
红外光照射部12与认证装置1的数据总线11连接,具有根据来自认证装置1的控制部2的处理器的控制来对认证对象者100照射红外光的功能。红外光照射部12只要能够根据来自认证装置1的控制部2的处理器的控制来对认证对象者100照射红外光即可,并无特别限定,例如能够使用红外光LED作为红外光照射部12。
在本实施方式中,第一摄像系统IS1的第一摄像元件S1和第二摄像系统IS2的第二摄像元件S2中的至少一方构成为能够拍摄红外光。在本实施方式中,在通过第一摄像系统IS1和第二摄像系统IS2对认证对象者100进行拍摄时,红外光照射部12根据来自控制部2的处理器的控制来对认证对象者100照射红外光。第一摄像元件S1和第二摄像系统IS2的第二摄像元件S2中的至少一方构成为能够拍摄红外光,第一摄像系统IS1和第二摄像系统IS2即使在暗处也能够获取认证对象者100的红外线图像。
在为了进行虹膜认证而获取眼睛的图像时,当向认证对象者100的眼睛直接照射可见光时会刺眼,进行认证时对认证对象者100的负担大。并且,在红外光区域内,眼睛的虹膜的反射率高。因此,为了减轻认证对象者100的负担并且提高虹膜认证的精度,优选在获取眼睛的图像时向认证对象者100的眼睛照射红外光来获取眼睛的红外线图像,并使用红外线图像执行虹膜认证。因此,在本实施方式中,特别地,第一摄像系统IS1的第一摄像元件S1和第二摄像系统IS2的第二摄像元件S2中的、至少获取在对认证对象者100的虹膜认证中使用的图像的一方(如果是第一实施方式和本实施方式,则为第一摄像系统IS1的第一摄像元件S1)构成为能够拍摄红外光。根据这种结构,能够提高对认证对象者100的虹膜认证的精度,并且能够减轻进行认证时对认证对象者100的负担。
另外,第一摄像元件S1和第二摄像元件S2这两方构成为能够拍摄红外光的方式也处于本发明的范围内。在这种情况下,除了使用上述的红外线图像执行虹膜认证产生的优点以外,在暗处也能够获取认证对象者100的面部的红外线图像,能够执行上述的对认证对象者100的三维面部认证和二维面部认证。
<第五实施方式>
接着,参照图9来详细记述本发明的第五实施方式所涉及的认证装置。图9是概要性地示出本发明的第五实施方式所涉及的认证装置的第一摄像系统、第二摄像系统以及投影仪的框图。
下面,关于第五实施方式的认证装置,以与第一实施方式的认证装置的不同点为中心进行说明,关于同样的事项省略其说明。本实施方式的认证装置1除了认证装置1还具备对认证对象者100照射规定的图案的投影仪13这一点以外,与第一实施方式的认证装置相同。
投影仪13与认证装置1的数据总线11连接,具有根据来自认证装置1的控制部2的处理器的控制来对认证对象者100投射规定的图案(例如纵条纹图案、横条纹图案、格栅图案、点图案)的功能。投影仪13只要能够根据来自认证装置1的控制部2的处理器的控制来对认证对象者100投射规定的图案即可,并无特别限定,例如能够使用CRT投影仪、液晶投影仪等作为投影仪13。
在本实施方式中,在通过第一摄像系统IS1和第二摄像系统IS2拍摄认证对象者100时,投影仪13根据来自控制部2的处理器的控制来对认证对象者100投射规定的图案。因此,第一摄像系统IS1和第二摄像系统IS2对被投射了规定图案的状态的认证对象者100进行拍摄。
对认证对象者100照射的规定图案能够利用为距离计算部4计算到认证对象者100的面部的多个部位中的各个部位的距离a所使用的边缘部,因此能够增加认证对象者100的距离的测定部位。因此,即使在认证对象者100的任意部位不存在明确的边缘部的情况下,也能够计算到该部位的距离a。另外,由于认证对象者100的距离的测定部位增加,因此认证对象者100的面部的三维模型化的精度提高,其结果是,能够提高对认证对象者100的三维面部认证的精度。
如到此为止参照各实施方式详细记述的那样,本发明的认证装置1能够不使用多个图像间的平移视差,基于第一光学像的倍率m1与第二光学像的倍率m2的图像倍率比MR(m2/m1)来唯一地计算出到认证对象者100的面部的多个部位中的各个部位的距离a。本发明的认证装置1能够基于计算出的到认证对象者100的面部的多个部位中的各个部位的距离a生成认证对象者100的面部的三维信息,来执行对认证对象者100的三维面部认证。
因此,在本发明的认证装置1中,与以往的使用多个图像间的平移视差的立体摄像机方式的认证装置不同,不需要确保大的平移视差,因此即使将第一光学系统OS1和第二光学系统OS2靠近地配置,也能够准确地计算到认证对象者100的面部的多个部位中的各个部位的距离a。由此,与以往的立体摄像机方式的认证装置相比,能够实现认证装置1的小型化。另外,在本发明的认证装置1中,由于不使用平移视差来计算到认证对象者100的面部的多个部位中的各个部位的距离a,因此即使在认证对象者100位于离认证装置1非常近的位置的情况下,也能够准确地测定到认证对象者100的面部的多个部位中的各个部位的距离a。另外,根据本发明,由于不需要考虑平移视差来设计认证装置1,因此能够增大认证装置1的设计自由度。
另外,在上述各实施方式中,使用了第一光学系统OS1和第二光学系统OS2这两个光学系统,但是使用的光学系统的数量不限于此。例如,除了第一光学系统OS1和第二光学系统OS2以外还具备追加的光学系统那样的方式也处于本发明的范围内。在该情况下,追加的光学系统构成并配置为由追加的光学系统形成的光学像的倍率相对于到认证对象者100的面部的多个部位中的各个部位的距离a的变化与第一光学像的倍率m1相对于到认证对象者100的面部的多个部位中的各个部位的距离a的变化及第二光学像的倍率m2相对于到认证对象者100的面部的多个部位中的各个部位的距离a的变化不同。
此外,在上述的各实施方式中,第一光学系统OS1和第二光学系统OS2构成并配置为满足为了基于图像倍率比MR来计算到测定对象(认证对象者100的面部的多个部位中的各个部位)的距离a而要求的上述三个条件中的任一个,但是只要第一光学系统OS1和第二光学系统OS2构成并配置为满足上述三个条件中的至少一个即可,本发明不限于此。例如,第一光学系统OS1和第二光学系统OS2构成并配置为满足上述三个条件中的全部条件或任意组合的方式也处于本发明的范围内。
<认证方法>
接着,参照图10、图11、图12来说明由本发明的认证装置1执行的认证方法。图10是示出由本发明的认证装置执行的认证方法的流程图。图11是进一步详细地示出由本发明的认证装置执行的认证方法中的认证处理的流程图。图12是示出由本发明的认证装置执行的认证方法中的三维面部认证的流程图。
此外,下面详细记述的认证方法能够使用上述的本发明的第一实施方式~第五实施方式所涉及的认证装置1以及具有与认证装置1同等的功能的任意的装置来执行,但是为了便于说明,设为使用第一实施方式所涉及的认证装置1来执行认证方法。
图10所示的认证方法S100通过认证对象者100使用操作部8执行用于对认证对象者100执行认证的操作而开始。在工序S110中,通过第一摄像系统IS1的第一摄像元件S1拍摄由第一光学系统OS1形成的第一光学像,并获取第一图像。第一图像经由数据总线11被发送到控制部2、距离计算部4以及认证部7。
另一方面,在工序S120中,通过第二摄像系统IS2的第二摄像元件S2拍摄由第二光学系统OS2形成的第二光学像,并获取第二图像。第二图像经由数据总线11被发送到控制部2、距离计算部4以及认证部7。此外,工序S110和工序S120可以同时执行,也可以分开执行。
在工序S110和工序S120之后,在工序S130中执行对认证对象者100的认证处理。在图11中进一步详细地示出在工序S130中执行的对认证对象者100的认证处理。
在工序S131中,通过认证部7检查事先设定的认证装置1的安全级别。在工序S131中判断为认证装置1的安全级别被设定为“高”的情况下,认证处理转到工序S132。在工序S132中,执行对认证对象者100的三维面部认证和虹膜认证。工序S132中的对认证对象者100的虹膜认证是由认证部7使用第一图像或第二图像(如果是第一实施方式,则为窄视角且高倍率的第一图像)来执行的。同时,在工序S132中执行对认证对象者100的三维面部认证。
在图12中示出在工序S132中执行的对认证对象者100的三维面部认证S200。参照图12来详细记述对认证对象者100的三维面部认证S200。最初,在工序S210中,由距离计算部4根据第一图像来计算第一光学像的多个部位中的各个部位的尺寸(像高或像宽)YFD1。同样地,在工序S220中,由距离计算部4根据第二图像来计算第二光学像的多个部位中的各个部位的尺寸(像高或像宽)YFD2。此外,工序S210和工序S220可以同时执行,也可以分开执行。
当在工序S210和工序S220中计算出第一光学像的多个部位的尺寸YFD1和第二光学像的多个部位的尺寸YFD2这两方时,处理转到工序S230。在工序S230中,距离计算部4根据第一光学像的多个部位中的各个部位的尺寸YFD1和第二光学像中的对应部位的尺寸YFD2,基于上述式(14)MR=YFD2/YFD1来计算第一光学像的多个部位中的各个部位的倍率m1与第二光学像中的对应部位的倍率m2的图像倍率比MR。
接着,在工序S240中,距离计算部4参照关联信息存储部3中保存的关联信息,基于计算出的图像倍率比MR来计算(确定)到认证对象者100的面部的多个部位中的各个部位的距离a。当在工序S240中计算出到认证对象者100的面部的多个部位中的各个部位的距离a时,处理转到工序S250。
在工序S250中,三维信息生成部5接收由距离计算部4计算出的到认证对象者100的面部的多个部位中的各个部位的距离a。之后,三维信息生成部5基于到认证对象者100的面部的多个部位中的各个部位的距离a,来生成认证对象者100的面部的三维信息。
接着,在工序S260中,认证部7通过将三维信息生成部5计算出的认证对象者100的面部的三维信息与事先登记于认证信息存储部6的认证信息中包含的面部的三维信息进行比较,来执行对认证对象者100的三维面部认证。
如果认证对象者100的面部的三维信息中包含的鼻子的高度、眼睛凹陷的深度这样的多个要素中的任一个要素与事先登记于认证信息存储部6的认证信息的面部的三维信息中的对应要素一致,则认证部7判断为三维面部认证成功,或者,在多个要素的全部与事先登记于认证信息存储部6的认证信息的面部的三维信息中的全部要素一致的情况下,判断为三维面部认证成功。这种对认证对象者100的三维面部认证S200在工序S132中执行。
返回图11,在工序S132的认证中,认证部7仅在虹膜认证和三维面部认证S200这两方成功的情况下判断为对认证对象者100的认证成功。另外,在虹膜认证成功而三维面部认证失败的情况下,认证部7判断为对认证对象者100的认证失败,而且判断为利用照片进行了冒充。认证部7将如上所述的关于对认证对象者100的认证的判断发送到控制部2,工序S130的认证处理结束。
另一方面,在工序S131中判断为认证装置1的安全级别被设定为“中”的情况下,认证处理转到工序S133。在工序S133中,认证部7使用第一图像以及/或者第二图像来执行对认证对象者100的二维面部认证和虹膜认证这两方。在工序S133的认证中,认证部7仅在虹膜认证和二维面部认证这两方成功的情况下判断为对认证对象者100的认证成功。之后,认证部7将关于对认证对象者100的认证的判断发送到控制部2,工序S130的认证处理结束。
并且,在工序S131中判断为认证装置1的安全级别被设定为“低”的情况下,认证处理转到工序S134。在工序S134中,认证部7使用第一图像以及/或者第二图像来执行对认证对象者100的二维面部认证或虹膜认证。在工序S134的认证中,在虹膜认证和二维面部认证中至少一方成功的情况下,认证部7判断为对认证对象者100的认证成功。之后,认证部7将关于对认证对象者100的认证的判断发送到控制部2,工序S130的认证处理结束。
返回图10,在工序S140中,控制部2从认证部7接收关于对认证对象者100的认证的判断(认证结果)。控制部2经由通信部10将接收到的认证结果发送到任意的外部设备,认证方法S100结束。由此,任意的外部设备能够执行与认证结果相应的处理。
以上基于图示的实施方式对本发明的认证装置进行了说明,但是本发明并不限定于此。本发明的各结构能够与能够发挥同样功能的任意结构进行置换,或者能够对本发明的各结构附加任意结构。
本发明所属的领域和技术内的本领域技术人员在不明显脱离本发明的原理、思想以及范围的情况下能够执行所记述的本发明的认证装置的结构的变更,具有变更后的结构的认证装置也在本发明的范围内。例如,将第一实施方式至第五实施方式的认证装置任意进行组合所得到的方式也在本发明的范围内。
另外,图4~图9中示出的认证装置的组件的数量、种类只是用于说明的例示,本发明并不限于此。在不脱离本发明的原理和意图的范围内追加或组合任意的组件、或者删除任意的组件得到的方式也在本发明的范围内。另外,认证装置的各组件可以通过硬件实现,也可以通过软件实现,还可以通过它们的组合实现。
另外,图10~图12中示出的认证方法S100的工序的数量、种类只是用于说明的例示,本发明并不限于此。在不脱离本发明的原理和意图的范围内为了任意的目的追加或组合任意的工序、或者删除任意的工序得到的方式也在本发明的范围内。
产业上的可利用性
本发明的认证装置能够使用光学像的倍率根据到认证对象者的面部的多个部位中的各个部位的距离发生的变化互不相同的至少两个光学系统,基于由该两个光学系统分别形成的两个光学像的图像倍率比(倍率的比)来测定到认证对象者的面部的多个部位中的各个部位的距离。并且,本发明的认证装置能够基于到计算出的认证对象者的面部的多个部位中的各个部位的距离生成认证对象者的面部的三维信息,来执行对认证对象者的三维面部认证。
因此,在本发明的认证装置中,与以往的使用多个图像间的平移视差的立体摄像机方式的认证装置不同,不需要确保大的平移视差,因此即使将两个光学系统靠近地配置,也能够准确地计算到认证对象者的面部的多个部位中的各个部位的距离。由此,与以往的立体摄像机方式的认证装置相比,能够实现认证装置的小型化。另外,在本发明的认证装置中,由于不使用平移视差来计算到认证对象者的面部的多个部位中的各个部位的距离,因此即使在认证对象者位于离认证装置非常近的位置的情况下,也能够准确地测定到认证对象者的面部的多个部位中的各个部位的距离。另外,根据本发明,由于不需要考虑平移视差来设计认证装置,因此能够增大认证装置的设计自由度。因而,本发明具有产业上的可利用性。
Claims (9)
1.一种认证装置,其特征在于,具备:
第一摄像系统,其具有第一光学系统和第一摄像元件,所述第一光学系统用于将来自认证对象者的光进行聚光来形成所述认证对象者的第一光学像,所述第一摄像元件用于拍摄由所述第一光学系统形成的所述第一光学像;
第二摄像系统,其具有第二光学系统和第二摄像元件,所述第二光学系统用于将来自所述认证对象者的光进行聚光来形成所述认证对象者的第二光学像,所述第二摄像元件用于拍摄由所述第二光学系统形成的所述第二光学像;
距离计算部,其用于基于所述第一光学像和所述第二光学像来计算到所述认证对象者的面部的多个部位中的各个部位的距离;
三维信息生成部,其用于基于由所述距离计算部计算出的到所述认证对象者的所述面部的所述多个部位中的各个部位的所述距离来生成所述认证对象者的面部的三维信息;以及
认证部,其构成为能够使用由所述三维信息生成部生成的所述认证对象者的所述面部的所述三维信息来执行对所述认证对象者的三维面部认证,
其中,所述第一光学系统和所述第二光学系统构成为所述第一光学像的倍率根据到所述认证对象者的所述面部的所述多个部位中的各个部位的所述距离发生的变化与所述第二光学像的倍率根据到所述认证对象者的所述面部的所述多个部位中的各个部位的所述距离发生的变化不同,
所述距离计算部基于所述第一光学像的所述倍率与所述第二光学像的所述倍率的图像倍率比,来计算到所述认证对象者的所述面部的所述多个部位中的各个部位的所述距离。
2.根据权利要求1所述的认证装置,其中,
所述第一光学系统和所述第二光学系统构成为从所述第一光学系统的出射光瞳起至所述认证对象者存在于无限远处的情况下的由所述第一光学系统形成的所述第一光学像的成像位置为止的距离与从所述第二光学系统的出射光瞳起至所述认证对象者存在于无限远处的情况下的由所述第二光学系统形成的所述第二光学像的成像位置为止的距离不同,由此,所述第一光学像的所述倍率根据到所述认证对象者的所述面部的所述多个部位中的各个部位的所述距离发生的所述变化与所述第二光学像的所述倍率根据到所述认证对象者的所述面部的所述多个部位中的各个部位的所述距离发生的所述变化不同。
3.根据权利要求1或2所述的认证装置,其中,
在所述第一光学系统的前侧主点与所述第二光学系统的前侧主点之间存在深度方向上的差,由此,所述第一光学像的所述倍率根据到所述认证对象者的所述面部的所述多个部位中的各个部位的所述距离发生的所述变化与所述第二光学像的所述倍率根据到所述认证对象者的所述面部的所述多个部位中的各个部位的所述距离发生的所述变化不同。
4.根据权利要求1至3中的任一项所述的认证装置,其中,
所述第一光学系统和所述第二光学系统构成为所述第一光学系统的焦距与所述第二光学系统的焦距互不相同,由此,所述第一光学像的所述倍率根据到所述认证对象者的所述面部的所述多个部位中的各个部位的所述距离发生的所述变化与所述第二光学像的所述倍率根据到所述认证对象者的所述面部的所述多个部位中的各个部位的所述距离发生的所述变化不同。
5.根据权利要求1至4中的任一项所述的认证装置,其中,
所述认证部构成为:除了进行所述三维面部认证以外,还能够使用通过所述第一摄像元件拍摄所述第一光学像而得到的第一图像和通过所述第二摄像元件拍摄所述第二光学像而得到的第二图像来执行对所述认证对象者的虹膜认证和二维面部认证。
6.根据权利要求5所述的认证装置,其中,
所述认证部构成为根据事先设定的安全级别来执行所述三维面部认证、所述二维面部认证以及所述虹膜认证中的至少一方。
7.根据权利要求5或6所述的认证装置,其中,
所述第一光学系统和所述第二光学系统构成为所述第一光学系统的焦距比所述第二光学系统的焦距长,
所述认证部使用由所述第一摄像元件获取到的所述第一图像来执行对所述认证对象者的所述虹膜认证,并且使用由所述第二摄像元件获取到的所述第二图像来执行对所述认证对象者的所述二维面部认证。
8.根据权利要求1至7中的任一项所述的认证装置,其中,
还具备向所述认证对象者投射规定图案的投影仪,
所述距离计算部基于被所述投影仪投射了所述规定图案的所述认证对象者的所述第一光学像和所述第二光学像,来计算到所述认证对象者的所述面部的所述多个部位中的各个部位的所述距离。
9.根据权利要求1至8中的任一项所述的认证装置,其中,
还具备用于向所述认证对象者照射红外光的红外光照射部,
所述第一摄像系统的所述第一摄像元件和所述第二摄像系统的所述第二摄像元件中的至少一方构成为能够拍摄所述红外光。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-016749 | 2018-02-01 | ||
JP2018016749A JP7157303B2 (ja) | 2018-02-01 | 2018-02-01 | 認証装置 |
PCT/JP2018/046475 WO2019150807A1 (ja) | 2018-02-01 | 2018-12-18 | 認証装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111670455A true CN111670455A (zh) | 2020-09-15 |
Family
ID=67477993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880088330.7A Withdrawn CN111670455A (zh) | 2018-02-01 | 2018-12-18 | 认证装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210042401A1 (zh) |
JP (1) | JP7157303B2 (zh) |
KR (1) | KR20200116925A (zh) |
CN (1) | CN111670455A (zh) |
WO (1) | WO2019150807A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7121269B2 (ja) * | 2018-07-06 | 2022-08-18 | ミツミ電機株式会社 | 測距カメラ |
JP7282884B2 (ja) * | 2019-06-28 | 2023-05-29 | マクセル株式会社 | 3次元認証装置、3次元認証システム、携帯型情報端末および3次元認証方法 |
JP7431527B2 (ja) * | 2019-08-07 | 2024-02-15 | キヤノン株式会社 | 深度情報生成装置、撮像装置、深度情報生成方法、画像処理装置、画像処理方法、及びプログラム |
US11348375B2 (en) | 2019-10-15 | 2022-05-31 | Assa Abloy Ab | Systems and methods for using focal stacks for image-based spoof detection |
JP7405240B2 (ja) * | 2020-03-26 | 2023-12-26 | 日本電気株式会社 | 認証装置、認証方法、及び、プログラム |
WO2022254501A1 (ja) * | 2021-05-31 | 2022-12-08 | 三菱電機株式会社 | 個人認証装置及び個人認証システム |
WO2024019293A1 (ko) * | 2022-07-19 | 2024-01-25 | 삼성전자 주식회사 | 렌즈리스 카메라를 포함하는 웨어러블 전자 장치 및 이를 이용한 이미지 처리 방법 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03200007A (ja) * | 1989-12-28 | 1991-09-02 | Nippon Telegr & Teleph Corp <Ntt> | ステレオ計測装置 |
JP2001141422A (ja) * | 1999-11-10 | 2001-05-25 | Fuji Photo Film Co Ltd | 画像撮像装置及び画像処理装置 |
US20070098230A1 (en) * | 2005-10-28 | 2007-05-03 | Konica Minolta Holdings, Inc. | Authentication system, registration system, and program |
US20100272328A1 (en) * | 2009-04-28 | 2010-10-28 | Samsung Electro-Mechanics Co., Ltd. | Face authentication system and authentication method thereof |
CN102342090A (zh) * | 2009-03-02 | 2012-02-01 | 松下电器产业株式会社 | 图像拍摄设备、操作员监视设备、测量到面部的距离的方法和程序 |
CN102985933A (zh) * | 2010-06-08 | 2013-03-20 | 微软公司 | 区分真人面部与平坦表面 |
JP2013250856A (ja) * | 2012-06-01 | 2013-12-12 | Mitsubishi Electric Corp | 監視システム |
CN105912912A (zh) * | 2016-05-11 | 2016-08-31 | 青岛海信电器股份有限公司 | 一种终端用户身份登录方法和系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0326186D0 (en) * | 2003-11-10 | 2003-12-17 | Omniperception Ltd | 2d face authentication system |
JP2006338236A (ja) | 2005-06-01 | 2006-12-14 | Matsushita Electric Ind Co Ltd | 眼画像撮影装置およびそれを用いた認証装置 |
JP2007241500A (ja) * | 2006-03-07 | 2007-09-20 | Toshiba Corp | 顔認証装置および顔認証方法 |
JPWO2009016846A1 (ja) | 2007-08-02 | 2010-10-14 | パナソニック株式会社 | 虹彩認証装置および虹彩認証システム |
US9003196B2 (en) * | 2013-05-13 | 2015-04-07 | Hoyos Labs Corp. | System and method for authorizing access to access-controlled environments |
JP2018173731A (ja) * | 2017-03-31 | 2018-11-08 | ミツミ電機株式会社 | 顔認証装置および顔認証方法 |
-
2018
- 2018-02-01 JP JP2018016749A patent/JP7157303B2/ja active Active
- 2018-12-18 WO PCT/JP2018/046475 patent/WO2019150807A1/ja active Application Filing
- 2018-12-18 US US16/966,850 patent/US20210042401A1/en not_active Abandoned
- 2018-12-18 KR KR1020207022077A patent/KR20200116925A/ko not_active Application Discontinuation
- 2018-12-18 CN CN201880088330.7A patent/CN111670455A/zh not_active Withdrawn
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03200007A (ja) * | 1989-12-28 | 1991-09-02 | Nippon Telegr & Teleph Corp <Ntt> | ステレオ計測装置 |
JP2001141422A (ja) * | 1999-11-10 | 2001-05-25 | Fuji Photo Film Co Ltd | 画像撮像装置及び画像処理装置 |
US20070098230A1 (en) * | 2005-10-28 | 2007-05-03 | Konica Minolta Holdings, Inc. | Authentication system, registration system, and program |
CN102342090A (zh) * | 2009-03-02 | 2012-02-01 | 松下电器产业株式会社 | 图像拍摄设备、操作员监视设备、测量到面部的距离的方法和程序 |
US20100272328A1 (en) * | 2009-04-28 | 2010-10-28 | Samsung Electro-Mechanics Co., Ltd. | Face authentication system and authentication method thereof |
CN102985933A (zh) * | 2010-06-08 | 2013-03-20 | 微软公司 | 区分真人面部与平坦表面 |
JP2013250856A (ja) * | 2012-06-01 | 2013-12-12 | Mitsubishi Electric Corp | 監視システム |
CN105912912A (zh) * | 2016-05-11 | 2016-08-31 | 青岛海信电器股份有限公司 | 一种终端用户身份登录方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
JP7157303B2 (ja) | 2022-10-20 |
KR20200116925A (ko) | 2020-10-13 |
WO2019150807A1 (ja) | 2019-08-08 |
US20210042401A1 (en) | 2021-02-11 |
JP2019133526A (ja) | 2019-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111670455A (zh) | 认证装置 | |
US10205883B2 (en) | Display control method, terminal device, and storage medium | |
CN110678871A (zh) | 面部认证装置和面部认证方法 | |
JP4650386B2 (ja) | 個人認証システム及び個人認証方法 | |
EP1703440A2 (en) | Face authentication apparatus, contrl method and program, electronic device having the same, and program recording medium | |
EP2991027B1 (en) | Image processing program, image processing method and information terminal | |
JP5652886B2 (ja) | 顔認証装置、認証方法とそのプログラム、情報機器 | |
JP5974913B2 (ja) | 撮像方法、撮像装置及び撮像プログラム | |
JP2003178306A (ja) | 個人認証装置および個人認証方法 | |
JP5170094B2 (ja) | なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム | |
CN111492201B (zh) | 测距摄像机 | |
KR20190130797A (ko) | 전자 장치의 객체 인증 장치 및 방법 | |
WO2020024576A1 (zh) | 摄像头校准方法和装置、电子设备、计算机可读存储介质 | |
JP2020129175A (ja) | 3次元情報生成装置、生体認証装置および3次元画像生成装置 | |
WO2021166289A1 (ja) | データ登録装置、生体認証装置、および記録媒体 | |
KR20210136092A (ko) | 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램 | |
JP7282884B2 (ja) | 3次元認証装置、3次元認証システム、携帯型情報端末および3次元認証方法 | |
JP2005287878A (ja) | 生体判別装置および認証装置ならびに生体判別方法 | |
WO2020158158A1 (ja) | 認証装置 | |
JP2010154323A (ja) | 画像処理装置、画像抽出方法、および、プログラム | |
JP2020191546A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
CN105991907A (zh) | 半导体装置以及摄像机终端 | |
JP2007004534A (ja) | 顔判別方法および装置ならびに顔認証装置 | |
KR101845419B1 (ko) | 이미지의 보정여부 분석방법 및 프로그램 | |
KR20220008621A (ko) | 인증 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200915 |