CN115039150A - 判断方法、判断装置以及判断程序 - Google Patents

判断方法、判断装置以及判断程序 Download PDF

Info

Publication number
CN115039150A
CN115039150A CN202180006842.6A CN202180006842A CN115039150A CN 115039150 A CN115039150 A CN 115039150A CN 202180006842 A CN202180006842 A CN 202180006842A CN 115039150 A CN115039150 A CN 115039150A
Authority
CN
China
Prior art keywords
living body
face
user
determination
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180006842.6A
Other languages
English (en)
Inventor
大野寿和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanhatch Co ltd
Panasonic Holdings Corp
Original Assignee
Yanhatch Co ltd
Panasonic Holdings Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanhatch Co ltd, Panasonic Holdings Corp filed Critical Yanhatch Co ltd
Publication of CN115039150A publication Critical patent/CN115039150A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

判断方法，从判断图像中包含的人是否为活体的多个活体判断处理中选择2个以上的活体判断处理，并决定执行被选择的2个以上的活体判断处理的顺序，按照被决定的顺序分别执行被选择的2个以上的活体判断处理，分别在被选择的2个以上的活体判断处理中进行：向用户提示活体判断处理所需的动作的处理；获取包含所述用户按照被提示的所述动作而动作时的脸部的脸部图像的处理；基于脸部图像中包含的脸部的部位特征，判断用户是否为活体的处理，判断分别从被选择的2个以上的活体判断处理得到的判断结果是否满足规定的条件，在判断结果满足规定的条件的情况下，判断为用户是活体，在判断结果不满足规定的条件的情况下，判断为用户不是活体。

Description

判断方法、判断装置以及判断程序
技术领域
本发明涉及一种用于判断图像中所含的人是否为活体的技术。
背景技术
随着近年来在线系统化的发展，以往面对面进行的身份验证也通过在线进行的情况变多。当在线进行身份验证时，利用由用户预先准备的他人脸部的静止图像或运动图像等图像来进行欺骗成为问题。作为针对这种欺骗的对策，存在判断用于身份验证的图像中所含的人是否为活体(以下，活体判断)的活体判断技术。作为与活体判断相关的专利文献，已知有下述的文献。
例如，专利文献1中公开了一种基于从用户的脸部图像获取的特定表情程度、脸部朝向、眼睛睁闭程度、嘴张闭程度、或视线方向等进行活体判断的技术。专利文献2公开了一种将提示信息提示给用户，并基于从表示用户的脸部的脸部图像序列检测出的针对提示信息的视线的时间变化进行活体判断的技术。专利文献3公开了一种基于拍摄活体的图像中所含的眨眼等活体的动作进行活体判断的技术。
专利文献4公开了一种基于从脸部图像序列中提取的规定的颜色信息的时间变化进行活体判断的技术。专利文献5公开了一种基于由摄像元件获取的认证对象的脸部的二维图像数据和像平面相位差信息([0030]-[0032]段)进行活体判断的技术。专利文献6公开了一种基于在拍摄对象人物的拍摄图像中是否存在包围人脸的框来进行活体判断的技术。
然而，活体判断中的反欺骗对策需要进一步改进。
现有技术文献
专利文献
专利文献1：日本专利公开公报特开2016-009453号
专利文献2：国际公开第2016/059786号公报
专利文献3：日本专利公开公报特开2017-049867号
专利文献4：日本专利公报第6544244号
专利文献5：日本专利公开公报特开2018-173731号
专利文献6；日本专利公开公报特开2018-169943号
发明内容
本发明是为了解决上述问题而做出的，其目的在于进一步改进在活体判断中的反欺骗对策。
本发明一实施方式涉及的判断方法是判断装置的判断方法，让所述判断装置的计算机执行如下步骤：从判断图像中包含的人是否为活体的多个活体判断处理中选择2个以上的活体判断处理；决定执行被选择的所述2个以上的活体判断处理的顺序；按照被决定的所述顺序分别执行被选择的所述2个以上的活体判断处理；分别在被选择的所述2个以上的活体判断处理中进行：(1)向用户提示活体判断处理所需的动作的处理；(2)获取包含所述用户按照被提示的所述动作而动作时的脸部的脸部图像的处理；(3)基于所述脸部图像中包含的脸部的部位特征判断所述用户是否为活体的处理；判断分别从被选择的所述2个以上的活体判断处理得到的判断结果是否满足规定的条件；以及，在所述判断结果满足所述规定的条件的情况下，判断为所述用户为活体，在所述判断结果不满足所述规定的条件的情况下，判断为所述用户不是活体。
附图说明
图1是本发明的实施方式1的活体判断系统的外观图。
图2是表示本发明的实施方式1的活体判断系统的整体结构的一例的框图。
图3是表示本发明的实施方式1的判断装置的处理的一例的流程图。
图4是表示基于脸部朝向的活体判断处理的一例的流程图。
图5是表示基于眼睛朝向的活体判断处理的一例的流程图。
图6是表示基于眼睛睁闭状态的活体判断处理的一例的流程图。
图7是表示基于嘴张闭状态的活体判断处理的一例的流程图。
图8是表示脸部的特征点的图。
图9是表示基于眼镜戴摘状态的活体判断处理的一例的流程图。
图10是表示边框判断处理的一例的流程图。
图11是表示从用户图像检测出的脸部区域的一例的图。
图12是表示在纵线检测处理中检测出的水平方向边缘的一例的图。
图13是表示在横线检测处理中检测出的垂直方向边缘的一例的图。
图14是表示用户图像中所含的脸部区域的一例的图。
图15是表示用户图像中所含的脸部区域的另一例的图。
具体实施方式
完成本发明的经过
随着近年来在线系统化的发展，以往面对面进行的身份验证通过在线进行的情况变多。例如，在金融机构的网上开户等eKYC(电子化了解你的客户(electronic Know YourCustomer))领域，提供了通过在线发送身份验证文件和自拍照来验证身份的机制。
此外，近年来，逐渐普及使用指纹和脸部等人体部位的活体认证。特别是脸部识别技术，由于可以不接触用户而进行，并且可以使用由不具有特殊功能的摄像机拍摄的图像进行，所以非常方便又容易导入。因此，将其用作在线身份验证的方法已引起关注。
但是，由于脸部识别技术非常方便因而存在容易使用包含他人脸部的图像来冒充他人的问题。为了应对这种冒充行为，各种企业研究开发了用于判断图像中所包含的人是否为活体的活体判断技术。例如，已知在获取脸部识别用的图像时，对被认为是用户的脸部的区域照射点图案光(dot pattern light)，在检测到脸部的凹凸的情况下判断为用户是活体的技术。此外，已知上述专利文献1至6记载的活体判断技术。
但是，假设固定采用上述的活体判断技术中的任一个技术来进行活体判断。此时，恶意用户容易地预先准备通过所采用的活体判断技术判断为活体的图像，进而存在容易发生欺骗的问题。
对此，本发明人专心研究了通过适当地使用多个活体判断技术来使恶意用户难以使用预先准备的图像来进行欺骗的技术，想到了以下所示的本发明的各实施方式。
本发明一个方面涉及的判断方法是判断装置的判断方法，让所述判断装置的计算机执行如下步骤：从判断图像中包含的人是否为活体的多个活体判断处理中选择2个以上的活体判断处理；决定执行被选择的所述2个以上的活体判断处理的顺序；按照被决定的所述顺序分别执行被选择的所述2个以上的活体判断处理；分别在被选择的所述2个以上的活体判断处理中进行：(1)向用户提示活体判断处理所需的动作的处理；(2)获取包含所述用户按照被提示的所述动作而动作时的脸部的脸部图像的处理；(3)基于所述脸部图像中包含的脸部的部位特征判断所述用户是否为活体的处理；判断分别从被选择的所述2个以上的活体判断处理得到的判断结果是否满足规定的条件；以及，在所述判断结果满足所述规定的条件的情况下，判断为所述用户为活体，在所述判断结果不满足所述规定的条件的情况下，判断为所述用户不是活体。
根据本构成，从多个活体判断处理中选择2个以上的活体判断处理，并决定分别执行该2个以上的活体判断处理的顺序，按照所决定的该顺序分别执行该2个以上的活体判断处理。因此，根据为了判断用户是否为活体而执行的活体判断处理的数量、内容以及执行顺序，执行活体判断的模式呈指数增加。
此外，在本构成中，在各活体判断处理中，向用户提示活体判断处理所需的动作，基于脸部图像中所包含的脸部的部位特征判断用户是否为活体，其中，该脸部图像包含用户根据该提示的动作而动作时的脸部。并且，根据从各活体判断处理得到的判断结果是否满足规定的条件来判断用户是否为活体。
因此，本构成事实上使恶意用户不可能预先准备包含与在各活体判断处理中被提示的动作相对应的脸部的部位特征的脸部图像。据此，本构成可以使得难以利用预先准备的图像来进行欺骗。
在上述判断方法中，也可以在选择所述2个以上的活体判断处理时，从所述多个活体判断处理中随机地选择所述2个以上的活体判断处理。
根据本构成，从多个活体判断处理中随机地选择2个以上的活体判断处理。因此，本构成可以使恶意用户难以预先准备在所有活体判断处理中被判断为是活体的脸部图像。
在上述判断方法中，也可以在决定执行被选择的所述2个以上的活体判断处理的顺序时，随机地决定执行被选择的所述2个以上的活体判断处理的顺序。
根据本构成，执行被选择的2个以上的活体判断处理的顺序随机地被决定。因此，本构成可以使恶意用户难以预先准备在所有活体判断处理中被判断为是活体的脸部图像。
在上述判断方法中，所述多个活体判断处理也可以包含：以脸部朝向作为所述脸部的部位特征的活体判断处理；以眼睛朝向作为所述脸部的部位特征的活体判断处理；以眼睛睁闭状态作为所述脸部的部位特征的活体判断处理；以嘴张闭状态作为所述脸部的部位特征的活体判断处理；以及，以眼镜戴摘状态作为所述脸部的部位特征的活体判断处理。
根据本构成，执行将脸部朝向作为脸部的部位特征的活体判断处理、将眼睛朝向作为脸部的部位特征的活体判断处理、将眼睛睁闭状态作为脸部的部位特征的活体判断处理、将嘴张闭状态作为脸部的部位特征的活体判断处理、以及将眼镜戴摘状态作为脸部的部位特征的活体判断处理中的2个以上的活体判断处理，可以使得难以利用预先准备的图像来进行欺骗。
在上述判断方法中，也可以分别在被选择的所述2个以上的活体判断处理中：多次进行所述(1)至(3)的处理，在各所述(1)的处理中随机地决定向所述用户提示的动作。
根据本构成，根据为了判断用户是否为活体而执行的活体判断处理的数量、内容及执行顺序和在各活体判断处理中被提示的动作的数量及内容，执行活体判断的模式呈指数增加。因此，可以使恶意用户更难预先准备被判断为用户是活体的脸部图像。
在上述判断方法中，也可以在选择所述2个以上的活体判断处理时，检测所述用户的状态，并选择活体判断处理所需的动作适合于该检测出的所述用户的状态的活体判断处理。
根据本构成，可以选择需要适合于用户的状态的动作的2个以上的活体判断处理。
在上述判断方法中，也可以在判断所述判断结果是否满足所述规定的条件时，将所述判断结果数值化，并且在用针对每个活体判断处理而规定的系数对该数值化的结果进行加权相加的结果满足规定的数值条件的情况下，判断为所述判断结果满足所述规定的条件。
根据本构成，用针对每个活体判断处理而规定的系数，对将各活体判断处理的判断结果数值化的值进行加权相加。并且，在该加权相加的结果满足规定的数值条件的情况下，判断为所述判断结果满足规定的条件。因此，本构成可以提高用户是否为活体的判断准确度。
在上述判断方法中，所述计算机也可以还执行以下步骤：获取包含所述用户的脸部的用户图像，判断所述用户图像中是否包含包围人的脸部的边框，在判断为所述用户图像中包含所述边框的情况下，判断为所述用户不是活体，在判断为所述用户图像中不包含所述边框的情况下，进行选择所述2个以上的活体判断处理的处理以及之后的处理。
根据本构成，判断所获取的用户图像中是否包含包围人的脸部的边框。据此，本构成可以判断用户图像中是否包含将人的脸部包含在内的照片或显示器的边框。
在判断为用户图像中包含边框的情况下，认为用户企图将包含他人脸部的照片或显示器的图像使用于活体的判断。此时，本构成可以判断为用户不是活体。另一方面，在判断为用户图像中不包含边框的情况下，进行选择2个以上活体判断处理的处理之后的处理。因此，可获得与上述判断方法相同的作用效果。
在上述判断方法中，也可以在判断所述用户图像中是否包含所述边框时，从所述用户图像中检测包含所述用户的脸部的脸部区域，执行纵线检测处理和横线检测处理，其中，在所述纵线检测处理中检测所述用户图像中包含的沿垂直方向延伸的边缘中、最接近所述脸部区域的左端且具有第一规定长度以上的长度的第一边缘和最接近所述脸部区域的右端且具有所述第一规定长度以上的长度的第二边缘，在所述横线检测处理中检测所述用户图像中包含的沿水平方向延伸的边缘中、最接近所述脸部区域的上端的第三边缘和最接近所述脸部区域的下端的第四边缘，其中，所述第三边缘的两端比所述第一边缘及所述第二边缘更靠近所述脸部区域侧且具有第二规定长度以上的长度，所述第四边缘的两端比所述第一边缘及所述第二边缘更靠近所述脸部区域侧且具有所述第二规定长度以上的长度，在通过所述纵线检测处理及所述横线检测处理检测出的边缘的数量合计为3以上的情况下，判断为所述用户图像中包含所述边框。
在本构成中，执行纵线检测处理，即：从用户图像中检测出包含用户的脸部的脸部区域，并检测用户图像中包含的沿垂直方向延伸的边缘中的、分别最接近脸部区域的左端及右端且具有规定长度以上的长度的第一边缘和第二边缘。据此，可以检测出构成包含人的脸部的照片或显示器的图像的边框的沿垂直方向延伸的两条框线。
此外，执行横线检测处理，即：检测用户图像中包含的沿水平方向延伸的边缘中的、分别最接近脸部区域的上端及下端且两端与被检测出的第一边缘和第二边缘相比更靠近脸部区域侧的第三边缘及第四边缘。据此，可以检测出构成包含人的脸部的照片或显示器的图像的边框的沿水平方向延伸的两条框线。
并且，根据本构成，在通过纵线检测处理及横线检测处理检测出的边缘的数量的合计为3以上的情况下，判断为用户图像中包含边框。因此，本构成获取包含人的脸部的包含照片或显示器的用户图像，并且在从该用户图像中能够检测到四条框线的情况下，可以判断为用户图像中包含边框。此外，本构成即使在例如由于拍摄环境等原因而获取了不包含一条包含人的脸部的照片或显示器的边框的框线的用户图像，并从该用户图像中只能检测到三条框线的情况下，也可以判断为用户图像中包含边框。
在上述判断方法中，也可以在判断所述用户图像中是否包含所述边框时，从所述用户图像中检测出包含所述用户的脸部的脸部区域，在所述脸部区域的宽度大于规定的上限宽度的情况下，或者在所述脸部区域的高度大于规定的上限高度的情况下，判断为所述用户图像中包含所述边框。
恶意用户有可能为了不让包含他人脸部的照片或显示器的边框被照进去，而使该照片或显示器接近摄像装置并进行拍摄，并使该拍摄图像作为用户图像而获取。此时，有时用户图像中包含的脸部区域的宽度大于上限宽度或脸部区域的高度大于上限高度。
但是在本构成中，在从用户图像中检测出的脸部区域的宽度大于上限宽度的情况或者该脸部区域的高度大于上限高度的情况下，判断为用户图像中包含边框，进而判断为与用户图像相对应的用户不是活体。因此，本构成可以使恶意用户难以使用预先准备的如上所述的图像来进行欺骗。
在上述判断方法中，也可以在判断所述用户图像中是否包含所述边框时，从所述用户图像中检测出包含所述用户的脸部的脸部区域，在所述脸部区域的上端存在于从所述用户图像的上端起规定的第一余裕内的情况下、或者在所述脸部区域的下端存在于从所述用户图像的下端起规定的第二余裕内的情况下，当在所述纵线检测处理中检测到所述第一边缘及所述第二边缘时，判断为所述用户图像中包含所述边框。
恶意用户有可能为了尽可能掩盖包含他人脸部的照片或显示器的边框，而以使该他人脸部位于拍摄图像的上端或下端附近的方式拍摄该照片或显示器，并使该拍摄图像作为用户图像而获取。此时，有时只有构成该照片或显示器的边框的左右的框线包含在用户图像中。
但是在本构成中，在从用户图像中检测出的脸部区域的上端存在于用户图像的上端起规定的第一余裕内的情况或者脸部区域的下端存在于用户图像的下端起规定的第二余裕内的情况下，当检测到沿垂直方向延伸的第一边缘及第二边缘时，判断为用户图像中包含边框。此时，在本构成中，判断为用户不是活体。因此，本构成可以使恶意用户难以使用预先准备的如上所述的图像来进行欺骗。
在上述判断方法中，也可以在判断所述用户图像中是否包含所述边框时，在所述脸部区域的左端存在于从所述用户图像的左端起规定的第三余裕内的情况下、或者在所述脸部区域的右端存在于从所述用户图像的右端起规定的第四余裕内的情况下，当在所述纵线检测处理中检测到的所述第一边缘或所述第二边缘与在所述横线检测处理中检测到的所述第三边缘或所述第四边缘交叉时，判断为所述用户图像中包含所述边框。
恶意用户有可能为了尽可能掩盖包含他人脸部的照片或显示器的边框，而以使该他人脸部位于拍摄图像的左端或右端附近的方式拍摄该照片或显示器，并使该拍摄图像作为用户图像而获取。此时，有时只有构成该照片或显示器的边框的右部分及下部分的框线等构成边框的两条以L字状交叉的框线包含在用户图像中。
但是，在本构成中，在从用户图像中检测出的脸部区域的左端存在于用户图像的左端起规定的第三余裕内或者脸部区域的右端存在于用户图像的右端起规定的第四余裕内时检测出的、沿垂直方向延伸的第一边缘或第二边缘与沿水平方向延伸的第三边缘或第四边缘交叉时，判断为用户图像中包含边框。此时，在本构成中，判断为与用户图像相对应的用户不是活体。因此，本构成可以使恶意用户难以使用预先准备的如上所述的图像来进行欺骗。
本发明另一个方面涉及的判断装置包括：判断方法决定部，从判断图像中包含的人是否为活体的多个活体判断处理中选择2个以上的活体判断处理，并决定执行被选择的所述2个以上的活体判断处理的顺序；执行部，按照被决定的所述顺序分别执行被选择的所述2个以上的活体判断处理；分别在被选择的所述2个以上的活体判断处理中：向用户提示活体判断处理所需的动作的输出部；获取包含所述用户按照被提示的所述动作而动作时的脸部的脸部图像的脸部图像获取部；基于所述脸部图像中包含的脸部的部位特征判断所述用户是否为活体的第一判断部；以及，第二判断部，判断分别从被选择的所述2个以上的活体判断处理得到的判断结果是否满足规定的条件，在所述判断结果满足所述规定的条件的情况下，判断为所述用户是活体，在所述判断结果不满足所述规定的条件的情况下，判断为所述用户不是活体。
本发明又一个方面涉及判断程序使计算机作为判断装置发挥功能，所述判断程序使所述计算机作为以下的各部发挥功能：判断方法决定部，从判断图像中包含的人是否为活体的多个活体判断处理中选择2个以上的活体判断处理，并决定执行被选择的所述2个以上的活体判断处理的顺序；执行部，按照被决定的所述顺序分别执行被选择的所述2个以上的活体判断处理；分别在被选择的所述2个以上的活体判断处理中：向用户提示活体判断处理所需的动作的输出部；获取包含所述用户按照被提示的所述动作而动作时的脸部的脸部图像的脸部图像获取部；基于所述脸部图像中包含的脸部的部位特征判断所述用户是否为活体的第一判断部；以及，第二判断部，判断分别从被选择的所述2个以上的活体判断处理得到的判断结果是否满足规定的条件，在所述判断结果满足所述规定的条件的情况下，判断为所述用户是活体，在所述判断结果不满足所述规定的条件的情况下，判断为所述用户不是活体。
根据这些构成，可获得与上述判断方法相同的作用效果。
本发明还可以作为通过该判断程序而动作的判断系统而实现。此外，不用多说，可以将该计算机程序通过CD-ROM等计算机可读取的非暂时性的存储介质或因特网等通信网络进行流通。
另外，以下说明的实施方式均表示本发明的一具体例。以下的实施方式中所示的数值、形状、构成要素、步骤、步骤的顺序等是一例，并不用来限定本发明。此外，在以下的实施方式的构成要素中，关于表示最上位概念的独立权利要求中未记载的构成要素，将其作为任意的构成要素而进行说明。此外，在所有实施方式中，也可以组合各个内容。
实施方式1
图1是本发明的实施方式1的活体判断系统100的外观图。活体判断系统100由智能手机或平板终端等移动终端装置形成。但这仅是一例，活体判断系统100也可以适当组合固定型计算机或云服务器、摄像机和显示器而形成。
活体判断系统100包含判断装置1、摄像装置2以及显示器3。判断装置1进行判断由摄像装置2拍摄的图像中包含的人U1是否为活体的所谓的活体判断。
摄像装置2由安装于移动终端装置中的摄像机形成。摄像装置2以规定的帧周期拍摄彩色可见光图像。
显示器3由安装于移动终端装置的液晶显示装置或有机EL(ElectroLuminescence)显示装置等显示装置形成。显示器3显示判断装置1判断的摄像装置2拍摄的图像中包含的人U1是否为活体的判断结果。
图2是表示本发明的实施方式1的活体判断系统100的整体结构的一例的框图。判断装置1包含处理器10(计算机)、存储器20、传感器30、操作部40以及通信部50。处理器10例如由CPU(Central Processing Unit)形成。处理器10包含受理部11、判断方法决定部12、执行部13、输出部14、脸部图像获取部15、第一判断部16以及第二判断部17。受理部11～第二判断部17例如通过处理器10执行活体判断程序(判断程序)来实现。
存储器20由ROM(Read Only Memory)等非易失性存储器和RAM(Random AccessMemory)等易失性存储器形成，存储处理器10用于控制的各种信息。
传感器30由人体传感器或图像传感器等形成，检测从该传感器30起规定的短距离内是否存在人。操作部40由触摸面板等形成，用于用户对判断装置1的各种操作。通信部50使用与Ethernet(以太网，注册商标)等任意的通信方式对应的通信电路形成，与外部装置进行通信。
受理部11受理活体判断的执行指示的输入。具体而言，在从传感器30输入了表示检测到人的检测信号的情况下，受理部11受理活体判断的执行指示的输入。或者，在用户对操作部40进行操作从而输入了表示活体判断的执行指示的信息的情况下，受理部11受理活体判断的执行指示的输入。或者，在从外部装置经由通信部50输入了表示活体判断的执行请求的信息的情况或从处理器10正在执行的应用程序输入了表示活体判断的执行指示的信息的情况下，受理部11受理活体判断的执行指示的输入。另外，活体判断的执行指示的输入方法并不限定于此。
判断方法决定部12从判断图像中包含的人是否为活体的多个活体判断处理中选择2个以上的活体判断处理，并决定所选择的所述2个以上的活体判断处理的执行顺序。
具体而言，判断方法决定部12从多个活体判断处理中随机地选择2个以上的活体判断处理。多个活体判断处理包含：基于脸部朝向的活体判断处理；基于眼睛朝向的活体判断处理；基于眼睛睁闭状态的活体判断处理；基于嘴张闭状态的活体判断处理；以及基于眼镜戴摘状态的活体判断处理。安装了这些多个活体判断处理的控制程序存储在存储器20中。
另外，多个活体判断处理也可以包含基于其他的脸部的部位特征的活体判断处理。此外，判断方法决定部12选择2个以上的活体判断处理的方法并不限定于上述方法。例如，判断方法决定部12也可以按照分别安装了多个活体判断处理的控制程序存储于存储器20的顺序，通过选择规定数量的活体判断处理等方法，从多个活体判断处理中有规则地选择2个以上的活体判断处理。
判断方法决定部12随机地决定执行所选择的2个以上的活体判断处理的顺序。另外，判断方法决定部12并不限定于此，例如，也可以通过将分别安装了所述2个以上的活体判断处理的控制程序存储于存储器20的顺序作为执行所述2个以上的活体判断处理的顺序而决定等方法，有规则地决定执行所述2个以上的活体判断处理的顺序。
执行部13按照判断方法决定部12决定的顺序分别执行由判断方法决定部12选择的2个以上的活体判断处理。
输出部14在由执行部13执行的各活体判断处理中，向用户提示表示各活体判断处理所需的动作的信息(以下，动作信息)。具体而言，输出部14通过在显示器3上显示动作信息来将该动作信息提示给用户。另外，输出部14并不限定于此，也可以通过使设置于判断装置1中的扬声器(未图示)输出表示动作信息的语音来将该动作信息提示给用户。
脸部图像获取部15在执行部13执行的各活体判断处理中，获取脸部图像，该脸部图像包含用户根据输出部14提示的动作信息而动作时的脸部。具体而言，脸部图像获取部15在输出部14将动作信息提示给用户之后，使摄像装置2开始图像拍摄，并将包含由摄像装置2拍摄的人U1(图1)的脸部的图像作为脸部图像而获取。另外，脸部图像获取部15依次获取以规定的帧速率拍摄的脸部图像。
第一判断部16基于由脸部图像获取部15获取的脸部图像中包含的脸部的部位特征来判断用户是否为活体。具体而言，上述多个活体判断处理包含：将脸部朝向作为所述脸部的部位特征的活体判断处理；将眼睛朝向作为所述脸部的部位特征的活体判断处理；将嘴张闭状态作为所述脸部的部位特征的活体判断处理；以及将眼镜戴摘状态作为所述脸部的部位特征的活体判断处理。例如，在将脸部朝向作为所述脸部的部位特征的活体判断处理中，第一判断部16基于由脸部图像获取部15获取的脸部图像中包含的脸部的朝向，判断用户是否为活体。
第二判断部17判断分别从判断方法决定部12选择的2个以上的活体判断处理中得到的判断结果是否满足规定的条件。第二判断部17在分别从所述2个以上的活体判断处理中得到的判断结果满足所述规定的条件的情况下，判断为用户是活体。第二判断部17在分别从所述2个以上的活体判断处理中得到的判断结果不满足所述规定的条件的情况下，判断为用户不是活体。
例如，第二判断部17在从被选择的所述2个以上的活体判断处理中得到的所有判断结果表示用户为活体的情况下，判断为满足规定的条件。或者，第二判断部17也可以在从被选择的所述2个以上的活体判断处理中得到的判断结果中表示用户是活体的判断结果为规定数量以上(例如超过一半)的情况下，判断为满足规定的条件。
接着，说明图2所示的判断装置1的处理。图3是表示本发明的实施方式1的判断装置1的处理的一例的流程图。
在步骤S100，如果受理部11受理活体判断的执行指示的输入，则在步骤S101，判断方法决定部12从多个活体判断处理中选择2个以上的活体判断处理，并决定执行所选择的所述2个以上的活体判断处理的顺序。
在步骤S102，执行部13按照所决定的顺序依次执行在步骤S101选择的2个以上的活体判断处理。在各活体判断处理中，执行步骤S103～步骤S105。
在步骤S103，输出部14在显示器3上显示表示执行中的活体判断处理所需的动作的动作信息。据此，动作信息被提示给用户。在步骤S104，脸部图像获取部15从摄像装置2获取脸部图像，该脸部图像包含用户按照在步骤S103被提示的动作信息而动作时的脸部。在步骤S105，第一判断部16基于由脸部图像获取部15获取的脸部图像中包含的与执行中的活体判断处理相对应的脸部的部位特征，判断用户是否为活体。
在步骤S106，执行部13判断在步骤S101被选择的2个以上的活体判断处理是否全部结束。在步骤S106，在判断为在步骤S101被选择的2个以上的活体判断处理没有全部结束的情况下(步骤S106为否)，则进行步骤S102以及之后的处理。据此，执行下一个顺序的活体判断处理。在步骤S106，在判断为在步骤S101被选择的2个以上的活体判断处理全部结束的情况下(步骤S106为是)，则进行步骤S107。
在步骤S107，第二判断部17判断分别从在步骤S101被选择的2个以上的活体判断处理中得到的判断结果是否满足规定的条件。
第二判断部17在步骤S107判断为所述判断结果满足所述规定的条件的情况下(步骤S107为是)，在步骤S108判断为用户是活体。另一方面，第二判断部17在步骤S107判断为所述判断结果不满足所述规定的条件的情况下(步骤S107为否)，在步骤S109判断为用户不是活体。
在步骤S108和步骤S109之后，在步骤S110，输出部14输出表示步骤S108或步骤S109的判断结果的信息。
具体而言，在步骤S110，输出部14例如在显示器3上显示表示步骤S108或步骤S109的判断结果的消息。另外，输出部14也可以让未图示的扬声器输出表示步骤S108或步骤S109的判断结果的语音。
此外，在步骤S100，设通过从外部装置经由通信部50输入表示活体判断的执行请求的信息，从而活体判断的执行指示的输入被受理了。此时，输出部14也可以经由通信部50向外部装置发送表示步骤S108或步骤S109的判断结果的信息。
或者，在步骤S100，设通过从处理器10正在执行的应用程序输入表示活体判断的执行指示的信息，从而活体判断的执行指示的输入被受理了。此时，输出部14也可以向正在执行的应用程序发送表示步骤S108或步骤S109的判断结果的信息。
如上所述，根据实施方式1的判断装置1，与为了判断用户是否为活体而执行的活体判断处理的数量、内容以及执行顺序相对应，执行活体判断的模式呈指数增加。据此，事实上可以使恶意用户不可能预先准备在所有模式中被判断为用户是活体的他人的脸部图像，进而使得难以使用预先准备的图像来进行欺骗。
以下，分别详述可由执行部13执行的多个活体判断处理。在本实施方式中，作为多个活体判断处理，详述基于脸部朝向的活体判断处理、基于眼睛朝向的活体判断处理、基于眼睛睁闭状态的活体判断处理、基于嘴张闭状态的活体判断处理、以及基于眼镜戴摘状态的活体判断处理。
基于脸部朝向的活体判断处理
以下，详述基于脸部朝向的活体判断处理。图4是表示基于脸部朝向的活体判断处理的一例的流程图。如果基于脸部朝向的活体判断处理被执行，首先，输出部14进行与图3所示的步骤S103相对应的步骤S201。在步骤S201，输出部14在显示器3上显示指示脸部朝向的动作信息来作为该活体判断处理所需的动作。
具体而言，在步骤S201，输出部14在显示器3上显示指示脸部朝向面向上下左右的任一个方向的动作信息。另外，输出部14随机地决定动作信息中指示的上下左右的任一个方向。但是，并不限定于此，输出部14也可以例如以上下左右的顺序决定等按照规定的规则有规则地决定动作信息中指示的上下左右的任一个方向。
接着，脸部图像获取部15执行与图3所示的步骤S104相对应的步骤S202。在步骤S202，脸部图像获取部15从摄像装置2获取包含用户的脸部的脸部图像。
接着，第一判断部16执行与图3所示的步骤S105相对应的步骤S203以及之后的处理。
在步骤S203，第一判断部16从在步骤S202获取的脸部图像中检测脸部的中心坐标。
具体而言，在步骤S203，第一判断部16首先从脸部图像中检测表示人的脸部的脸部区域。脸部区域例如是具有包含整个脸部的程度的大小的矩形形状的区域。详细而言，第一判断部16通过将脸部图像输入到为了检测脸部区域而预先创建的分类器中来检测脸部区域。该分类器例如由哈尔式级联分类器(Haar-like cascade classifier)形成。
接着，第一判断部16从检测出的脸部区域中检测脸部的特征点。脸部的特征点是例如外眼角、内眼角、脸部轮廓、鼻梁、嘴唇以及眉毛等构成脸部的多个部位的各部位中处于特征性的位置的1个点或多个点。特征点也称为界标。第一判断部16通过执行利用了例如机器学习的框架的模型文件(model file of a framework)的界标检测处理，从脸部区域中检测脸部的特征点。
图8是表示脸部的特征点9X的图。例如，如图8所示，通过将界标检测处理应用于脸部区域80来检测多个特征点9X。在图8的例子中，通过界标检测处理检测的特征点9X中，检测出位于鼻梁上的例如5个特征点9X、位于鼻子下侧的例如2个特征点9X、位于脸部轮廓上的例如17个特征点9X、位于嘴唇的上下左右端的4个特征点95～98。此外，在图8的例子中，检测出位于左右内眼角92的2个特征点9X和位于左右外眼角93的2个特征点9X。
另外，对特征点9X分别标上界标点编号，并且预先决定哪个界标点编号的特征点表示脸部的哪个部位。例如，如界标点编号“2”的特征点9X表示左外眼角93，界标点编号“0”的特征点表示左内眼角92那样，对各特征点9X设定有界标点编号。因此，第一判断部16可以根据界标点编号确定特征点9X表示脸部的哪个部位。
并且，第一判断部16检测从脸部区域80检测出的脸部特征点9X中的表示鼻梁的多个特征点9X中垂直方向上的中央的特征点9X的坐标来作为脸部的中心坐标。在图8的例子中，第一判断部16检测表示鼻梁的5个特征点9X中从上数第三个特征点94的坐标来作为脸部的中心坐标。另外，并不限定于此，第一判断部16也可以检测鼻梁的上端或下端的特征点9X的坐标来作为脸部的中心坐标。
接着，在步骤S204，第一判断部16计算脸部朝向的水平分量。以下，参照图8具体地说明步骤S204的内容。
第一判断部16根据从脸部区域80检测出的脸部的特征点9X设定纵向的纵中心线和横向的横中心线。例如，第一判断部16将通过表示在步骤S203检测出的脸部中心的特征点94并且平行于脸部区域80的纵边的直线设定为纵中心线。此外，第一判断部16将通过特征点94并且平行于脸部区域80的横边的直线设定为横中心线。
接着，第一判断部16用特征点94划分横中心线，求出右区间和左区间的长度，并求出将横中心线的长度设为100％时的右区间与左区间比率。第一判断部16基于该比率计算脸部朝向的水平分量。例如，设右区间的比率为α1、左区间的比率为α2、右边为正。也就是说，当脸部朝向左方时，比率α2小于比率α1。当脸部朝向右方时，比率α1小于比率α2。当脸部朝向正面时，比率α2和比率α1大致相等。大致相等意味着允许比率α2和比率α1之间存在一些差异。
接着，第一判断部16从50减去比率α1和比率α2之中的较小的比率。例如，如果比率α2小于比率α1，则第一判断部16求出50-α2，如果比率α1小于比率α2，则第一判断部16求出50-α1。接着，在脸部朝向右方的情况下，由于右方为正，第一判断部16计算50-α1来作为脸部朝向的水平分量。另一方面，在脸部朝向左方的情况下，由于左方为负，第一判断部16计算-(50-α2)作为脸部朝向的水平分量。
由此，随着脸部朝向的水平分量的值在正的方向增大，表示脸部的朝向更朝向右方，随着脸部朝向的水平分量的值在负的方向增大，表示脸部的朝向更朝向左方。此外，在脸部朝向的水平分量为0时，表示脸部的朝向为正面方向。
接着，在步骤S205，第一判断部16计算脸部朝向的垂直分量。以下，参照图8具体地说明步骤S205的内容。
第一判断部16在脸部区域80设定横中心线，该横中心线是通过表示脸部的中心的特征点94并且平行于脸部区域80的横边的直线。另外，横中心线也可以设定在特征点94以外的鼻粱的特征点9X上。该横中心线的设定也可以利用步骤S204的横中心线的设定结果。
接着，第一判断部16用纵边与横中心线的交点划分脸部区域80的纵边，求出上区间的长度和下区间的长度。接着，第一判断部16求出将所述纵边的长度设为100％时的上区间与下区间比率，并基于该比率求出脸部朝向的垂直分量。例如，设上区间的比率为α3、下区间的比率为α4、上方为正。也就是说，当脸部朝向上方时，比率α3小于比率α4。当脸部朝向下方时，比率α4小于比率α3。当脸部朝向正面时，比率α3和比率α4大致相等。比率α3与比率α4大致相等与上述的比率α1与比率α2大致相等具有相同含义。
接着，第一判断部16从50减去比率α3和比率α4之中的较小的比率。例如，如果比率α3小于比率α4，则第一判断部16求出50-α3。如果比率α4小于比率α3，则第一判断部16求出50-α4。接着，在脸部朝向上方的情况下，由于上方为正，第一判断部16计算50-α3来作为脸部朝向的垂直分量。另一方面，在脸部朝向下方的情况下，由于上方为正，第一判断部16计算-(50-α4)来作为脸部朝向的垂直分量。
由此，随着脸部朝向的垂直分量的值在正的方向增大，表示脸部的朝向更朝向上方，随着脸部朝向的垂直分量的值在负的方向增大，表示脸部的朝向更朝向下方。此外，在脸部朝向的垂直分量为0时，表示脸部的朝向为正面方向。
接着，在步骤S206，第一判断部16判断在步骤S204和步骤S205计算出的脸部朝向的水平分量和垂直分量所示的脸部朝向是否处于在步骤S201提示的动作信息所示的脸部朝向起规定范围内。
例如，设在步骤S201，指示脸部朝向右方的动作信息显示在显示器3上。此时，第一判断部16在步骤S204计算出的脸部朝向的水平分量的值是正的规定范围内的值(+Z1～+Z2(Z2＞Z1))的情况下，判断为处于在步骤S201提示的动作信息所示的脸部朝向起规定范围内。
设在步骤S201，指示脸部朝向左方的动作信息显示在显示器3上。此时，第一判断部16在步骤S204计算出的脸部朝向的水平分量的值是负的规定范围内的值(-Z1～-Z2(Z2＞Z1))的情况下，判断为处于在步骤S201提示的动作信息所示的脸部朝向起规定范围内。
设在步骤S201，指示脸部朝向正面的动作信息显示在显示器3上。此时，第一判断部16在步骤S204计算出的脸部朝向的水平分量的值是以0为基准的正及负的规定范围内的值(-Z3～+Z4(Z3、Z4＞0))的情况下，判断为处于在步骤S201提示的动作信息所示的脸部朝向起规定范围内。
与此同样，设在步骤S201，指示脸部朝向上方的动作信息显示在显示器3上。此时，第一判断部16在步骤S205计算出的脸部朝向的垂直分量的值是正的规定范围内的值(+Z5～+Z6(Z6＞Z5))的情况下，判断为处于在步骤S201提示的动作信息所示的脸部朝向起规定范围内。
设在步骤S201，指示脸部朝向下方的动作信息显示在显示器3上。此时，第一判断部16在步骤S205计算出的脸部朝向的垂直分量的值是负的规定范围内的值(-Z5～-Z6(Z6＞Z5))的情况下，判断为处于在步骤S201提示的动作信息所示的脸部朝向起规定范围内。
设在步骤S201，指示脸部朝向正面的动作信息显示在显示器3上。此时，第一判断部16在步骤S205计算出的脸部朝向的垂直分量的值是以0为基准的正及负的规定范围内的值(-Z7～+Z8(Z7、Z8＞0))的情况下，判断为处于在步骤S201提示的动作信息所示的脸部朝向起规定范围内。
另外，第一判断部16在步骤S204计算脸部朝向的水平分量的方法并不限定于上述的方法。例如，脸部朝向的水平分量也可以采用从比率α1与比率α2之中较大一方的值减去50的值。此外，脸部朝向的水平分量也可以设左方为正。另外，第一判断部16在步骤S205计算脸部朝向的垂直分量的方法并不限定于上述的方法。例如，脸部朝向的垂直分量也可以采用从比率α3与比率α4之中较大一方的比率减去50的值。此外，脸部朝向的垂直分量也可以设下方为正。与此相对应，在步骤S206，也可以变更基于在该步骤S204和步骤S205计算出的脸部朝向的水平分量和垂直分量的值来判断是否处于在步骤S201提示的动作信息所示的脸部朝向起规定范围内的判断方法。
设第一判断部16在步骤S206判断为脸部朝向处于在步骤S201提示的动作信息所示的脸部朝向起规定范围内。此时(步骤S206为是)，在步骤S207，第一判新部16判断用户为活体，并将表示该判断结果的信息输出到第二判断部17，结束基于脸部朝向的活体判断处理。
另一方面，第一判断部16在步骤S206判断为脸部朝向不处于在步骤S201提示的动作信息所示的脸部朝向起规定范围内的情况下(步骤S206为否)，在步骤S208，第一判断部16判断为用户不是活体，并将表示该判断结果的信息输出到第二判断部17，结束基于脸部朝向的活体判断处理。
基于眼睛朝向的活体判断处理
以下，详述基于眼睛朝向的活体判断处理。图5是表示基于眼睛朝向的活体判断处理的一例的流程图。如果基于眼睛朝向的活体判断处理被执行，首先，输出部14进行与图3所示的步骤S103相对应的步骤S301。在步骤S301，输出部14在显示器3上显示指示眼睛朝向的动作信息来作为该活体判断处理所需的动作。
具体而言，在步骤S301，输出部14在显示器3上显示指示脸部朝向正面的状态下使眼睛朝向左右的任一个方向的动作信息。另外，输出部14随机地决定动作信息中指示的左右的任一个方向。但是，并不限定于此，输出部14也可以例如以左右的顺序决定等按照规定的规则有规则地决定动作信息中指示的左右的任一个方向。
接着，脸部图像获取部15执行与图3所示的步骤S104相对应的步骤S302。在步骤S202，脸部图像获取部15从摄像装置2获取包含用户的脸部的脸部图像。
接着，第一判断部16执行与图3所示的步骤S105相对应的步骤S303以及之后的处理。
在步骤S303，第一判断部16从在步骤S302获取的脸部图像中检测虹膜的中心坐标。
具体而言，在步骤S303，第一判断部16与步骤S203(图4)同样，向检测脸部区域的分类器输入脸部图像来检测脸部区域80。第一判断部16将检测出脸部区域80输入到检测眼睛区域的分类器来检测眼睛区域。眼睛区域是包含眼睛的整个区域，并在眼睛的大小上增加了一些余裕的矩形形状的区域。
接着，第一判断部16将检测出的眼睛区域转换为灰度图像。作为向灰度图像的转换处理，例如可以采用计算构成眼睛区域的各像素的红色分量、绿色分量和蓝色分量各自的灰度值的平均的处理。但是，这是一例，作为向灰度图像的转换处理，也可以采用其他处理。
接着，第一判断部16对灰度图像的眼睛区域进行二值化处理，生成眼睛区域的二值图像。第一判断部16将所生成的眼睛区域的二值图像在X方向上按规定像素分离，将其划分为多个局部区域。X方向是指摄像装置2拍摄的图像的水平方向(横向)。例如，第一判断部16将二值图像在水平方向上均等划分为10个。据此，二值图像被分成以Y方向为长度方向的条状的10个局部区域。在此，第一判断部16将二值图像划分为10个局部区域，但这是一个例子。划分数量可以是2以上且9以下或11以上的整数。Y方向是指摄像装置2拍摄的图像的垂直方向(纵向)。
接下来，第一判断部16计算10个局部区域各自的平均亮度值。
接着，第一判断部16计算虹膜推定中心位置的X坐标。虹膜推定中心位置是虹膜中心位置的推定位置，与最终计算出的虹膜中心位置不同。由于双眼皮、睫毛浓密以及假睫毛等的影响，这些部位有时作为白色区域而较大地呈现出来。此时，白眼珠的部位有可能被填充掉。为了避免这种情况，计算虹膜推定中心位置。
第一判断部16计算多个局部区域中平均亮度值最大的局部区域在X方向上的中点的坐标作为虹膜推定中心位置的X坐标。另外，根据局部区域在X方向上的宽度不同，局部区域在X方向上的中点有时不宜作为虹膜推定中心位置的X坐标。此时，也可以计算局部区域在X方向上的左端或右端作为虹膜推定中心位置的X坐标。
接着，第一判断部16计算虹膜推定中心位置的Y坐标。第一判断部16在虹膜推定中心位置的X坐标存在的局部区域中检测白色像素的最上端点和白色像素的最下端点，并计算最上端点和最下端点的中点作为虹膜推定中心位置的Y坐标。
另外，由于睫毛以及化妆的影响，最上端点和最下端点有时会出现在左侧相邻的局部区域或右侧相邻的局部区域中。对此，第一判断部16也可以在虹膜推定中心位置的X坐标存在的局部区域以及与该局部区域左右相邻的2个局部区域中计算最上端点和最下端点，对所计算出的3个最上端点进行平均来求出平均最上端点，并且对所计算出的3个最下端点进行平均来计算出平均最下端点，并计算平均最上端点与平均最下端点的中点作为虹膜推定的中心位置的Y坐标。
接着，第一判断部16对二值图像进行填充处理。在可见光图像中，因周围的亮度等影响，有时外部光或背景等映入角膜。在该映入较大的情况下，黑色或棕色的瞳内会出现白色等亮色区域。在该情况下，如果将眼睛的图像二值化，则在瞳区域内出现黑岛区域，不能以高精度检测虹膜信息。对此，第一判断部16执行将黑岛区域填充的填充处理。
填充处理的详细内容如下所述。首先，第一判断部16对二值图像的虹膜推定中心位置的X坐标设定平行于Y方向的纵线。接着，第一判断部16检测在纵线上从二值图像的上端侧起最先出现的白色像素作为上端像素。
接着，第一判断部16检测在纵线上从二值图像的下端侧起最先出现的白色像素作为下端像素。接着，第一判断部16判断上端像素与下端像素之间的距离是否大于第一基准距离。接着，第一判断部16在判断为上端像素与下端像素之间的距离大于第一基准距离的情况下，将纵线上处于上端像素与下端像素之间的黑色像素判断为满足规定条件的黑色像素，将该黑色像素置换为白色像素。
另一方面，第一判断部16在判断为上端像素与下端像素之间的距离为第一基准距离以下的情况下，不进行对纵线的置换。作为第一基准距离，例如以设想的虹膜直径为基准采用合理的距离。
第一判断部16对从虹膜推定中心位置向X方向左侧的左基准距离的范围内的各纵线执行此种填充处理，并且对从虹膜推定中心位置向X方向右侧的右基准距离的范围内的各纵线执行此种填充处理。左基准距离范围和右基准距离范围之和是第二基准距离的一例。左基准距离范围和右基准距离范围例如是相同的范围。作为第二基准距离，例如采用比设想的虹膜直径大一些的距离。据此，例如可以对位于瞳区域的纵线重点适用填充处理。
接下来，第一判断部16分别检测瞳区域的左端像素及右端像素。第一判断部16在二值图像的白色区域中以虹膜推定中心位置为起点在X方向的左右按每1个像素检查亮度值的变化。并且，第一判断部16检测首先出现在X方向的左侧的黑色像素作为左端像素，并检测首先出现在X方向的右侧的黑色像素作为右端像素。
接着，第一判断部16计算左端像素和右端像素的中间位置作为虹膜中心位置的X坐标。
接下来，第一判断部16分别检测瞳区域的上端像素及下端像素。第一判断部16在二值图像的白色区域中以虹膜中心位置的X坐标为起点在Y方向的上下按每1个像素检查亮度值的变化。并且，第一判断部16检测首先出现在Y方向的上侧的黑色像素作为上端像素，并检测首先出现在Y方向的下侧的黑色像素作为下端像素。
接着，第一判断部16计算上端像素和下端像素的中间位置作为虹膜中心位置的Y坐标。由此，计算出虹膜的中心坐标。
在步骤S304，第一判断部16从在步骤S303生成的眼睛区域的二值图像中检测外眼角和内眼角的位置，并计算出从在步骤S303中检测到的虹膜中心坐标到外眼角的水平方向的距离以及从虹膜中心坐标到内眼角的水平方向的距离。
具体而言，眼睛区域的二值图像的框是白色区域的外切矩形。因此，第一判断部16在二值图像中计算白色区域的左端的X坐标作为二值图像的左端的X坐标，即左眼的外眼角或右眼的内眼角的位置的X坐标。此外，第一判断部16计算白色区域的右端的X坐标作为二值图像的右端的X坐标，即左眼的内眼角或右眼的外眼角的位置的X坐标。
并且，第一判断部16计算在步骤S303检测到的虹膜的中心坐标的X坐标与外眼角的X坐标之间的差的绝对值，来作为从虹膜的中心坐标到外眼角的位置的水平方向的距离。此外，第一判断部16计算在步骤S303检测到的虹膜的中心坐标的X坐标与内眼角的X坐标之间的差的绝对值，来作为从虹膜的中心坐标到内眼角的位置的水平方向的距离。针对与左右眼睛分别对应的二值图像执行这些处理。
在步骤S305，第一判断部16计算眼睛的水平方向的朝向。具体而言，第一判断部16设在步骤S304计算出的内眼角与虹膜中心坐标之间的水平方向的距离为第一距离D1、外眼角与虹膜中心坐标之间的水平方向的距离为第二距离D2、内眼角的X坐标与外眼角的X坐标的距离为100％时，计算第一距离D1的比率β1和第二距离D2的比率β2。针对与左右眼睛分别对应的二值图像执行这些处理。
在眼睛朝向左方的情况下，左右眼偏左，左眼的第二距离D2变短，右眼的第一距离D1变短。在眼睛朝向右方的情况下，左右眼偏右，左眼的第二距离D2变长，右眼的第一距离D1变长。
根据以上情况，将眼睛偏右的情况设为正。第一判断部16例如着眼于右眼，如果比率β1小于比率β2就判断为眼睛偏左，如果比率62小于比率81就判断为眼睛偏右。在着眼于左眼的情况下，第一判断部16如果比率β2小于比率β1就判断为眼睛偏左，如果比率β1小于比率β2就判断为眼睛偏右。
第一判断部16在判断为眼睛偏左的情况下，计算出左眼的第二距离D2的比率β2与右眼的第一距离D1的比率81的平均值，并计算对从50减去该平均值的值乘以负号的值作为眼睛的水平方向的朝向。之所以计算平均值是因为眼睛朝向在左右的眼睛没有太大的差异。从50减去平均值是为了使眼睛的水平方向的朝向的值随着眼睛从脸部的正面偏向左方或右方而增大。乘以负号是因为设右方为正。
第一判断部116在判断为眼睛偏右的情况下，计算出左眼的第一距离D1的比率β1与右眼的第二距离D2的比率β2的平均值，并计算从50减去该平均值的值作为眼睛的水平方向的朝向。
也就是说，随着眼睛的水平方向的朝向的值在正的方向增大，表示眼睛相对于脸部的正面更朝向右方，随着眼睛的水平方向的朝向的值在负的方向增大，表示眼睛相对于脸部的正面更朝向左方。此外，在眼睛的水平方向的朝向为0的情况下，表示眼睛朝向脸部的正面。如上所述，计算出眼睛的水平方向的朝向。
接着，在步骤S306，第一判断部16判断在步骤S305计算出的眼睛的水平方向的朝向是否处于在步骤S301提示的动作信息所示的眼睛朝向起规定范围内。
例如，设在步骤S301，指示眼睛朝向右方的动作信息显示在显示器3上。此时，第一判断部16在步骤S305计算出的眼睛的水平方向的朝向的值是正的规定范围内的值(+Z1～+Z2(Z2＞Z1))的情况下，判断为处于在步骤S301提示的动作信息所示的眼睛朝向起规定范围内。
设在步骤S301，指示眼睛朝向左方的动作信息显示在显示器3上。此时，第一判断部16在步骤S305计算出的眼睛的水平方向的朝向的值是负的规定范围内的值(-Z1～-Z2(Z2＞Z1))的情况下，判断为处于在步骤S301提示的动作信息所示的眼睛朝向起规定范围内。
设在步骤S301，指示眼睛朝向正面的动作信息显示在显示器3上。此时，第一判断部16在步骤S305计算出的眼睛的水平方向的朝向的值是以0为基准的正及负的规定范围内的值(-Z3～+Z4(Z3、Z4＞0))的情况下，判断为处于在步骤S301提示的动作信息所示的眼睛朝向起规定范围内。
另外，眼睛的水平方向的朝向也可以设左方为正。此外，第一判断部16在步骤S305计算眼睛的水平分量的朝向的方法并不限定于上述的方法。与此相对应，在步骤S306，也可以变更基于在该步骤S305计算出的眼睛的水平方向的朝向的、是否处于在步骤S301提示的动作信息所示的眼睛朝向起规定范围内的判断方法。
设第一判断部16在步骤S306判断为眼睛的水平方向的朝向处于在步骤S301提示的动作信息所示的眼睛朝向起规定范围内。此时(步骤S306为是)，在步骤S307，第一判断部16判断为用户是活体，并将表示该判断结果的信息输出到第二判断部17，结束基于眼睛朝向的活体判断处理。
另一方面，第一判断部16在步骤S306判断为眼睛的水平方向的朝向不处于在步骤S301提示的动作信息所示的眼睛朝向起规定范围内的情况下(步骤S306为否)，在步骤S308，第一判断部16判断为用户不是活体，并将表示该判断结果的信息输出到第二判断部17，结束基于眼睛朝向的活体判断处理。
基于眼睛睁闭状态的活体判断处理
以下，详述基于眼睛睁闭状态的活体判断处理。图6是表示基于眼睛睁闭状态的活体判断处理的一例的流程图。如果基于眼睛睁闭状态的活体判断处理被执行，首先，输出部14进行与图3所示的步骤S103相对应的步骤S401。在步骤S401，输出部14在显示器3上显示指示眼睛睁闭的动作信息来作为该活体判断处理所需的动作。
具体而言，在步骤S401，输出部14在显示器3上显示指示睁开双眼的动作信息、指示闭上双眼的动作信息或指示眨巴双眼规定次数的动作信息。或者，在步骤S401，输出部14在显示器3上显示指示睁开左眼和右眼中的其中一方并将另一方闭上的动作信息、指示只将右眼和左眼中的其中一只眼睛眨巴规定次数的动作信息。
另外，输出部14随机地决定动作信息中指示的眼睛睁闭方法。但是，并不限定于此，输出部14也可以例如以上述的顺序决定等按照规定的规则有规则地决定动作信息中指示的眼睛睁闭方法。
接着，脸部图像获取部15执行与图3所示的步骤S104相对应的步骤S402。在步骤S402，脸部图像获取部15从摄像装置2获取包含用户的脸部的脸部图像。
接着，第一判断部16执行与图3所示的步骤S105相对应的步骤S403以及之后的处理。
在步骤S403，第一判断部16从在步骤S402获取的脸部图像中检测眼睛睁闭状态。
具体而言，在步骤S403，第一判断部16首先与图5所示的步骤S303同样，从在步骤S302获取的脸部图像中检测出脸部区域80，并从该脸部区域80中检测出眼睛区域。并且，第一判断部16将检测到的眼睛区域转换为灰度图像，对该灰度图像的眼睛区域进行二值化处理，生成眼睛区域的二值图像。
据此，在睁开眼睛的情况下，生成如下二值图像，即：在眼睛区域，瞳、睫毛以及白眼珠的一部分较暗部位的像素用白色像素被表示，白眼珠的其他部分以及皮肤较亮的部位用黑色像素被表示。另一方面，在闭上限睛的情况下，生成如下二值图像，即：在眼睛区域，睫毛以及上眼睑边缘的较暗部位的像素用白色像素被表示，皮肤较亮的部位的像素用黑色像素被表示。
接下来，第一判断部16计算用白色像素构成的一块儿白色区域内的上端像素与下端像素之间的纵向距离最大的最大高度。第一判断部16通过对二值图像的白色区域进行X轴上的各X坐标的白色像素的数量计数来计算出白色区域的各X坐标的高度。另外，高度用纵向的白色像素的数量来表示。
第一判断部16从白色区域的左端朝向右端将X坐标依次错开1个像素而计算出各X坐标的高度。第一判断部16计算在白色区域内高度最大的X坐标及其高度。另外，针对与左右眼睛分别对应的二值图像执行该处理。
接着，第一判断部16判断白色区域的最大高度是否比眼睛区域的二值图像的高度乘以0.9的值大。
在此，第一判断部16在判断为白色区域的最大高度比眼睛区域的二值图像的高度乘以0.9的值大的情况下，判断为眼睛处于睁开的状态。即，在睁开眼睛的情况下，相对于眼睛区域的二值图像的高度的白色区域的最大高度的比率接近1。因此，在判断为白色区域的最大高度比眼睛区域的二值图像的高度乘以0.9的值大的情况下，第一判断部16判断为眼睛区域内的眼睛处于睁开的状态。
另一方面，第一判断部16在判断为白色区域的最大高度为眼睛区域的二值图像的高度乘以0.9的值以下的情况下，判断白色区域的最大高度是否比眼睛区域的二值图像的高度乘以0.6的值小。在此，第一判断部16在判断为白色区域的最大高度比眼睛区域的二值图像的高度乘以0.6的值小的情况下，判断为眼睛处于闭上的状态。即，在闭上眼睛的情况下，白色区域的最大高度低于眼睛区域的二值图像高度的60％的长度。因此，在白色区域的最大高度比眼睛区域的二值图像的高度乘以0.6的值小的情况下，第一判断部16判断为眼睛区域内的眼睛处于闭上的状态。
另一方面，第一判断部16在判断为白色区域的最大高度为眼睛区域的二值图像的高度乘以0.6的值以上的情况下，判断为无法判断眼睛睁闭状态。
另外，第一判断部16在步骤S403检测眼睛睁闭状态的方法并不限定于上述的方法。例如，第一判断部16也可以在白色区域的最大高度比眼睛区域的二值图像的高度乘以0.6的值小的情况下判断为眼睛处于闭上的状态，在白色区域的最大高度为眼睛区域的二值图像的高度乘以0.6的值以上的情况下，判断为眼睛处于睁开的状态。
接着，在步骤S404，第一判断部16判断在步骤S403检测出的眼睛睁闭状态是否与在步骤S401提示的动作信息所示的眼睛睁闭状态相同。
设第一判断部16在步骤S404判断为在步骤S403检测出的眼睛睁闭状态与在步骤S401提示的动作信息所示的眼睛睁闭状态相同。此时(步骤S404为是)，在步骤S405，第一判断部16判断为用户是活体，并将表示该判断结果的信息输出到第二判断部17，结束基于眼睛睁闭状态的活体判断处理。
另一方面，设第一判断部16在步骤S404判断为眼睛睁闭状态与在步骤S401提示的动作信息所示的眼睛睁闭状态不同。此时(步骤S404为否)，在步骤S406，第一判断部16判断为用户不是活体，并将表示该判断结果的信息输出到第二判断部17，结束基于眼睛朝向的活体判断处理。
另外，第一判断部16在步骤S404判断为在步骤S403无法判断眼睛睁闭状态的情况下，也在步骤S406判断为用户不是活体，并将表示该判断结果的信息输出到第二判断部17，结束基于眼睛朝向的活体判断处理。
另外，设在步骤S401，指示眨巴眼睛规定次数的动作信息显示在显示器3上。此时，在步骤S402，脸部图像获取部15从摄像装置2以规定的帧周期随时获取脸部图像。每当获取脸部图像时，第一判断部16使用该获取的脸部图像进行步骤S403，然后进行步骤S404。
此时，在规定的上限时间内从各步骤S403的眼睛睁闭状态的检测结果检测到了规定次数以上的从睁眼的状态向闭眼的状态的变化的情况下，第一判断部16在步骤S404判断为眼睛睁闭状态与在步骤S401提示的动作信息所示的眼睛睁闭状态相同。此时，在步骤S405，第一判断部16判断为用户是活体，并将表示该判断结果的信息输出到第二判断部17，结束基于眼睛睁闭状态的活体判断处理。
另一方面，在规定的上限时间内从各步骤S403的眼睛睁闭状态的检测结果未能检测到规定次数以上的从睁眼的状态向闭眼的状态的变化的情况下，第一判断部16在步骤S404判断为眼睛睁闭状态与在步骤S401提示的动作信息所示的眼睛睁闭状态不同。此时，在步骤S406，第一判断部16判断为用户不是活体，并将表示该判断结果的信息输出到第二判断部17，结束基于眼睛睁闭状态的活体判断处理。
基于嘴张闭状态的活体判断处理
以下，详述基于嘴张闭状态的活体判断处理。图7是表示基于嘴张闭状态的活体判断处理的一例的流程图。如果基于嘴张闭状态的活体判断处理被执行，首先，输出部14进行与图3所示的步骤S103相对应的步骤S501。在步骤S501，输出部14在显示器3上显示指示嘴张闭的动作信息来作为该活体判断处理所需的动作。
具体而言，在步骤S501，输出部14在显示器3上显示指示张开嘴的动作信息、指示闭上嘴的动作信息或指示进行规定次数的嘴张闭的动作信息。另外，输出部14随机地决定动作信息中指示的嘴张闭方法。但是，并不限定于此，输出部14也可以例如以上述的顺序决定等按照规定的规则有规则地决定动作信息中指示的嘴张闭方法。
接着，脸部图像获取部15进行与图3所示的步骤S104相对应的步骤S502。在步骤S502，脸部图像获取部15从摄像装置2获取包含用户的脸部的脸部图像。
接着，第一判断部16执行与图3所示的步骤S105相对应的步骤S503以及之后的处理。
在步骤S503，第一判断部16从在步骤S502获取的脸部图像中检测嘴唇的特征点。
具体而言，在步骤S503，第一判断部16首先与图4所示的步骤S203同样，从在步骤S302获取的脸部图像中检测出脸部区域80，并对该脸部区域80适用界标检测处理来检测出嘴唇的特征点。图8示出了通过将界标检测处理适用于脸部区域80来检测出了位于嘴唇的上下左右端的4个特征点95～98的例子。
在步骤S504，第一判断部16使用在步骤S503检测出的嘴唇的特征点计算出表示张嘴程度的张嘴量。具体而言，第一判断部16将在步骤S503检测到的嘴唇的上端95与下端96之间的距离除以在步骤S503检测到的嘴唇的左端97与右端98之间的距离，将该除法的结果作为张嘴量而计算。据此，与嘴的大小的个人差异无关地适当地计算出张嘴量。
接着，在步骤S505，第一判断部16基于在步骤S504计算出的张嘴量，判断嘴张闭状态是否与在步骤S501提示的动作信息所示的嘴张闭状态相同。
具体而言，在步骤S505，第一判断部16首先基于在步骤S504计算出的张嘴量判断嘴张闭状态。详细进行说明，第一判断部16判断在步骤S504计算出的张嘴量是否为规定的阈值(例如0.3)以上。第一判断部16在步骤S504计算出的张闭量为规定的阈值以上的情况下，判断为嘴处于张开的状态。
另一方面，第一判断部16在步骤S504计算出的张闭量小于规定的阈值的情况下，判断为嘴处于闭上的状态。并且，第一判断部16判断基于在步骤S504计算出的张嘴量判断的嘴张闭状态是否与在步骤S501提示的动作信息所示的嘴张闭状态相同。
另外，第一判断部16在步骤S505判断嘴张闭状态的方法并不限定于使用上述的张嘴量的方法，可以是其他的方法。
设第一判断部16在步骤S505判断为基于张嘴量判断的嘴张闭状态与在步骤S501提示的动作信息所示的嘴张闭状态相同。此时(步骤S505为是)，在步骤S506，第一判断部16判断为用户是活体，并将表示该判断结果的信息输出到第二判断部17，结束基于嘴张闭状态的活体判断处理。
另一方面，设第一判断部16在步骤S505判断为嘴张闭状态与在步骤S501提示的动作信息所示的嘴张闭状态不同。此时(步骤S505为否)，在步骤S507，第一判断部16判断为用户不是活体，并将表示该判断结果的信息输出到第二判断部17，结束基于嘴朝向的活体判断处理。
另外，在步骤S501在显示器3上显示了指示进行规定次数的嘴张闭的动作信息的情况下，在步骤S502，脸部图像获取部15从摄像装置2以规定的帧周期随时获取脸部图像。每当获取脸部图像时，第一判断部16使用该获取的脸部图像进行步骤S503以及步骤S504，然后进行步骤S505。
此时，第一判断部16在步骤S505基于在经过规定的上限时间为止的期间在各步骤S504计算出的张嘴量判断嘴张闭状态。并且，第一判断部16在从该判断的结果检测到了规定次数以上的从张嘴状态向闭嘴状态的变化的情况下，判断为嘴张闭状态与在步骤S501提示的嘴动作信息所示的嘴张闭状态相同。此时，在步骤S506，第一判断部16判断为用户是活体，并将表示该判断结果的信息输出到第二判断部17，结束基于嘴张闭状态的活体判断处理。
另一方面，设第一判断部16在步骤S504在经过规定的上限时间为止的期间基于在各步骤S504计算出的张嘴量判断嘴张闭状态，并从该判断的结果未能检测到规定次数以上的从张嘴状态向闭嘴状态的变化。此时，第一判断部16判断为嘴张闭状态与在步骤S501提示的动作信息所示的嘴张闭状态不同。此时，在步骤S507，第一判断部16判断为用户不是活体，并将表示该判断结果的信息输出到第二判断部17，结束基于嘴张闭状态的活体判断处理。
基于眼镜戴摘状态的活体判断处理
以下，详述基于眼镜戴摘状态的活体判断处理。图9是表示基于眼镜戴摘状态的活体判断处理的一例的流程图。如果基于眼镜戴摘状态的活体判断处理被执行，首先，输出部14进行与图3所示的步骤S103相对应的步骤S601。在步骤S601，输出部14在显示器3上显示指示眼镜戴摘的动作信息来作为该活体判断处理所需的动作。
具体而言，在步骤S601，输出部14在显示器3上显示指示成为戴着眼镜的状态(戴上眼睛)的动作信息、指示成为不戴眼镜的状态(摘下眼睛)的动作信息、或指示进行规定次数的眼镜的戴摘的动作信息。
另外，输出部14随机地决定动作信息中指示的眼镜的戴摘方法。但是，并不限定于此，输出部14也可以例如以上述的顺序决定等按照规定的规则有规则地决定动作信息中指示的眼镜的戴摘方法。
接着，脸部图像获取部15进行与图3所示的步骤S104相对应的步骤S602。在步骤S602，脸部图像获取部15从摄像装置2获取包含用户的脸部的脸部图像。
接着，第一判断部16执行与图3所示的步骤S105相对应的步骤S603以及之后的处理。
在步骤S603，第一判断部16从在步骤S602获取的脸部图像中检测眼镜戴摘状态。
具体而言，在步骤S603，第一判断部16首先与图5所示的步骤S303同样，从在步骤S302获取的脸部图像中检测出脸部区域80。
接着，第一判断部16将检测出的脸部区域80二值化，生成灰度值小于阈值的像素用第一亮度值被表示、灰度值为阈值以上的像素用第二亮度值被表示的二值图像。在脸部区域80由彩色图像构成的情况下，第一判断部16将脸部区域80转换为例如具有0～255的灰度值的灰度图像，并且对转换的灰度图像执行二值化处理即可。
作为二值化处理，可以采用例如大津二值化处理。第一亮度值例如是白色，第二亮度值例如是黑色。此时，生成暗的部分用白色表示而亮的部分用黑色表示的二值图像。白色的亮度值例如用255表示，黑色的亮度值例如用0表示。
另外，当将彩色图像转换为灰度图像时，第一判断部16执行一般的转换处理。作为向灰度图像的一般的转换处理，例如可以采用计算构成脸部区域80的各像素的红色分量、绿色分量和蓝色分量各自的灰度值的平均的处理。此外，第一判断部16可以使用下述的式(1)来计算出灰度图像的各像素的像素值V。
V＝0.299·R+0.587·G+0.114·B (1)
上述的式(1)中，R表示彩色图像的各像素的红色分量值，G表示彩色图像的各像素的绿色分量值，B表示彩色图像的各像素的蓝色分量值。
接下来，第一判断部16从生成的二值图像中提取推定眼镜存在的眼镜推定区域。具体而言，鉴于一般的人脸比率，第一判断部16提取表示脸部区域80的上边起3/10的位置的线到表示6/10的位置的线的其间的区域作为眼镜推定区域。
接着，第一判断部16对提取的眼镜推定区域进行贴标签处理。在贴标签处理中，针对二值图像，对于连续的多个白色像素分配相同的编号。通过该贴标签处理，从眼镜推定区域中检测出由连续的多个白色像素构成的多个白色区域。如上所述，通过预先从脸部区域80的二值图像中提取眼镜推定区域的二值图像，从而进行贴标签处理的范围变窄，可以缩短贴标签处理所需的时间。
接着，第一判断部16在提取的眼镜推定区域内计算多个白色像素连续的多个白色区域各自的宽度(水平方向的长度)。接着，第一判断部16判断宽度最长的白色区域的宽度是否为眼镜推定区域的宽度的2/3以上。
表示眼镜架的白色区域由在水平方向上连续的多个白色像素构成。宽度最长的白色区域的宽度为眼镜推定区域的宽度的2/3以上的情况可认为是戴着眼镜的状态。因此，在白色区域的长度为眼镜推定区域的宽度的2/3以上的情况下，第一判断部16判断为是戴着眼镜的状态。另一方面，在宽度最长的白色区域的宽度不是眼镜推定区域的宽度的2/3以上的情况下，第一判断部16判断为是没戴眼镜的状态。
另外，第一判断部16在步骤S603检测眼镜戴摘状态的方法并不限定于上述的方法。例如，在外部光射入眼镜架或眼镜架有颜色的情况下，表示眼镜架的白色区域有可能不会作为1个岛而被检测出来。对此，第一判断部16也可以在宽度为规定长度以上的白色区域有规定数量以上的情况下，判断为是戴着眼镜的状态。此外，第一判断部16也可以在宽度为规定长度以上的白色区域没有规定数量以上的情况下，判断为是没戴眼镜的状态。
接着，在步骤S604，第一判断部16判断在步骤S603检测出的眼镜戴摘状态是否与在步骤S601提示的动作信息所示的眼镜戴摘状态相同。
设第一判断部16在步骤S604判断为在步骤S603检测出的眼镜戴摘状态与在步骤S601提示的动作信息所示的眼镜戴摘状态相同。此时(步骤S604为是)，在步骤S605，第一判断部16判断为用户是活体，并将表示该判断结果的信息输出到第二判断部17，结束基于眼镜戴摘状态的活体判断处理。
另一方面，设第一判断部16在步骤S604判断为眼镜戴摘状态与在步骤S601提示的动作信息所示的眼镜戴摘状态不同。此时(步骤S604为否)，在步骤S606，第一判断部16判断为用户不是活体，并将表示该判断结果的信息输出到第二判断部17，结束基于眼镜的朝向的活体判断处理。
另外，在步骤S601在显示器3上显示了指示进行规定次数的眼镜的戴摘的动作信息的情况下，在步骤S602，脸部图像获取部15从摄像装置2以规定的帧周期随时获取脸部图像。每当获取脸部图像时，第一判断部16使用该获取的脸部图像进行步骤S603，然后进行步骤S604。
此时，在规定的上限时间内从各步骤S603的眼镜戴摘状态的检测结果检测到了规定次数以上的从没戴眼镜的状态向戴着眼镜的状态的变化的情况下，第一判断部16在步骤S604判断为眼镜戴摘状态与在步骤S601提示的动作信息所示的眼镜戴摘状态相同。此时，在步骤S605，第一判断部16判断为用户是活体，并将表示该判断结果的信息输出到第二判断部17，结束基于眼镜戴摘状态的活体判断处理。
另一方面，在规定的上限时间内从各步骤S603的眼镜戴摘状态的检测结果未能检测到规定次数以上的从没戴眼镜的状态向戴着眼镜的状态的变化的情况下，第一判断部16在步骤S604判断为眼镜戴摘状态与在步骤S601提示的动作信息所示的眼镜戴摘状态不同。此时，在步骤S606，第一判断部16判断为用户不是活体，并将表示该判断结果的信息输出到第二判断部17，结束基于眼镜的开闭状态的活体判断处理。
实施方式2
在脸部图像中包含的脸部是包含在照片中的脸部或者是显示在智能手机或平板等的显示器上的脸部的情况下，该脸部图像有时包含照片或显示器的边框。对此，实施方式2的判断装置1在进行图3所示的步骤S101以及之后的处理之前，从摄像装置2获取包含用户脸部的脸部图像，并判断该取得的脸部图像中是否包含边框。在包含边框的情况下，判断装置1判断为脸部图像中包含的用户不是活体，在脸部图像中不包含边框的情况下，进行图3所示的步骤S101以及之后的处理。
据此，实施方式2的判断装置1在脸部图像的周围存在边框从而基本上明确用户不是活体的情况下，不进行图3所示的步骤S101以及之后的处理就能检测出冒充。另一方面，在脸部图像的周围不存在边框的情况下，实施方式2的判断装置1与实施方式1同样，通过进行图3所示的步骤S101以及之后的处理来使冒充变得困难。
以下，详述实施方式2的判断装置1。图10是表示边框判断处理的一例的流程图。在步骤S100，如果受理部11受理活体判断的执行指示的输入，则在步骤S701，脸部图像获取部15从摄像装置2获取包含用户的脸部的脸部图像(以下，用户图像)。
在步骤S702，第二判断部17与图5所示的步骤S303同样，从在步骤S701中获取的用户图像中检测脸部区域80。图11是表示从用户图像110检测出的脸部区域80的一例的图。例如，图11示出了检测出包含投影在智能手机的显示器上的人的脸部的脸部区域80的例子。
接着，在步骤S703，第二判断部17进行纵线检测处理。纵线检测处理是检测可能包含在用户图像110中的构成照片或显示器的边框的两条纵线的处理。
具体而言，在纵线检测处理中，第二判断部17通过首先仅在用户图像110的水平方向上进行过滤处理从而从用户图像110中检测出水平方向边缘，其中，该过滤处理利用作为一阶微分的索贝尔过滤器(Sobel filter)或作为二阶微分的拉普拉斯过滤器(Laplacianfilter)等。水平方向边缘表示亮度值与在水平方向上相邻的像素的亮度值显著不同的像素组。
图12是表示在纵线检测处理中检测出的水平方向边缘的一例的图。例如，图12表示图像120，在该图像120中，将仅在图11所示的用户图像110的水平方向上进行上述的过滤处理而检测到的水平方向边缘用白色像素表示，并将该用户图像110中的其他像素用黑色表示。此外，图12中用虚线示出了从图11所示的用户图像110检测出的脸部区域80。
接着，第二判断部17检测所检测到的水平方向边缘中沿垂直方向延伸的、最接近脸部区域80的左端且具有第一规定长度以上的长度的第一边缘和最接近脸部区域80的右端且具有第一规定长度以上的长度的第二边缘。作为第一规定长度，例如以用户图像110的垂直方向的长度为基准采用合理的长度。
在图12的例子中，作为沿垂直方向延伸的水平方向边缘，检测出最接近脸部区域80的左端且具有第一规定长度以上的长度的水平方向边缘E1和最接近脸部区域80的右端且具有第一规定长度以上的长度的沿垂直方向延伸的水平方向边缘E2。因此，第二判断部17将水平方向边缘E1作为第一边缘而检测，将水平方向边缘E2作为第一边缘而检测。
接着，在步骤S704，第二判断部17进行横线检测处理。横线检测处理是检测可能包含在用户图像110中的构成照片或显示器的边框的两条横线的处理。
具体而言，在横线检测处理中，第二判断部17首先仅在用户图像110的垂直方向上进行与纵线检测处理一样的过滤处理，从而从用户图像110中检测出垂直方向边缘。垂直方向边缘表示亮度值与在垂直方向上相邻的像素的亮度值显著不同的像素组。
图13是表示在横线检测处理中检测出的垂直方向边缘的一例的图。例如，图13表示图像130，该图像130是在图12所示的图像120上用白色像素表示了通过对图11所示的用户图像110进行上述的过滤处理而检测到的垂直方向边缘而形成。
接着，第二判断部17检测所检测到的垂直方向边缘中沿水平方向延伸的、最接近脸部区域80的上端且两端比第一边缘及第二边缘更靠近脸部区域80侧的具有第二规定长度以上的长度的第三边缘和最接近脸部区域80的下端且两端比第一边缘及第二边缘更靠近脸部区域80侧的具有第二规定长度以上的长度的第四边缘。作为第二规定长度，例如以用户图像110的水平方向的长度为基准采用合理的长度。
在图13的例子中，作为沿水平方向延伸的垂直方向边缘，检测出最接近脸部区域80的上端且两端比作为第一边缘检测出的水平方向边缘E1以及作为第二边缘检测出的水平方向边缘E2更靠近脸部区域80侧的具有第二规定长度以上的长度的垂直方向边缘E3。但是，没有检测出最接近脸部区域80的下端且两端比第一边缘及第二边缘更靠近脸部区域80侧的具有第二规定长度以上的长度的垂直方向边缘。因此，第二判断部17将垂直方向边缘E3作为第三边缘而检测，不检测第四边缘。
接着，在步骤S705，第二判断部17基于纵线检测处理及横线检测处理的检测结果，判断用户图像110中是否包含边框。
具体而言，在步骤S705，第二判断部17在通过纵线检测处理及所述横线检测处理检测出的边缘的数量合计为3以上的情况下，判断为用户图像110中包含边框。在上述的图13的例子中，由于通过纵线检测处理及横线检测处理检测出第一、第二及第三的三个边缘，因此，第二判断部17判断为用户图像110中包含边框。
在步骤S705判断为用户图像110中包含边框的情况下(步骤S705为是)，不进行图3所示的步骤S101以及之后的处理，而进行图3所示的步骤S109以及之后的处理。另一方面，在步骤S705判断为用户图像110中不包含边框的情况下(步骤S705为否)，进行图3所示的步骤S101以及之后的处理。
另外，知道在判断为用户图像110中包含照片或显示器的边框的情况下被判断为用户不是活体的情况的恶意用户有可能使照片或显示器接近摄像装置2，以使边框不包含在用户图像110中。
对此，第二判断部17也可以在步骤S702检测到的脸部区域80的高度大于规定的上限高度的情况或者脸部区域80的宽度大于规定的上限宽度的情况下，不进行步骤S703和步骤S704，而在步骤S705判断为用户图像110中包含边框。
另外，脸部区域80的高度表示脸部区域80的垂直方向的长度。上限高度规定为例如用户图像110的垂直方向的长度的90％以上即可。但是，上限高度并不限定于此。脸部区域80的宽度表示脸部区域80的水平方向的长度。上限宽度规定为例如用户图像110的水平方向的长度的90％以上即可。但是，上限宽度并不限定于此。
根据该构成，在恶意用户以使包含他人脸部的照片或显示器的边框不包含在用户图像110中的方式使该显示器接近摄像装置2，由此从用户图像110中检测出的脸部区域80变大而达到了超过上限宽度或上限高度的程度的情况下，判断为用户图像110中包含边框。此时，进行图3所示的步骤S109以及之后的处理，判断为用户不是活体。因此，能够抑制企图使用包含他人脸部的照片或显示器来进行欺骗的恶意用户以使该照片或显示器的边框不包含在用户图像110中的方式使该照片或显示器接近摄像装置2的情况。
此外，在图10所示的用户图像110中是否包含边框的判断方法中，在通过纵线检测处理及横线检测处理未能检测出3个以上的边缘的情况下，判断为用户图像110中不包含边框。因此，恶意用户有可能以使构成包含他人脸部的照片或显示器的边框的两条以上的框线不包含在用户图像110中的方式使该照片或显示器接近摄像装置2。
图14是表示用户图像110中包含的脸部区域80的一例的图。具体而言，恶意用户有可能例如图14所示那样，以使他人脸部上端位于用户图像110的上端附近的方式或者以使他人脸部下端位于用户图像110的下端附近的方式，使该显示器接近摄像装置2。在这些情况下，例如图14那样，有时只有构成该显示器的边框的左右的框线包含在用户图像110中。
对此，在步骤S705，第二判断部17也可以进一步在步骤S702检测到的脸部区域80的上端存在于从用户图像110的上端起规定的第一余裕内的情况下、或者脸部区域80的下端存在于从用户图像110的下端起规定的第二余裕内的情况下，当在步骤S703的纵线检测处理中检测到第一边缘和第二边缘时，判断为用户图像110中包含边框。
另外，第一余裕和第二余裕规定为例如用户图像110的垂直方向的长度(高度)的10％以下即可。根据该构成，即使在用户图像110中仅包含显示他人脸部的显示器的左部分和右部分的两条框线的情况下，也能够判断为用户图像110中包含边框。
此外，恶意用户有可能为了不让包含他人脸部的照片或显示器的边框的两条以上的框线照进用户图像110中，而以使该他人脸部位于摄像装置2的拍摄图像的左端或右端附近的方式让摄像装置2拍摄该照片或显示器。
图15是表示用户图像110中包含的脸部区域80的另一例的图。例如，假设恶意用户以使他人脸部位于用户图像110的右端附近的方式让摄像装置2拍摄了该包含他人的脸部的显示器。此时，例如图15那样，有可能只有构成该显示器的边框的以L字状交叉的左部分和下部分的框线包含在用户图像110中。此外，此时，有可能只有构成该显示器的边框的以L字状交叉的左部分和上部分的框线包含在用户图像110中。同样，在恶意用户以使他人脸部接近用户图像110的左端附近的方式让摄像装置2拍摄了该包含他人脸部的显示器的情况下，有可能只有构成该显示器的边框的以L字状交叉的左部分及上部分或下部分的框线包含在用户图像110中。
对此，在步骤S705，第二判断部17也可以进一步在步骤S702检测到的脸部区域80的左端存在于从用户图像110的左端起规定的第三余裕内的情况下、或者脸部区域80的右端存在于从用户图像110的右端起规定的第四余裕内的情况下，当在步骤S703的纵线检测处理中检测到的第一边缘或第二边缘与在步骤S704的横线检测处理中检测到的第三边缘或第四边缘交叉时，判断为用户图像110中包含边框。
另外，第三余裕和第四余裕规定为例如用户图像110的水平方向的长度(宽度)的1～5％的长度即可。但是，第三余裕和第四余裕并不限定于此。
也就是说，第二判断部17也可以在步骤S702检测到的脸部区域80的左端存在于从用户图像110的左端起规定的第三余裕内的情况下、或者脸部区域80的右端存在于从用户图像110的右端起规定的第四余裕内的情况下，当通过步骤S703的纵线检测处理以及步骤S704的横线检测处理检测到以L字状交叉的两条边缘时，判断为用户图像110中包含边框。
根据该构成，即使在用户图像110中仅包含构成显示他人脸部的显示器的边框的左部分和下部分的两条框线等以L字状交叉的两条框线的情况下，也能够判断为用户图像110中包含边框。
本发明可以采用以下的变形例。
(1)在图3所示的步骤S102分别执行了在步骤S101被选择的2个以上的活体判断处理的情况下，在各活体判断处理中，也可以多次进行与步骤S103至步骤S105相对应的处理。并且，在与各步骤S103相对应的处理中，输出部14也可以随机地决定提示给用户的动作。
例如，在步骤S102(图3)执行了基于眼睛朝向的活体判断处理的情况下，也可以多次进行：执行与步骤S103(图3)相对应的步骤S301(图5)、与步骤S104(图3)相对应的步骤S302(图5)、与步骤S105(图3)相对应的步骤S303(图5)以及之后的处理。此外，在各步骤S301(图5)，输出部14也可以随机地决定在显示器3上显示的动作信息中指示的眼睛朝向。
根据本构成，与为了判断用户是否为活体而执行的活体判断处理的数量、内容及执行顺序和在各活体判断处理中被提示的动作的数量及内容相对应，执行活体判断的模式呈指数增加。因此，可以使恶意用户更难预先准备被判断为用户是活体那样的脸部图像。
(2)在图3所示的步骤S101，判断方法决定部12也可以检测用户的状态，并选择活体判断处理所需的动作适合于该检测到的用户的状态的活体判断处理。
本构成例如可以如下地实现。判断方法决定部12在步骤S101首先让摄像装置2获取包含用户的脸部的脸部图像。然后，判断方法决定部12将该获取的脸部图像输入到检测脸部区域的分类器来检测出脸部区域80。
接着，判断方法决定部12将该检测出的脸部区域80输入到检测眼镜区域的分类器来检测脸部区域80中包含的眼镜区域。通过该检测器未检测到眼镜区域的情况下，由于用户处于裸眼状态，因此，判断方法决定部12在多个活体判断处理中选择除基于眼镜戴摘状态的活体判断处理以外的2个以上的活体判断处理。
此外，判断方法决定部12也可以将上述检测出的脸部区域80输入到检测太阳镜区域的分类器来检测脸部区域80中包含的太阳镜区域。通过该检测器检测到太阳镜区域的情况下，由于处于无法检测用户的眼睛朝向以及眼睛睁闭状态的状态，因此，判断方法决定部12也可以在多个活体判断处理中选择除基于眼睛朝向的活体判断处理和基于眼睛睁闭状态的活体判断处理以外的2个以上的活体判断处理。
此外，判断方法决定部12也可以将上述检测出的脸部区域80输入到检测口罩区域的分类器来检测脸部区域80中包含的口罩区域。通过该检测器检测到口罩区域的情况下，由于处于无法检测用户的嘴张闭状态的状态，因此，判断方法决定部12也可以在多个活体判断处理中选择除基于嘴张闭状态的活体判断处理以外的2个以上的活体判断处理。
根据本构成，作为为了判断用户是否为活体而执行的活体判断处理，可以选择需要适合于用户的状态的动作的2个以上的活体判断处理。
(3)在图3所示的步骤S107，也可以由第二判断部17将在步骤S101被选择的2个以上的各活体判断处理中的第一判断部16的判断结果数值化，并且用按每个活体判断处理规定的系数对该数值化的结果进行加权相加。并且，在该加权相加的结果满足规定的数值条件的情况下，第二判断部17可以判断为第一判断部16的判断结果满足规定的条件。
本构成例如可以如下地实现。第一判断部16在步骤S101被选择的2个以上的各活体判断处理中判断为用户是活体的情况下，将该判断结果数值化为1。另一方面，第一判断部16在判断为用户不是活体的情况下，将该判断结果数值化为0。此外，将在步骤S101被选择的2个以上的活体判断处理的数量的2/3设为阈值，在对各活体判断处理的判断结果进行加权相加的结果为该阈值以上的情况下，视为满足数值条件。
此时，第二判断部17将对各活体判断处理规定的系数设为1并对各活体判断处理的判断结果进行加权相加，如果该加权相加的结果为阈值以上，则满足数值条件，因此，判断为第一判断部16的判断结果满足规定的条件。另一方面，如果上述加权相加的结果小于阈值，则不满足数值条件，因此，第二判断部17判断为第一判断部16的判断结果不满足规定的条件。
或者，例如，假设在步骤S101选择了基于脸部朝向的活体判断处理和基于眼睛朝向的活体判断处理。此时，假设在图4所示的步骤S201在显示器3上显示了指示脸部朝向右方的动作信息，并且在图5所示的步骤S301在显示器3上显示了指示眼睛朝向右方的动作信息。此外，假设基于脸部朝向的活体判断处理的活体判断准确度高于基于眼睛朝向的活体判断处理，将用于判断结果的加权相加的基于脸部朝向的活体判断处理的系数设为0.7，将基于眼睛朝向的活体判断处理的系数设为0.3。
此时，第一判断部16在图4所示的步骤S206，将在步骤S204和步骤S205计算出的脸部朝向的水平分量的值除以脸部朝向旁边且向右时的脸部朝向的水平分量的值的结果作为数值化的判断结果而输出。同样，第一判断部16在图5所示的步骤S306，将在步骤S305计算出的眼睛的水平方向的朝向的值除以眼睛朝向旁边且向右时的眼睛的水平方向的朝向的值的结果作为数值化的判断结果而输出。此外，将在步骤S101被选择的活体判断处理的数量的2/3设为阈值，在对各活体判断处理的判断结果进行加权相加的结果为该阈值以上的情况下，视为满足数值条件。
此时，第二判断部17在基于脸部朝向的活体判断处理的判断结果和系数0.7的乘积与基于眼睛朝向的活体判断处理的判断结果和系数0.3的乘积之和所示的、对第一判断部16的判断结果进行加权相加的结果为阈值以上，则满足数值条件，因此，判断为第一判断部16的判断结果满足规定的条件。另一方面，如果上述加权相加的结果小于阈值，则不满足数值条件，因此，第二判断部17判断第一判断部16的判断结果不满足规定的条件。
根据本构成，如上述的例子所述，通过根据各活体判断处理的判断准确度调整系数等，能够提高用户是否为活体的判断准确度。
产业上的可利用性
根据本发明，由于可以提高活体判断准确度，因此在活体判断的技术领域有利用价值。

Claims (14)

1.一种判断方法，是判断装置的判断方法，其特征在于，让所述判断装置的计算机执行如下步骤：
从判断图像中包含的人是否为活体的多个活体判断处理中选择2个以上的活体判断处理；
决定执行被选择的所述2个以上的活体判断处理的顺序；
按照被决定的所述顺序分别执行被选择的所述2个以上的活体判断处理；
分别在被选择的所述2个以上的活体判断处理中进行：(1)向用户提示活体判断处理所需的动作的处理；(2)获取包含所述用户按照被提示的所述动作而动作时的脸部的脸部图像的处理；(3)基于所述脸部图像中包含的脸部的部位特征判断所述用户是否为活体的处理；
判断分别从被选择的所述2个以上的活体判断处理得到的判断结果是否满足规定的条件；以及，
在所述判断结果满足所述规定的条件的情况下，判断为所述用户为活体，在所述判断结果不满足所述规定的条件的情况下，判断为所述用户不是活体。
2.根据权利要求1所述的判断方法，其特征在于，
在选择所述2个以上的活体判断处理时，从所述多个活体判断处理中随机地选择所述2个以上的活体判断处理。
3.根据权利要求1或2所述的判断方法，其特征在于，
在决定执行被选择的所述2个以上的活体判断处理的顺序时，随机地决定执行被选择的所述2个以上的活体判断处理的顺序。
4.根据权利要求1至3中任一项所述的判断方法，其特征在于，所述多个活体判断处理包含：
以脸部朝向作为所述脸部的部位特征的活体判断处理；
以眼睛朝向作为所述脸部的部位特征的活体判断处理；
以眼睛睁闭状态作为所述脸部的部位特征的活体判断处理；
以嘴张闭状态作为所述脸部的部位特征的活体判断处理；以及，
以眼镜戴摘状态作为所述脸部的部位特征的活体判断处理。
5.根据权利要求1至4中任一项所述的判断方法，其特征在于，
分别在被选择的所述2个以上的活体判断处理中：
多次进行所述(1)至(3)的处理，
在各所述(1)的处理中随机地决定向所述用户提示的动作。
6.根据权利要求1至5中任一项所述的判断方法，其特征在于，
在选择所述2个以上的活体判断处理时，检测所述用户的状态，并选择活体判断处理所需的动作适合于该检测出的所述用户的状态的活体判断处理。
7.根据权利要求1至6中任一项所述的判断方法，其特征在于，
在判断所述判断结果是否满足所述规定的条件时，将所述判断结果数值化，并且在用针对每个活体判断处理而规定的系数对该数值化的结果进行加权相加的结果满足规定的数值条件的情况下，判断为所述判断结果满足所述规定的条件。
8.根据权利要求1至7中任一项所述的判断方法，其特征在于，所述计算机还执行以下步骤：
获取包含所述用户的脸部的用户图像，
判断所述用户图像中是否包含包围人的脸部的边框，在判断为所述用户图像中包含所述边框的情况下，判断为所述用户不是活体，在判断为所述用户图像中不包含所述边框的情况下，进行选择所述2个以上的活体判断处理的处理以及之后的处理。
9.根据权利要求8所述的判断方法，其特征在于，
在判断所述用户图像中是否包含所述边框时，
从所述用户图像中检测包含所述用户的脸部的脸部区域，
执行纵线检测处理和横线检测处理，其中，
在所述纵线检测处理中检测所述用户图像中包含的沿垂直方向延伸的边缘中、最接近所述脸部区域的左端且具有第一规定长度以上的长度的第一边缘和最接近所述脸部区域的右端且具有所述第一规定长度以上的长度的第二边缘，
在所述横线检测处理中检测所述用户图像中包含的沿水平方向延伸的边缘中、最接近所述脸部区域的上端的第三边缘和最接近所述脸部区域的下端的第四边缘，其中，所述第三边缘的两端比所述第一边缘及所述第二边缘更靠近所述脸部区域侧且具有第二规定长度以上的长度，所述第四边缘的两端比所述第一边缘及所述第二边缘更靠近所述脸部区域侧且具有所述第二规定长度以上的长度，
在通过所述纵线检测处理及所述横线检测处理检测出的边缘的数量合计为3以上的情况下，判断为所述用户图像中包含所述边框。
10.根据权利要求8或9所述的判断方法，其特征在于，
在判断所述用户图像中是否包含所述边框时，
从所述用户图像中检测出包含所述用户的脸部的脸部区域，
在所述脸部区域的宽度大于规定的上限宽度的情况下，或者在所述脸部区域的高度大于规定的上限高度的情况下，判断为所述用户图像中包含所述边框。
11.根据权利要求9所述的判断方法，其特征在于，
在判断所述用户图像中是否包含所述边框时，
从所述用户图像中检测出包含所述用户的脸部的脸部区域，
在所述脸部区域的上端存在于从所述用户图像的上端起规定的第一余裕内的情况下、或者在所述脸部区域的下端存在于从所述用户图像的下端起规定的第二余裕内的情况下，当在所述纵线检测处理中检测到所述第一边缘及所述第二边缘时，判断为所述用户图像中包含所述边框。
12.根据权利要求9或11所述的判断方法，其特征在于，
在判断所述用户图像中是否包含所述边框时，
在所述脸部区域的左端存在于从所述用户图像的左端起规定的第三余裕内的情况下、或者在所述脸部区域的右端存在于从所述用户图像的右端起规定的第四余裕内的情况下，当在所述纵线检测处理中检测到的所述第一边缘或所述第二边缘与在所述横线检测处理中检测到的所述第三边缘或所述第四边缘交叉时，判断为所述用户图像中包含所述边框。
13.一种判断装置，其特征在于包括：
判断方法决定部，从判断图像中包含的人是否为活体的多个活体判断处理中选择2个以上的活体判断处理，并决定执行被选择的所述2个以上的活体判断处理的顺序；
执行部，按照被决定的所述顺序分别执行被选择的所述2个以上的活体判断处理；
分别在被选择的所述2个以上的活体判断处理中：向用户提示活体判断处理所需的动作的输出部；获取包含所述用户按照被提示的所述动作而动作时的脸部的脸部图像的脸部图像获取部；基于所述脸部图像中包含的脸部的部位特征判断所述用户是否为活体的第一判断部；以及，
第二判断部，判断分别从被选择的所述2个以上的活体判断处理得到的判断结果是否满足规定的条件，在所述判断结果满足所述规定的条件的情况下，判断为所述用户是活体，在所述判断结果不满足所述规定的条件的情况下，判断为所述用户不是活体。
14.一种判断程序，使计算机作为判断装置发挥功能，其特征在于，
所述判断程序使所述计算机作为以下的各部发挥功能：
判断方法决定部，从判断图像中包含的人是否为活体的多个活体判断处理中选择2个以上的活体判断处理，并决定执行被选择的所述2个以上的活体判断处理的顺序；
执行部，按照被决定的所述顺序分别执行被选择的所述2个以上的活体判断处理；
分别在被选择的所述2个以上的活体判断处理中：向用户提示活体判断处理所需的动作的输出部；获取包含所述用户按照被提示的所述动作而动作时的脸部的脸部图像的脸部图像获取部；基于所述脸部图像中包含的脸部的部位特征判断所述用户是否为活体的第一判断部；以及，
第二判断部，判断分别从被选择的所述2个以上的活体判断处理得到的判断结果是否满足规定的条件，在所述判断结果满足所述规定的条件的情况下，判断为所述用户是活体，在所述判断结果不满足所述规定的条件的情况下，判断为所述用户不是活体。
CN202180006842.6A 2020-12-22 2021-06-09 判断方法、判断装置以及判断程序 Pending CN115039150A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020212909A JP6956986B1 (ja) 2020-12-22 2020-12-22 判定方法、判定装置、及び判定プログラム
JP2020-212909 2020-12-22
PCT/JP2021/021989 WO2022137603A1 (ja) 2020-12-22 2021-06-09 判定方法、判定装置、及び判定プログラム

Publications (1)

Publication Number Publication Date
CN115039150A true CN115039150A (zh) 2022-09-09

Family

ID=78282073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180006842.6A Pending CN115039150A (zh) 2020-12-22 2021-06-09 判断方法、判断装置以及判断程序

Country Status (4)

Country Link
US (1) US20220292883A1 (zh)
JP (1) JP6956986B1 (zh)
CN (1) CN115039150A (zh)
WO (1) WO2022137603A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10867161B2 (en) * 2017-09-06 2020-12-15 Pixart Imaging Inc. Auxiliary filtering device for face recognition and starting method for electronic device
US20230103129A1 (en) * 2021-09-27 2023-03-30 ResMed Pty Ltd Machine learning to determine facial measurements via captured images
WO2023112237A1 (ja) * 2021-12-16 2023-06-22 日本電気株式会社 生体判定装置、生体判定方法、及び、記録媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4899552B2 (ja) * 2006-03-15 2012-03-21 オムロン株式会社 認証装置、認証方法、認証プログラム、これを記録したコンピュータ読み取り可能な記録媒体
WO2020110306A1 (ja) * 2018-11-30 2020-06-04 株式会社ショーケース 認証装置、認証方法、及びプログラム

Also Published As

Publication number Publication date
WO2022137603A1 (ja) 2022-06-30
US20220292883A1 (en) 2022-09-15
JP2022099130A (ja) 2022-07-04
JP6956986B1 (ja) 2021-11-02

Similar Documents

Publication Publication Date Title
JP4307496B2 (ja) 顔部位検出装置及びプログラム
CN108229278B (zh) 人脸图像处理方法、装置和电子设备
JP4845698B2 (ja) 眼部検出装置、眼部検出方法及びプログラム
CN115039150A (zh) 判断方法、判断装置以及判断程序
EP1970859B1 (en) Detecting method and detecting system for positions of face parts
US11232586B2 (en) Line-of-sight estimation device, line-of-sight estimation method, and program recording medium
JP2008192100A (ja) 瞼検出装置及びプログラム
CN105912126B (zh) 一种手势运动映射到界面的增益自适应调整方法
CN107844742A (zh) 人脸图像眼镜去除方法、装置及存储介质
Yoo et al. Red-eye detection and correction using inpainting in digital photographs
KR20130126386A (ko) 적응적 피부색 검출 방법, 그리고 이를 이용한 얼굴 검출 방법 및 그 장치
JP5242827B2 (ja) 顔画像処理装置、顔画像処理方法、電子スチルカメラ、デジタル画像処理装置およびデジタル画像処理方法
JPH07311833A (ja) 人物の顔の検出装置
Al-Rahayfeh et al. Enhanced eye gaze direction classification using a combination of face detection, CHT and SVM
CN115039148A (zh) 眼睛睁闭检测方法、眼睛睁闭检测装置以及眼睛睁闭检测程序
JP4831344B2 (ja) 目の位置の検出方法
JP5093540B2 (ja) 目の位置の検出方法および検出システム
CN115039149A (zh) 虹膜检测方法、虹膜检测装置以及虹膜检测程序
WO2023112237A1 (ja) 生体判定装置、生体判定方法、及び、記録媒体
JP2004030006A (ja) 眼検出装置、眼検出プログラム、そのプログラムを記録する記録媒体及び眼検出方法
US20220270407A1 (en) Image processing method, image processing device, and non-transitory computer readable storage medium
JP4762329B2 (ja) 顔画像処理装置および顔画像処理方法
JP4831361B2 (ja) 目の位置の検出方法および検出システム
WO2022137601A1 (ja) 視距離推定方法、視距離推定装置、及び視距離推定プログラム
JP4848302B2 (ja) 目検出装置、目検出方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination