CN105279479A - 面部认证装置以及面部认证方法 - Google Patents

面部认证装置以及面部认证方法 Download PDF

Info

Publication number
CN105279479A
CN105279479A CN201510288633.1A CN201510288633A CN105279479A CN 105279479 A CN105279479 A CN 105279479A CN 201510288633 A CN201510288633 A CN 201510288633A CN 105279479 A CN105279479 A CN 105279479A
Authority
CN
China
Prior art keywords
face
image
user
facial
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510288633.1A
Other languages
English (en)
Inventor
松永纯平
入江淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN105279479A publication Critical patent/CN105279479A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及面部认证装置以及面部认证方法。以较低的处理成本来进行可靠性高的面部认证。具有：面部图像取得部件，连续取得用户的面部图像；用户识别部件，基于所述面部图像取得部件取得的第一面部图像来识别所述用户；参数取得部件，基于所述面部图像取得部件取得的第二面部图像，取得与所述用户的表情或者面部的朝向相关联的参数即面部参数；追踪部件，提取所述第一面部图像中包含的面部的一部分的区域，在连续取得的多个面部图像间追踪该区域；以及认证部件，在所述用户识别部件进行了识别的用户是被注册的用户、且所述取得的面部参数满足规定的条件、且在所述多个面部图像间能够连续追踪到所述提取的区域的情况下，判断为认证成功。

Description

面部认证装置以及面部认证方法
技术领域
本发明涉及基于面部图像来认证用户的装置。
背景技术
近年，示出基于拍摄有人物的面部的图像(面部图像)来识别该人物的装置普及的征兆。例如能够通过从合法的人物的面部图像预先提取并保持特征量，与从所取得的面部图像提取出的特征量进行比较，从而实现基于面部图像的人物的识别。
另一方面，由于还考虑通过读入合法的人物的面部图像(例如照片等)，从而冒充该人物而通过认证这样的非法行为，所以在面部认证的领域中，防止冒充成为重要的课题。
例如，在专利文献1中记载的面部认证方法中，取得多个面部图像，使用该多个面部图像进行多次认证，仅在通过了全部认证的情况下，判定为是合法的用户。由此，例如，由于能够通过第一次无表情、第二次笑脸等不同的表情来进行多次认证，所以对于预先准备合法的用户的面部照片等而进行的攻击，能够提高抵抗性。
现有技术文献
专利文献
专利文献1：美国专利第8457367号说明书
根据专利文献1中记载的发明，与仅使用一张面部图像来进行认证的情况相比能够提高安全性。但是，由于基于面部图像的本人认证伴随着复杂的处理，所以若为了提高安全性而增加认证次数，则存在处理成本上升的问题。
此外，在面部认证中，将面部的特征数值化从而进行比较，所以在做出了表情的状态、即对表情肌肉施力的状态下，不能准确地取得面部的特征，存在虽然是合法的用户，但进行了不一致判定的情况。即，存在与通常的面部认证相比，认证失败的概率变高的问题。
发明内容
本发明是考虑上述的课题而完成的，其目的在于，提供以较低的处理成本来进行可靠性高的面部认证的技术。
为了解决上述课题，本发明所涉及的面部认证装置的特征在于，具有：面部图像取得部件，连续取得用户的面部图像；用户识别部件，基于所述面部图像取得部件取得的第一面部图像来识别所述用户；参数取得部件，基于所述面部图像取得部件取得的第二面部图像，取得与所述用户的表情或者面部的朝向相关联的参数即面部参数；追踪部件，提取所述第一面部图像中包含的面部的一部分的区域，在连续取得的多个面部图像间追踪该区域；以及认证部件，在所述用户识别部件进行了识别的用户是被注册的用户、且所述取得的面部参数满足规定的条件、且在所述多个面部图像间能够连续追踪到所述提取的区域的情况下，判断为认证成功。
本发明所涉及的面部认证装置是取得多个面部图像，使用该多个面部图像来进行用户的本人认证的装置。
面部图像取得部件是取得用户的面部图像的部件，例如是从在外部连接的照相机等取得面部图像的部件。另外，面部图像也可以不一定从照相机直接取得。例如，也可以从进出房间管理系统等其他系统取得。面部图像取得部件能够将多个面部图像作为连续的帧而取得。
此外，第一面部图像是用于识别图像中包含的面部是否是合法的用户(被注册的用户)的面部的图像。用户识别部件例如使用公知的技术来识别第一面部图像中包含的面部。
此外，第二面部图像是用于读取与用户的表情或者面部的朝向关联的参数(面部参数)的图像。面部参数例如也可以是表示特定的表情的程度的参数，也可以是表示面部的朝向的参数。此外，表情只要与面部的外观关联，则也可以不一定表示感情。例如，也可以是表示闭眼或嘴的开闭的程度、视线的方向等的参数。
参数取得部件例如使用公知的技术来取得与第二面部图像中包含的面部对应的面部参数。另外，第二面部图像也可以是多个图像。
此外，追踪部件是在连续取得的多个面部图像间追踪所取得的面部图像中包含的一部分的区域的部件。例如，从所取得的面部图像提取规定的器官(眼睛、眼睛附近、嘴、嘴附近等)，在不同的面部图像中搜索对应的器官，追踪移动目的地。
另外，追踪对象的区域也可以是与面部中包含的器官对应的区域，也可以是任意的形状的闭区域。例如，也可以将面部整体作为追踪对象。此时，也可以设定表示面部整体的矩形，在多个图像间进行追踪。
此外，追踪对象也可以是特征点等，追踪对象也可以是多个。
此外，认证部件是基于从用户识别部件、参数取得部件、追踪部件取得的信息来进行最终的认证的部件。具体而言，除了基于面部图像来识别用户的以往的处理之外，以“所取得的面部参数满足条件”、以及“在多个面部图像间能够连续追踪到所提取出的区域”为条件，在它们被全部满足的情况下，判断为认证成功。
另外，能够连续追踪到意味着追踪对象的区域在对象的全部帧中存在于图像区域中。即，在中间的帧中追踪对象的区域离开(flameout)或变得不能判定移动目的地的坐标的情况下，成为追踪失败。
此外，也可以是，其特征在于，所述面部图像取得部件在所述第一面部图像的取得定时和所述第二面部图像的取得定时之间，进一步取得一个以上的中间面部图像，所述追踪部件进一步使用所述中间面部图像来追踪所述提取的区域。
像这样，追踪部件也可以使用第一面部图像和第二面部图像之间的帧来进行区域的追踪。例如，也可以在面部图像取得部件的帧速率为30FPS的情况下，按每1/30秒进行追踪。
面部图像的取得间隔例如为1秒以内，优选的是0.5秒以内，更优选的是0.2秒以内。像这样，通过将面部图像的取得间隔设定为较短来监视追踪对象区域，从而能够防止更换向相机提示的面部照片等行为引起的误认证。
此外，也可以是，其特征在于，所述第二面部图像由在不同的定时取得的多个面部图像构成，所述参数取得部件进一步取得与该多个面部图像分别对应的多个面部参数，所述认证部件在所述取得的多个面部参数分别全部满足规定的条件的情况下，判断为认证成功。
第二面部图像也可以是多个，也可以分别与多个面部参数相关联。例如，也可以第一次使用表示高兴的程度的参数，第二次使用表示悲伤的程度的参数。通过这样，能够使认证中的安全性变得更稳固。
此外，也可以是，其特征在于，所述面部参数是将用户的表情数值化后的参数，也可以是，其特征在于，所述面部参数是将用户的面部的朝向数值化后的参数。
像这样，通过将面部参数作为数值而处理，从而能够容易地进行比较。另外，面部参数也可以是单一的值，也可以是多个值的集合(矢量)。
此外，也可以是，其特征在于，所述认证部件进一步取得所述面部参数的每单位时间的变化量，在所述变化量比规定的值大的情况下，中断认证处理。
此外，也可以是，其特征在于，所述追踪部件进一步取得追踪对象的区域的每单位时间的移动量，在所述移动量比规定的值大的情况下，判断为追踪失败。
也可以在面部参数剧烈地变化的情况、或者追踪对象的区域的每单位时间的移动量过大的情况下，作为不自然的状况而中断认证处理。通过这样，能够应对使用预先准备的多个面部图像(照片等)进行的冒充攻击。
此外，也可以是，其特征在于，所述认证部件在规定的时间内没有完成认证处理的情况下，中断认证处理。
在规定的时间内没有完成认证处理的情况下，能够估计为合法的用户以外正在尝试认证。在这样的情况下，优选从安全的观点出发，判断为不自然，中断认证处理。
此外，也可以是，其特征在于，所述追踪部件在对所述提取的区域进行追踪时，仅将处于该区域的附近的规定的范围作为对象来进行追踪。
在对象为人的面部的情况下，难以认为其在图像区域内剧烈地移动。因此，通过仅将进行追踪的对象的附近作为追踪范围，从而能够较低地抑制追踪所花费的处理成本。
另外，本发明能够特定为包含上述部件的至少一部分的面部认证装置。此外，本发明还能够特定为上述面部认证装置执行的面部认证方法。此外，本发明还能够特定为使计算机执行上述面部认证方法的程序。上述处理或部件只要不产生技术上的矛盾，能够自由地组合实施。
根据本发明，能够以较低的处理成本来进行可靠性高的面部认证。
附图说明
图1是第一实施方式所涉及的面部认证装置的系统结构图。
图2是人物识别阶段中的面部图像的例子。
图3是表情判定阶段中的面部图像的例子。
图4(A)～(C)是说明对追踪区域进行追踪的例子的图。
图5是第一实施方式中的面部认证处理的流程图。
图6(A)～(C)是第二实施方式中的面部图像的例子。
图7(A)～(C)是第三实施方式中的面部图像的例子。
标号说明
100面部认证装置
101面部图像取得部
102用户识别部
103表情判定部
104追踪部
105通信部
106图像生成部
107认证部
200门装置
具体实施方式
(系统结构)
以下，参照附图说明本发明的优选的实施方式。
本实施方式所涉及的面部认证装置是取得包含被认证者的面部的图像(以下，面部图像)，基于该图像来进行人物的认证的装置。此外，具有与具有电磁锁的门装置连接，在通过了认证的情况下，对该门进行开锁的功能。图1是本实施方式所涉及的面部认证装置100的系统结构图。
面部认证装置100由面部图像取得部101、用户识别部102、表情判定部103、追踪部104、通信部105、图像生成部106、认证部107构成。
面部图像取得部101是从朝向装置正面安装的照相机300取得面部图像的部件。面部图像取得部101能够以规定的帧速率连续取得面部图像。面部图像取得部101取得的面部图像分别实时供应至用户识别部102、表情判定部103、追踪部104。
另外，在实施方式的说明中，关于连续取得的面部图像之中的一张这样的含义，使用帧这样的语言，但帧和面部图像是等价的。
用户识别部102是检测面部图像取得部101取得的面部图像中包含的面部，基于该面部来识别人物的部件。具体而言，从面部图像提取与面部对应的区域，取得该面部的特征量。并且，进行与预先存储的特征量的对比，基于特征量的一致度(类似度)来识别人物。
表情判定部103是基于面部图像取得部101取得的面部图像，取得与表情相关的值(以下，面部参数)的部件。面部参数将高兴、愤怒、悲伤、惊愕、恐怖、厌恶、无表情等的程度以值来表示。关于将表情的程度以值来取得的方法，例如在特开2006－115406号公报等中公开，所以省略详细的说明。
追踪部104是在面部图像取得部101取得的多个面部图像间，对在该面部图像中设定的区域(以下，追踪区域)进行追踪的部件。追踪区域是与面部中包含的器官(例如，鼻子或眼睛)对应的区域，在第一实施方式中，设为包含被认证者的右眼的区域。
追踪部104判定在所输入的多个面部图像间，能够直至最后追踪到追踪区域，还是在途中追丢。在全部帧上追踪成功意味着在拍摄多个面部图像的期间，被认证者的面部持续存在于照相机300前，追踪失败意味着在途中被认证者的面部离开照相机前。在本实施方式中，像这样，通过追踪部104进行追踪，从而在认证阶段中，确认被认证者的面部持续存在于装置前。
通信部105是与装置外部进行通信的接口。在本实施方式中，对进行了有线连接的门装置200发送开锁信号从而将门开放。
图像生成部106是生成对与照相机300并排配置的显示器400进行输出的图像的部件。图像生成部106生成面部图像取得部101取得的图像、和包含对被认证者的指示(例如，请求进行特定的表情的指示)的图像，并将该图像通过显示器400提供给被认证者。
认证部107是分别控制面部图像取得部101、用户识别部102、表情判定部103、追踪部104、通信部105、图像生成部106的动作，进行对于被认证者的最终的认证的部件。详细的处理内容在后面叙述。
另外，面部图像取得部101、用户识别部102、表情判定部103、追踪部104、图像生成部106、认证部107也可以是设计为专用的硬件，也可以是软件模块。在作为软件而执行的情况下，辅助存储装置中存储的程序被加载至主存储装置，由CPU执行，从而各部件发挥作用。(CPU、辅助存储装置、主存储装置都未图示)
(认证处理的概要)
接着，说明面部认证装置100进行的认证处理的概要。图2所示的图像20是图像生成部106生成，且在进行认证的期间显示在显示器400中的图像。该图像是包含面部图像取得部101取得的被认证者的面部图像的图像。
面部认证装置100进行的认证处理能够分为基于面部图像来识别人物的阶段、和判定该人物的表情满足规定的条件的情况的阶段。
<人物识别阶段>
首先，说明基于面部图像来识别人物的阶段。将在此说明的阶段称为人物识别阶段。通过用户识别部102执行以下的各步骤，从而进行人物识别阶段。
(1)面部区域的检测
用户识别部102若从面部图像取得部101取得面部图像，则首先，从该面部图像检测包含人的面部的区域(面部区域)。在图2的例子中，标号21是所检测到的面部区域。面部区域的检测例如能够通过使用了纹理信息的图案匹配、使用了与面部整体的轮廓对应的模板的模板匹配来进行。此外，也可以进行基于构成面部的器官的模板匹配，也可以提取表示面部的一部分的区域或者点，基于提取结果来判定面部区域。除此之外，也可以通过检测面部图像中的皮肤色区域来判定面部区域。检测面部区域的处理也可以通过已知的任意方法来进行。
(2)特征点的配置
接着，用户识别部102在所检测到的面部区域上配置多个特征点。特征点例如基于面部的器官(例如、眼睛、鼻子、鼻孔、嘴、眉、颚、额等)的位置而配置。因此，用户识别部102首先从面部区域检测对象的器官。检测对象的器官也可以预先设定，也可以动态地决定。
并且，基于所检测到的器官的位置来配置特征点。另外，优选特征点配置为越接近器官则越密，越远离则越粗。此外，特征点的配置方法也可以使用按被认证者的年代或性别而不同的特征点。
(3)特征量的取得
接着，基于所配置的特征点，计算特征量。特征量例如能够基于通过盖博(Gabor)滤波器等的滤波器处理而得到的值来计算。
(4)人物的识别
接着，通过对所取得的特征量和预先存储的特征量进行比较，进行面部图像中包含的人物的识别。关于取得特征量的方法和进行比较的方法，利用公知的方法即可，所以省略详细的说明。
另外，在本例中，在检测到面部之后，配置特征点，使用该特征点来计算特征量，但也可以通过其他方法来进行人物的识别。例如，也可以从在上述(1)中取得的面部区域直接计算特征量，从而进行人物的识别。
<表情判定阶段>
接着，说明基于面部图像判定被认证者进行了规定的表情的情况的阶段。将在此说明的阶段称为表情判定阶段。在本实施方式中，表情判定部103取得面部参数，基于该面部参数进行判定。面部参数是表示特定的表情的程度的值，在本实施方式中，将高兴的程度设为在0～100的范围表示的值。
仅执行了如前述那样的人物识别阶段，即使能够识别面部图像中包含的面部是合法的人物的面部，也难以准确地判定该人物是否真的处于照相机前。例如，不能完全地排除正在尝试冒充的人物(冒充者)举起面部照片的可能性。因此，在本实施方式中，通过表情判定部103执行以下说明的处理，从而进一步取得面部参数，确认被认证者进行了与条件一致的表情的情况。
与用户识别部102进行的处理相同地，通过表情判定部103在面部图像上配置特征点，取得特征量，从而进行面部参数的取得。其中，在所取得的特征量不是用于识别个人的特征量，而是用于识别表情的特征量这样的点上不同。
此外，特征点的配置方法也成为针对表情的识别的配置方法。例如，在认证个人的情况下，以易于产生个体差异的器官(例如两眼、鼻子、嘴等)为中心来配置特征点，但在取得面部参数的情况下，以易于产生表情变化的器官(例如、两眼、眉、脸颊、额、嘴附近等)等为中心来配置特征点。
另外，在本例中，与人物的识别相同地，配置特征点，使用该特征点来计算特征量，但也可以通过其他方法来取得面部参数。例如，也可以从所取得的面部区域直接计算特征量，取得面部参数。
此外，表情判定部103通过与预先存储的按表情的特征量进行比较，从而计算面部参数。例如，在与预先设定的“高兴”的表情的特征量的一致度(类似度)为85％的情况下，“高兴：85％”这样的面部参数被计算。并且，判定所计算出的面部参数是否满足事先设定的条件。例如，在事先设定“高兴≥80％”这样的条件的情况下，判定为满足条件。
另外，在本实施方式中，使用了表示“高兴”的值作为面部参数，但面部参数也可以是与其他表情相关联的值。例如，也可以采用“愤怒”“悲伤”“惊愕”“恐怖”“厌恶”“无表情”这样的参数。此外，也可以分别计算与前述的多个表情的一致度，将具有该多个值的矢量作为面部参数而输出。
以上说明的表情判定阶段接着人物识别阶段执行。例如，如图2那样，取得无表情的状态的面部图像，在识别了人物之后，如图3那样，催促进行特定的表情，进行表情的判定。
<对追踪区域进行追踪的处理>
接着，说明追踪部104进行的追踪处理。
根据以上说明的两个阶段，能够基于面部图像来识别个人，能够基于所取得的面部参数来判定被认证者进行了规定的表情的情况。即，能够估计不是照片，而是人处于照相机前的情况。
但是，在冒充者将表情不同的多张照片举向照相机的情况下，存在装置误认为是合法的人物的顾虑。因此，本实施方式所涉及的面部认证装置使用在人物识别阶段中使用的面部图像和表情判定阶段中使用的面部图像之间取得的帧，判定两者是否有连续性。
关于该点详细地进行说明。
在被认证者实际上处于照相机前的情况下，在人物识别阶段中使用的面部图像和表情判定阶段中使用的面部图像之间取得的帧中，全部拍有该人物的面部。另一方面，在使用了照片等手段的情况下，在替换照片时面部离开。
因此，追踪部104从人物识别阶段开始至表情判定阶段结束为止，监视从面部图像取得部101供应的多个面部图像，判定被认证者的面部是否在图像内持续停留。
图4是说明追踪部104进行的处理的图。图4(A)是在开始人物识别阶段时取得的面部图像(以下，第一面部图像)，图4(C)是在开始表情判定阶段时取得的面部图像(以下，第二面部图像)。此外，图4(B)是在各阶段的中间取得的面部图像(以下，中间面部图像)。被认证者基于指示逐渐做出笑脸，所以图4(B)的面部图像中的“高兴”的值成为0％和85％的中间值。
追踪部104若取得第一面部图像，则在图像中设定追踪区域。追踪区域是用于追踪图像中的面部的存在的区域，在本实施方式中，是包含被认证者的右眼的矩形区域。追踪部104在提取出对象的器官(右眼)后，设定追踪区域。
另外，对象的器官能够通过使用了对应的模板的模板匹配来提取。除此之外，也可以基于所检测到的面部区域，判定对象的器官的位置。检测对象的器官的处理也可以通过已知的任意方法来进行。在本例中，图4中的标号41是被设定的追踪区域。
另外，在本例中，将与被认证者的面部中包含的器官对应的区域设为追踪区域，但追踪区域也可以不是与器官对应的区域。例如，也可以将与面部整体对应的区域(例如，包含面部整体的矩形区域)设为追踪区域。
此外，追踪部104在每次从面部图像取得部101被供应面部图像时，追踪所设定的追踪区域的位置。例如，在设定了追踪区域时，切出对应的图像，将该图像作为模板进行模板匹配。另外，在进行模板匹配时，也可以将以前一帧中的追踪区域的位置为中心的规定的范围(例如，标号42所示的范围)设为搜索范围。在面部认证中，难以认为被认证者的面部较大地移动，所以由此能够抑制搜索成本。
最终，追踪部104直至表情判定阶段结束为止继续追踪，在全部帧中能够确认到追踪区域的存在的情况下，判定为“追踪成功”。此外，在存在追丢了追踪区域的帧的情况下，判定为“追踪失败”。
在图4的例子中，由于在三张面部图像的任一个中都能够确认追踪区域41的存在，所以判定为追踪成功。即，本实施方式所涉及的面部认证装置在全部满足
(1)面部图像中包含的面部被识别为是合法的人物的面部
(2)该人物的表情满足条件
(3)从上述(1)开始至上述(2)结束为止追踪区域的追踪成功
这三个条件的情况下，判定为认证成功，进行门装置200的开锁。在上述的任一个没有满足的情况下，不进行开锁。
<处理流程图>
说明用于实现以上说明的处理的处理流程图。
图5是本实施方式所涉及的面部认证装置100执行的处理的流程图。该流程图的执行若检测到被认证者站在照相机300前则开始，由认证部107控制。
首先，在步骤S11中，用户识别部102取得从面部图像取得部101分发的面部图像(第一面部图像)。
接着，在步骤S12中，用户识别部102通过前述的处理，从该第一面部图像提取特征量。
接着，在步骤S13中，将所取得的特征量、和用户识别部102中预先存储的与多个人的面部对应的特征量进行比较，基于一致度(类似度)来进行人物的识别。其结果，在判定为是被注册的人物的情况下，处理转移至步骤S14。在判定为是没有注册的人物的情况下，经由图像生成部106将该意旨通知给被认证者，处理返回步骤S11。
在步骤S14中，追踪部104从自面部图像取得部101分发的第一面部图像提取与右眼对应的区域，设定为追踪区域。
接着，在步骤S15中，表情判定部103以及追踪部104取得从面部图像取得部101分发的第二面部图像。
接着，在步骤S16中，追踪部104将前一帧和在步骤S15中取得的帧进行比较，对追踪区域进行追踪。即，确认所提取出的右眼区域是否被包含于双方。其结果，在追踪成功的情况下(步骤S17－“是”)，处理转移至步骤S18。在帧间追踪失败的情况下(步骤S17－“否”)，即追丢了被认证者的右眼的情况下，经由图像生成部106将该意旨通知给被认证者，处理返回步骤S11。
在步骤S18中，表情判定部103从第二面部图像取得特征量，通过前述的处理取得面部参数。
接着，在步骤S19中，表情判定部103判定所取得的面部参数是否满足预定的条件。例如，在表示“高兴”的值为80％以上是条件的情况下，参照面部参数中包含的该值，在80％以上的情况下，判定为通过了条件，转移至步骤S20。在没有满足条件的情况下，转移至步骤S15，继续第二面部图像的取得。
最终，在步骤S20中，认证部107经由通信部105将开锁命令发送至门装置200，门锁被开放。
在以往的面部认证装置中，通过进行一次或多次面部认证处理来确认被认证者的合法性，存在成本和可靠性的折衷的问题。即，在一次认证中，存在非法认证被通过的顾虑，若为了防止该情况而进行多次认证，则存在处理成本上升的问题。
相对于此，本实施方式所涉及的面部认证装置除了通常的面部认证处理之外，还判定表情满足规定的条件的情况。此外，通过在面部图像中设定局部区域来进行追踪，从而确认双方的处理对象是相同的面部。由此，能够排除使用了照片等的非法的试行。例如，在本人以外的人物使用面部照片等来欺骗装置的情况下，通过一张面部照片，不能提供符合所指定的面部参数的面部。假设，即使准备了二张以上的面部照片，在更换照片时，追踪中的区域离开，所以追踪失败。
此外，判定表情的处理不需要用于识别个人的处理那样高的精度。即，能够提供将花费成本的处理抑制为最小限度，且可靠性高的面部认证技术。
另外，在第一实施方式中，在完全追丢了追踪区域的情况下判定为追踪失败，但即使在能够在帧间追踪到追踪区域的情况下，也可以在该移动量比规定的阈值大的情况下，判定为追踪失败。这是因为在追踪区域在帧间不自然地较大移动的情况下，能够估计冒充者替换照片等。
(第二实施方式)
在第一实施方式中，在表情判定阶段中，使被认证者做出所指定的表情，根据面部参数进行表情的判定。相对于此，第二实施方式是使被认证者做出多个表情，在全部通过的情况下，判断为认证成功的实施方式。
第二实施方式所涉及的面部认证装置的结构由于与第一实施方式相同，所以省略详细的说明，仅说明处理的不同点。
在第二实施方式中，多次重复步骤S15～步骤S19的处理，例如，如第一次为笑脸、第二次为怒脸那样，每次重复时使被认证者做出不同的表情，表情判定部103对其进行判定。
图6是第二实施方式中提示给被认证者的画面的例子。图6(A)是人物识别阶段完成的状态下的画面。在此，向被认证者进行指示使其做出笑脸，在步骤S19中，确认得到与“高兴”对应的规定的面部参数。此外，在第二次循环中，如图6(B)所示，向被认证者进行指示使其做出怒脸，在步骤S19中，确认得到与“愤怒”对应的规定的面部参数。最终，如图6(C)那样，成为认证成功的状态。
另外，追踪部104进行的追踪动作与第一实施方式相同。即，直至表情判定阶段完成为止，持续帧间的追踪区域的追踪，在追丢了追踪区域的情况下，认证处理被中断。
根据第二实施方式，由于使被认证者做出所指定的多个表情，所以能够使安全性变得更稳固。
另外，在前述的说明中，没有设置认证中的时间限制，但在开始认证处理至规定的时间经过为止没有完成认证的情况下，也可以作为认证失败而中断处理。
此外，也可以取得按帧的面部参数的变化的程度，在面部参数的变化量比规定的阈值大的情况下，判定为认证失败。这是因为在面部参数在帧间不自然地较大变动的情况下，能够估计冒充者替换照片等。
此外，在第二实施方式中，列举了持续做出“高兴”这样的表情、“愤怒”这样的表情的例子，但也可以使用其他表情的组合。此外，也可以从多个表情之中每次随机决定所使用的表情并向被认证者进行指示。
(第三实施方式)
在第一或第二实施方式中，表情判定部103判定了被认证者的表情。与此相对，第三实施方式是判定被认证者的面部的朝向来代替判定表情的实施方式。
在第三实施方式中，表情判定部103被置换为面部朝向判定部108(未图示)，用于判定被认证者的面部的朝向。此外，在第三实施方式中，面部参数不是与被认证者的表情相关的参数，而是成为表示被认证者的面部的朝向的参数。例如，是在将正面设为0度的情况下的表示上下左右的角度的参数。关于其他部件，与第一实施方式相同，所以省略详细的说明，仅说明处理的不同点。
在第三实施方式中，在步骤S18中，代替判定被认证者的表情，判定被认证者的面部的朝向朝向了规定的方向的情况。例如，如图7所示，在进行了朝向右45度方向的指示后，判定被认证者的面部的朝向是否处于规定的范围(例如，右35度～55度的范围)。
追踪部104进行的追踪动作与第一实施方式相同。即，直至表情判定阶段完成为止，持续帧间的追踪区域的追踪，在追丢了追踪区域的情况下，认证处理被中断。其中，在第三实施方式中，由于被认证者的面部的朝向变化，优选为考虑该变化而设定追踪区域。例如，也可以将追踪区域设定为鼻子等的、即使面部的朝向变化追丢的顾虑也低的器官。另外，追踪区域也可以是与面部中包含的器官以外对应的区域。例如，也可以是包含面部整体的矩形区域等。
一般而言，判定面部的朝向的处理能够以比识别人物或表情的处理低的处理成本来执行。因此，根据第三实施方式，能够与第一或第二实施方式相同地降低整体的处理成本。
(变形例)
上述的实施方式只是一例，本发明能够在不脱离其主旨的范围内适当变更而实施。
例如，在实施方式的说明中，列举了使用多个中间图像来对追踪区域进行追踪的例子，但不一定需要使用中间图像。
此外，在实施方式的说明中，例示了七种表情(高兴、愤怒、悲伤、惊愕、恐怖、厌恶、无表情)，但也可以使用与所例示的表情以外相关联的面部参数。例如，也可以使用表示闭眼的程度或视线的方向、嘴的开闭的程度等的面部参数。
此外，在实施方式的说明中，列举了将表情数值化后的参数、和将面部的朝向数值化后的参数作为面部参数的例子，但还能够采用与用户的面部的外观关联的其他参数。
此外，在第一以及第二实施方式中，列举了向被认证者指示做出特定的表情的例子，但在被认证者预先掌握应做出怎样的表情的情况下，也可以不进行具体的指示。例如，也可以不指示“笑脸”“愤怒”这样的具体的表情，仅通知确认预先决定的表情。此外，在这样的情况下，也可以不将图像提供给被认证者。例如，也可以仅通过灯或声音来通知进行认证步骤。
此外，也可以直至认证成功为止完全不进行通知。像这样，也可以对合法的人物以外不提供线索。
此外，在实施方式的说明中，使用照相机取得面部图像，但只要能够取得面部图像，则也可以使用照相机以外。例如，也可以设为经由网络从远处取得面部图像的结构。
此外，在实施方式的说明中，将面部中包含的器官设为追踪区域，但追踪的对象也可以是器官以外，也可以是面部图像中设定的特征点等。只要能够确认被认证者的面部持续存在，则追踪的对象可以任意设定。

Claims (11)

1.一种面部认证装置，其特征在于，具有：
面部图像取得部件，连续取得用户的面部图像；
用户识别部件，基于所述面部图像取得部件取得的第一面部图像来识别所述用户；
参数取得部件，基于所述面部图像取得部件取得的第二面部图像，取得与所述用户的表情或者面部的朝向相关联的参数即面部参数；
追踪部件，提取所述第一面部图像中包含的面部的一部分的区域，在连续取得的多个面部图像间追踪该区域；以及
认证部件，在所述用户识别部件进行了识别的用户是被注册的用户、且所述取得的面部参数满足规定的条件、且在所述多个面部图像间能够连续追踪到所述提取的区域的情况下，判断为认证成功。
2.如权利要求1所述的面部认证装置，其特征在于，
所述面部图像取得部件在所述第一面部图像的取得定时和所述第二面部图像的取得定时之间，进一步取得一个以上的中间面部图像，
所述追踪部件进一步使用所述中间面部图像来追踪所述提取的区域。
3.如权利要求1或2所述的面部认证装置，其特征在于，
所述第二面部图像由在不同的定时取得的多个面部图像构成，
所述参数取得部件进一步取得与该多个面部图像分别对应的多个面部参数，
所述认证部件在所述取得的多个面部参数满足与各个面部参数对应的规定的条件的情况下，判断为认证成功。
4.如权利要求1至3的任一项所述的面部认证装置，其特征在于，
所述面部参数是将用户的表情数值化后的参数。
5.如权利要求1至3的任一项所述的面部认证装置，其特征在于，
所述面部参数是将用户的面部的朝向数值化后的参数。
6.如权利要求1至5的任一项所述的面部认证装置，其特征在于，
所述认证部件进一步取得所述面部参数的每单位时间的变化量，在所述变化量比规定的值大的情况下，中断认证处理。
7.如权利要求1至6的任一项所述的面部认证装置，其特征在于，
所述追踪部件进一步取得追踪对象的区域的每单位时间的移动量，在所述移动量比规定的值大的情况下，判断为追踪失败。
8.如权利要求1至7的任一项所述的面部认证装置，其特征在于，
所述认证部件在规定的时间内没有完成认证处理的情况下，中断认证处理。
9.如权利要求1至8的任一项所述的面部认证装置，其特征在于，
所述追踪部件在对所述提取的区域进行追踪时，仅将处于该区域的附近的规定的范围作为对象来进行追踪。
10.一种面部认证方法，由面部认证装置进行，其特征在于，包含：
面部图像取得步骤，连续取得用户的面部图像；
面部认证步骤，基于所取得的第一面部图像来识别所述用户；
参数取得步骤，基于所取得的第二面部图像，取得与所述用户的表情或者面部的朝向相关联的参数即面部参数；
追踪步骤，提取所述第一面部图像中包含的面部的一部分的区域，在连续取得的多个面部图像间追踪该区域；以及
认证步骤，在所述面部认证步骤中进行了识别的用户是被注册的用户、且所述取得的面部参数满足规定的条件、且在所述多个面部图像间能够连续追踪到所述提取的区域的情况下，判断为认证成功。
11.一种程序，使计算机执行权利要求10所述的面部认证方法的各步骤。
CN201510288633.1A 2014-06-26 2015-05-29 面部认证装置以及面部认证方法 Pending CN105279479A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-131594 2014-06-26
JP2014131594A JP2016009453A (ja) 2014-06-26 2014-06-26 顔認証装置および顔認証方法

Publications (1)

Publication Number Publication Date
CN105279479A true CN105279479A (zh) 2016-01-27

Family

ID=53488145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510288633.1A Pending CN105279479A (zh) 2014-06-26 2015-05-29 面部认证装置以及面部认证方法

Country Status (4)

Country Link
US (1) US20150379332A1 (zh)
EP (1) EP2960828A1 (zh)
JP (1) JP2016009453A (zh)
CN (1) CN105279479A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875335A (zh) * 2017-10-23 2018-11-23 北京旷视科技有限公司 人脸解锁与录入表情和表情动作的方法、以及认证设备和非易失性存储介质
CN109145700A (zh) * 2017-06-19 2019-01-04 卡西欧计算机株式会社 表情判定装置、表情判定方法以及记录介质
CN110119666A (zh) * 2018-02-06 2019-08-13 法国伊第米亚身份与安全公司 面部验证方法
CN110378181A (zh) * 2018-04-13 2019-10-25 欧姆龙株式会社 图像解析装置、图像解析方法及记录介质

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9842250B2 (en) 2015-05-13 2017-12-12 Capital One Services, Llc Systems and methods for authenticating a user based on captured image data
US10049287B2 (en) * 2015-05-22 2018-08-14 Oath Inc. Computerized system and method for determining authenticity of users via facial recognition
JP6956225B2 (ja) * 2015-10-08 2021-11-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 制御方法、個人認証装置、及び、記録媒体
CN106562792B (zh) 2015-10-08 2021-08-06 松下电器（美国）知识产权公司 信息提示装置的控制方法和信息提示装置
RU2018128778A (ru) * 2016-01-08 2020-02-10 Виза Интернэшнл Сервис Ассосиэйшн Защищенная аутентификация с использованием биометрических входных данных
US9619723B1 (en) * 2016-02-17 2017-04-11 Hong Kong Applied Science and Technology Research Institute Company Limited Method and system of identification and authentication using facial expression
JP6573580B2 (ja) * 2016-06-06 2019-09-11 株式会社ソフトアップＪ トレーニング支援装置
CN107992728B (zh) * 2016-10-27 2022-05-20 腾讯科技（深圳）有限公司 人脸验证方法及装置
CN106649712B (zh) * 2016-12-20 2020-03-03 北京小米移动软件有限公司 输入表情信息的方法及装置
EP3379471A1 (en) 2017-03-21 2018-09-26 Canon Kabushiki Kaisha Image processing apparatus, method of controlling image processing apparatus, and storage medium
JP6992376B2 (ja) * 2017-09-29 2022-01-13 株式会社セガ 生体認証装置
US10061996B1 (en) * 2017-10-09 2018-08-28 Hampen Technology Corporation Limited Face recognition method and system for personal identification and authentication
CN110634174B (zh) * 2018-06-05 2023-10-10 深圳市优必选科技有限公司 一种表情动画过渡方法、系统及智能终端
US10956548B2 (en) * 2018-10-09 2021-03-23 Lenovo (Singapore) Pte. Ltd. User authentication via emotion detection
US10853628B2 (en) * 2018-11-14 2020-12-01 Microsoft Technology Licensing, Llc Face recognition in noisy environments
WO2021019807A1 (ja) * 2019-07-31 2021-02-04 真旭 徳山 端末装置、情報処理方法、及びプログラム
JP7287572B2 (ja) * 2020-03-19 2023-06-06 日本電気株式会社 訪問推進装置、システム、方法及びプログラム
WO2021199853A1 (ja) * 2020-03-30 2021-10-07 日本電気株式会社 情報登録装置、情報登録システム、情報登録方法およびプログラム記憶媒体
WO2022177554A1 (en) * 2021-02-17 2022-08-25 Futurewei Technologies, Inc. Methods and devices using facial expression recognition

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281595A (zh) * 2007-04-04 2008-10-08 索尼株式会社 用于面部确认的装置和方法、以及计算机程序
CN101482919A (zh) * 2008-01-08 2009-07-15 欧姆龙株式会社 人脸核对装置
US20130015946A1 (en) * 2011-07-12 2013-01-17 Microsoft Corporation Using facial data for device authentication or subject identification

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006115406A (ja) 2004-10-18 2006-04-27 Omron Corp 撮像装置
US8548207B2 (en) * 2011-08-15 2013-10-01 Daon Holdings Limited Method of host-directed illumination and system for conducting host-directed illumination
US8457367B1 (en) 2012-06-26 2013-06-04 Google Inc. Facial recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281595A (zh) * 2007-04-04 2008-10-08 索尼株式会社 用于面部确认的装置和方法、以及计算机程序
CN101482919A (zh) * 2008-01-08 2009-07-15 欧姆龙株式会社 人脸核对装置
US20130015946A1 (en) * 2011-07-12 2013-01-17 Microsoft Corporation Using facial data for device authentication or subject identification

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BING-ZHONG JING ET AL.: "ANTI-SPOOFING SYSTEM FOR RFID ACCESS CONTROL COMBINING WITH FACE RECOGNTION", 《IEEE》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145700A (zh) * 2017-06-19 2019-01-04 卡西欧计算机株式会社 表情判定装置、表情判定方法以及记录介质
CN108875335A (zh) * 2017-10-23 2018-11-23 北京旷视科技有限公司 人脸解锁与录入表情和表情动作的方法、以及认证设备和非易失性存储介质
CN108875335B (zh) * 2017-10-23 2020-10-09 北京旷视科技有限公司 人脸解锁与录入表情和表情动作的方法、以及认证设备和非易失性存储介质
US10922533B2 (en) 2017-10-23 2021-02-16 Beijing Kuangshi Technology Co., Ltd. Method for face-to-unlock, authentication device, and non-volatile storage medium
CN110119666A (zh) * 2018-02-06 2019-08-13 法国伊第米亚身份与安全公司 面部验证方法
CN110119666B (zh) * 2018-02-06 2024-02-23 法国伊第米亚身份与安全公司 面部验证方法
CN110378181A (zh) * 2018-04-13 2019-10-25 欧姆龙株式会社 图像解析装置、图像解析方法及记录介质

Also Published As

Publication number Publication date
US20150379332A1 (en) 2015-12-31
JP2016009453A (ja) 2016-01-18
EP2960828A1 (en) 2015-12-30

Similar Documents

Publication Publication Date Title
CN105279479A (zh) 面部认证装置以及面部认证方法
KR101242390B1 (ko) 사용자를 인증하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
KR102483642B1 (ko) 라이브니스 검사 방법 및 장치
EP3647129A1 (en) Vehicle, vehicle door unlocking control method and apparatus, and vehicle door unlocking system
CN105844128B (zh) 身份识别方法和装置
CN109118616A (zh) 门禁控制方法及门禁控制装置
KR102401170B1 (ko) 복합 인증 장치 및 방법
CN106599660A (zh) 终端安全验证方法及装置
KR101159164B1 (ko) 위조 영상 판별 장치 및 그 방법
KR102286468B1 (ko) 딥 러닝을 통해 생성된 가짜 동영상의 무결성 검증 방법 및 시스템
CN109766785B (zh) 一种人脸的活体检测方法及装置
CN106068512A (zh) 用于在移动装置上验证用户的方法和设备
CN106296950A (zh) 一种基于人脸识别的门禁系统
CN109886080A (zh) 人脸活体检测方法、装置、电子设备及可读存储介质
JP2015001790A (ja) 顔認証システム
CN107424266A (zh) 人脸识别解锁的方法和装置
CN107590485A (zh) 一种用于快递柜的身份验证方法、装置和取快递系统
CN206162736U (zh) 一种基于人脸识别的门禁系统
US20220189212A1 (en) Authentication device, authentication method, and recording medium
CN109389028A (zh) 基于动作分析的人脸识别方法、装置、设备及存储介质
CN110399833B (zh) 身份识别方法、建模方法及设备
CN109034014A (zh) 基于人脸微表情识别的活体检测方法
CN108921080A (zh) 图像识别方法、装置及电子设备
CN112069954A (zh) 一种活体微表情检测方法及系统
CN107491759A (zh) 一种混合模式登记方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160127

WD01 Invention patent application deemed withdrawn after publication