CN104364798B - 用于面部验证的系统及方法 - Google Patents

用于面部验证的系统及方法 Download PDF

Info

Publication number
CN104364798B
CN104364798B CN201380030542.7A CN201380030542A CN104364798B CN 104364798 B CN104364798 B CN 104364798B CN 201380030542 A CN201380030542 A CN 201380030542A CN 104364798 B CN104364798 B CN 104364798B
Authority
CN
China
Prior art keywords
face
image data
human face
skin
nir
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380030542.7A
Other languages
English (en)
Other versions
CN104364798A (zh
Inventor
张晓鹏
张晓康
王计来
周晓明
邱刚
沈亮
冯晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104364798A publication Critical patent/CN104364798A/zh
Application granted granted Critical
Publication of CN104364798B publication Critical patent/CN104364798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Algebra (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明揭示用于检测图像中的活人面部的系统及方法。所述方法及系统能够接收包含人面部的多谱图像数据。所述多谱图像数据可包括可见光图像数据及近红外线NIR图像数据。所述多谱图像数据可经处理以检测所述人面部。可使所述可见光图像数据中的所述所检测人面部与所述NIR图像数据中的所述所检测人面部相关联以确定所述所检测人面部是否是活人面部。

Description

用于面部验证的系统及方法
技术领域
本发明涉及用于面部验证的系统及方法。明确地说，本发明涉及用于检测人面部且确定所检测人面部是否为活人面部的系统及方法。
背景技术
面部检测及/或验证系统可在多种情境中有用，包含(例如)父母控制应用程序、法律执行、移动银行及安全应用程序。常规自动面部检测系统可检测图像中的人面部。然而，此等系统一般不能确定图像中所检测的面部是否从活人面部捕捉，或仅从照片或人面部的其它再现捕捉。
举例来说，在一些情况下，所检测面部可来自人造来源，例如照片中的面部、显示屏幕上面部的图像、面罩、面部的模型再现、人体模特、或任何其它无生命面部。想要产生假身份证件的人(例如)可使用别人的面部照片或面罩来尝试欺骗面部检测系统。此外，甚至对于虑及眨眼及其它类型的面部运动的复杂系统来说，检测活的面部可由于使用别人的面部的视频流来代替活的面部而受挫。
发明内容
在一个实施方案中，揭示一种用于检测图像中的活人面部的方法。所述方法可包含接收包含人面部的多谱图像数据，所述多谱图像数据包括可见光图像数据及近红外线(NIR)图像数据。所述方法可包括处理所述多谱图像数据以检测人面部，及可进一步包含使所述可见光图像数据中的所检测人面部与所述NIR图像数据中的所检测人面部相关联以确定所检测人面部是否是活人面部。
在另一实施方案中，揭示一种用于检测图像中的活人面部的成像系统。成像系统可包含至少一个图像传感器，其经配置以捕捉包括可见光图像数据及近红外线(NIR)图像数据的多谱图像数据，其中所述多谱图像数据包含人面部。另外，成像系统可包含面部检测模块，其经配置以分析所述多谱图像数据以检测所述人面部。成像系统还可包含皮肤验证模块，其经配置以分析所述所检测面部的多谱图像数据及确定所检测人面部是否是活人面部。
在另一实施方案中，揭示一种成像系统。所述成像系统可包含用于接收包含人面部的多谱图像数据的装置，所述多谱图像数据包括可见光图像数据及近红外线(NIR)图像数据。所述系统可进一步包含用于处理所述多谱图像数据以检测所述人面部的装置。另外，所述系统可包含用于使所述可见光图像数据中的所检测人面部与所述NIR图像数据中的所检测人面部相关联以确定所述所检测人面部是否是活人面部的装置。
在另一实施方案中，揭示一种非暂时性计算机可读媒体。所述非暂时性计算机可读媒体可具有存储在其上的代码，所述代码被执行时执行一方法。所述方法可包括接收包含人面部的多谱图像数据，所述多谱图像数据包括可见光图像数据及近红外线(NIR)图像数据。所述方法可进一步包括处理所述多谱图像数据以检测所述人面部。另外，所述方法可包含使所述可见光图像数据中的所检测人面部与所述NIR图像数据中的所检测人面部相关联以确定所述所检测人面部是否是活人面部。
附图说明
图1为根据一个实施方案的面部验证系统的示意图。
图2为说明用于使用多谱成像数据来验证活人面部的方法的一个实施方案的流程图。
图3为说明用于验证活人面部的方法的另一实施方案的流程图。
图4说明来自图3中所呈现的方法的实验结果。
图5为说明用于确定所捕捉人面部是否为活人面部的一个方法的流程图。
图6A为说明用于确定像素是代表活人皮肤还是非活人皮肤的方法的流程图。
图6B为说明根据一个实施方案的确定性方法的流程图。
图6C为说明根据另一实施方案的概率性方法的流程图。
图6D及6E为用于导出概率密度函数的实验结果的图表。
图6F为说明用于确定面部是否为活人面部的一个方法的流程图。
图7A-7B为根据各种实施方案的用户接口的图像。
图8A-8B为说明用于验证活人面部的各种其它实施方案的流程图。
具体实施方式
系统概述
本文所揭示的实施方案提供用于使用具有一或多个成像传感器的电子装置来验证活人面部的系统、方法及设备。举例来说，在一个实施例中，系统可包含可见光成像传感器及红外光成像传感器。在图像捕捉期间，系统可藉由组合来自两传感器的信息对比照片或视频来检测所捕捉面部是否来自活人。举例来说，在一些波长下，来自红外光成像传感器的数据可用以确定是否存在从所捕捉面部散发的热，而在其它波长下，来自红外线成像传感器的数据可用以捕捉来自所述面部的详细纹理信息。在另一实施例中，所述系统可确定对应于所捕捉面部的像素是否为来自活的皮肤的像素，如下所述。所属领域的技术人员将认识到所揭示实施例可实施在硬件、软件、固件或其任何组合中。
在以下描述中，给定特定细节以提供实例的透彻理解。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述实例。举例来说，可用框图展示电组件/装置以便不在不必要的细节方面模糊所述实例。在其它例子中，可详细展示此类组件、其它结构及技术以进一步解释所述实例。
还应注意可将实例描述为过程，所述实例经描绘为流程图、流图、有限状态图、结构图或框图。尽管流程图可将操作描述为顺序过程，但可平行或同时执行许多操作，且可重复所述过程。另外，可重新布置操作的次序。过程在其操作完成时终止。过程可对应于方法、功能、程序、子例程、子程序等。当过程对应于软件函式时，其终止可对应于将所述函式返回到调用函式或主函式、或子例程或相同功能性的类似完成。
所属领域的技术人员将了解，可使用多种不同技艺及技术中的任一者来表示信息及信号。举例来说，可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在以上描述中始终参考的数据、指令、命令、信息、信号、位、符号及码片。
图1说明用于验证成像人面部为活人面部的面部验证系统1的一个实施方案。面部验证系统1包含多谱成像系统2。多谱成像系统2可经配置以包含多谱成像传感器，其可感测包含至少可见光波长及近红外线(NIR)光波长的宽带波长。多谱成像传感器可经配置以检测在约390nm与约1400nm之间的波长。当然，成像传感器还可同样经配置以检测更宽范围的波长。在一些实施方案中，电荷耦合装置(CCD)可用作多谱成像传感器。在其它实施方案中，CMOS成像传感器可用作多谱成像传感器。
在其它实施方案中，多谱成像系统2可包含两个单独传感器来代替多谱成像传感器。在此实施例中，多谱成像系统2可包含可见光传感器及单独NIR传感器。举例来说，多谱成像系统2可包含例如CCD/CMOS等第一传感器，其能够检测至少在约390nm与约800nm之间的范围中的可见光。多谱成像系统2可进一步包含例如CCD/CMOS等第二传感器，其能够检测在约800nm与约1400nm之间的范围中的NIR光。在一些实施方案中，用于可见及NIR传感器的波长范围可重叠或可甚至为实质上相同的。举例来说，在各种实施方案中，由艾纳成像公司(Aptina Imaging)(加州圣荷西)制造的MT9M112传感器可用作可见光传感器，及由艾纳成像公司(加州圣荷西)制造的MT9M001传感器可用作NIR传感器。所属领域的技术人员将了解，其它类型的传感器是可能的。在一些实施方案中，成像滤波器(例如NIR通滤波器)可用于合适的CCD/CMOS上以仅检测NIR数据。所属领域的技术人员将了解各种其它传感器或其组合可用以捕捉可见及NIR图像数据。
面部验证系统1可进一步包含存储器3及处理器4。存储器3及处理器4经配置以彼此且与多谱成像传感器2电通信。面部验证系统1还具有能够存储可由处理器3执行的各种软件模块的储存装置5。在一些实施方案中，处理器4可从多谱成像系统2接收数据及发射数据到多谱成像系统2，且可通过执行存储在储存装置5中的软件模块中的计算机实施指令而对所述数据操作。
储存装置5可为任何合适的计算机可读存储媒体，例如非暂时性存储媒体。储存装置5可包括任何数目个软件模块。举例来说，通信模块10及预处理模块11可存储在储存装置5上。通信模块10可包括管理面部验证系统1的组件之间的数据流的计算机实施指令。预处理模块11可经配置以在对数据(例如从多谱成像系统2接收的图像数据)执行其它操作之前对所述数据进行预处理。储存装置5还可包含用户接口模块12。用户接口模块可包括用于实施用户接口6的指令。如将在下文参看图7A-7B更详细论述，在一些实施方案中，可在系统所检测面部周围绘制虚拟框以供用户观察，且可在用户接口6上显示活皮肤概率比非活皮肤概率高的像素的百分比。其它用户接口(包含图形用户接口(GUI))可由存储在用户接口模块12中的指令控制或实施。
存储装置5进一步包含面部检测模块13。面部检测模块13可包含可检测图像中的人面部的软件。在一些实施方案中，面部检测模块13可使用已知技术来检测及验证图像中所捕捉面部的几何形状。在一些实施方案中，面部检测模块13可经配置以检测面部轮廓，而在其它实施方案中，面部检测模块13可检测面部所定位的大体区域(例如，面部定位于特定正方形还是矩形区域内)。在一个实施方案中，例如，日本京都的欧姆龙(OMRON)公司所制造的OKAO视觉面部感测技术可由面部检测模块13来使用。面部检测模块13的其它实施方案是可能的，且因此实施例并不限于用于检测图像中的面部的任何特定方法。
还可将皮肤验证模块14存储在存储装置5中。如本文将更详细描述，皮肤验证模块14可包含用于验证人面部的图像中的皮肤是活人皮肤(与从照片或其它人造人面部而捕捉的图像所产生的非活皮肤相对)的计算机实施指令。在一些实施方案中，皮肤验证模块14还可验证人体的其它部位上的皮肤是活人皮肤。储存装置5还包含用户通知模块15。用户通知模块15可经配置以通知用户所检测面部为活人面部或非活人面部。在一些实施方案中，用户通知模块15能够通知用户哪些像素被确定为皮肤像素或非活皮肤像素。而且，如图1中所示，可根据需要将其它处理模块16存储在存储装置5中以实施用于系统1的各种其它功能性。
面部验证系统1包含用户接口6。用户接口6可使系统1的用户能够与系统交互，且有效地使用各种模块来验证所成像面部为图像中的活人面部。举例来说，用户接口6可包含一或多个显示器以显示所捕捉图像及/或与面部验证操作相关的其它数据。显示器还可经配置以显示图形用户接口(GUI)以进一步增强系统1的可用性。用户接口6可包含各种音频装置(例如麦克风、扬声器)或经配置以接收或发射声音的其它装置。在一些实施方案中，用户接口6可包含各种外围装置，包含(例如)键盘、鼠标、打印机及其它输入/输出装置。
面部验证系统1可实施于移动装置上，包含移动电话或智能电话、平板计算机、膝上型计算机、数码相机或类似者。通过将多谱成像系统2、存储器3、处理器4、存储装置5及用户接口6集成在移动装置上，可有利地使用面部验证系统1而不需要系统保持处于固定位置。然而，在其它实施方案中，面部验证系统1可包括桌上型计算机、服务器、计算机工作站或其它类型的计算装置。多谱成像系统2可与其它计算机硬件集成，或多谱成像系统2可与计算装置分离，例如作为单独摄像机或多个摄像机。
多谱成像概述
图2为说明用于使用多谱成像数据来验证活人面部的方法20的一个实施方案的流程图。在方框21中，捕捉多谱图像数据。多谱图像数据可包括跨越至少可见光及NIR光谱的图像数据。举例来说，可通过多谱成像系统2捕捉在约390nm与约1400nm之间的波长范围内的图像数据。通过利用跨越可见及NIR波长两者的图像数据，与图像数据限于较窄光谱的情况相比，可感测场景或物体的更丰富细节。举例来说，在一些情况下，NIR图像数据可产生比对应可见光图像数据平滑的表面。
在于方框21捕捉图像之后，方法20移动到方框22，在方框22中在所捕捉图像中检测人面部。面部检测的任何合适方法可用以检测图像中的面部。举例来说，如上所述，面部检测模块13可检测关于所捕捉面部的几何形状的细节。或者，面部检测模块13可检测面部所位于的大体区域，例如在图像中的特定框内。
然而，如上文解释，面部检测可不能够确定所检测面部为活人面部还是面部的人造再现，例如从照片捕捉的图像、面罩、面部模块或模具、或任何其它人造人面部。在于方框22中检测面部之后，方法20移动到方框23，在方框23中面部验证系统1可验证所检测面部上的皮肤为活人皮肤。如下文更详细论述，可使用多种方法来验证所述皮肤为活皮肤。
方法20接着移动到决策方框24以确定所检测面部是否为活人面部。存在用以确定所检测面部是否为活人面部的多种方式。举例来说，如下文关于图6F所解释，可计算或皮肤像素或非活皮肤像素的数目。如果活皮肤像素的数目超过所检测面部内像素的某一阈值数目，那么可确定所检测面部为活人面部。在其它实施例中，对于每一像素，可计算所述像素为活皮肤像素的概率。可计算其中像素较可能是活皮肤而不是非活皮肤的像素的数目以确定活皮肤像素的数目。如果活皮肤像素比非活皮肤像素(或另一阈值)多，那么可确定面部为活人面部。
如果进行决定所述面部为活面部，那么方法20移动到方框26以通知用户所述面部为活的。如果进行决定所述面部并非活面部，那么方法20移动到方框25，在方框25中用户被通知所述面部并非活的人面部。举例来说，用户通知模块15可经实施以通过(例如)用户接口6来通知用户所述面部为非活面部。如下所述，给定用于图像中的像素集合的图像数据，可整体确定面部是活的还是非活的。举例来说，所检测面部可为人面部的再现的图像，例如另一照片的图像。下文描述关于系统检测所述面部是活的还是非活的的方式的较多细节。
转到图3，揭示用于验证活人面部的方法30的另一实施方案。然而，与图2中不同，在方法30中，可分别捕捉NIR图像数据及可见光图像数据(与使用单个多谱传感器相对比)。方法30开始且移动到方框31，在方框31中，捕捉待分析的面部的可见光图像及NIR图像。如上文关于图1所解释，单独可见光及NIR传感器(例如，CCD或CMOS)可捕捉含有人面部的两单独图像。
方法30接着移动到方框32，在方框32中，在可见光及NIR图像两者中检测人面部。如上所述，可针对可见及NIR图像两者实施任何合适的面部检测方法。举例来说，可在一些实施方案中使用欧姆龙公司所制造的OKAO视觉面部感测技术以检测面部。方法30接着移动到方框33，在方框33中，系统验证在可见光及NIR图像两者中的所检测面部上的皮肤为活人皮肤。本文呈现用于验证活皮肤的各种系统及方法，例如关于图6A-6C所论述。
一旦在方框33中皮肤得以验证，方法30即移动到决策方框34以确定所捕捉面部是否为活面部。如上文关于图2所描述，存在用以确定所检测面部是否为活人面部的多种方式。举例来说，如上所述，如果活皮肤像素的数目超过所检测面部内像素的某一阈值数目，那么可确定所检测面部为活人面部。如在图2中，如果在方框34中确定所检测面部并非活人面部，那么方法30移动到方框35，在方框35中所述用户被通知面部并非活的。然而，如果在决策方框34进行确定确定所检测面部是活人面部，那么方法30移动到方框36，且用户被通知所捕捉面部是来自活人。
图4说明来自图3中所呈现的方法的实验结果。如关于方框31所描述，分别通过单独NIR及可见光传感器捕捉NIR图像41及捕捉可见(例如，RGB)图像42。或者，可使用多谱传感器，且图像数据可经后处理以将NIR图像数据与可见光图像数据分开。在其它实施方案中，可将滤波器应用到传感器上以对所要波长滤波。
在NIR及可见图像41、42两者中，呈现一个活人面部46，及呈现两个人造人面部45。通过人面部的照片来表示人造人面部45。举例来说，可通过人面部的彩色或黑白照相印刷来表示人造面部。实际上，面部验证系统1可在彩色及黑白图像或表示两者中在验证活的人面部时有效。应了解，人面部的其它人造表示为可能的。常规面部检测系统可能够检测图像41、42中的所有三个人面部；而常规系统不能够检测到图像41、42中的三个面部中的两者实际上是人造面部45而不是活的人面部46。
图4的皮肤验证图像43说明在执行图3的方框33的皮肤验证方法之后的结果，其将在下文在图6A-6C的讨论中更详细解释。如在皮肤验证图像43中可见，已通过皮肤验证模块14准确地验证活的人面部46，如活的面部46与黑色背景之间的高对比度。图像43中活的面部46的高对比度反映图像43中所检测的活皮肤像素的相对较高数目。人造人面部45经说明为具有与黑色背景的较低对比度，这是因为存在经确定为活皮肤像素的较少像素。
在图4的最终活面部验证图像44中，活的面部46已被准确地检测，如作为活的面部46的边界的框47的实线所示。另一方面，两个非活面部45也被识别，如通过具有为非活面部45的边界的虚线的两个框48所说明。给定最终图像44，用户可被准确地通知所检测人面部(中的哪些)是否的确是活的人面部。
概述-验证所检测面部为活的人面部
图5为说明用于确定所捕捉人面部是否为活人面部的一个方法50的流程图。在方框51中开始方法50，在方框51中通过面部验证系统1来接收可见图像数据及NIR图像数据。在一些实施方案中，通信模块10及/或处理器4可从多谱成像系统2接收图像。图像数据可通过多谱成像系统2捕捉，或所述数据可通过外部成像系统捕捉且传达到处理器4及/或通信模块10。如上文解释，NIR及可见图像数据可通过单个传感器或通过单独传感器来捕捉。
在于方框51中接收可见及NIR图像数据后，方法50移动到方框52以处理可见及NIR图像数据以检测人面部。举例来说，面部检测模块13可使用如上文关于图1-3所解释的任何合适的面部检测方法来检测图像中的人面部。方法50接着移动到方框53，在方框53中使可见图像数据与NIR图像数据相关联以确定所检测人面部是否为活人面部。可将可见图像数据与NIR图像数据的关联应用到单批多谱图像数据或应用到单独可见及NIR图像。方法50接着移动到决策方框54以确定所检测面部是否表示人造面部。如果进行决定所检测面部并非活人面部，那么方法50移动到方框55以通知用户所述面部并非活的面部。然而，如果进行决定所检测面部为活面部，那么方法50移动到方框56以通知用户所检测面部是来自活的人。
识别活的及非活皮肤像素
图6A-6C为说明用于识别多谱图像数据中的所检测人面部中的活的及非活皮肤像素的各种实施方案。在一些实施方案中，在用户被通知关于所检测面部是活人面部的确定之前，皮肤验证模块14可基于逐个像素来确定哪些像素表示活人皮肤及哪些像素表示非活人皮肤。
图6A为用于确定图像中的特定像素i是代表活人皮肤还是非活人皮肤的方法的60的流程图。所说明方法60在方框61中开始，在方框61中，针对与NIR及可见图像数据两者相关联的特定像素i来计算第一反射率差v1及第二反射率差v2。第一反射率差v1及第二反射率差v2可部分基于人皮肤在可见及NIR光谱两者中的反射率值。根据一个实施方案，第一及第二反射率差可通过以下来确定
v1＝ρi(λNIR)-ρi(λg)，及
v2＝ρi(λg)-ρi(λr)
其中ρi表示所捕捉皮肤(无论是活的还是非活的)的像素i分别在NIR波长(λNIR)、绿色波长(λg)及红色波长(λr)下的反射率值。在一些实施方案中，可基于冲击于表面上的照射L及特定材料的反射率R来使反射率值ρi模型化。在此情况下，皮肤的反射率R可在NIR光谱中比在可见光谱中强很多(且尤其比绿色波长带强)。由于NIR及绿色波长之间的反射率的差异，在一些实施方案中绿色图像数据可用于计算反射率差。然而，请注意由于v1及v2的计算与所指示波长下的检测强度之间的差成正比，实际上，在计算反射率差v1及v2时，用于每一波长的原始像素值可用于每一像素i。因此，反射率差v1及v2大体可分别与成像皮肤针对NIR及绿色波长以及针对绿色及红色波长的所检测强度之间的差成正比。
如上文用于v1及v2的关系式所展示，第一反射率差v1可基于NIR图像数据的一部分中的反射率值(或原始像素数据)ρi(λNIR)与可见光图像数据的对应部分中的绿色数据的反射率值(或原始像素数据)ρi(λg)之间的差来确定。在一些实施方案中，NIR图像数据的部分为特定像素或像素组，及可见光图像数据的对应部分为可见光图像数据的对应像素或像素组。第二反射率差可为可见光图像数据的对应部分(例如，像素或像素组)中的绿色数据的反射率值(或原始像素数据)与红色数据的反射率值(或原始像素数据)之间的差。不受理论限制的情况下，绿色图像数据可用以计算反射率值及/或反射率差，这是因为(如上文解释)NIR数据与绿色数据之间的对比度可大于NIR数据与其它色彩(例如，蓝色或红色)之间的对比度。当然，可比较用于其它色彩的反射率值。举例来说，在一些实施方案中可比较红色与蓝色反射率值或绿色与蓝色反射率值以计算v2及v1。
在计算特定像素的第一及第二反射率差之后，方法60移动到图6A的方框62，在方框62中，分别使第一及第二反射率差v1及v2归一化以获得第一及第二归一化反射率差r1及r2，由以下式给出
及
使反射率差归一化的其它方式是可能的。在一些实施方案中，无需发生归一化；而是，可在没有归一化的情况下使用原始像素值。
在归一化后，方法60进行到决策方框63以确定是否使用确定性方法。在一些实施方案中，皮肤验证模块14可选择用于分析所检测皮肤的方法。举例来说，如果进行决定选择确定性方法，那么方法60移动到方框64以执行确定性方法。如果进行决定不选择确定性方法，那么方法60移动到方框70以执行概率性方法。虽然在图6A中说明概率性方法，但应了解可使用其它方法来分析所检测皮肤。
确定性方法
图6B为说明确定性方法64的一个实施方案的流程图。方法64在方框65中开始，在方框65中，设置或以其它方式确定第一阈值tn1、第二阈值tn2、第三阈值tr1及第四阈值tr2。在一些实施方案中，可使用经验方法实验性地确定所述阈值以获得最佳结果。在其它实施方案中，可基于用于活人皮肤及非活人皮肤的理论反射率值来估计阈值。在其它实施方案中，可基于图像及/或成像装置或系统的性质来实时确定阈值。
在于方框65中设置阈值后，方法64进行到决策方框66以比较第一及第二阈值与第一归一化反射率差。如果进行决定第一反射率差不大于第一阈值且小于第二阈值，那么过程进行到方框68以返回非活皮肤像素给用户。如果进行决定第一归一化反射率差r1大于第一阈值tn1但小于第二阈值tn2，那么过程进行到另一决策方框67以比较第三及第四阈值与第二归一化反射率差。
转到方框67，如果进行决定第二归一化反射率差r2大于第三阈值tr1但小于第四阈值tr2，那么方法64进行到方框69以返回活皮肤像素。如果进行决定第二归一化反射率差不大于第三阈值且小于第四阈值，那么方法64移动到方框68以返回非活皮肤像素。
因此，如图6B中所揭示，为了识别活皮肤像素，所述归一化反射率差满足以下两式
tn1＜r1＜tn2及tr1＜r2＜tr2。
在其它实施方案中，一组阈值可比其它阈值经加权更重。举例来说，在一些实施方案中，如果满足阈值不等式中的仅一者(例如，决策方框66及67中的仅一者)，那么所述方法可仍然在方框69中返回活皮肤像素。在确定性方法中实施的阈值可基于预校准的实验数据，其中在各种照明条件下应用各种阈值。面部验证系统1因此可在确定特定像素是否代表活人皮肤或非活人皮肤时利用所述NIR及可见图像数据所提供的丰富信息。实际上，上文图4中所呈现的实验结果说明图6A-6B中所揭示的确定性方法的实例实施方案。
概率性方法
转到图6C，说明概率性方法70的实例实施方案。大体来说，概率性方法可至少部分基于在大量样本内捕捉已知的活皮肤的图像数据来估计给定像素显示活人皮肤的可能性。举例来说，可在各种照明条件下使一或多个已知的活人面部成像，及可存储已知的活皮肤区域的反射率值及/或原始像素数据。类似地，可在类似照明条件下在大量样本内使例如照片等人造皮肤成像，及可存储反射率值及/或原始像素数据。面部验证系统1可使用已知的活皮肤及非活皮肤图像数据的此存储的库来估计图像中的任何给定像素显示活皮肤或非活皮肤的概率。
图6C中说明的方法70在方框71中开始，在方框71中分别获得用于活人皮肤的第一归一化反射率差r1及第二归一化反射率差r2的概率密度函数(PDF)。PDF可基于各种预定照明条件下的实验数据来计算。举例来说，可基于不同类型的活皮肤来收集大的数据样本，每一样本在范围从暗淡到明亮的不同照明条件下成像。通过多谱成像系统2来捕捉充分大量的图像及/或像素，所述捕捉可在系统离线时(例如未用以验证活的面部)执行。
使(r1，1，r1，2，...r1，M)表示从M个活皮肤像素计算或导出的r1集合(例如，第一归一化反射率差)。可捕捉许多不同图像以获得M个像素的集合。已知M个活皮肤像素来表示活皮肤，这是因为活的主体故意成像以便计算r1的PDF。已知的活皮肤图像数据的此集合接着可用以估计任何给定像素表示活皮肤的概率。给定M个活像素的集合，可通过下式导出用于活皮肤像素(通过上标T表示)的PDF(fT(r1))
其中K(.)为内核(集成到一的对称函数)，且h为正的平滑参数。可使用任何合适的内核K(.)。在一些实施方案中，例如，假定正态分布，在此情况下可实施高斯内核。对于高斯内核，h的最优选择可由下式给定
其中σ为标准偏差。
类似地，可由下式给出用于活皮肤的r2的PDF
在获得用于活皮肤的第一及第二归一化反射率差的PDF后，方法70移动到方框72，在方框72中使用非活皮肤的实验图像数据类似地获得用于非活皮肤(通过上标F表示)的归一化反射率差r1及r2的PDF(fF(r1)及fF(r2))。举例来说，可使用人面部的照片或模型的一或多个图像来获得表示假皮肤的像素样本，从而获得PDF。
图6D为用于活皮肤像素及非活皮肤像素的在各种照明条件下的用于r1的PDF的图表。图6E为用于活皮肤像素及非活皮肤像素的在各种照明条件下的用于r2的PDF的图表。在一些实施方案中可将用于活活皮肤像素及非活皮肤像素两者的归一化反射率值的所获得PDF保存为查询表(LUT)，以易于由皮肤验证模块14存取。在其它实施方案中，可将PDF估计为参数化函数。
给定上述关系式，如果已知像素j为活皮肤像素，那么r1及r2的概率分别为
及
在相反已知像素j为非活皮肤像素的情况下，可执行类似计算以确定r1及r2的概率。
方法70接着移动到方框73，在方框73中计算特定像素为活皮肤像素的概率。一旦获得用于特定装置或特定类型装置(及潜在地在某一照明条件下)的归一化反射率差的PDF，即可在装置上所捕捉的未来图像中使用此信息来估计在任何后续图像中任何特定像素含有活皮肤的概率。因此，上文所获得的PDF(其在在一些实施方案中可离线获得)可在在线模式中使用来实时确定特定像素是活皮肤像素还是非活皮肤像素。
举例来说，任何像素i成为活皮肤像素的概率可通过下式来计算
根据贝叶斯(Bayesian)规则，
p(r1，r2|live_skin_i)＝p(r2|r1，live_skin_i)p(r1|live_skin_i)。
如果假定r1及r2是独立变数，那么
此外，如果不存在像素i是活的还是非活的的现有知识，那么可通过下式来估计任何特定像素i是活皮肤像素的概率
方法70可移动到方框74以类似地计算特定像素为非活皮肤像素的概率。可通过下式确定像素i是非活皮肤像素的概率
尽管在比例性方面表示pi T及pi F的两个表达式，但可使用这些概率的相对值来确定像素i是活皮肤像素还是非活皮肤像素。
在计算像素是活皮肤像素还是非活皮肤像素的概率之后，方法70进行到决策方框75以比较像素显示活皮肤的概率与像素显示非活皮肤的概率。如果进行决定像素是活皮肤的概率大于像素是非活皮肤的概率，那么方法70移动到方框77以指示像素是活皮肤像素。另一方面，如果进行决定像素是非活皮肤的概率大于像素是活皮肤的概率，那么方法70移动到方框76以指示像素是非活皮肤像素。因此，如果那么可将特定像素i识别为活皮肤像素。
用于估计像素是活皮肤还是非活皮肤的概率的其它方法是可能的。举例来说，在各种实施方案中，可使用概率阈值来确定所述像素是活皮肤像素还是非活皮肤像素。此外，虽然可基于逐个像素来实施上述确定性及概率性方法，但不需要可见及NIR图像及/或图像数据的精确对准，这是因为面部皮肤可具有平滑的彩色响应上述方法因此可在可见及NIR面部图像仅基于面部检测而粗略对准的情况下为有效的。
识别活人面部
图6A-6C的实施方案可用以识别活活皮肤像素或非活皮肤像素。在一些实施方案中，可将此信息在显示器(例如参见图4)上呈现给用户，且可充分用于用户在视觉上确定所检测面部是否是活人面部。然而，在其它实施方案中，可执行进一步处理以分析所识别像素来确定所检测面部是否是活面部。
在图6F中，揭示用于识别活人面部的一个方法80。方法80在方框81中开始，在方框81中，计算所检测面部区内的活像素的数目NT。在计算活皮肤像素的数目后，方法80进行到决策方框83。如果进行决定活像素的数目NT超过像素的阈值数目Tx，那么方法80移动到方框85以通知用户所检测面部是活的面部。如果进行决定NT小于Tx，那么方法80移动到方框84以通知用户所检测面部并非活的人面部。可使用各种阈值Tx。举例来说，在一些实施方案中，Tx可为所检测面部内的像素的特定百分比，例如在一些实施方案中高于约50％。在各种实施方案中，阈值Tx可为约50％、60％、70％、80％、90％或像素的任何其它合适的阈值百分比。在其它实施方案中，可使用各种其它阈值。举例来说，可计算所检测面部区内的非活皮肤像素的数目NF。如果NT＞NF，那么用户可被通知所检测面部是活面部。否则，用户可被通知所检测面部不是活面部。
图7A说明在检测到非活面部时的用户接口6的实例实施方案。举例来说，在图7A中，使用单独NIR(左边图像)及可见光(右边图像)传感器来使人面部的人造模型(例如，人体模特)成像。左边及右边图像上的框可用以说明面部检测模块13所检测的面部。在识别活皮肤像素后，图7A的用户接口6指示仅36％的像素具有是活皮肤像素高于非活皮肤像素的概率，及64％的像素具有是非活皮肤像素高于活皮肤像素的概率。对于所说明实施方案，因为活皮肤像素比非活皮肤像素少(例如，活皮肤像素的数目小于所检测面部内总像素的50％)，所以用户通知模块15可经由用户接口6通知用户所检测面部不是活人面部(通过显示器中心上的“X”表示)。
另一方面，图7B说明在检测到活面部时的用户接口6的实例实施方案。然而，在图7B中，81％的像素是活皮肤像素的概率比非活皮肤像素的概率高。因此，用户通知模块15可通知用户所检测面部是活人面部(通过图7B中显示器中心的选中标记表示)。
其它实施方案
面部验证系统1的其它实施方案是可能的。图8A中展示一个方法90。如图8A中所展示，方法90在方框91中开始以捕捉NIR图像及可见图像。如上所述，一旦捕捉到NIR及可见图像，方法90即移动到方框92，在方框92中在NIR图像及可见图像中检测人面部。方法90接着移动到方框93以使用任何合适的方法来验证针对面部所检测到的几何形状。在验证面部几何形状后，方法90进行到方框94，在方框94中以生物统计的方式验证所检测面部。虽然已在本文的各种所揭示实施方案中使用活皮肤及非活皮肤的图像数据，但应了解，可执行用于验证面部是活面部的各种其它方法。举例来说，在一些实施方案中可使用虹膜辨识或视网膜扫描。在其它实施方案中，可使主体的在皮肤下面的静脉及动脉成像以确定所检测面部是否是活面部。另外，在一些实施方案中可使已知的面部移动或痉挛成像。在其它实施方案中，可将热签名用作生物统计验证方法。如上所述，方法90进行到决策方框95以确定所检测面部是否为活人面部。如果进行决定所检测面部为活面部，那么方法90移动到方框96以通知用户所检测面部为活的面部。否则，如果进行决定所检测面部并非活面部，那么方法90移动到方框97以通知用户所述面部并非活的面部。
转到图8B，揭示用于验证活面部的另一方法100。方法100在方框101中开始以捕捉NIR及可见图像。在捕捉图像后，方法100进行到方框102，在方框102中使用任何已知的融合算法来将NIR及可见图像数据融合在一起。如上所述，方法100移动到方框103以在融合图像中检测人面部。如关于图8A描述，所说明方法100进行到方框104以对融合图像中的所检测人面部执行一或多个生物统计验证过程。方法100接着移动到决策方框105。如果进行决定所检测面部是活面部，那么方法100进行到方框107以通知用户所述面部是活的面部。否则，如果进行决定所检测面部不是活面部，那么方法100进行到方框106以通知用户所述面部不是活的面部。
关于术语的澄清
所属领域的技术人员将进一步了解，结合本文所揭示的实施方案而描述的各种说明性逻辑块、模块、电路及过程步骤可实施为电子硬件、计算机软件或两者的组合。为清楚说明硬件与软件的此互换性，上文已大致关于其功能性而描述了各种说明性组件、块、模块、电路及步骤。此类功能性是实施为硬件还是软件取决于特定应用及强加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但此类实施方案决策不应被解释为会导致脱离本发明的范围。所属领域的技术人员将认识到一部分或零件可包含小于或等于全部的某物。举例来说，像素集合的一部分可指那些像素的子集合。
可使用经设计以执行本文所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合来实施或执行结合本文中所揭示的实施方案而描述的各种说明性逻辑块、模块及电路。通用处理器可为微处理器，但在替代例中，处理器可为任何常规的处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、一或多个微处理器与DSP核心的组合，或任何其它此类配置。
可直接以硬件、以由处理器执行的软件模块或以上述两者的组合来体现结合本文所揭示的实施方案而描述的方法或过程的步骤。软件模块可驻留于RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或此项技术中已知的任何其它形式的非暂时性存储媒体中。示范性计算机可读存储媒体耦合到处理器而使得处理器可从计算机可读存储媒体读取信息及写入信息到计算机可读存储媒体。在替代方案中，存储媒体可与处理器成一体式。处理器及存储媒体可驻留于ASIC中。ASIC可驻留于用户终端、相机或其它装置中。在替代方案中，处理器及存储媒体可作为离散组件而驻留于用户终端、相机或其它装置中。
在本文中包含标题以用于参考及帮助定位各个章节。这些标题并不意图限制关于其所描述的概念的范围。此类概念可具有遍及整个说明书的适用性。
提供对所揭示实施方案的先前描述以使得所属领域的技术人员能够制作或使用本发明。所属领域的技术人员将容易明白对这些实施方案的各种修改，且本文中所定义的一般原理可在不偏离本发明的精神或范围的情况下应用于其它实施方案。因此，本发明并不意图限于本文所展示的实施方案，而是应符合与本文中所揭示的原理及新颖特征一致的最宽范围。

Claims (33)

1.一种用于检测图像中的活人面部的方法，其包括：
接收包含人面部的多谱图像数据，所述多谱图像数据包括可见光图像数据及近红外线NIR图像数据；
处理所述多谱图像数据以检测所述人面部；
使所述可见光图像数据中的所检测人面部与所述NIR图像数据中的所检测人面部相关联；及
至少部分基于第一反射率差和第二反射率差来确定所述所检测人面部是否是活人面部，其中所述第一反射率差是所述NIR图像数据中所述所检测人面部的一部分中的反射率值与所述可见光图像数据中所述所检测人面部的所述部分中的第一色彩的反射率值之间的差，及其中所述第二反射率差是所述可见光图像数据中所述所检测人面部的所述部分中所述第一色彩的所述反射率值与第二色彩的反射率值之间的差。
2.根据权利要求1所述的方法，其中确定所述所检测人面部是否是活人面部包括：
使所述第一反射率差归一化以获得第一归一化反射率差；及
使所述第二反射率差归一化以获得第二归一化反射率差。
3.根据权利要求2所述的方法，其中确定所述所检测人面部是否是活人面部进一步包括：
比较所述第一归一化反射率差与第一阈值及第二阈值；及
比较所述第二归一化反射率差与第三阈值及第四阈值。
4.根据权利要求3所述的方法，其中确定所述所检测人面部是否是活人面部包括至少部分基于所述第一归一化反射率差是否大于所述第一阈值且小于所述第二阈值以及至少部分基于所述第二归一化反射率差是否大于所述第三阈值且小于所述第四阈值而确定所述所检测人面部的所述部分的所述NIR图像数据和所述可见光图像数据是否含有代表活人皮肤的图像数据。
5.根据权利要求4所述的方法，其中确定所述所检测人面部是否是活人面部至少部分基于所述所检测面部中含有代表活人皮肤的图像数据的像素的数目。
6.根据权利要求2所述的方法，其中所述第一色彩实质上是绿色，及其中所述第二色彩实质上是红色。
7.根据权利要求2所述的方法，其进一步包括获得所述第一归一化反射率差的第一概率密度函数及所述第二归一化反射率差的第二概率密度函数，其中所述第一及第二概率密度函数是至少部分基于活人皮肤的图像数据。
8.根据权利要求7所述的方法，其进一步包括计算所述所检测人面部的所述部分的所述NIR图像数据和所述可见光图像数据含有代表活人皮肤的图像数据的第一概率，所述第一概率至少部分基于所述第一概率密度函数及所述第二概率密度函数。
9.根据权利要求8所述的方法，其进一步包括：
获得所述第一归一化反射率差的第三概率密度函数及所述第二归一化反射率差的第四概率密度函数，其中所述第三及第四概率密度函数是至少部分基于不代表活人皮肤的图像数据，
计算所述所检测人面部的所述部分的所述NIR图像数据和所述可见光图像数据含有不代表活人皮肤的图像数据的第二概率，
所述第二概率至少部分基于所述第三概率密度函数及所述第四概率密度函数。
10.根据权利要求9所述的方法，其进一步包括比较所述第一概率与所述第二概率以确定所述所检测人面部的所述部分的所述NIR图像数据和所述可见光图像数据是否含有代表活人皮肤的图像数据。
11.根据权利要求10所述的方法，其中确定所述所检测人面部是否是活人面部至少部分基于所述所检测面部中含有代表活人皮肤的图像数据的像素的数目。
12.根据权利要求1所述的方法，其进一步包括用成像设备来捕捉多谱图像数据。
13.根据权利要求12所述的方法，其中捕捉多谱图像数据包括捕捉可见光图像及NIR图像。
14.根据权利要求13所述的方法，其中处理所述多谱图像数据包括：
处理所述可见光图像以检测所述人面部；及
处理所述NIR图像以检测所述人面部。
15.一种用于检测图像中的活人面部的成像系统，所述系统包括：
至少一个图像传感器，其经配置以捕捉包括可见光图像数据及近红外线NIR图像数据的多谱图像数据，其中所述多谱图像数据包含人面部；
面部检测模块，其经配置以分析所述多谱图像数据以检测所述人面部；及
皮肤验证模块，其经配置以分析所检测人面部的所述多谱图像数据，及至少部分基于第一反射率差和第二反射率差来确定所述所检测人面部是否是活人面部，其中所述第一反射率差是所述NIR图像数据中所述所检测人面部的一部分中的反射率值与所述可见光图像数据中所述所检测人面部的所述部分中的第一色彩的反射率值之间的差，及其中所述第二反射率差是所述可见光图像数据中所述所检测人面部的所述部分中所述第一色彩的所述反射率值与第二色彩的反射率值之间的差。
16.根据权利要求15所述的成像系统，其中所述至少一个图像传感器包括NIR成像传感器及可见光传感器。
17.根据权利要求15所述的成像系统，其中所述皮肤验证模块经进一步配置以：
使所述第一反射率差归一化以获得第一归一化反射率差；及
使所述第二反射率差归一化以获得第二归一化反射率差。
18.根据权利要求17所述的成像系统，其中所述皮肤验证模块经进一步配置以：
比较所述第一归一化反射率差与第一阈值及第二阈值；及
比较所述第二归一化反射率差与第三阈值及第四阈值。
19.根据权利要求18所述的成像系统，其中所述皮肤验证模块经进一步配置以至少部分基于所述第一归一化反射率差是否大于所述第一阈值且小于所述第二阈值以及至少部分基于所述第二归一化反射率差是否大于所述第三阈值且小于所述第四阈值而确定所述所检测人面部是否是活人面部。
20.根据权利要求19所述的成像系统，其中所述皮肤验证模块经进一步配置以至少部分基于所述所检测面部中含有代表活人皮肤的图像数据的像素的数目来确定所述所检测人面部是否是活人面部。
21.根据权利要求17所述的成像系统，其中所述皮肤验证模块经进一步配置以获得所述第一归一化反射率差的第一概率密度函数及所述第二归一化反射率差的第二概率密度函数，其中所述第一及第二概率密度函数是至少部分基于活人皮肤的图像数据。
22.根据权利要求21所述的成像系统，其中所述皮肤验证模块经进一步配置以：
计算所述所检测人面部的所述部分的所述NIR图像数据和所述可见光图像数据含有代表活人皮肤的图像数据的第一概率，
所述第一概率至少部分基于所述第一概率密度函数及所述第二概率密度函数。
23.根据权利要求22所述的成像系统，其中所述皮肤验证模块经进一步配置以：
获得所述第一归一化反射率差的第三概率密度函数及所述第二归一化反射率差的第四概率密度函数，其中所述第三及第四概率密度函数是至少部分基于不代表活人皮肤的图像数据，
计算所述所检测人面部的所述部分的所述NIR图像数据和所述可见光图像数据含有不代表活人皮肤的图像数据的第二概率，
所述第二概率至少部分基于所述第三概率密度函数及所述第四概率密度函数。
24.根据权利要求15所述的成像系统，其进一步包括经配置以接收多谱图像数据的通信模块。
25.根据权利要求15所述的成像系统，其进一步包括经配置以通知用户所述所检测面部是否是活人面部的用户通知模块。
26.根据权利要求15所述的成像系统，其进一步包括经配置以存储计算机可读指令及图像数据中的至少一者的存储器。
27.一种成像系统，其包括：
用于接收包含人面部的多谱图像数据的装置，所述多谱图像数据包括可见光图像数据及近红外线NIR图像数据；
用于处理所述多谱图像数据以检测所述人面部的装置；
用于使所述可见光图像数据中的所检测人面部与所述NIR图像数据中的所述所检测人面部相关联的装置；及
用于至少部分基于第一反射率差和第二反射率差来确定所述所检测人面部是否是活人面部的装置，其中所述第一反射率差是所述NIR图像数据中所述所检测人面部的一部分中的反射率值与所述可见光图像数据中所述所检测人面部的所述部分中的第一色彩的反射率值之间的差，及其中所述第二反射率差是所述可见光图像数据中所述所检测人面部的所述部分中所述第一色彩的所述反射率值与第二色彩的反射率值之间的差。
28.根据权利要求27所述的成像系统，其中所述用于接收多谱图像数据的装置包括通信模块。
29.根据权利要求27所述的成像系统，其中所述用于处理所述多谱图像数据的装置包括面部检测模块。
30.根据权利要求27所述的成像系统，其中所述用于确定所述所检测人面部是否是活人面部的装置包括皮肤验证模块。
31.根据权利要求27所述的成像系统，其进一步包括用于捕捉多谱图像数据的装置。
32.根据权利要求31所述的成像系统，其中所述用于捕捉多谱图像数据的装置包括NIR成像传感器及可见光传感器。
33.一种非暂时性计算机可读媒体，其具有存储在其上的代码，所述代码在被执行时执行包括以下各项的方法：
接收包含人面部的多谱图像数据，所述多谱图像数据包括可见光图像数据及近红外线NIR图像数据；
处理所述多谱图像数据以检测所述人面部；
使所述可见光图像数据中的所检测人面部与所述NIR图像数据中的所检测人面部相关联；及
至少部分基于第一反射率差和第二反射率差来确定所述所检测人面部是否是活人面部，其中所述第一反射率差是所述NIR图像数据中所述所检测人面部的一部分中的反射率值与所述可见光图像数据中所述所检测人面部的所述部分中的第一色彩的反射率值之间的差，及其中所述第二反射率差是所述可见光图像数据中所述所检测人面部的所述部分中所述第一色彩的所述反射率值与第二色彩的反射率值之间的差。
CN201380030542.7A 2012-06-26 2013-06-18 用于面部验证的系统及方法 Active CN104364798B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/533,706 2012-06-26
US13/533,706 US10452894B2 (en) 2012-06-26 2012-06-26 Systems and method for facial verification
PCT/US2013/046366 WO2014004179A1 (en) 2012-06-26 2013-06-18 Systems and method for facial verification

Publications (2)

Publication Number Publication Date
CN104364798A CN104364798A (zh) 2015-02-18
CN104364798B true CN104364798B (zh) 2019-04-02

Family

ID=48793523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380030542.7A Active CN104364798B (zh) 2012-06-26 2013-06-18 用于面部验证的系统及方法

Country Status (6)

Country Link
US (1) US10452894B2 (zh)
EP (1) EP2864931A1 (zh)
JP (1) JP6242888B2 (zh)
KR (1) KR20150022016A (zh)
CN (1) CN104364798B (zh)
WO (1) WO2014004179A1 (zh)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514435A (zh) * 2012-06-29 2014-01-15 富士通株式会社 手检测方法和装置
US9996726B2 (en) 2013-08-02 2018-06-12 Qualcomm Incorporated Feature identification using an RGB-NIR camera pair
CN106104630B (zh) 2014-03-13 2020-12-25 日本电气株式会社 检测设备和检测方法
US9396537B2 (en) * 2014-09-09 2016-07-19 EyeVerify, Inc. Systems and methods for liveness analysis
WO2016147272A1 (ja) 2015-03-13 2016-09-22 日本電気株式会社 生体検知装置、生体検知方法、および、記録媒体
CN104700087B (zh) * 2015-03-23 2018-05-04 上海交通大学 可见光与近红外人脸图像的相互转换方法
JP6308161B2 (ja) 2015-03-31 2018-04-11 株式会社エクォス・リサーチ 脈波検出装置、及び脈波検出プログラム
EP3278721B1 (en) * 2015-03-31 2020-11-04 Equos Research Co., Ltd. Pulse wave detection device and pulse wave detection program
US10504228B2 (en) 2015-05-15 2019-12-10 Sony Corporation Image processing system and method
EP3414739B1 (en) * 2016-02-08 2020-04-08 Koninklijke Philips N.V. Device, system and method for pulsatility detection
US10424072B2 (en) 2016-03-01 2019-09-24 Samsung Electronics Co., Ltd. Leveraging multi cues for fine-grained object classification
JP2017191374A (ja) * 2016-04-11 2017-10-19 シャープ株式会社 生体判定装置、端末装置、生体判定装置の制御方法、制御プログラム
CN105930780A (zh) * 2016-04-14 2016-09-07 苏州优化智能科技有限公司 基于近红外和面部微表情的真人活体身份验证方法
CN105912908A (zh) * 2016-04-14 2016-08-31 苏州优化智能科技有限公司 基于红外的真人活体身份验证方法
JP2017208616A (ja) * 2016-05-16 2017-11-24 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US10579860B2 (en) 2016-06-06 2020-03-03 Samsung Electronics Co., Ltd. Learning model for salient facial region detection
CN106446831B (zh) * 2016-09-24 2021-06-25 江西欧迈斯微电子有限公司 一种人脸识别方法及装置
CN107992728B (zh) * 2016-10-27 2022-05-20 腾讯科技（深圳）有限公司 人脸验证方法及装置
WO2018079031A1 (ja) * 2016-10-31 2018-05-03 日本電気株式会社 画像処理装置、画像処理方法、顔認証システム、プログラム及び記録媒体
CN108229325A (zh) * 2017-03-16 2018-06-29 北京市商汤科技开发有限公司 人脸检测方法和系统、电子设备、程序和介质
US10515199B2 (en) * 2017-04-19 2019-12-24 Qualcomm Incorporated Systems and methods for facial authentication
US10657401B2 (en) * 2017-06-06 2020-05-19 Microsoft Technology Licensing, Llc Biometric object spoof detection based on image intensity variations
TWI630559B (zh) * 2017-06-22 2018-07-21 佳世達科技股份有限公司 影像擷取裝置及影像擷取方法
CN109583285B (zh) * 2017-09-29 2023-03-07 阿里巴巴集团控股有限公司 对象识别方法
US10726245B2 (en) * 2017-12-12 2020-07-28 Black Sesame International Holding Limited Secure facial authentication system using active infrared light source and RGB-IR sensor
CN109977741A (zh) * 2017-12-28 2019-07-05 北京京东尚科信息技术有限公司 人脸识别方法、装置、系统及介质
CN108376239B (zh) * 2018-01-25 2021-10-15 努比亚技术有限公司 一种人脸识别方法、移动终端及存储介质
JP2018152079A (ja) * 2018-03-23 2018-09-27 日本電気株式会社 検知装置
JP6819653B2 (ja) * 2018-07-09 2021-01-27 日本電気株式会社 検知装置
CN109271954B (zh) * 2018-09-29 2022-04-22 北京百度网讯科技有限公司 用于检测模型可靠性的方法及装置
CN111222380B (zh) * 2018-11-27 2023-11-03 杭州海康威视数字技术股份有限公司 一种活体检测方法、装置、及其识别模型训练方法
CN109871773A (zh) * 2019-01-21 2019-06-11 深圳市云眸科技有限公司 活体检测方法、装置及门禁机
US10970574B2 (en) * 2019-02-06 2021-04-06 Advanced New Technologies Co., Ltd. Spoof detection using dual-band near-infrared (NIR) imaging
FR3095064A1 (fr) 2019-04-09 2020-10-16 Cynove Procédés et dispositifs de levée de doute biométrique
CN110503023A (zh) * 2019-08-19 2019-11-26 深圳市商汤科技有限公司 活体检测方法及装置、电子设备和存储介质
KR102349424B1 (ko) * 2019-12-31 2022-01-11 주식회사 에이블에이아이 얼굴 인식을 사용하는 개인 식별 장치
JP2020074241A (ja) * 2020-02-12 2020-05-14 日本電気株式会社 検知装置
CN112800997B (zh) * 2020-04-10 2024-01-05 支付宝(杭州)信息技术有限公司 一种活体检测方法、装置及设备
CN111611977B (zh) * 2020-06-05 2021-10-15 吉林求是光谱数据科技有限公司 基于光谱与多波段融合的人脸识别监控系统及识别方法
CN112016478B (zh) * 2020-08-31 2024-04-16 中国电子科技集团公司第三研究所 一种基于多光谱图像融合的复杂场景识别方法及系统
DE102020214713A1 (de) 2020-11-24 2022-05-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Unterscheiden einer realen Person von einem Surrogat
JP2021047929A (ja) * 2020-12-28 2021-03-25 日本電気株式会社 情報処理装置
US11657589B2 (en) * 2021-01-13 2023-05-23 Ford Global Technologies, Llc Material spectroscopy
US11741747B2 (en) 2021-01-13 2023-08-29 Ford Global Technologies, Llc Material spectroscopy
WO2022150874A1 (en) * 2021-01-13 2022-07-21 Seeing Machines Limited System and method for skin detection in images
US11769313B2 (en) 2021-05-21 2023-09-26 Ford Global Technologies, Llc Counterfeit image detection
US11636700B2 (en) 2021-05-21 2023-04-25 Ford Global Technologies, Llc Camera identification
US11967184B2 (en) * 2021-05-21 2024-04-23 Ford Global Technologies, Llc Counterfeit image detection
CN113297978B (zh) * 2021-05-26 2024-05-03 奥比中光科技集团股份有限公司 活体检测方法、装置及电子设备
CN113297977B (zh) * 2021-05-26 2023-12-22 奥比中光科技集团股份有限公司 活体检测方法、装置及电子设备
CN113516089B (zh) * 2021-07-27 2024-04-12 中国平安人寿保险股份有限公司 人脸图像识别方法、装置、设备及可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964056A (zh) * 2010-10-26 2011-02-02 徐勇 一种具有活体检测功能的双模态人脸认证方法和系统

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2823564B2 (ja) 1988-05-27 1998-11-11 日本電信電話株式会社 生物体検知装置
US6496594B1 (en) 1998-10-22 2002-12-17 Francine J. Prokoski Method and apparatus for aligning and comparing images of the face and body from different imagers
US6424727B1 (en) 1998-11-25 2002-07-23 Iridian Technologies, Inc. System and method of animal identification and animal transaction authorization using iris patterns
US6820979B1 (en) 1999-04-23 2004-11-23 Neuroptics, Inc. Pupilometer with pupil irregularity detection, pupil tracking, and pupil response detection capability, glaucoma screening capability, intracranial pressure detection capability, and ocular aberration measurement capability
US6920236B2 (en) 2001-03-26 2005-07-19 Mikos, Ltd. Dual band biometric identification system
US7027619B2 (en) 2001-09-13 2006-04-11 Honeywell International Inc. Near-infrared method and system for use in face detection
US7469160B2 (en) 2003-04-18 2008-12-23 Banks Perry S Methods and apparatus for evaluating image focus
JP4387643B2 (ja) 2002-07-31 2009-12-16 富士通株式会社 個人認識機能付き処理装置
US8190239B2 (en) 2002-09-03 2012-05-29 Fujitsu Limited Individual identification device
US7460696B2 (en) 2004-06-01 2008-12-02 Lumidigm, Inc. Multispectral imaging biometrics
GB0316631D0 (en) 2003-07-16 2003-08-20 Omniperception Ltd Facial liveness assessment system
US7379567B2 (en) 2003-07-17 2008-05-27 Matsushita Electric Industrial Co., Ltd. Iris code generation method, individual authentication method, iris code entry device, individual authentication device, and individual certification program
JP4254418B2 (ja) 2003-08-18 2009-04-15 Ｋｄｄｉ株式会社 個人認証装置及び方法並びに携帯通信端末
JP4470434B2 (ja) 2003-10-06 2010-06-02 富士ゼロックス株式会社 動作識別装置、及び対象物の姿勢識別装置
FR2864290B1 (fr) 2003-12-18 2006-05-26 Sagem Procede et dispositif de reconnaissance d'iris
KR100682898B1 (ko) 2004-11-09 2007-02-15 삼성전자주식회사 적외선을 이용한 영상 장치 및 그의 영상 식별 방법
US7602942B2 (en) 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
US7469060B2 (en) 2004-11-12 2008-12-23 Honeywell International Inc. Infrared face detection and recognition system
EP2083259A1 (en) * 2004-12-07 2009-07-29 Clean Earth Technologies, Llc Method and apparatus for standoff detection of liveness
JPWO2006088042A1 (ja) 2005-02-16 2008-07-03 松下電器産業株式会社 生体判別装置および認証装置ならびに生体判別方法
JP4696610B2 (ja) 2005-03-15 2011-06-08 オムロン株式会社 被写体認証装置、顔認証装置、携帯電話、及び被写体認証方法
US8260008B2 (en) 2005-11-11 2012-09-04 Eyelock, Inc. Methods for performing biometric recognition of a human eye and corroboration of same
US20070248330A1 (en) * 2006-04-06 2007-10-25 Pillman Bruce H Varying camera self-determination based on subject motion
JP2009544108A (ja) 2006-07-19 2009-12-10 ルミダイム インコーポレイテッド 多重生体認証のマルチスペクトル画像
US7801339B2 (en) 2006-07-31 2010-09-21 Lumidigm, Inc. Biometrics with spatiospectral spoof detection
US8965063B2 (en) 2006-09-22 2015-02-24 Eyelock, Inc. Compact biometric acquisition system and method
US8953849B2 (en) 2007-04-19 2015-02-10 Eyelock, Inc. Method and system for biometric recognition
US20090060286A1 (en) 2007-09-04 2009-03-05 General Electric Company Identification system and method utilizing iris imaging
KR101615461B1 (ko) 2007-09-24 2016-04-25 애플 인크. 전자 장치 내의 내장형 인증 시스템들
US8411910B2 (en) 2008-04-17 2013-04-02 Biometricore, Inc. Computationally efficient feature extraction and matching iris recognition
US8345936B2 (en) 2008-05-09 2013-01-01 Noblis, Inc. Multispectral iris fusion for enhancement and interoperability
FR2931979B1 (fr) 2008-06-02 2014-02-28 Advanced Track & Trace Procede et dispositif d'identification d'une plaque d'impression d'un document
CN101404060B (zh) 2008-11-10 2010-06-30 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
JP4702441B2 (ja) 2008-12-05 2011-06-15 ソニー株式会社 撮像装置及び撮像方法
US8374404B2 (en) 2009-02-13 2013-02-12 Raytheon Company Iris recognition using hyper-spectral signatures
US8503778B2 (en) 2009-05-14 2013-08-06 National University Of Singapore Enhancing photograph visual quality using texture and contrast data from near infra-red images
JP2011243862A (ja) 2010-05-20 2011-12-01 Sony Corp 撮像デバイス及び撮像装置
US8408821B2 (en) 2010-10-12 2013-04-02 Omnivision Technologies, Inc. Visible and infrared dual mode imaging system
US8897522B2 (en) 2012-05-30 2014-11-25 Xerox Corporation Processing a video for vascular pattern detection and cardiac function analysis
US8411909B1 (en) 2012-06-26 2013-04-02 Google Inc. Facial recognition
US8978333B2 (en) 2012-08-16 2015-03-17 Darrel V. Potter Structure formed from panels joined with universal clamping brackets
US9996726B2 (en) 2013-08-02 2018-06-12 Qualcomm Incorporated Feature identification using an RGB-NIR camera pair
US20160019421A1 (en) 2014-07-15 2016-01-21 Qualcomm Incorporated Multispectral eye analysis for identity authentication
US20170091550A1 (en) 2014-07-15 2017-03-30 Qualcomm Incorporated Multispectral eye analysis for identity authentication
US20160019420A1 (en) 2014-07-15 2016-01-21 Qualcomm Incorporated Multispectral eye analysis for identity authentication

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964056A (zh) * 2010-10-26 2011-02-02 徐勇 一种具有活体检测功能的双模态人脸认证方法和系统

Also Published As

Publication number Publication date
US10452894B2 (en) 2019-10-22
JP6242888B2 (ja) 2017-12-06
EP2864931A1 (en) 2015-04-29
US20130342702A1 (en) 2013-12-26
JP2015528942A (ja) 2015-10-01
KR20150022016A (ko) 2015-03-03
CN104364798A (zh) 2015-02-18
WO2014004179A1 (en) 2014-01-03

Similar Documents

Publication Publication Date Title
CN104364798B (zh) 用于面部验证的系统及方法
CN108038456B (zh) 一种人脸识别系统中的防欺骗方法
CN111488756B (zh) 基于面部识别的活体检测的方法、电子设备和存储介质
US9082235B2 (en) Using facial data for device authentication or subject identification
US11263440B1 (en) Systems and methods for passive-subject liveness verification in digital media
US8836777B2 (en) Automatic detection of vertical gaze using an embedded imaging device
WO2019137178A1 (zh) 人脸活体检测
US10061996B1 (en) Face recognition method and system for personal identification and authentication
TW201911130A (zh) 一種翻拍影像識別方法及裝置
CN109086718A (zh) 活体检测方法、装置、计算机设备及存储介质
JP2020523665A (ja) 生体検出方法及び装置、電子機器並びに記憶媒体
US20180034852A1 (en) Anti-spoofing system and methods useful in conjunction therewith
WO2017048845A1 (en) Feature detection and masking in images based on color distributions
US11373449B1 (en) Systems and methods for passive-subject liveness verification in digital media
CN108416291B (zh) 人脸检测识别方法、装置和系统
CN111325107A (zh) 检测模型训练方法、装置、电子设备和可读存储介质
JP7264308B2 (ja) 二次元顔画像の２つ以上の入力に基づいて三次元顔モデルを適応的に構築するためのシステムおよび方法
CN111259757B (zh) 一种基于图像的活体识别方法、装置及设备
CN110363111B (zh) 基于镜头失真原理的人脸活体检测方法、装置及存储介质
CN109726613B (zh) 一种用于检测的方法和装置
Di Martino et al. Liveness detection using implicit 3D features
JP3962517B2 (ja) 顔面検出方法及びその装置、コンピュータ可読媒体
CN106402717B (zh) 一种ar播放控制方法及智能台灯
Hadiprakoso Face anti-spoofing method with blinking eye and hsv texture analysis
CN115240245A (zh) 人脸活体检测方法、人脸活体检测装置及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant