CN110991432A - 活体检测方法、装置、电子设备及系统 - Google Patents

活体检测方法、装置、电子设备及系统 Download PDF

Info

Publication number
CN110991432A
CN110991432A CN202010140488.3A CN202010140488A CN110991432A CN 110991432 A CN110991432 A CN 110991432A CN 202010140488 A CN202010140488 A CN 202010140488A CN 110991432 A CN110991432 A CN 110991432A
Authority
CN
China
Prior art keywords
image sequence
sample
rgb
rgb image
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010140488.3A
Other languages
English (en)
Inventor
曹佳炯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010140488.3A priority Critical patent/CN110991432A/zh
Publication of CN110991432A publication Critical patent/CN110991432A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本说明书实施例涉及一种活体检测方法、装置、电子设备及系统，该方法包括：获取目标对象的RGB图像序列，其中，所述RGB图像序列包括按照图像采集的时间先后顺序排列的多帧RGB图像；根据所述RGB图像序列，获得反映所述RGB图像序列的运动信息的光流图像序列；提取所述RGB图像序列的图像特征，形成第一特征集；提取所述光流图像序列的图像特征，形成第二特征集；将所述第一特征集和所述第二特征集输入至预置的分类模型，进行所述目标对象是否为活体对象的检测，获得检测结果。本说明书实施例在非交互式的情况下，也能够获得较高的活体检测准确率。

Description

活体检测方法、装置、电子设备及系统
技术领域
本说明书实施例涉及图像处理技术领域，更具体地，涉及活体检测方法、身份认证方法、活体检测装置、电子设备、身份认证系统、及计算机可读存储介质。
背景技术
近年来，人脸识别技术被广泛应用于人们的生产和生活中，例如，目标大多应用支持用户通过人脸识别进行用户登录、安全支付等，因此，人脸识别的安全性就至关重要，一旦人脸识别系统无法精准地过滤安全风险，用户的财产和信息安全就会受到威胁。
目前，人脸识别系统中最常见的安全风险为“活体攻击风险”，具体来说，“活体攻击”是指用户企图使用打印照片、手机屏幕显示的照片或者其他异常手段来通过人脸识别系统的攻击。因此，检测“活体攻击”的“活体检测方法”便成为了人脸识别系统的安全守卫。
现有的活体检测方法基本是通过增加人机交互环节来进行活体检测，该种方法需要用户在进行图像采集时根据指示完成设定操作，例如眨眼等操作，因此，该种方法存在采集时间长和操作流程繁琐的问题，导致用户体验较差，因此，有必要提供一种能够在非交互的情况下，提高活体检测准确性的方法。
发明内容
本说明书实施例提供一种可以在人脸识别中应用的进行活体检测的新的技术方案。
根据本说明书的第一方面，提供了活体检测方法的一个实施例，其包括：
获取目标对象的RGB图像序列，其中，所述RGB图像序列包括按照图像采集的时间先后顺序排列的多帧RGB图像；
根据所述RGB图像序列，获得反映所述RGB图像序列的运动信息的光流图像序列；
提取所述RGB图像序列的图像特征，形成第一特征集；
提取所述光流图像序列的图像特征，形成第二特征集；
将所述第一特征集和所述第二特征集输入至预置的分类模型，进行所述目标对象是否为活体对象的检测，获得检测结果。
可选地，该方法还包括：
根据所述检测结果，执行对应的操作。
可选地，所述获取目标对象的RGB图像序列包括：
获取基于身份认证请求采集到的所述目标对象的RGB图像序列。
可选地，所述根据所述RGB图像序列，获得反映所述RGB图像序列的运动信息的光流图像序列包括：
对所述RGB图像序列中的每相邻两帧RGB图像进行光流计算，获得反映所述RGB图像序列的运动信息的光流图像序列。
可选地，该方法还包括：
对所述RGB图像序列中的每帧RGB图像进行标准化处理，获得处理后的RGB图像序列；
所述提取所述RGB图像序列的图像特征包括：
根据所述处理后的RGB图像序列，提取所述RGB图像序列的图像特征。
可选地，该方法还包括：
对所述光流图像序列中的每帧光流图像进行标准化处理，获得处理后的光流图像序列；
所述提取所述光流图像序列的图像特征包括：
根据所述处理后的光流图像序列，提取所述光流图像序列的图像特征。
可选地，所述提取所述RGB图像序列的图像特征包括：
通过预置的第一特征提取模型，提取所述RGB图像序列的图像特征。
可选地，该方法还包括获得所述第一特征提取模型的步骤，包括：
获取第一样本，其中，每一所述第一样本包括样本对象的RGB图像序列和对应样本对象的实际对象类别，所述对象类别表示对应样本对象是否为活体对象；
通过所述第一样本训练卷积神经网络的网络模型参数，获得所述第一特征提取模型。
可选地，所述获取第一样本包括：
获取通过连续采集每一所述样本对象的多帧RGB图像获得的各份RGB图像序列，其中，一份RGB图像序列对应一个样本对象；
分别根据每份RGB图像序列，生成多个所述第一样本。
可选地，所述提取所述光流图像序列的图像特征包括：
通过预置的第二特征提取模型，提取所述光流图像序列的图像特征。
可选地，该方法还包括获得所述第二特征提取模型的步骤，包括：
获取原始样本，其中，每一所述原始样本包括样本对象的RGB图像序列和对应样本对象的实际对象类别，所述对象类别表示对应样本对象是否为活体对象；
根据所述原始样本，获得反映对应原始样本的运动信息的第二样本；
通过所述第二样本训练卷积神经网络的网络模型参数，获得所述第二特征提取模型。
可选地，该方法还包括获得所述分类模型的步骤，包括：
获取第一样本，其中，每一所述第一样本包括样本对象的RGB图像序列和对应样本对象的实际对象类别，所述对象类别表示对应样本对象是否为活体对象；
根据所述第一样本，获得反映对应第一样本的运动信息的第二样本；
通过预置的第一特征提取模型，提取所述第一样本的图像特征，生成第一样本特征集；
通过预置的第二特征提取模型，提取所述第二样本的图像特征，生成第二样本特征集；
将所述第一样本特征集和对应的第二样本特征集作为新的样本，训练卷积神经网络的网络模型参数，获得所述分类模型。
根据本说明书的第二方面，还提供了身份认证方法的一个实施例，该身份认证方法，由终端设备实施，包括：
响应于基于人脸识别的身份认证请求，启动所述终端设备的摄像头连续采集目标用户的多帧RGB图像，形成RGB图像序列；
针对所述RGB图像序列，为完成身份认证执行设定操作，其中，所述身份认证包括活体检测，所述活体检测包括：提取所述RGB图像序列的图像特征，获得第一特征集；提取对应所述RGB图像序列的光流图像序列的图像特征，获得第二特征集；以及，将所述第一特征集和所述第二特征集输入至预置的分类模型，进行所述目标对象是否为活体对象的检测，如果未通过活体检测，则身份认证失败；
根据进行所述身份认证的认证结果，执行对应的操作。
可选地，所述为完成身份认证执行设定操作包括：
将所述RGB图像序列发送至服务器进行所述身份认证；
所述方法还包括：接收所述服务器完成所述身份认证返回的认证结果。
可选地，所述身份认证还包括：
将所述RGB图像序列中的RGB图像与对应目标用户的人脸图像相匹配，在匹配成功的情况下，再进行所述活体检测。
根据本说明书的第四方面，还提供了电子设备的一个实施例，包括如本说明书第三方面所述的风险识别装置，或者，所述电子设备包括：
存储器，用于存储可执行命令；
处理器，用于在所述可执行命令的控制下，执行如本说明书第一方面或者第二方面所述的风险识别方法。
根据本说明书的第五方面，还提供风险识别系统的一个实施例，其包括：
服务器，所述服务器包括存储器和处理器，所述服务器的存储器用于存储可执行命令；所述服务器的处理器用于在所述可执行命令的控制下，执行如本说明书第一方面所述的风险识别方法；以及，
终端设备，所述终端设备包括存储器和处理器，所述终端设备的存储器用于存储可执行命令；所述终端设备的处理器用于在所述可执行命令的控制下，执行如本说明书第二方面所述的风险识别方法。
根据本说明书的第六方面，还提供了计算机可读存储介质的一个实施例，其存储有可执行指令，所述可执行指令被处理器执行时，执行如本说明书的第一方面或者第二方面所述的方法。
在一个实施例中，利用采集到的RGB图像序列及利用该RGB图像序列得到的光流图像序列进行活体检测，这使得在非交互式的情况下，也能够获得较高的活体检测准确率，有利于提高针对目标对象进行图像采集的图像采集效率，提升用户体验。
通过以下参照附图对本说明书的示例性实施例的详细描述，本说明书的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本说明书的实施例，并且连同其说明一起用于解释本说明书的原理。
图1是可用于实现一个实施例的活体检测方法的场景示意图；
图2是可用于实现一个实施例的活体检测方法的身份认证系统的硬件配置结构图；
图3是根据一个实施例的活体检测方法的流程示意图；
图4是根据一个例子的获得各种模型的流程示意图；
图5是根据第一个实施例的身份认证方法的流程示意图；
图6是根据一个实施例的活体检测装置的原理框图；
图7是根据一个实施例的电子设备的原理框图。
具体实施方式
现在将参照附图来详细描述本说明书的各种示例性实施例。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本说明书及其应用或使用的任何限制。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1为本说明书一个实施例的活体检测方法的应用场景示意图。
图1示出了用户通过终端设备1200进行基于人脸识别的身份认证的应用场景。该应用场景中，终端设备1200响应于进行基于人脸识别的身份认证的操作，进入如图1所示的身份认证界面，该操作例如是对于任意应用的用户登录操作，也可是在任何应用中触发的支付操作，还可以是需要进行身份认证的打卡操作，开门操作等，在此不做限定，该操作即代表发出进行基于人脸识别的身份认证请求。该身份认证界面可提供触发采集本人人脸命令的按键，在用户点击该按键后，终端设备1200响应于该命令，进入人脸采集界面，并启动终端设备1200的摄像头进行人脸采集。
终端设备1200在启动摄像头进行人脸采集时，将控制摄像头连续采集用户的多帧图像，进而获得该用户的RGB图像序列，其中，该RGB图像序列由该多帧RGB图像按照图像采集的时间先后顺序排列而成，并将该RGB图像序列发送至服务器1100进行基于人脸识别的身份认证。服务器1100在根据接收到的RGB图像序列进行身份认证时，不仅会验证RGB图像序列中的RGB图像与对应用户的人脸图像是否相匹配，该用户的人脸图像例如为对应用户上传的身份证上的人脸图像，或者为对应用户在应用注册时上传或者采集的人脸图像等，还会根据该实施例的活体检测方法，对RGB图像序列进行活体检测，以防止活体攻击，即防止有恶意第三人通过该用户的照片等代替用户本人进行基于人脸识别的身份认证。如果匹配成功且通过活体检测，则说明身份认证成功，服务器1100会向终端设备1200返回认证通过的通知，终端设备1200可以进行有关“认证通过”的提示，并跳转至下一界面，也可以直接跳转至下一界面；如果活体检测失败，即存在活体攻击风险，或者匹配不成功，则身份认证失败，服务器1100向终端设备1200返回认证失败的通知，该通知可以包含反映认证失败原因的消息，该消息例如是表示活体检测失败的消息等，如图1所示，终端设备1200可以根据该通知进行认证失败的提示，并可以提示认证失败的原因。
该应用场景中，在通过人脸识别进行身份认证时，通过本实施例的活体检测方法，可以提高人脸识别系统抵抗活体攻击的能力。
另外，本实施例的活体检测方法基于采集到的RGB图像序列及利用该RGB图像序列得到的光流图像序列进行活体检测，这使得人脸识别系统在非交互式的情况（进行图像采集时无需指示用户进行眨眼等交互操作）下，仍能够获得较高的活体检测准确率。这至少体现在：本实施例的方法使用多帧RGB图像信息进行活体检测，相对于基于单帧RGB图像信息进行的活体检测，将具有更高的准确率和对于环境变化的鲁棒性；而且，本实施例的方法利用了多帧RGB图像之间的光流信息进行活体检测，由于光流信息可以有效捕捉用户面部的“微小动作”，对精细的攻击手段也能准确拦截，因此，该实施例的方法能够在非交互式的情况下获得较高的准确率。
在另外的实施例中，也可以在终端设备1200一侧进行基于人脸识别的身份认证，在此不做限定。例如，在终端设备1200一侧进行上述匹配验证和活体检测中的至少一项，终端设备1200在完成身份认证后，可以将认证结果上报给服务器1100，以供服务器1100进行后续操作。
<硬件设备>
图2为可以应用根据本说明书一个实施例的活体检测方法的人脸识别系统的组成结构示意图。
如图2所示，本实施例的人脸识别系统1000可以包括服务器1100、终端设备1200以及网络1300。
服务器1100例如可以是刀片服务器、机架式服务器等，服务器1100也可以是部署在云端的服务器集群，在此不做限定。
如图1所示，服务器1100可以包括处理器1110、存储器1120、接口装置1130、通信装置1140、显示装置1150和输入装置1160。处理器1110用于执行程序指令，该程序指令可以采用比如x86、Arm 、RISC、MIPS、SSE等架构的指令集。存储器1120例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1130例如包括USB接口、串行接口等。通信装置1140例如能够进行有线或无线通信。显示装置1150例如是液晶显示屏。输入装置1160例如可以包括触摸屏、键盘等。
本实施例中，服务器1100的存储器1120用于存储指令，该指令用于控制处理器1110进行操作以实施或者支持实施根据本说明书的至少部分实施例的活体检测方法。技术人员可以根据本说明书所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
本领域技术人员应当理解，尽管在图2中示出了服务器1100的多个装置，但是，本说明书实施例的服务器1100可以仅涉及其中的部分装置，例如，只涉及处理器1110、存储器1120和通信装置1140等。
如图2所示，终端设备1200可以包括处理器1210、存储器1220、接口装置1230、通信装置1240、显示装置1250、图像采集装置1260、音频输出装置1270、音频拾取装置1280，等等。处理器1210可以是中央处理器CPU、微处理器MCU等。存储器1220例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1230例如包括USB接口、耳机接口等。通信装置1240例如能够进行有线或无线通信。显示装置1250例如是液晶显示屏、触摸显示屏等。图像采集装置1260例如可以包括摄像头等，用户采集RGB图像。终端设备1200可以通过音频输出装置1270输出音频信息，该音频输出装置1270例如包括扬声器。终端设备1200可以通过音频拾取装置1280拾取用户输入的语音信息，该音频拾取装置1280例如包括麦克风。
该终端设备1200还可以包括键盘、触摸屏等信息输入装置，在此不做限定。
终端设备1200可以是智能手机、便携式电脑、台式计算机、平板电脑、POS机、打卡设备、门禁设备、可穿戴设备等具有图像采集功能的任意设备。
在本实施例中，终端设备1200的存储器1220用于存储指令，所述指令用于控制所述处理器1210进行操作以实施或者支持实施根据本说明书的至少部分实施例的活体检测方法。技术人员可以根据本说明书所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
本领域技术人员应当理解，尽管在图2中示出了终端设备1200的多个装置，但是，本说明书实施例的终端设备1200可以仅涉及其中的部分装置，例如，只涉及处理器1210、存储器1220、图像采集装置1260等。
通信网络1300可以是无线网络也可以是有线网络，可以是局域网也可以是广域网。终端设备1200可以通过通信网络1300与服务器1100进行通信。
图2所示的活体检测系统1000仅是解释性的，并且决不是为了要限制本说明书、其应用或用途。例如，尽管图2仅示出一个服务器1100和一个终端设备1200，但不意味着限制各自的数量，活体检测系统1000中可以包含多个服务器1100和/或多个终端设备1200。
<方法实施例一>
本实施例提供了一种活体检测方法，该方法可以由图2中的服务器1100实施，也可以由图2中的终端设备1200实施，在此不做限定。图3示出了本实施例的活体检测方法的流程示意图。如图3所示，本实施例的活体检测方法可以包括以下步骤S3100~S3500：
步骤S3100，获取目标对象的RGB图像序列。
该步骤S3100中，RGB图像序列包括按照图像采集的时间先后顺序排列的多帧RGB图像。如无特别限定，本说明书提到的“多帧”代表至少两帧。
该多帧RGB图像可以是连续采集到的多帧RGB图像。
该多帧RGB图像也可以从连续采集到的一份RGB图像序列中抽取得到，例如，该份RGB图像序列包括10帧RGB图像，从中隔帧抽取5帧RGB图像，形成目标对象的RGB图像序列，以供本步骤S3100获取等，在此不做限定。
本实施例中，目标对象为进行图像采集的对象。在人脸识别应用中，该目标对象也即为用户的脸部。
在一个实施例中，该步骤S3100中获取目标对象的RGB图像序列可以包括：获取基于身份认证请求采集到的该目标对象的RGB图像序列。
该身份认证即为通过人脸识别进行的身份认证。
该RGB图像序列可以由如图1或2所示的终端设备1200基于该人脸识别请求采集得到。
步骤S3200，根据该RGB图像序列，获得反映该RGB图像序列的运动信息的光流图像序列。
该RGB图像序列的运动信息即为该RGB图像序列体现出的或者蕴含的运动信息。
该运动信息反映RGB图像序列中相邻两帧RGB图像间的变化信息。
该光流图像序列包括至少一帧光流图像，其中，光流图像为体现相邻两帧RGB图像间的运动信息或者变化信息的图像。
在一个实施例中，该步骤S3200中根据该RGB图像序列，获得反映该RGB图像序列的运动信息的光流图像序列可以包括：对该RGB图像序列中的每相邻两帧RGB图像进行光流计算，获得该光流图像序列。
光流（optical flow）是空间运动物体在观察成像平面上的像素运动的瞬时速度。光流表达了图像的变化，由于其包含了目标对象运动的信息，因此可用来确定目标对象的运动情况。
光流算法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间目标对象的运动信息的一种方法。
该实施例中，可以预先设定进行光流计算的光流算法，例如可以是Lucas-Kanade算法（简称为LK算法）等。
该实施例中，例如RGB图像序列包括5帧RGB图像，对每相邻两帧RGB图像进行光流计算，将能够获得4帧光流图像，这4帧光流图像便组成对应该RGB图像序列的光流图像序列。
步骤S3300，提取该RGB图像序列的图像特征，形成第一特征集。
本实施例中，可以通过RGB图像序列的图像特征表示目标对象的特征。
该第一特征集可以包括多个图像特征。
在一个实施例中，可以通过预置（预先训练得到）的第一特征提取模型来提取RGB图像序列的图像特征。
该第一特征提取模型可以基于任意的卷积神经网络（Convolutional NeuralNetworks, CNN）训练得到，例如，基于ResNet网络结构训练得到等。
该第一特征提取模型反映任意的RGB图像序列与活体检测结果之间的映射关系。
卷积神经网络模型包括输入层、输出层及位于输入层与输出层之间的中间层，中间层可以包括卷积层和全连接层等。卷积神经网络模型的输入层用于输入图像数据。卷积神经网络模型的输出层用于输出分类概率，在本实施例中，活体检测属于二分类类型，即活体检测的检测结果包括属于活体和非活体两种类别，因此，该输出层将输出属于活体的分类概率或者属于非活体的分类概率，以根据该分类概率与分类阈值的比较，确定检测结果。中间层的每一层均将输出各自提取到的图像特征，并将各自提取到的图像特征输入至下一层。
该实施例中，步骤S3300提取到的图像特征可以是第一特征提取模型的输出层的上一层结构（即倒数第二层）输出的图像特征。
以基于ResNet18网络结构训练得到的第一特征提取模型为例，该第一特征提取模型的倒数第二层会输出512维的特征，因此，在步骤S3300中将提取到RGB图像序列的512维特征，构成该第一特征集。
在一个实施例中，可以在提取RGB图像序列的图像特征之前，对RGB图像序列中的每帧RGB图像进行标准化处理，以在步骤S3300中能够根据处理后的RGB图像序列，提取RGB图像序列的图像特征，例如，将处理后的RGB图像序列输入至第一特征提取模型中，以获得对应的第一特征集。通过标准化处理，可以使得每帧RGB图像在每一个特征维度上能够具有相同的数据级别，例如具有零均值和单位方差，进而滤除对于活体检测分类而言不感兴趣的图像特征，提高提取图像特征的有效性。
在实施例中，对RGB图像序列中的每帧RGB图像进行标准化处理可以包括：计算RGB图像序列的均值和方差值；以及，对该RGB图像序列中的每帧RGB图像分别进行先减去该均值，再除以该方差值的预处理，获得处理后的RGB图像序列。
例如，该RGB图像序列具有5帧RGB图像，则针对5帧中的每一帧RGB图像，分别进行先减去该均值，再除以该方差值的预处理，得到5帧处理后的RGB图像，构成该处理后的RGB图像序列。
步骤S3400，提取光流图像序列的图像特征，形成第二特征集。
本实施例中，可以通过光流图像序列的图像特征表示目标对象的运动特征。
该第二特征集可以包括多个图像特征。
在一个实施例中，可以通过预置（预先训练得到）的第二特征提取模型来提取光流图像序列的图像特征。
该第二特征提取模型可以基于任意的卷积神经网络（Convolutional NeuralNetworks, CNN）训练得到，例如，基于ResNet网络结构训练得到等。第一特征提取模型与第二特征提取模型可以基于相同的网络结构训练得到，也可以基于不同的网络结构训练得到，在此不做限定。
该第二特征提取模型反映任意的光流图像序列与活体检测结果之间的映射关系。
该实施例中，步骤S3400提取到的图像特征可以是第二特征提取模型的输出层的上一层结构（即倒数第二层）输出的图像特征。
以基于ResNet18网络结构训练得到的第二特征提取模型为例，该第二特征提取模型的倒数第二层会输出512维的特征，因此，在步骤S3400中将提取到光流图像序列的512维特征，形成该第二特征集。
在一个实施例中，可以在提取光流图像序列的图像特征之前，对光流图像序列中的每帧光流图像进行标准化处理，以在步骤S3400中能够根据处理后的光流图像序列，提取光流图像序列的图像特征，例如，将处理后的光流图像序列输入至第二特征提取模型中，以获得第二特征集，这可以使得每帧光流图像在每一个特征维度上能够具有相同的数据级别，进而滤除对于活体检测分类而言不感兴趣的图像特征，提高提取图像特征的有效性。
在实施例中，对光流图像序列中的每帧光流图像进行标准化处理可以包括：计算光流图像序列的均值和方差值；以及，对该光流图像序列中的每帧光流图像分别进行先减去该均值，再除以该方差值的预处理，获得处理后的光流图像序列。
例如，该光流图像序列具有4帧光流图像，则针对4帧中的每一帧光流图像，分别进行先减去该均值，再除以该方差值的预处理，得到4帧处理后的光流图像，构成该处理后的光流图像序列。
步骤S3500，根据通过步骤S3300获得的第一特征集和根据步骤S3400获得的第二特征集，进行目标对象是否为活体对象的检测，获得检测结果。
该步骤S3500中，可以串联第一特征集中的特征和第二特征集中的特征，生成总特征集，即，总特征集中包含第一特征集和第二特征集中的所有特征。例如，第一特征集包括512维特征，第二特征集亦包括512维特征，则，总特征集将包含1024维特征。
该步骤S3500中，可以将总特征集输入至预置的分类模型中，以进行目标对象是否为活体对象的检测，获得检测结果，即，该步骤S3500可以包括：将第一特征集和第二特征集输入至预置的分类模型，进行目标对象是否为活体对象的检测，获得检测结果。
该分类模型反映任意的总特征集与分类结果之间的映射关系。
该实施例中，分类模型为二分类模型，其输出结果可以是属于活体的分类概率或者属于非活体的分类概率，以根据该分类概率与分类阈值的比较，确定检测结果。例如，分类模型的输出结果为属于非活体的分类概率，该分类概率也即为攻击概率，在输出的分类概率大于分类阈值时，则说明本次人脸识别存在利用非活体进行攻击的攻击风险；在输出的分类概率小于或者等于该分类阈值时，则说明本次人脸识别没有攻击风险。
该分类模型可以基于任意的分类模型结构训练得到，包括卷积神经网络模型结构等，在此不做限定。
用于训练特征提取模型的网络模型结构与用于训练分类模型的网络模型结构可以相同，也可以不同，在此不做限定。
根据以上步骤S3100～S3500可知，本实施例的方法利用采集到的RGB图像序列及利用该RGB图像序列得到的光流图像序列进行活体检测，这使得在非交互式的情况下，也能够获得较高的活体检测准确率，有利于提高针对目标对象进行图像采集的图像采集效率，提升用户体验。
在一个实施例中，该方法还可以包括如下步骤：根据通过步骤S3500获得的检测结果，执行对应的操作。
该实施例中，执行对象的操作可以包括：在该检测结果为不是活体对象的情况下，进行提示处理和/或禁止进行目标操作。
以通过人脸识别进行身份认证，以完成支付操作为例，该支付操作即为对应活体检测的目标操作。
以通过人脸识别进行身份认证，以登录某一应用为例，该目标操作即为对应活体检测的目标操作。
该实施例中，执行对象的操作也可以包括：在该检测结果为不是活体对象的情况下，允许进行目标操作。
执行对象的操作可以包括：在该检测结果为是活体对象的情况下，
本实施例的方法可以由如图2所示的服务器1100实施，也可以由如图2所示的终端设备1200实施，在此不做限定。
在一个实施例中，该方法还可以包括获得上述第一特征提取模型的步骤。该实施例中，获得该第一特征提取模型可以包括如下步骤S3011和S3012：
步骤S3011，获取第一样本，其中，每一第一样本包括样本对象的RGB图像序列和该样本对象的实际对象类别，该对象类别表示该样本对象是否为活体对象。
该实施例中，第一样本为具有标签的样本，该标签的内容即为对应样本的实际对象类别，即，第一样本的样本对象具有已知的对象类别。
该第一样本包括正样本和负样本，正样本为实际对象类别是非活体对象（即攻击对象）的样本，正样本的样本对象例如是实体照片、屏幕上显示的照片等等。负样本为实际对象类别是活体对象的样本。
步骤S3012，通过第一样本训练卷积神经网络的网络模型参数，获得该第一特征提取模型。
该实施例中，可以选用任意的卷积神经网络结构，例如ResNet网络结构、VGG网络结构，Densenet网络结构等等，在此不做限定。
在一个实施例中，可以按照设定比例，将根据步骤S3011获得的第一样本拆分为训练样本和测试样本，并通过训练样本训练训练卷积神经网络的网络模型参数，及通过测试样本验证训练得到的第一特征提取模型的模型性能，在模型性能达到设定要求的情况下，将通过训练样本重新或者继续训练该卷积神经网络的网络模型参数，直至训练得到的第一特征提取模型的模型性能达到设定要求为止。
在一个实施例中，为了能够利用较少的样本对象获得较多的第一样本，可以针对每一样本对象连续采集较多帧数的RGB图像，以能够将这些RGB图像拆分为多个样本。该实施例中，步骤S3011中获取第一样本可以包括：对于每一样本对象，获取通过连续采集对应样本对象的多帧RGB图像获得的一份RGB图像序列，其中，一份RGB图像序列对应一个样本对象；以及，分别根据每份RGB图像序列，生成多个第一样本。
该实施例中，任意一份RGB图像序列均将用于生成多个第一样本。
例如，该实施例中，针对任意样本对象连续采集150帧RGB图像，即，一份RGB图像序列中包含150帧RGB图像，按照每5帧构成一个第一样本的方式，拆分该份图像集，获得多个第一样本。在此，通过同一份RGB图像序列拆分得到的任意两个第一样本，可以具有相同的RGB图像帧（重叠部分RGB图像帧进行拆分），也可以不具有相同的RGB图像帧（非重叠拆分），在此不做限定。
在一个实施例中，可以在获得各份RGB图像序列后，分别计算每份RGB图像序列各自的均值和方差值，并针对每份RGB图像序列中的各帧图像，进行先减去对应均值、再除以对应方差的标准化预处理，以获得处理后的RGB图像序列，进而能够分别根据每份处理后的RGB图像序列，生成多个第一样本。
根据该实施例的方法，可以通过带标签的样本训练得到该第一特征提取模型，以使得该第一特征提取模型能够准确地提取RGB图像序列的有效图像特征，其中，该有效图像特征即为对进行活体检测有影响或者说，有利于进行活体检测的图像特征。
在一个实施例中，该方法还可以包括获得上述第二特征提取模型的步骤。该实施例中，获得该第二特征提取模型可以包括如下步骤S3021～S3023：
步骤S3021，获取原始样本，其中，每一原始样本包括样本对象的RGB图像序列和该样本对象的实际对象类别，该对象类别表示所述样本对象是否为活体对象。
该原始样本可以作为第一样本，用于训练得到上述第一特征提取模型。
步骤S3022，根据第一样本，获得反映第一样本的运动信息的第二样本。
在一个实施例中，可以利用预设的光流算法，对原始样本中每相邻两帧RGB图像进行光流计算，获得对应的第二样本。
例如，原始样本包括5帧RGB图像，则获得的对应第二样本将包括4帧光流图像。
在一个实施例中，为了能够利用较少的样本对象获得较多的原始样本，可以针对每一样本对象连续采集较多帧数的RGB图像，以能够将这些RGB图像拆分为多个原始样本。该实施例中，步骤S3021中获取原始样本可以包括：对于每一样本对象，获取通过连续采集对应样本对象的多帧RGB图像获得的一份RGB图像序列，其中，一份RGB图像序列对应一个样本对象；以及，分别根据每份RGB图像序列，生成多个原始样本。
该实施例中，任意一份RGB图像序列均将用于生成多个原始样本。
例如，该实施例中，针对任意样本对象连续采集150帧RGB图像，即，一份RGB图像序列中包含150帧RGB图像，按照每5帧构成一个原始样本的方式，拆分该份RGB图像序列，获得多个原始样本。在此，通过同一份RGB图像序列拆分得到的任意两个第一样本，可以具有相同的RGB图像帧（重叠部分RGB图像帧进行拆分），也可以不具有相同的RGB图像帧（非重叠拆分），在此不做限定。
在一个实施例中，在拆分任意RGB图像序列获得多个原始样本的过程中，可以按照相邻两个原始样本重叠一帧RGB图像的方式进行拆分，例如，该RGB图像序列包括150帧RGB图像，将1-5帧图像拆分为第一个原始样本，将第5-9帧图像拆分为第二个原始样本，以此类推，这样可以最大限度地利用该图像集的运动信息，生成尽可能多的第二样本。
该实施例也可以理解为是：对于任意RGB图像序列，对该RGB图像序列中的每相邻两帧RGB图像进行光流计算，以获得对应的光流图像序列，例如，该RGB图像序列具有150帧RGB图像，则对应的光流图像序列将具有149帧光流图像；以非重叠的方式，分别拆分每一光流图像序列，获得多个第二样本。
在一个实施例中，可以在获得各份光流图像序列后，分别计算每份光流图像序列各自的均值和方差值，并针对每份光流图像序列中的各帧光流图像，进行先减去对应均值、再除以对应方差的标准化预处理，以获得处理后的光流图像序列，进而能够分别根据每份处理后的光流图像序列，生成多个第二样本。
步骤S3023，通过第二样本训练卷积神经网络的网络模型参数，获得第二特征提取模型。
该实施例中，可以选用任意的卷积神经网络结构，例如ResNet网络结构、VGG网络结构，Densenet网络结构等等，在此不做限定。
根据该实施例的方法，可以通过带标签的样本训练得到该第二特征提取模型，以使得该第二特征提取模型能够准确地提取光流图像序列的有效图像特征。
在一个实施例中，该方法还可以包括：获得上述分类模型的步骤。该实施例中，获得该分类模型可以包括如下步骤S3031～S3035：
步骤S3031，获取第一样本，其中，每一第一样本包括样本对象的RGB图像序列和该样本对象的实际对象类别，该对象类别表示所述样本对象是否为活体对象。
步骤S3032，根据第一样本，获得反映第一样本的运动信息的第二样本。
在一个实施例中，该第二样本可以是对第一样本的每相邻两帧RGB图像进行光流计算获得，进而形成对应该第一样本的第二样本。
在另一个实施例中，通过同一样本对象的一份RGB图像序列生成了多个第一样本，可以按照图像采集的先后顺序连接对应同一样本对象的各第一样本，以对连接后的每相邻两帧RGB图像进行光流计算，进而形成与每一第一样本各自对应的第二样本。
步骤S3033，通过预置的第一特征提取模型，提取第一样本的图像特征，生成第一样本特征集。
步骤S3034，通过预置的第二特征提取模型第二特征提取模型，提取第二样本的图像特征，生成第二样本特征集。
步骤S3035，将第一样本特征集和对应的第二样本特征集作为新的样本，训练卷积神经网络的网络模型参数，获得该分类模型。
相对应的第一样本特征集和第二样本特征集分别通过相对应的第一样本和第二样本提取得到。
例如，第一样本特征集包括512个特征，第二样本特征集包括512个特征，则用于训练分类模型的样本将包括1024个特征。
该实施例中，可以选用任意的卷积神经网络结构，例如ResNet网络结构、VGG网络结构，Densenet网络结构等等，在此不做限定。
根据该实施例的方法，可以通过带标签的样本训练得到该分类模型，利用该分类模型能够给出关于活体检测的检测结果，且具有较高的检测准确性。
<例子>
图4给出了根据一个例子的获得特征提取模型和分类模型的流程示意图。该生成各模型的步骤可以由图2中的服务器1100实施。
步骤S4010，对于每一样本对象，获取通过连续采集对应样本对象的多帧RGB图像获得的RGB图像序列。
该例子中，需要提供多个正样本对象和多个负样本图像，以参与模型的训练。
例如，每一样本对象对应一个150帧的RGB图像序列。
步骤S4020，针对每一RGB图像序列，对对应RGB图像序列中的每相邻两帧RGB图像进行光流计算，获得对应的光流图像序列。
例如，一个150帧的RGB图像序列，将能够获得一个149帧的光流图像序列。
步骤S4030，对获得的每一RGB图像序列，分别进行各自的预处理，获得处理后的RGB图像序列。
该各自的预处理包括：计算对应RGB图像序列的均值和方差值；针对该RGB图像序列中的每帧RGB图像，进行先减去对应均值，再除以对应方差值的预处理，获得处理后的RGB图像序列。
步骤S4040，对获得的每一光流图像序列，分别进行各自的预处理，获得处理后的光流图像序列。
该各自的预处理包括：计算对应光流图像序列的均值和方差值；针对该光流图像序列中的每帧光流图像，进行先减去对应均值，再除以对应方差值的预处理，获得处理后的光流图像序列。
步骤S4050，对于每一处理后的RGB图像序列，拆分对应RGB图像序列中的RGB图像，生成多个第一样本。
该步骤S4050中，例如将任意RGB图像序列中的连续设定帧数的RGB图像定义为一个第一样本，例如，连续5帧为一个第一样本。
步骤S4060，对于每一处理后的光流图像序列，拆分对应光流图像序列中的光流图像，生成多个第二样本。
该步骤S4060中，例如将任意光流图像序列中的连续设定帧数的光流图像定义为一个第二样本，例如，连续4帧为一个第二样本。
步骤S4070，利用第一样本训练卷积神经网络的网络模型参数，获得第一特征提取模型。
步骤S4080，利用第一特征提取模型，提取第一样本的图像特征，构成第一样本特征集。
步骤S4090，利用第二样本训练卷积神经网络的网络模型参数，获得第二特征提取模型。
步骤S4100，利用第二特征提取模型，提取第二样本的图像特征，构成第二样本特征集。
步骤S4110，串联第一样本特征集和对应的第二样本特征集，生成新的样本特征集。
步骤S4120，利用新的样本特征集，训练卷积神经网络的网络模型参数，获得分类模型。
在获得第一特征提取模型、第二特征提取模型和分类模型之后，便可以根据针对目标对象进行多帧图像采集获得的RGB图像序列，利用这些模型获得对于目标对象进行活体检测的检测结果。
<方法实施例二>
本实施例提供了一种身份认证方法，该方法由终端设备实施，例如由图2中的终端设备1200实施。图5示出了该实施例的身份认证方法的流程示意图。如图5所示，该实施例的身份认证方法可以包括如下步骤S5100～S5300：
步骤S5100，响应于基于人脸识别的身份认证请求，获取该终端设备的摄像头采集到的目标用户的RGB图像序列。
该实施例中，终端设备1200响应于该身份认证请求，将进入图像采集界面，并控制摄像头连续采集该目标用户的多帧RGB图像，形成该目标对象的RGB图像序列以供获取。
步骤S5200，针对通过步骤S5100获取到的RGB图像序列，为完成基于人脸识别的身份认证执行设定操作，其中，该身份认证包括活体检测，该活体检测包括：提取RGB图像序列的图像特征，获得第一特征集；提取对应该RGB图像序列的光流图像序列的图像特征，获得第二特征集；以及，根据第一特征集和第二特征集，识别该目标对象是否为活体对象。
在一个实施例中，该步骤S5200中，为完成基于人脸识别的身份认证执行的设定操作可以包括：进行该身份认证，即，该实施例中，可以由终端设备1200进行该身份认证。
在另一个是黑色里中，该步骤S5200中，为完成基于人脸识别的身份认证执行的设定操作可以是也可以包括：将该RGB图像序列发送至服务器进行该身份认证。
步骤S5300，根据完成该身份认证的认证结果，执行对应的操作。
该步骤S5300中，在该认证结果是认证通过的情况下，进行认证通过的提示，和/或，执行该人脸识别请求对应的目标操作。
该步骤S5300中，在该认证结果是认证失败的情况下，进行认证失败的提示，并禁止执行该目标操作。
该实施例中，如果未通过活体检测，则认证失败。在未通过活体检测的情况下，即认定发生了活体攻击事件，该种情况下，还可以将发生该该活体攻击事件的信息发送至该目标用户在注册时登记的终端设备。
该消息例如包括发生该活体攻击事件的事实、发生事件、进行活体攻击的设备属性等等。
在一个实施例中，以上步骤S5200中，为完成基于人脸识别的身份认证执行设定操作可以包括：将该RGB图像序列发送至服务器进行该身份认证。该实施例中，该人脸识别方法还可以包括：接收服务器完成该身份认证返回的认证结果，以在步骤S5300中根据认证结果执行对应的操作。
在一个实施例中，该身份认证还可以包括：将RGB图像序列中的RGB图像与对应用户的人脸图像相匹配，并在匹配成功的情况下，再执行上述的活体检测。
该对应用户的人脸图像可以是预存在本地的对应用户的身份证上的人脸图像，也可以是对应用户在注册账户时上传或者采集的人脸图像等。
该实施例中，如果未匹配成功或者未通过活体检测，则身份认证失败；如果通过活体检测，则身份认证成功。
根据该实施例方法，基于人脸识别的身份认证引入了活体检测，可以有效防止活体攻击。
根据该实施例的方法，基于采集到的RGB图像序列及利用该RGB图像序列得到的光流图像序列进行活体检测，这使得人脸识别系统在非交互式的情况（进行图像采集时无需指示用户进行眨眼等交互操作）下，仍能够获得较高的活体检测准确率。这至少体现在：本实施例的方法使用多帧RGB图像信息进行活体检测，相对于基于单帧RGB图像信息进行的活体检测，将具有更高的准确率和对于环境变化的鲁棒性；而且，本实施例的方法利用了多帧RGB图像之间的光流信息进行活体检测，由于光流信息可以有效捕捉用户面部的“微小动作”，对精细的攻击手段也能准确拦截，因此，该实施例的方法能够在非交互式的情况下获得较高的准确率。
<装置实施例>
本实施例提供一种身份认证的活体检测装置，该装置例如是图6所示的活体检测装置6000，该活体检测装置6000可以包括图像获取模块6100、图像处理模块6200、第一特征提取模块6300、第二特征提取模块6400、及检测执行模块。
该图像获取模块6100用于获取目标对象的RGB图像序列，其中，该RGB图像序列包括按照图像采集的时间先后顺序排列的多帧RGB图像。
该图像处理模块6200用于根据所述RGB图像序列，获得反映所述RGB图像序列的运动信息的光流图像序列。
该第一特征提取模块6300用于提取RGB图像序列的图像特征，形成第一特征集。
该第二特征提取模块6400用于提取所述光流图像序列的图像特征，形成第二特征集。
该检测执行模块6500用于将所述第一特征集和所述第二特征集输入至预置的分类模型，进行所述目标对象是否为活体对象的检测，获得检测结果。
在一个实施例中，该装置还可以包括响应模块，该响应模块用于根据该检测结果，执行对应的操作。
在一个实施例中，该图像获取模块6100在获取目标对象的RGB图像序列时，可以用于：获取基于身份认证请求采集到的所述目标对象的RGB图像序列。
在一个实施例中，该图像处理模块6200在根据RGB图像序列，获得反映该RGB图像序列的运动信息的光流图像序列时，可以用于：对RGB图像序列中的每相邻两帧RGB图像进行光流计算，获得反映RGB图像序列的运动信息的光流图像序列。
在一个实施例中，该图像处理模块6200还可以用于：对RGB图像序列中的每帧RGB图像进行标准化处理，获得处理后的RGB图像序列，并将处理后的RGB图像序列提供给第一特征提取模块6300，以使得第一特征提取模块6300在提取所述RGB图像序列的图像特征时，可以用于：根据处理后的RGB图像序列，提取所述RGB图像序列的图像特征。
在一个实施例中，该图像处理模块6200还可以用于：对光流图像序列中的每帧光流图像进行标准化处理，并将处理后的光流图像序列提供给第二特征提取模块6400，以使得第二特征提取模块6400在提取光流图像序列的图像特征时，可以用于：根据处理后的光流图像序列，提取光流图像序列的图像特征。
在一个实施例中，该第一特征提取模块6300在提取所述RGB图像序列的图像特征时，可以用于：通过预置的第一特征提取模型，提取所述RGB图像序列的图像特征。
在一个实施例中，该装置6000还可以包括第一模型生成模块，该第一模型生成模块用于获得所述第一特征提取模型。该第一模型生成模块在获得第一特征提取模型时，可以用于：获取第一样本，其中，每一所述第一样本包括样本对象的RGB图像序列和对应样本对象的实际对象类别，所述对象类别表示对应样本对象是否为活体对象；以及，通过所述第一样本训练卷积神经网络的网络模型参数，获得所述第一特征提取模型。
在一个实施例中，该第一模型生成模块在获取第一样本时，可以用于：获取通过连续采集每一所述样本对象的多帧RGB图像获得的各份RGB图像序列，其中，一份RGB图像序列对应一个样本对象；以及，分别根据每份RGB图像序列，生成多个所述第一样本。
在一个实施例中，该第二特征提取模块6400在提取光流图像序列的图像特征时，可以用于：通过预置的第二特征提取模型，提取光流图像序列的图像特征。
在一个实施例中，该装置6000还可以包括第二模型生成模块，该第二模型生成模块用于获得第二特征提取模型。该第二模型生成模块用于获得第二特征提取模型时，可以用于：获取原始样本，其中，每一所述原始样本包括样本对象的RGB图像序列和对应样本对象的实际对象类别，所述对象类别表示对应样本对象是否为活体对象；根据所述原始样本，获得反映对应原始样本的运动信息的第二样本；以及，通过所述第二样本训练卷积神经网络的网络模型参数，获得所述第二特征提取模型。
在一个实施例中，该检测执行模块6500在根据第一特征集和第二特征集，检测目标对象是否为活体对象时，可以用于：将第一特征集与第二特征集输入至预置的分类模型，进行该检测。
在一个实施例中，该装置6000还可以包括第三模型生成模块，该第三模型生成模块用于获得该分类模型。该第三模型生成模块在获得该分类模型时，可以用于：获取第一样本，其中，每一所述第一样本包括样本对象的RGB图像序列和对应样本对象的实际对象类别，所述对象类别表示对应样本对象是否为活体对象；根据所述第一样本，获得反映对应第一样本的运动信息的第二样本；通过预置的第一特征提取模型，提取所述第一样本的图像特征，生成第一样本特征集；通过预置的第二特征提取模型，提取所述第二样本的图像特征，生成第二样本特征集；以及，将所述第一样本特征集和对应的第二样本特征集作为新的样本，训练卷积神经网络的网络模型参数，获得所述分类模型。
<设备实施例>
本实施例中，还提供一种电子设备，该电子设备包括本说明书装置实施例中描述的活体检测装置6000。
在另外的实施例中，如图7所示，该电子设备7000可以包括存储器7100和处理器7200。该存储器7100用于存储可执行命令。该处理器7200用于在存储器7100存储的可执行命令的控制下，执行本说明书任意方法实施例中描述的方法。
该电子设备7000根据所执行的方法实施例的实施主体，可以是服务器，也可以是终端设备，在此不做限定。
在一个实施例中，以上装置实施例中的任意一个模块都可以由处理器8200实现。
<系统实施例>
在本实施例中，还提供一种身份认证系统，该身份认证系统例如是如图2所示的身份认证系统，包括服务器1100和终端设备1200，该服务器用于执行根据第一方法实施例的方法，该终端设备1200用于执行根据第二方法实施例的方法。
该服务器包括存储器和处理器，服务器的存储器用于存储可执行命令；服务器的处理器用于在可执行命令的控制下，执行如本说明书方法实施例一中的任意实施例的方法。
终端设备包括存储器和处理器，终端设备的存储器用于存储可执行命令；终端设备的处理器用于在可执行命令的控制下，执行如本说明书方法实施例二种的任意实施例的方法。
<计算机可读存储介质实施例>
本实施例提供一种计算机可读存储介质，该存储介质中存储有可执行命令，该可执行命令被处理器执行时，执行本说明书任意方法实施例中描述的方法。
本说明书的一个实施例或者多个实施例可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本说明书的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本说明书实施例操作的计算机程序指令可以是汇编指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA），该电子电路可以执行计算机可读程序指令，从而实现本说明书的各个方面。
这里参照根据本说明书实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本说明书的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本说明书的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人物来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本说明书的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人物来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人物能理解本文披露的各实施例。本申请的范围由所附权利要求来限定。

Claims (19)

1.一种活体检测方法，包括：
获取目标对象的RGB图像序列，其中，所述RGB图像序列包括按照图像采集的时间先后顺序排列的多帧RGB图像；
根据所述RGB图像序列，获得反映所述RGB图像序列的运动信息的光流图像序列；
提取所述RGB图像序列的图像特征，形成第一特征集；
提取所述光流图像序列的图像特征，形成第二特征集；
将所述第一特征集和所述第二特征集输入至预置的分类模型，进行所述目标对象是否为活体对象的检测，获得检测结果。
2.根据权利要求1的方法，还包括：
根据所述检测结果，执行对应的操作。
3.根据权利要求1所述的方法，所述获取目标对象的RGB图像序列包括：
获取基于身份认证请求采集到的所述目标对象的RGB图像序列。
4.根据权利要求1所述的方法，所述根据所述RGB图像序列，获得反映所述RGB图像序列的运动信息的光流图像序列包括：
对所述RGB图像序列中的每相邻两帧RGB图像进行光流计算，获得反映所述RGB图像序列的运动信息的光流图像序列。
5.根据权利要求1所述的方法，还包括：
对所述RGB图像序列中的每帧RGB图像进行标准化处理，获得处理后的RGB图像序列；
所述提取所述RGB图像序列的图像特征包括：
根据所述处理后的RGB图像序列，提取所述RGB图像序列的图像特征。
6.根据权利要求1所述的方法，还包括：
对所述光流图像序列中的每帧光流图像进行标准化处理；
所述提取所述光流图像序列的图像特征包括：
根据所述处理后的光流图像序列，提取所述光流图像序列的图像特征。
7.根据权利要求1所述的方法，其中，所述提取所述RGB图像序列的图像特征包括：
通过预置的第一特征提取模型，提取所述RGB图像序列的图像特征。
8.根据权利要求7所述的方法，其中，还包括获得所述第一特征提取模型的步骤，包括：
获取第一样本，其中，每一所述第一样本包括样本对象的RGB图像序列和对应样本对象的实际对象类别，所述对象类别表示对应样本对象是否为活体对象；
通过所述第一样本训练卷积神经网络的网络模型参数，获得所述第一特征提取模型。
9.根据权利要求8所述的方法，其中，所述获取第一样本包括：
获取通过连续采集每一所述样本对象的多帧RGB图像获得的各份RGB图像序列，其中，一份RGB图像序列对应一个样本对象；
分别根据每份RGB图像序列，生成多个所述第一样本。
10.根据权利要求1所述的方法，其中，所述提取所述光流图像序列的图像特征包括：
通过预置的第二特征提取模型，提取所述光流图像序列的图像特征。
11.根据权利要求10所述的方法，其中，还包括获得所述第二特征提取模型的步骤，包括：
获取原始样本，其中，每一所述原始样本包括样本对象的RGB图像序列和对应样本对象的实际对象类别，所述对象类别表示对应样本对象是否为活体对象；
根据所述原始样本，获得反映对应原始样本的运动信息的第二样本；
通过所述第二样本训练卷积神经网络的网络模型参数，获得所述第二特征提取模型。
12.根据权利要求1所述的方法，其中，还包括获得所述分类模型的步骤，包括：
获取第一样本，其中，每一所述第一样本包括样本对象的RGB图像序列和对应样本对象的实际对象类别，所述对象类别表示对应样本对象是否为活体对象；
根据所述第一样本，获得反映对应第一样本的运动信息的第二样本；
通过预置的第一特征提取模型，提取所述第一样本的图像特征，生成第一样本特征集；
通过预置的第二特征提取模型，提取所述第二样本的图像特征，生成第二样本特征集；
将所述第一样本特征集和对应的第二样本特征集作为新的样本，训练卷积神经网络的网络模型参数，获得所述分类模型。
13.一种身份认证方法，由终端设备实施，包括：
响应于基于人脸识别的身份认证请求，启动所述终端设备的摄像头连续采集目标用户的多帧RGB图像，形成RGB图像序列；
针对所述RGB图像序列，为完成身份认证执行设定操作，其中，所述身份认证包括活体检测，所述活体检测包括：提取所述RGB图像序列的图像特征，获得第一特征集；提取对应所述RGB图像序列的光流图像序列的图像特征，获得第二特征集；以及，将所述第一特征集和所述第二特征集输入至预置的分类模型，进行所述目标对象是否为活体对象的检测，如果未通过活体检测，则身份认证失败；
根据进行所述身份认证的认证结果，执行对应的操作。
14.根据权利要求13所述的方法，其中，所述为完成身份认证执行设定操作包括：
将所述RGB图像序列发送至服务器进行所述身份认证；
所述方法还包括：接收所述服务器完成所述身份认证返回的认证结果。
15.根据权利要求13所述的方法，其中，所述身份认证还包括：
将所述RGB图像序列中的RGB图像与对应目标用户的人脸图像相匹配，在匹配成功的情况下，再进行所述活体检测。
16.一种活体检测装置，包括：
图像获取模块，用于获取目标对象的RGB图像序列，其中，所述RGB图像序列包括按照图像采集的时间先后顺序排列的多帧RGB图像；
图像处理模块，用于根据所述RGB图像序列，获得反映所述RGB图像序列的运动信息的光流图像序列；
第一特征提取模块，用于提取所述RGB图像序列的图像特征，形成第一特征集；
第二特征提取模块，用于提取所述光流图像序列的图像特征，形成第二特征集；以及，
检测执行模块，用于将所述第一特征集和所述第二特征集输入至预置的分类模型，进行所述目标对象是否为活体对象的检测，获得检测结果。
17.一种电子设备，包括如权利要求16所述的活体检测装置，或者，所述电子设备包括：
存储器，用于存储可执行命令；
处理器，用于在所述可执行命令的控制下，执行如权利要求1-15中任一项所述的方法。
18.一种身份认证系统，包括：
服务器，所述服务器包括存储器和处理器，所述服务器的存储器用于存储可执行命令；所述服务器的处理器用于在所述可执行命令的控制下，执行如权利要求1-12中任一项所述的方法；以及，
终端设备，所述终端设备包括存储器和处理器，所述终端设备的存储器用于存储可执行命令；所述终端设备的处理器用于在所述可执行命令的控制下，执行如权利要求13-15中任一项所述的方法。
19.一种计算机可读存储介质，存储有可执行指令，所述可执行指令被处理器执行时，执行如权利要求1-15中任一项所述的方法。
CN202010140488.3A 2020-03-03 2020-03-03 活体检测方法、装置、电子设备及系统 Pending CN110991432A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010140488.3A CN110991432A (zh) 2020-03-03 2020-03-03 活体检测方法、装置、电子设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010140488.3A CN110991432A (zh) 2020-03-03 2020-03-03 活体检测方法、装置、电子设备及系统

Publications (1)

Publication Number Publication Date
CN110991432A true CN110991432A (zh) 2020-04-10

Family

ID=70081304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010140488.3A Pending CN110991432A (zh) 2020-03-03 2020-03-03 活体检测方法、装置、电子设备及系统

Country Status (1)

Country Link
CN (1) CN110991432A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036340A (zh) * 2020-09-03 2020-12-04 北京盛华聚龙科技有限公司 企业信用报告查询方法及装置
CN112132089A (zh) * 2020-09-28 2020-12-25 天津天地伟业智能安全防范科技有限公司 一种基于3d卷积和光流的挖掘机行为分析方法
CN112883940A (zh) * 2021-04-13 2021-06-01 深圳市赛为智能股份有限公司 静默活体检测方法、装置、计算机设备及存储介质
CN113033519A (zh) * 2021-05-25 2021-06-25 腾讯科技（深圳）有限公司 活体检测方法、估算网络处理方法、装置和计算机设备
CN113205880A (zh) * 2021-04-30 2021-08-03 广东省人民医院 基于LogitBoost的心脏疾病预后预测方法及装置
CN113435353A (zh) * 2021-06-30 2021-09-24 平安科技（深圳）有限公司 基于多模态的活体检测方法、装置、电子设备及存储介质
WO2022028425A1 (zh) * 2020-08-05 2022-02-10 广州虎牙科技有限公司 对象识别方法和装置、电子设备及存储介质
WO2022222569A1 (zh) * 2021-04-20 2022-10-27 北京嘀嘀无限科技发展有限公司 一种目标判别方法和系统
CN117011918A (zh) * 2023-08-08 2023-11-07 南京工程学院 基于线性注意力机制的人脸活体检测模型的构建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190479A (zh) * 2018-08-04 2019-01-11 台州学院 一种基于混合深度学习的视频序列表情识别方法
CN109598242A (zh) * 2018-12-06 2019-04-09 中科视拓（北京）科技有限公司 一种新型的活体检测方法
US20190220652A1 (en) * 2016-09-30 2019-07-18 Intel Corporation Face anti-spoofing using spatial and temporal convolutional neural network analysis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190220652A1 (en) * 2016-09-30 2019-07-18 Intel Corporation Face anti-spoofing using spatial and temporal convolutional neural network analysis
CN109190479A (zh) * 2018-08-04 2019-01-11 台州学院 一种基于混合深度学习的视频序列表情识别方法
CN109598242A (zh) * 2018-12-06 2019-04-09 中科视拓（北京）科技有限公司 一种新型的活体检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEIWEI LIU 等: "Video Face Detection Based on Deep Learning", 《WIRELESS PERSONAL COMMUNICATIONS 》 *
胡斐 等: "基于微调策略的多线索融合人脸活体检测", 《计算机工程》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022028425A1 (zh) * 2020-08-05 2022-02-10 广州虎牙科技有限公司 对象识别方法和装置、电子设备及存储介质
CN112036340A (zh) * 2020-09-03 2020-12-04 北京盛华聚龙科技有限公司 企业信用报告查询方法及装置
CN112132089A (zh) * 2020-09-28 2020-12-25 天津天地伟业智能安全防范科技有限公司 一种基于3d卷积和光流的挖掘机行为分析方法
CN112883940A (zh) * 2021-04-13 2021-06-01 深圳市赛为智能股份有限公司 静默活体检测方法、装置、计算机设备及存储介质
WO2022222569A1 (zh) * 2021-04-20 2022-10-27 北京嘀嘀无限科技发展有限公司 一种目标判别方法和系统
CN113205880A (zh) * 2021-04-30 2021-08-03 广东省人民医院 基于LogitBoost的心脏疾病预后预测方法及装置
CN113205880B (zh) * 2021-04-30 2022-09-23 广东省人民医院 基于LogitBoost的心脏疾病预后预测方法及装置
CN113033519A (zh) * 2021-05-25 2021-06-25 腾讯科技（深圳）有限公司 活体检测方法、估算网络处理方法、装置和计算机设备
CN113033519B (zh) * 2021-05-25 2021-08-31 腾讯科技（深圳）有限公司 活体检测方法、估算网络处理方法、装置和计算机设备
CN113435353A (zh) * 2021-06-30 2021-09-24 平安科技（深圳）有限公司 基于多模态的活体检测方法、装置、电子设备及存储介质
WO2023273297A1 (zh) * 2021-06-30 2023-01-05 平安科技（深圳）有限公司 基于多模态的活体检测方法、装置、电子设备及存储介质
CN117011918A (zh) * 2023-08-08 2023-11-07 南京工程学院 基于线性注意力机制的人脸活体检测模型的构建方法
CN117011918B (zh) * 2023-08-08 2024-03-26 南京工程学院 基于线性注意力机制的人脸活体检测模型的构建方法

Similar Documents

Publication Publication Date Title
CN110991432A (zh) 活体检测方法、装置、电子设备及系统
US20180240028A1 (en) Conversation and context aware fraud and abuse prevention agent
JP2022532677A (ja) 身元検証及び管理システム
US11321575B2 (en) Method, apparatus and system for liveness detection, electronic device, and storage medium
TWI738659B (zh) 電子簽章通信期之驗證出處的系統及方法
JP7159509B1 (ja) 画像に基づくなりすまし検出のために複数の焦点スタックを使用するシステムおよび方法
US10832037B2 (en) Method and apparatus for detecting image type
US10861025B2 (en) Systems and methods of photo-based fraud protection
AU2012337301A1 (en) Facial recognition using social networking information
JP2021034003A (ja) 人物識別方法、装置、電子デバイス、記憶媒体、及びプログラム
CN114612986A (zh) 检测方法、装置、电子设备及存储介质
CN112949467B (zh) 人脸检测方法、装置、电子设备和存储介质
CN108427868B (zh) 资源传输对象的验证方法、系统及客户端
CN111046804A (zh) 活体检测方法、装置、电子设备及可读存储介质
US11586282B2 (en) Method, device, and computer program product for monitoring user
WO2022111688A1 (zh) 人脸活体检测方法、装置及存储介质
US9916511B2 (en) Systems and methods for authentication based on human teeth pattern
CN114723551A (zh) 基于多数据源的数据处理方法、装置、设备及存储介质
CN113138888A (zh) 功能检测方法及装置、电子设备和存储介质
JP2012049774A (ja) 映像監視装置
CN106682612B (zh) 一种基于图像识别的报警方法、终端、服务器及系统
CN105404803B (zh) 用于终端设备的操作响应装置及操作响应方法
CN110728436A (zh) 风险识别方法、装置、电子设备及系统
CN111259216A (zh) 一种信息识别方法、装置及设备
CN109523408A (zh) 参保人的身份认证方法、保险机构服务器及用户终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200410

RJ01 Rejection of invention patent application after publication