CN114360015A - 活体检测方法、装置、设备及存储介质 - Google Patents

活体检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114360015A
CN114360015A CN202111659337.XA CN202111659337A CN114360015A CN 114360015 A CN114360015 A CN 114360015A CN 202111659337 A CN202111659337 A CN 202111659337A CN 114360015 A CN114360015 A CN 114360015A
Authority
CN
China
Prior art keywords
features
face
image
feature
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111659337.XA
Other languages
English (en)
Inventor
王晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ezviz Software Co Ltd
Original Assignee
Hangzhou Ezviz Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ezviz Software Co Ltd filed Critical Hangzhou Ezviz Software Co Ltd
Priority to CN202111659337.XA priority Critical patent/CN114360015A/zh
Publication of CN114360015A publication Critical patent/CN114360015A/zh
Priority to PCT/CN2022/137427 priority patent/WO2023124869A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本说明书一实施例公开了一种活体检测方法、装置、设备及存储介质，其中方法包括：获取待检测的人脸图像，对所述人脸图像中的多个预设人脸部位进行图像提取，得到多个人脸部位图像；通过预先训练的多模态活体检测模型，分别对各所述人脸部位图像进行特征提取，并对提取得到的特征进行融合；通过所述多模态活体检测模型，基于融合后的特征进行高维特征生成处理，基于高维特征生成结果，判断所述人脸图像对应的用户是否为活体用户。通过本实施例，能够基于人脸图像进行活体检测，提高活体检测的准确度。

Description

活体检测方法、装置、设备及存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及一种活体检测方法、装置、设备及存储介质。
背景技术
目前，活体检测技术的应用场景越来越丰富，比如，应用在考勤打卡、门禁识别、支付识别等场景中。以支付识别场景为例，当用户通过手机进行支付时，若用户选择人脸识别的方式进行支付，则手机在获取到用户的人脸图像后，相应的后台服务器一方面判断获取的人脸图像与预先存储的用户的人脸图像是否相似，另一方面基于用户的人脸图像判断用户是否为活体用户。然而，一些非法用户会通过非正常手段获取合法用户的照片，利用合法用户的照片进行活体检测，以通过活体验证，进行有损合法用户利益的非法操作。基于上述问题，如何准确的进行活体检测是当前亟需解决的问题。
发明内容
本说明书一实施例的目的是提供一种活体检测方法、装置、设备及存储介质，可以基于人脸图像进行活体检测，提高活体检测的准确度。
为达到上述技术效果，本说明书实施例是这样实现的：
一方面，本说明书实施例提供一种活体检测方法，包括：
获取待检测的人脸图像，对所述人脸图像中的多个预设人脸部位进行图像提取，得到多个人脸部位图像；
通过预先训练的多模态活体检测模型，分别对各所述人脸部位图像进行特征提取，并对提取得到的特征进行融合；
通过所述多模态活体检测模型，基于融合后的特征进行高维特征生成处理，基于高维特征生成结果，判断所述人脸图像对应的用户是否为活体用户。
另一方面，本说明书实施例提供一种活体检测装置，包括：
存储器，用于存储待检测的人脸图像和预先训练的多模态活体检测模型；
处理器，用于对所述人脸图像中的多个预设人脸部位进行图像提取，得到多个人脸部位图像；通过所述多模态活体检测模型，分别对各所述人脸部位图像进行特征提取，并对提取得到的特征进行融合；通过所述多模态活体检测模型，基于融合后的特征进行高维特征生成处理，基于高维特征生成结果，判断所述人脸图像对应的用户是否为活体用户。
再一方面，本说明书实施例提供一种活体检测设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器实现以下流程：
获取待检测的人脸图像，对所述人脸图像中的多个预设人脸部位进行图像提取，得到多个人脸部位图像；
通过预先训练的多模态活体检测模型，分别对各所述人脸部位图像进行特征提取，并对提取得到的特征进行融合；
通过所述多模态活体检测模型，基于融合后的特征进行高维特征生成处理，基于高维特征生成结果，判断所述人脸图像对应的用户是否为活体用户。
再一方面，本说明书实施例提供一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被执行时实现以下流程：
获取待检测的人脸图像，对所述人脸图像中的多个预设人脸部位进行图像提取，得到多个人脸部位图像；
通过预先训练的多模态活体检测模型，分别对各所述人脸部位图像进行特征提取，并对提取得到的特征进行融合；
通过所述多模态活体检测模型，基于融合后的特征进行高维特征生成处理，基于高维特征生成结果，判断所述人脸图像对应的用户是否为活体用户。
采用本发明实施例的技术方案，通过对人脸图像中的多个预设人脸部位进行图像提取，得到多个人脸部位图像，通过预先训练的多模态活体检测模型，分别对各人脸部位图像进行特征提取，并对提取得到的特征进行融合，以及，基于融合后的特征进行高维特征生成处理，基于高维特征生成结果，判断人脸图像对应的用户是否为活体用户，可以结合多个预设人脸部位的特征判断人脸图像对应的用户是否为活体用户，相比于基于单一人脸部位的特征进行活体检测的方式，有效提高了活体检测的准确度。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的活体检测方法的流程示意图；
图2为本说明书另一实施例提供的活体检测方法的流程示意图；
图3为本说明书一实施例提供的多模态活体检测模型的结构示意图；
图4为本说明书一实施例提供的高维特征生成过程示意图；
图5为本说明书一实施例提供的活体检测方法的应用示意图；
图6为本说明书一实施例提供的多模态活体检测模型的训练流程示意图；
图7为本说明书一实施例提供的活体检测装置的结构示意图；
图8为本说明书一实施例提供的活体检测设备的结构示意图。
具体实施方式
本说明书实施例提供一种活体检测方法、装置、设备及存储介质，通过对人脸图像中的多个预设人脸部位进行图像提取，得到多个人脸部位图像，通过预先训练的多模态活体检测模型，分别对各人脸部位图像进行特征提取，并对提取得到的特征进行融合，以及，基于融合后的特征进行高维特征生成处理，基于高维特征生成结果，判断人脸图像对应的用户是否为活体用户，可以结合多个预设人脸部位的特征判断人脸图像对应的用户是否为活体用户，相比于基于单一人脸部位的特征进行活体检测的方式，有效提高了活体检测的准确度。
为了使本技术领域的人员更好地理解本公开中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
图1是本发明一实施例提供的活体检测方法的流程示意图，如图1所示，该方法包括：
步骤S102，获取待检测的人脸图像，对人脸图像中的多个预设人脸部位进行图像提取，得到多个人脸部位图像；
步骤S104，通过预先训练的多模态活体检测模型，分别对各人脸部位图像进行特征提取，并对提取得到的特征进行融合；
步骤S106，通过多模态活体检测模型，基于融合后的特征进行高维特征生成处理，基于高维特征生成结果，判断人脸图像对应的用户是否为活体用户。
本实施例中，通过对人脸图像中的多个预设人脸部位进行图像提取，得到多个人脸部位图像，通过预先训练的多模态活体检测模型，分别对各人脸部位图像进行特征提取，并对提取得到的特征进行融合，以及，基于融合后的特征进行高维特征生成处理，基于高维特征生成结果，判断人脸图像对应的用户是否为活体用户，可以结合多个预设人脸部位的特征判断人脸图像对应的用户是否为活体用户，相比于基于单一人脸部位的特征进行活体检测的方式，有效提高了活体检测的准确度。
本实施例中的方法能够由活体检测设备执行。一个实施例中，活体检测设备为获取人脸图像并进行活体检测的终端设备、如手机、电脑、平板电脑等设备，该类终端设备通过其中设置的摄像头(如近场红外摄像头)获取人脸图像，通过其中的算法执行图1中的方法流程进行活体检测。另一个实施例中，活体检测设备为后台服务器，后台服务器与前端的终端设备通信，前端的终端设备可以为手机、电脑、平板电脑等设备，前端的终端设备上设置有摄像头(如近场红外摄像头)，前端的终端设备通过摄像头获取人脸图像并传输给后台服务器，后台服务器通过其中的算法执行图1中的方法流程进行活体检测。
上述步骤S102中，获取待检测的人脸图像。比如，当方法执行主体为手机、电脑、平板电脑等设备时，该设备通过其中的摄像头获取待检测的人脸图像。又如，当方法执行主体为后台服务器时，后台服务器接收前端的手机、电脑或平板电脑等终端设备传输的待检测的人脸图像。待检测的人脸图像可以为红外图像，具体可以为近红外图像。
上述步骤S102中，对待检测的人脸图像中的多个预设人脸部位进行图像提取，得到多个人脸部位图像。其中，每个人脸部位图像与每个预设人脸部位一一对应。在一个实施例中，多个预设人脸部位包括左眼、右眼、鼻子、嘴巴、左面颊和右面颊中的至少两项。举例而言，在多个预设人脸部位包括左眼、右眼、鼻子、嘴巴、左面颊和右面颊时，可以提取得到六个人脸部位图像，分别为左眼图像、右眼图像、鼻子图像、嘴巴图像、左面颊图像和右面颊图像。当然，也可以将左面颊图像和右面颊图像进行合并，得到一个面颊图像。在具体实施时，预设人脸部位可以在左眼、右眼、鼻子、嘴巴、左面颊和右面颊中根据需要选取，本实施例不做限定。
在一个实施例中，对人脸图像中的多个预设人脸部位进行图像提取，得到多个人脸部位图像，具体为：对人脸图像中的多个预设人脸部位进行抠图，得到每个预设人脸部位对应的人脸部位图像，其中，一个预设人脸部位可以对应一个人脸部位图像。
在另一个实施例中，对人脸图像中的多个预设人脸部位进行图像提取，得到多个人脸部位图像，具体为：
(a1)对人脸图像中的人脸部分进行抠图，得到人脸抠图图像；
(a2)利用预设的人脸部位检测算法，在人脸抠图图像中对各预设人脸部位进行位置检测，得到各预设人脸部位的关键位置坐标；
(a3)基于各预设人脸部位的关键位置坐标，在人脸抠图图像中对各预设人脸部位进行抠图，得到各人脸部位图像。
首先，在动作(a1)中，对人脸图像中的人脸部分进行抠图，得到人脸抠图图像，人脸抠图图像可以是包括人脸部分的矩形图像。然后，在动作(a2)中，利用预设的人脸部位检测算法，比如人脸关键点检测算法，在人脸抠图图像中对各预设人脸部位进行位置检测，得到各预设人脸部位的关键位置坐标。在预设人脸部位为左眼或者右眼时，关键位置坐标可以包括眼睛的左右顶点的坐标、瞳孔中心点的坐标和眼睛边缘上的若干个关键点的坐标，在预设人脸部位为鼻子时，关键位置坐标可以包括鼻子上若干个关键点的坐标，在预设人脸部位为嘴巴时，关键位置坐标可以包括嘴巴左右顶点的坐标和嘴巴边缘上的若干个关键点的坐标，在预设人脸部位为左面颊或者右面颊时，关键位置坐标可以包括左面颊的左边缘上的若干个关键点的坐标或者右面颊的右边缘上的若干个关键点的坐标。
最后，动作(a3)中，根据各个预设人脸部位的关键位置坐标，在人脸抠图图像中对各个预设人脸部位进行抠图，得到各个人脸部位图像。比如，根据左眼的左右顶点的坐标、瞳孔中心点的坐标和眼睛边缘上的若干个关键点的坐标，在人脸抠图图像中对左眼进行抠图，得到左眼的图像，以及，根据右眼的左右顶点的坐标、瞳孔中心点的坐标和眼睛边缘上的若干个关键点的坐标，在人脸抠图图像中对右眼进行抠图，得到右眼的图像。
在一个实施例中，在对人脸图像中的人脸部分进行抠图，得到人脸抠图图像之前，还可以：在人脸图像中检测预设特征点的位置坐标，根据预设特征点的位置坐标，对人脸图像中的人脸部分进行姿态矫正处理；相应地，对人脸图像中的人脸部分进行抠图，得到人脸抠图图像，具体为：对姿态矫正处理后的人脸图像中的人脸部分进行抠图，得到人脸抠图图像。
在一个实施例中，在对人脸部分进行抠图之前，在人脸图像中检测预设特征点的位置坐标，预设特征点是可以表示人脸部分的姿态是否水平的特征点，预设特征点包括但不限于两个瞳孔的中心点，还可以包括嘴唇的两个嘴角处的顶点。根据预设特征点的位置坐标，对人脸图像中的人脸部分进行姿态矫正处理，可以为，方式1、旋转人脸图像，使得两个瞳孔的中心点的连线呈水平状态，和/或，方式2、旋转人脸图像，使得两个嘴角处的顶点的连线呈水平状态。这里的和/或表示可以根据方式1和方式2中的任意一种或两种对人脸部分进行姿态矫正。相应地，在对人脸部分姿态矫正结束后，对姿态矫正处理后的人脸图像中的人脸部分进行抠图，得到人脸抠图图像。
在另一个实施例中，在对人脸部分进行抠图之前，在人脸图像中检测预设特征点的位置坐标，预设特征点是可以表示人脸部分的姿态是否水平的特征点，预设特征点包括但不限于两个瞳孔的中心点，还可以包括嘴唇的两个嘴角处的顶点，预设特征点还包括人脸部分所在的矩形框的顶点坐标。根据预设特征点的位置坐标，对人脸图像中的人脸部分进行姿态矫正处理，可以为，方式1、根据人脸部分所在的矩形框，旋转人脸图像中的人脸部分，使得两个瞳孔的中心点的连线呈水平状态，和/或，方式2、根据人脸部分所在的矩形框，旋转人脸图像中的人脸部分，使得两个嘴角处的顶点的连线呈水平状态。这里的和/或表示可以根据方式1和方式2中的任意一种或两种对人脸部分进行姿态矫正。相应地，在对人脸部分姿态矫正结束后，对姿态矫正处理后的人脸图像中的人脸部分进行抠图，得到人脸抠图图像。
图2为本说明书另一实施例提供的活体检测方法的流程示意图，如图2所示，该方法由后台服务器执行，包括：
步骤S202，获取人脸图像，在人脸图像中检测预设特征点的位置坐标，根据预设特征点的位置坐标，对人脸图像中的人脸部分进行姿态矫正处理；
步骤S204，对姿态矫正处理后的人脸图像中的人脸部分进行抠图，得到人脸抠图图像；
步骤S206，利用预设的人脸部位检测算法，在人脸抠图图像中对各预设人脸部位进行位置检测，得到各预设人脸部位的关键位置坐标；
步骤S208，基于各预设人脸部位的关键位置坐标，在人脸抠图图像中对各预设人脸部位进行抠图，得到各人脸部位图像；
步骤S210，通过预先训练的多模态活体检测模型，分别对各人脸部位图像进行特征提取，并对提取得到的特征进行融合；
步骤S212，通过多模态活体检测模型，基于融合后的特征进行高维特征生成处理，基于高维特征生成结果，判断人脸图像对应的用户是否为活体用户。
上述步骤S104-步骤S106中，通过预先训练的多模态活体检测模型，分别对各人脸部位图像进行特征提取，并对提取得到的特征进行融合，以及，通过多模态活体检测模型，基于融合后的特征进行高维特征生成处理，基于高维特征生成结果，判断人脸图像对应的用户是否为活体用户。
本实施例中预先训练有能够进行活体检测的多模态活体检测模型，多模态指的是该活体检测模型具有多个图像输入通道，每个图像输入通道对应一个预设人脸部位，每个图像输入通道用于接收一个预设人脸部位的一幅人脸部位图像，以及，模型内部对应每个图像输入通道设置有一个特征提取模块，用于提取相应的预设人脸部位的人脸部位图像中的特征。
图3为本说明书一实施例提供的多模态活体检测模型的结构示意图，如图3所示，该模型包括：与各个预设人脸部位一一对应的多个特征提取模块、特征融合模块、特征补充模块、高维特征生成模块和结果确定模块。其中，多个特征提取模块分别与每个预设人脸部位一一对应，用于接收相应的预设人脸部位的人脸部位图像，并对接收的人脸部位图像进行特征提取，得到相应的预设人脸部位的特征。当然，图3中的模型还可以包括与各个预设人脸部位一一对应的多个图像输入通道，该输入通道与相应的特征提取模块相连接，该输入通道未在图中示出。
基于图3中的模型结构，上述步骤S104中，通过预先训练的多模态活体检测模型，分别对各人脸部位图像进行特征提取，并对提取得到的特征进行融合，具体为：
(b1)通过各特征提取模块，分别对各人脸部位图像进行特征提取，得到各预设人脸部位的特征；
(b2)通过特征融合模块，根据预设的特征融合算法，对各预设人脸部位的特征进行融合，得到融合后的特征。
首先，特征提取模块与预设人脸部位一一对应，通过每个特征提取模块，分别对相应的预设人脸部位的人脸部位图像进行特征提取，从而得到各个预设人脸部位的特征。接着，通过特征融合模块，根据预设的特征融合算法，比如基于线性特征依赖模型的特征融合算法或者基于稀疏表示理论的特征融合算法，对各个预设人脸部位的特征进行融合，得到融合后的特征。
预设人脸部位包括多个，每个预设人脸部位的特征也包括多个，基于此，在对各个预设人脸部位的特征进行融合，得到融合后的特征时，可以对于同一个预设人脸部位包括的多个特征进行融合，以及，将不同预设人脸部位包括的多个特征进行融合，比如，将左眼包括的多个特征进行融合，以及将左眼和右眼的多个特征进行融合，从而实现预设人脸部位的特征的多维度融合。
在对于同一个预设人脸部位包括的多个特征进行融合时，具体将哪些特征进行融合，可以由多模态活体检测模型经过学习得到，在将不同预设人脸部位包括的多个特征进行融合时，具体将哪些特征进行融合，也可以由多模态活体检测模型经过学习得到。
在特征融合，得到融合后的特征后，上述步骤S106中，通过多模态活体检测模型，基于融合后的特征进行高维特征生成处理，基于高维特征生成结果，判断人脸图像对应的用户是否为活体用户，具体为：
(c1)通过特征补充模块，对融合后的特征进行组合分析，得到补充特征，将融合后的特征和补充特征共同作为待处理特征；
(c2)通过高维特征生成模块，对待处理特征进行集合划分，对于每个集合，基于该集合内的各个特征生成高维特征；其中，每个集合内包括的各个特征之间的特征相关性满足高维特征生成要求；
(c3)通过高维特征生成模块，在各个集合生成的各个高维特征中存在特征相关性满足高维特征生成要求的高维特征的情况下，重复执行集合划分和生成高维特征的过程，直至各个集合生成的各个高维特征中不存在特征相关性满足高维特征生成要求的高维特征；
(c4)通过结果确定模块，基于最终生成得到的高维特征，以及与每个最终生成得到的高维特征相对应的特征分类规则，判断人脸图像对应的用户是否为活体用户。
动作(c1)中，通过多模态活体检测模型中的特征补充模块，对融合后的特征进行组合分析，得到补充特征，将融合后的特征和补充特征共同作为待处理特征。由于融合后的特征是对各个预设人脸部位的特征进行融合得到的，因此，融合后的特征包括各个预设人脸部位的特征，本动作中，通过特征补充模块，对融合后的特征进行组合分析，得到补充特征，具体为：从融合后的特征中提取具有组合关系的特征，具有组合关系的特征能够在一起生成新的特征，也即生成补充特征，从而对具有组合关系的特征进行分析，基于特征之间的组合关系，生成得到补充特征。具有组合关系的特征可以来自于同一个预设人脸部位，也可以来自于不同预设人脸部部位，如何从融合后的特征中提取出具有组合关系的特征，以及，如何确定哪些特征之间具有组合关系，由多模态活体检测模型经过学习得到。
一种情况下，补充特征为维度较高的高维特征，具有比较明确的实体含义，比如，一个例子中，从融合后的特征中提取左眼皮肤特征和右眼皮肤特征，基于这两部分特征，组合分析得到补充特征，补充特征用于表示用户是否带眼镜。另一种情况下，补充特征为维度较低的特征，不具有比较明确的实体含义，比如，从融合后的特征中提取左眼皮肤上两个相邻像素块的颜色值，基于这两部分特征，组合分析得到补充特征，补充特征用于表示左眼皮肤上这两个相邻像素块的平均颜色值。本动作中，还将补充特征和融合后的特征共同作为待处理特征。
上述动作(c2)中，通过高维特征生成模块，对待处理特征进行集合划分，对于每个集合，基于该集合内的各个特征生成高维特征。其中，待处理特征包括上述的补充特征和融合后的特征，融合后的特征又包括上述的各个预设人脸部位的特征，因此待处理特征包括大量特征。每个集合内包括的各个特征之间的特征相关性满足高维特征生成要求。首先，通过高维特征生成模块，在各个待处理特征中进行集合划分，使得每个集合内包括多个特征，且每个集合内包括的多个特征之间的特征相关性满足高维特征生成要求，也就是说，每个集合内包括的多个特征能够用来生成高维特征，将这样的多个特征划分为一个集合。
其中，特征相关性指的是多个特征之间的关联程度，特征相关性越大，这多个特征越能够在一起生成一个高维特征，比如，左眼皮肤颜色和右眼皮肤颜色在一起能够表示用户是否戴眼镜，这两个特征之间的相关性就比较强，但是左眼皮肤颜色和面颊纹理特征在一起无法生成更高维的特征，这两个特征之间的相关性就比较弱。高维特征生成要求可以为，特征之间的相关性大于预设程度，当多个特征之间的相关程度较大时，这多个特征可以在一起生成新的高维特征，反之，无法生成新的高维特征。
在依据上述原则，将特征之间的相关性较大的待处理特征划分到同一集合中，并基于该集合内的各个特征生成高维特征。该过程可以举例为：比如，将左脸颊皮肤颜色特征和右脸颊皮肤颜色特征划分到一个集合中，基于这两部分特征，生成高维特征，高维特征用于表示用户是否戴口罩，又如，将左脸颊皮肤纹理特征和右脸颊皮肤纹理特征划分到一个集合中，基于这两部分特征，生成高维特征，高维特征用于表示用户的年龄阶段。一个集合中可以包括至少两个特征，一个集合可以生成至少一个高维特征。
在上述动作(c3)中，通过高维特征生成模块，在各个集合生成的各个高维特征中存在特征相关性满足高维特征生成要求的高维特征的情况下，重复执行集合划分和生成高维特征的过程，直至各个集合生成的各个高维特征中不存在特征相关性满足高维特征生成要求的高维特征。具体而言，经过第一次高维特征生成，能够将原始的大量待处理特征的数量减少，得到数量较少的高维特征，对于这些高维特征，在各个高维特征中存在特征相关性满足高维特征生成要求的高维特征的情况下，再次对这些高维特征进行集合划分，得到一个一个集合，每个集合包括特征相关性较高的至少两个特征，并重复根据每个集合内的特征，生成高维特征的过程，也就相当于重复(c2)的过程，使得特征数量再次减少，并再次得到更高维度的特征。
在二次生成高维特征之后，对生成得到的高维特征，在各个高维特征中存在特征相关性满足高维特征生成要求的高维特征的情况下，重复执行集合划分和生成高维特征的过程，也就是再次进行集合划分和高维特征生成，直至各个集合生成的各个高维特征中不存在特征相关性满足高维特征生成要求的高维特征，也就是直到生成的各个高维特征无法再进行集合划分为止。通过反复的高维特征生成过程，能够达到减少特征数量，并能够得到表示具体实体含义的若干个高维特征，这些高维特征对于判断用户是否为活体具有重要作用。
图4为本说明书一实施例提供的高维特征生成过程示意图，如图4所示，以融合后的特征包括5个特征，特征1、特征2、特征3、特征4和特征5为例，获取到融合后的特征之后，首先生成补充特征即特征6和特征7，得到7个特征，也即特征1-7，从而扩大特征数量。其中，特征6由特征3和4生成，特征7由特征4和5生成。接着，进行集合划分，得到4个集合，包括集合11、集合12、集合13、集合14。每个集合包括如图所示的2个特征，各个集合中包括的特征可以有重复。对于每个集合中包括的特征，生成1个或2个高维特征，从而，得到如图4所示的5个高维特征，包括高维特征1、高维特征2、高维特征3、高维特征4和高维特征5。
接着，重复集合划分和高维特征生成过程，划分得到3个集合，包括集合21、集合22、集合23，生成3个高维特征，包括高维特征11、高维特征12和高维特征13。分析发现，这3个高维特征中不存在特征相关性满足高维特征生成要求的高维特征，因此不再划分集合，高维特征生成过程结束。
动作(c4)中，通过结果确定模块，基于最终生成得到的高维特征，以及与每个最终生成得到的高维特征相对应的特征分类规则，判断人脸图像对应的用户是否为活体用户。在一个实施例中，通过结果确定模块，基于最终生成得到的高维特征，以及与每个最终生成得到的高维特征相对应的特征分类规则，判断人脸图像对应的用户是否为活体用户，具体为：
(c41)通过结果确定模块，基于最终生成得到的高维特征，以及与每个最终生成得到的高维特征相对应的特征分类规则，对每个最终生成得到的高维特征进行分类，分类结果包括属于活体特征或者不属于活体特征；
(c42)通过结果确定模块，在分类结果为属于活体特征的高维特征数量占比大于预设数量占比时，确定人脸图像对应的用户为活体用户，反之，确定人脸图像对应的用户不为活体用户。
首先，动作(c41)中，通过结果确定模块，基于最终生成得到的高维特征，以及与每个最终生成得到的高维特征相对应的特征分类规则，对每个最终生成得到的高维特征进行分类，分类结果包括属于活体特征或者不属于活体特征。比如，最终生成了三个高维特征，分别为：用户皮肤为肉皮材质、用户面颊没有遮挡物、用户眼睛没有墨镜，然后，根据每个最终生成得到的高维特征相对应的特征分类规则，对每个最终生成得到的高维特征进行分类，分类结果依次为：属于活体特征、属于活体特征、属于活体特征。
其中，多模态活体检测模型在训练过程中，能够学习得到多种高维特征，并生成每种高维特征对应的特征分类规则，从而对最终生成得到的各个高维特征进行分类。
接着，动作(c42)中，计算分类结果为属于活体特征的高维特征数量占比，该占比等于：分类结果为属于活体特征的高维特征数量除以最终生成得到的高维特征的数量，在该占比大于预设数量占比时，确定人脸图像对应的用户为活体用户，在该占比小于等于预设数量占比时，确定人脸图像对应的用户不为活体用户。比如前例中，分类结果为属于活体特征的高维特征数量除以最终生成得到的高维特征的数量，得到占比为100％，大于预设数量占比90％，从而确定人脸图像对应的用户为活体用户。
可见，本实施例中，能够通过多模态活体检测模型，结合多个预设人脸部位的特征判断人脸图像对应的用户是否为活体用户，从而有效提高了活体检测的准确度。
图5为本说明书一实施例提供的活体检测方法的应用示意图，如图5所示，该方法中，获取人脸图像中的右眼图像、左眼图像、嘴巴图像、鼻子图像和双颊图像，双颊图像由左面颊和右面颊图像拼接而成，将这些图像输入至多模态活体检测模型，多模态活体检测模型通过其中的多个特征提取模块进行特征提取，通过特征融合模块进行特征融合，通过特征补充模块生成补充特征，通过高维特征生成模块生成高维特征，通过结果确定模块输出检测结果。
在一个实施例中，多模态活体检测模型为基于深度学习的神经网络模型。图6为本说明书一实施例提供的多模态活体检测模型的训练流程示意图，该训练流程可以由进行模型训练的后台服务器执行，如图6所示，该流程包括：
步骤S602，获取样本人脸图像；
本步骤中，样本人脸图像可以通过人工的方式拍摄得到。
步骤S604，对样本人脸图像打标签；
本步骤中，标签结果包括活体和非活体两类。
步骤S606，从样本人脸图像中提取各个预设人脸部位的人脸部位图像。
本步骤中，对于每张样本人脸图像而言，从中提取各个预设人脸部位的人脸部位图像。提取过程可以参考步骤S102的介绍。
步骤S608，将人脸部位图像和相应的标签结果输入至预先搭建的神经网络结构中进行模型训练。
本步骤中，将属于同一样本人脸图像的人脸部位图像作为一组样本，将各组样本以及各组样本对应的标签结果输入至预先搭建的神经网络结构中进行模型训练。可以利用各种已有的神经网络结构作为多模态活体检测模型的神经网络结构。
步骤S610，在模型训练收敛后，判断模型的误差率是否在预设范围内。
步骤S612，若是，确定模型训练结果。
当然，若误差率超过预设范围，可以对模型进行调参，并接着对模型进行训练，直至模型训练收敛且模型的误差率在预设范围内。
综上，已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。
上述介绍了基于多模态活体检测模型对人脸图像进行活体检测的具体过程，基于同样的思路，本说明书实施例还提供一种活体检测装置，图7为本说明书一实施例提供的活体检测装置的结构示意图，如图7所示，该装置包括：
存储器71，用于存储待检测的人脸图像和预先训练的多模态活体检测模型；
处理器72，用于对所述人脸图像中的多个预设人脸部位进行图像提取，得到多个人脸部位图像；通过所述多模态活体检测模型，分别对各所述人脸部位图像进行特征提取，并对提取得到的特征进行融合；通过所述多模态活体检测模型，基于融合后的特征进行高维特征生成处理，基于高维特征生成结果，判断所述人脸图像对应的用户是否为活体用户。
可选地，处理器72，具体用于：
对所述人脸图像中的人脸部分进行抠图，得到人脸抠图图像；
利用预设的人脸部位检测算法，在所述人脸抠图图像中对各所述预设人脸部位进行位置检测，得到各所述预设人脸部位的关键位置坐标；
基于各所述预设人脸部位的关键位置坐标，在所述人脸抠图图像中对各所述预设人脸部位进行抠图，得到各所述人脸部位图像。
可选地，处理器72，还用于：
在在对所述人脸图像中的人脸部分进行抠图，得到人脸抠图图像之前，在所述人脸图像中检测预设特征点的位置坐标，根据所述预设特征点的位置坐标，对所述人脸图像中的人脸部分进行姿态矫正处理；
相应地，处理器72，还具体用于：
对姿态矫正处理后的所述人脸图像中的人脸部分进行抠图，得到所述人脸抠图图像。
可选地，所述多模态活体检测模型包括：与各个所述预设人脸部位一一对应的多个特征提取模块、特征融合模块；处理器72，具体用于：
通过各所述特征提取模块，分别对各所述人脸部位图像进行特征提取，得到各所述预设人脸部位的特征；
通过所述特征融合模块，根据预设的特征融合算法，对各所述预设人脸部位的特征进行融合，得到融合后的特征。
可选地，所述多模态活体检测模型包括：特征补充模块、高维特征生成模块和结果确定模块；处理器72，具体用于：
通过所述特征补充模块，对所述融合后的特征进行组合分析，得到补充特征，将所述融合后的特征和所述补充特征共同作为待处理特征；
通过所述高维特征生成模块，对所述待处理特征进行集合划分，对于每个集合，基于该集合内的各个特征生成高维特征；其中，每个集合内包括的各个特征之间的特征相关性满足高维特征生成要求；
通过所述高维特征生成模块，在各个集合生成的各个高维特征中存在特征相关性满足高维特征生成要求的高维特征的情况下，重复执行所述集合划分和所述生成高维特征的过程，直至各个集合生成的各个高维特征中不存在特征相关性满足高维特征生成要求的高维特征；
通过所述结果确定模块，基于最终生成得到的高维特征，以及与每个最终生成得到的高维特征相对应的特征分类规则，判断所述人脸图像对应的用户是否为活体用户。
可选地，处理器72，还具体用于：
通过所述结果确定模块，基于最终生成得到的高维特征，以及与每个最终生成得到的高维特征相对应的特征分类规则，对每个最终生成得到的高维特征进行分类，分类结果包括属于活体特征或者不属于活体特征；
通过所述结果确定模块，在分类结果为属于活体特征的高维特征数量占比大于预设数量占比时，确定所述人脸图像对应的用户为活体用户，反之，确定所述人脸图像对应的用户不为活体用户。
可选地，所述多个预设人脸部位包括左眼、右眼、鼻子、嘴巴、左面颊和右面颊中的至少两项。
本实施例中，通过对人脸图像中的多个预设人脸部位进行图像提取，得到多个人脸部位图像，通过预先训练的多模态活体检测模型，分别对各人脸部位图像进行特征提取，并对提取得到的特征进行融合，以及，基于融合后的特征进行高维特征生成处理，基于高维特征生成结果，判断人脸图像对应的用户是否为活体用户，可以结合多个预设人脸部位的特征判断人脸图像对应的用户是否为活体用户，相比于基于单一人脸部位的特征进行活体检测的方式，有效提高了活体检测的准确度。
本领域的技术人员应可理解，本实施例中的活体检测装置能够用来实现前文所述的活体检测方法的各个过程，并达到相同的效果和功能，其中的细节描述应与前文方法实施例部分描述类似，为避免繁琐，此处不另赘述。
基于同样的思路，本说明书实施例还提供一种活体检测设备，图8为本说明书一实施例提供的活体检测设备的结构示意图，如图8所示。活体检测设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器801和存储器802，存储器802中可以存储有一个或一个以上存储应用程序或数据。其中，存储器802可以是短暂存储或持久存储。存储在存储器802的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对活体检测设备中的一系列计算机可执行指令。更进一步地，处理器801可以设置为与存储器802通信，在活体检测设备上执行存储器802中的一系列计算机可执行指令。活体检测设备还可以包括一个或一个以上电源803，一个或一个以上有线或无线网络接口804，一个或一个以上输入输出接口805，一个或一个以上键盘806。
具体在本实施例中，活体检测设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对活体检测设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
获取待检测的人脸图像，对所述人脸图像中的多个预设人脸部位进行图像提取，得到多个人脸部位图像；
通过预先训练的多模态活体检测模型，分别对各所述人脸部位图像进行特征提取，并对提取得到的特征进行融合；
通过所述多模态活体检测模型，基于融合后的特征进行高维特征生成处理，基于高维特征生成结果，判断所述人脸图像对应的用户是否为活体用户。
可选地，计算机可执行指令在被执行时，对所述人脸图像中的多个预设人脸部位进行图像提取，得到多个人脸部位图像，包括：
对所述人脸图像中的人脸部分进行抠图，得到人脸抠图图像；
利用预设的人脸部位检测算法，在所述人脸抠图图像中对各所述预设人脸部位进行位置检测，得到各所述预设人脸部位的关键位置坐标；
基于各所述预设人脸部位的关键位置坐标，在所述人脸抠图图像中对各所述预设人脸部位进行抠图，得到各所述人脸部位图像。
可选地，计算机可执行指令在被执行时，在对所述人脸图像中的人脸部分进行抠图，得到人脸抠图图像之前，还包括：
在所述人脸图像中检测预设特征点的位置坐标，根据所述预设特征点的位置坐标，对所述人脸图像中的人脸部分进行姿态矫正处理；
对所述人脸图像中的人脸部分进行抠图，得到人脸抠图图像，包括：
对姿态矫正处理后的所述人脸图像中的人脸部分进行抠图，得到所述人脸抠图图像。
可选地，计算机可执行指令在被执行时，所述多模态活体检测模型包括：与各个所述预设人脸部位一一对应的多个特征提取模块、特征融合模块；通过预先训练的多模态活体检测模型，分别对各所述人脸部位图像进行特征提取，并对提取得到的特征进行融合，包括：
通过各所述特征提取模块，分别对各所述人脸部位图像进行特征提取，得到各所述预设人脸部位的特征；
通过所述特征融合模块，根据预设的特征融合算法，对各所述预设人脸部位的特征进行融合，得到融合后的特征。
可选地，计算机可执行指令在被执行时，所述多模态活体检测模型包括：特征补充模块、高维特征生成模块和结果确定模块；通过所述多模态活体检测模型，基于融合后的特征进行高维特征生成处理，基于高维特征生成结果，判断所述人脸图像对应的用户是否为活体用户，包括：
通过所述特征补充模块，对所述融合后的特征进行组合分析，得到补充特征，将所述融合后的特征和所述补充特征共同作为待处理特征；
通过所述高维特征生成模块，对所述待处理特征进行集合划分，对于每个集合，基于该集合内的各个特征生成高维特征；其中，每个集合内包括的各个特征之间的特征相关性满足高维特征生成要求；
通过所述高维特征生成模块，在各个集合生成的各个高维特征中存在特征相关性满足高维特征生成要求的高维特征的情况下，重复执行所述集合划分和所述生成高维特征的过程，直至各个集合生成的各个高维特征中不存在特征相关性满足高维特征生成要求的高维特征；
通过所述结果确定模块，基于最终生成得到的高维特征，以及与每个最终生成得到的高维特征相对应的特征分类规则，判断所述人脸图像对应的用户是否为活体用户。
可选地，计算机可执行指令在被执行时，通过所述结果确定模块，基于最终生成得到的高维特征，以及与每个最终生成得到的高维特征相对应的特征分类规则，判断所述人脸图像对应的用户是否为活体用户，包括：
通过所述结果确定模块，基于最终生成得到的高维特征，以及与每个最终生成得到的高维特征相对应的特征分类规则，对每个最终生成得到的高维特征进行分类，分类结果包括属于活体特征或者不属于活体特征；
通过所述结果确定模块，在分类结果为属于活体特征的高维特征数量占比大于预设数量占比时，确定所述人脸图像对应的用户为活体用户，反之，确定所述人脸图像对应的用户不为活体用户。
可选地，计算机可执行指令在被执行时，所述多个预设人脸部位包括左眼、右眼、鼻子、嘴巴、左面颊和右面颊中的至少两项。
本实施例中，通过对人脸图像中的多个预设人脸部位进行图像提取，得到多个人脸部位图像，通过预先训练的多模态活体检测模型，分别对各人脸部位图像进行特征提取，并对提取得到的特征进行融合，以及，基于融合后的特征进行高维特征生成处理，基于高维特征生成结果，判断人脸图像对应的用户是否为活体用户，可以结合多个预设人脸部位的特征判断人脸图像对应的用户是否为活体用户，相比于基于单一人脸部位的特征进行活体检测的方式，有效提高了活体检测的准确度。
本领域的技术人员应可理解，本实施例中的活体检测设备能够用来实现前文所述的活体检测方法的各个过程，并达到相同的效果和功能，其中的细节描述应与前文方法实施例部分描述类似，为避免繁琐，此处不另赘述。
本说明书实施例还提出了一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被执行时实现以下流程：
获取待检测的人脸图像，对所述人脸图像中的多个预设人脸部位进行图像提取，得到多个人脸部位图像；
通过预先训练的多模态活体检测模型，分别对各所述人脸部位图像进行特征提取，并对提取得到的特征进行融合；
通过所述多模态活体检测模型，基于融合后的特征进行高维特征生成处理，基于高维特征生成结果，判断所述人脸图像对应的用户是否为活体用户。
可选地，所述计算机可执行指令在被执行时，对所述人脸图像中的多个预设人脸部位进行图像提取，得到多个人脸部位图像，包括：
对所述人脸图像中的人脸部分进行抠图，得到人脸抠图图像；
利用预设的人脸部位检测算法，在所述人脸抠图图像中对各所述预设人脸部位进行位置检测，得到各所述预设人脸部位的关键位置坐标；
基于各所述预设人脸部位的关键位置坐标，在所述人脸抠图图像中对各所述预设人脸部位进行抠图，得到各所述人脸部位图像。
可选地，所述计算机可执行指令在被执行时，在对所述人脸图像中的人脸部分进行抠图，得到人脸抠图图像之前，还包括：
在所述人脸图像中检测预设特征点的位置坐标，根据所述预设特征点的位置坐标，对所述人脸图像中的人脸部分进行姿态矫正处理；
对所述人脸图像中的人脸部分进行抠图，得到人脸抠图图像，包括：
对姿态矫正处理后的所述人脸图像中的人脸部分进行抠图，得到所述人脸抠图图像。
可选地，所述计算机可执行指令在被执行时，所述多模态活体检测模型包括：与各个所述预设人脸部位一一对应的多个特征提取模块、特征融合模块；通过预先训练的多模态活体检测模型，分别对各所述人脸部位图像进行特征提取，并对提取得到的特征进行融合，包括：
通过各所述特征提取模块，分别对各所述人脸部位图像进行特征提取，得到各所述预设人脸部位的特征；
通过所述特征融合模块，根据预设的特征融合算法，对各所述预设人脸部位的特征进行融合，得到融合后的特征。
可选地，所述计算机可执行指令在被执行时，所述多模态活体检测模型包括：特征补充模块、高维特征生成模块和结果确定模块；通过所述多模态活体检测模型，基于融合后的特征进行高维特征生成处理，基于高维特征生成结果，判断所述人脸图像对应的用户是否为活体用户，包括：
通过所述特征补充模块，对所述融合后的特征进行组合分析，得到补充特征，将所述融合后的特征和所述补充特征共同作为待处理特征；
通过所述高维特征生成模块，对所述待处理特征进行集合划分，对于每个集合，基于该集合内的各个特征生成高维特征；其中，每个集合内包括的各个特征之间的特征相关性满足高维特征生成要求；
通过所述高维特征生成模块，在各个集合生成的各个高维特征中存在特征相关性满足高维特征生成要求的高维特征的情况下，重复执行所述集合划分和所述生成高维特征的过程，直至各个集合生成的各个高维特征中不存在特征相关性满足高维特征生成要求的高维特征；
通过所述结果确定模块，基于最终生成得到的高维特征，以及与每个最终生成得到的高维特征相对应的特征分类规则，判断所述人脸图像对应的用户是否为活体用户。
可选地，所述计算机可执行指令在被执行时，通过所述结果确定模块，基于最终生成得到的高维特征，以及与每个最终生成得到的高维特征相对应的特征分类规则，判断所述人脸图像对应的用户是否为活体用户，包括：
通过所述结果确定模块，基于最终生成得到的高维特征，以及与每个最终生成得到的高维特征相对应的特征分类规则，对每个最终生成得到的高维特征进行分类，分类结果包括属于活体特征或者不属于活体特征；
通过所述结果确定模块，在分类结果为属于活体特征的高维特征数量占比大于预设数量占比时，确定所述人脸图像对应的用户为活体用户，反之，确定所述人脸图像对应的用户不为活体用户。
可选地，所述计算机可执行指令在被执行时，所述多个预设人脸部位包括左眼、右眼、鼻子、嘴巴、左面颊和右面颊中的至少两项。
本实施例中，通过对人脸图像中的多个预设人脸部位进行图像提取，得到多个人脸部位图像，通过预先训练的多模态活体检测模型，分别对各人脸部位图像进行特征提取，并对提取得到的特征进行融合，以及，基于融合后的特征进行高维特征生成处理，基于高维特征生成结果，判断人脸图像对应的用户是否为活体用户，可以结合多个预设人脸部位的特征判断人脸图像对应的用户是否为活体用户，相比于基于单一人脸部位的特征进行活体检测的方式，有效提高了活体检测的准确度。
本领域的技术人员应可理解，本实施例中的存储介质能够用来实现前文所述的活体检测方法的各个过程，并达到相同的效果和功能，其中的细节描述应与前文方法实施例部分描述类似，为避免繁琐，此处不另赘述。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本公开时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本公开可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本公开，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本公开的实施例而已，并不用于限制本公开。对于本领域技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本公开的权利要求范围之内。

Claims (10)

1.一种活体检测方法，其特征在于，包括：
获取待检测的人脸图像，对所述人脸图像中的多个预设人脸部位进行图像提取，得到多个人脸部位图像；
通过预先训练的多模态活体检测模型，分别对各所述人脸部位图像进行特征提取，并对提取得到的特征进行融合；
通过所述多模态活体检测模型，基于融合后的特征进行高维特征生成处理，基于高维特征生成结果，判断所述人脸图像对应的用户是否为活体用户。
2.根据权利要求1所述的方法，其特征在于，对所述人脸图像中的多个预设人脸部位进行图像提取，得到多个人脸部位图像，包括：
对所述人脸图像中的人脸部分进行抠图，得到人脸抠图图像；
利用预设的人脸部位检测算法，在所述人脸抠图图像中对各所述预设人脸部位进行位置检测，得到各所述预设人脸部位的关键位置坐标；
基于各所述预设人脸部位的关键位置坐标，在所述人脸抠图图像中对各所述预设人脸部位进行抠图，得到各所述人脸部位图像。
3.根据权利要求2所述的方法，其特征在于，在对所述人脸图像中的人脸部分进行抠图，得到人脸抠图图像之前，还包括：
在所述人脸图像中检测预设特征点的位置坐标，根据所述预设特征点的位置坐标，对所述人脸图像中的人脸部分进行姿态矫正处理；
对所述人脸图像中的人脸部分进行抠图，得到人脸抠图图像，包括：
对姿态矫正处理后的所述人脸图像中的人脸部分进行抠图，得到所述人脸抠图图像。
4.根据权利要求1所述的方法，其特征在于，所述多模态活体检测模型包括：与各个所述预设人脸部位一一对应的多个特征提取模块、特征融合模块；通过预先训练的多模态活体检测模型，分别对各所述人脸部位图像进行特征提取，并对提取得到的特征进行融合，包括：
通过各所述特征提取模块，分别对各所述人脸部位图像进行特征提取，得到各所述预设人脸部位的特征；
通过所述特征融合模块，根据预设的特征融合算法，对各所述预设人脸部位的特征进行融合，得到融合后的特征。
5.根据权利要求1所述的方法，其特征在于，所述多模态活体检测模型包括：特征补充模块、高维特征生成模块和结果确定模块；通过所述多模态活体检测模型，基于融合后的特征进行高维特征生成处理，基于高维特征生成结果，判断所述人脸图像对应的用户是否为活体用户，包括：
通过所述特征补充模块，对所述融合后的特征进行组合分析，得到补充特征，将所述融合后的特征和所述补充特征共同作为待处理特征；
通过所述高维特征生成模块，对所述待处理特征进行集合划分，对于每个集合，基于该集合内的各个特征生成高维特征；其中，每个集合内包括的各个特征之间的特征相关性满足高维特征生成要求；
通过所述高维特征生成模块，在各个集合生成的各个高维特征中存在特征相关性满足高维特征生成要求的高维特征的情况下，重复执行所述集合划分和所述生成高维特征的过程，直至各个集合生成的各个高维特征中不存在特征相关性满足高维特征生成要求的高维特征；
通过所述结果确定模块，基于最终生成得到的高维特征，以及与每个最终生成得到的高维特征相对应的特征分类规则，判断所述人脸图像对应的用户是否为活体用户。
6.根据权利要求5所述的方法，其特征在于，通过所述结果确定模块，基于最终生成得到的高维特征，以及与每个最终生成得到的高维特征相对应的特征分类规则，判断所述人脸图像对应的用户是否为活体用户，包括：
通过所述结果确定模块，基于最终生成得到的高维特征，以及与每个最终生成得到的高维特征相对应的特征分类规则，对每个最终生成得到的高维特征进行分类，分类结果包括属于活体特征或者不属于活体特征；
通过所述结果确定模块，在分类结果为属于活体特征的高维特征数量占比大于预设数量占比时，确定所述人脸图像对应的用户为活体用户，反之，确定所述人脸图像对应的用户不为活体用户。
7.根据权利要求1所述的方法，其特征在于，所述多个预设人脸部位包括左眼、右眼、鼻子、嘴巴、左面颊和右面颊中的至少两项。
8.一种活体检测装置，其特征在于，包括：
存储器，用于存储待检测的人脸图像和预先训练的多模态活体检测模型；
处理器，用于对所述人脸图像中的多个预设人脸部位进行图像提取，得到多个人脸部位图像；通过所述多模态活体检测模型，分别对各所述人脸部位图像进行特征提取，并对提取得到的特征进行融合；通过所述多模态活体检测模型，基于融合后的特征进行高维特征生成处理，基于高维特征生成结果，判断所述人脸图像对应的用户是否为活体用户。
9.一种活体检测设备，其特征在于，包括：
处理器；以及被安排成存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器实现上述权利要求1-7任一项所述的方法的步骤。
10.一种存储介质，其特征在于，用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时实现上述权利要求1-7任一项所述的方法的步骤。
CN202111659337.XA 2021-12-30 2021-12-30 活体检测方法、装置、设备及存储介质 Pending CN114360015A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111659337.XA CN114360015A (zh) 2021-12-30 2021-12-30 活体检测方法、装置、设备及存储介质
PCT/CN2022/137427 WO2023124869A1 (zh) 2021-12-30 2022-12-08 用于活体检测的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111659337.XA CN114360015A (zh) 2021-12-30 2021-12-30 活体检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114360015A true CN114360015A (zh) 2022-04-15

Family

ID=81105383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111659337.XA Pending CN114360015A (zh) 2021-12-30 2021-12-30 活体检测方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN114360015A (zh)
WO (1) WO2023124869A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023124869A1 (zh) * 2021-12-30 2023-07-06 杭州萤石软件有限公司 用于活体检测的方法、装置、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203373B (zh) * 2016-07-19 2019-04-16 中山大学 一种基于深度视觉词袋模型的人脸活体检测方法
CN110941986B (zh) * 2019-10-10 2023-08-01 平安科技（深圳）有限公司 活体检测模型的训练方法、装置、计算机设备和存储介质
CN112329612A (zh) * 2020-11-03 2021-02-05 北京百度网讯科技有限公司 活体检测方法、装置及电子设备
CN113052142A (zh) * 2021-04-26 2021-06-29 的卢技术有限公司 一种基于多模态数据的静默活体检测方法
CN113657197A (zh) * 2021-07-27 2021-11-16 浙江大华技术股份有限公司 图像识别方法、图像识别模型的训练方法以及相关装置
CN114360015A (zh) * 2021-12-30 2022-04-15 杭州萤石软件有限公司 活体检测方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023124869A1 (zh) * 2021-12-30 2023-07-06 杭州萤石软件有限公司 用于活体检测的方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2023124869A1 (zh) 2023-07-06

Similar Documents

Publication Publication Date Title
CN109697416B (zh) 一种视频数据处理方法和相关装置
CN107330408B (zh) 视频处理方法、装置、电子设备及存储介质
US20210174072A1 (en) Microexpression-based image recognition method and apparatus, and related device
US10318797B2 (en) Image processing apparatus and image processing method
CN111696176B (zh) 图像处理方法、装置、电子设备及计算机可读介质
US10984225B1 (en) Masked face recognition
US20140270707A1 (en) Method and System for Detecting and Recognizing Social Interactions In a Video
CN110569731A (zh) 一种人脸识别方法、装置及电子设备
US10679039B2 (en) Detecting actions to discourage recognition
CN110781770B (zh) 基于人脸识别的活体检测方法、装置及设备
CN110232331B (zh) 一种在线人脸聚类的方法及系统
CN110728319B (zh) 一种图像生成方法、装置以及计算机存储介质
CN112241667A (zh) 图像检测方法、装置、设备及存储介质
CN111738199B (zh) 图像信息验证方法、装置、计算装置和介质
CN111626303B (zh) 性别和年龄的识别方法、装置、存储介质及服务器
CN112733946A (zh) 一种训练样本的生成方法、装置、电子设备及存储介质
CN114360015A (zh) 活体检测方法、装置、设备及存储介质
CN113255575A (zh) 一种神经网络训练方法、装置、计算机设备及存储介质
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN115223022B (zh) 一种图像处理方法、装置、存储介质及设备
CN112232890B (zh) 数据处理方法、装置、设备及存储介质
CN114612989A (zh) 人脸识别数据集的生成方法及装置、电子设备及存储介质
CN113609966A (zh) 一种人脸识别系统的训练样本的生成方法及装置
Morshed et al. Customer’s spontaneous facial expression recognition
CN115705758A (zh) 活体识别方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination