CN112084917A - 一种活体检测方法及装置 - Google Patents

一种活体检测方法及装置 Download PDF

Info

Publication number
CN112084917A
CN112084917A CN202010895249.9A CN202010895249A CN112084917A CN 112084917 A CN112084917 A CN 112084917A CN 202010895249 A CN202010895249 A CN 202010895249A CN 112084917 A CN112084917 A CN 112084917A
Authority
CN
China
Prior art keywords
sample
image
feature
fusion
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010895249.9A
Other languages
English (en)
Inventor
姚太平
张克越
尹邦杰
章健
陈阳
丁守鸿
李季檩
黄飞跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010895249.9A priority Critical patent/CN112084917A/zh
Publication of CN112084917A publication Critical patent/CN112084917A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本申请实施例提供一种活体检测方法及装置，涉及计算机技术领域，方法包括:获取用于训练活体检测模型的样本图像；确定样本图像特征以及重组图像特征，重组图像特征是将样本图像特征分块重组后形成的，样本图像特征和重组图像特征的特征维度相同；将样本图像特征以及重组图像特征进行特征融合，得到融合样本特征，并确定融合样本特征的预测标签信息；基于目标标签信息以及预测标签信息确定损失值，基于损失值调整活体检测模型的模型参数并继续迭代训练，直至满足迭代停止条件时结束训练，目标标签信息用于表征样本图像中目标对象为活体的概率值；基于训练得到的活体检测模型，对待检测图像进行活体检测。进一步提高生物特征识别技术的安全性。

Description

一种活体检测方法及装置
技术领域
本申请实施例涉及计算机技术领域，尤其涉及一种活体检测方法及装置。
背景技术
随着智能终端不断普及和功能的日益强大，移动互联网应用已经全面融入并影响人们的生活。特别的，在移动支付以及互联网金融的快速发展背景下，用户的身份鉴别日益重要。传统的基于用户名和密码的身份鉴别模式由于易盗用、难记忆等问题，逐渐无法满足用户体验和应用的安全要求。
随着人脸识别技术的飞速发展，人脸识别技术越来越多的应用在人们的日常生活中，目前基于生物特征识别的身份鉴别技术成为主流方案之一。
但是现有技术中存在很多不法分子伪造活体来进行身份识别，并在身份识别成功后进行危害财产、人身、公共等安全的行为，所以如何提高人脸识别安全性成为一个亟待解决的问题。
发明内容
本申请实施例提供了一种活体检测方法及装置，用以提高人脸识别安全性。
一方面，本申请实施例提供一种活体检测方法，方法包括：
获取用于训练活体检测模型的样本图像，样本图像中至少包括目标对象为活体的图像；
确定样本图像特征以及重组图像特征，重组图像特征是将样本图像特征分块重组后形成的，样本图像特征和重组图像特征的特征维度相同；
将样本图像特征以及重组图像特征进行特征融合，得到融合样本特征，并确定融合样本特征的预测标签信息；
基于目标标签信息以及预测标签信息确定损失值，基于损失值调整活体检测模型的模型参数并继续迭代训练，直至满足迭代停止条件时结束训练，目标标签信息用于表征样本图像中目标对象为活体的概率值；
基于训练得到的活体检测模型，对待检测图像进行活体检测。
可选的，获取目标对象为活体的图像，基于对象检测技术，从图像中确定目标对象的图像区域；
基于预设的图像缩放参数，对图像区域进行缩放，得到缩放图像区域；
将缩放图像区域对应的图像作为正样本图像。
一方面，本申请实施例提供了一种活体检测装置，包括：
训练单元，用于获取用于训练活体检测模型的样本图像，样本图像中至少包括目标对象为活体的图像；确定样本图像特征以及重组图像特征，重组图像特征是将样本图像特征分块重组后形成的，样本图像特征和重组图像特征的特征维度相同；将样本图像特征以及重组图像特征进行特征融合，得到融合样本特征，并确定融合样本特征的预测标签信息；基于目标标签信息以及预测标签信息确定损失值，基于损失值调整活体检测模型的模型参数并继续迭代训练，直至满足迭代停止条件时结束训练，目标标签信息用于表征样本图像中目标对象为活体的概率值；
检测单元，用于基于训练得到的活体检测模型，对待检测图像进行活体检测。
可选的，训练单元具体用于：
将样本图像进行分块，得到N个分块样本图像，对N个分块样本图像进行重组，得到由N个分块样本图像构成的重组样本图像；
将重组样本图像输入至活体检测模型中的特征提取网络，得到重组图像特征，重组图像特征中包括N个分块样本图像特征。
可选的，训练单元还用于：
确定每个分块样本图像特征的重要程度值；
对所有的重要程度值进行排序，得到目标序列；
按照目标序列的排列方式，对N个分块样本图像特征进行重组。可选的，训练单元具体用于：
将N个分块样本图像特征进行标记，得到每个分块标识信息；
按照随机排列的顺序将所有的分块标识信息进行随机排序；
按照随机排序后的分块标识信息对N个分块样本图像特征进行重组，得到重组图像特征。
可选的，训练单元具体用于：
采用特征提取网络，获得正样本图像的正样本特征、负样本图像的负样本特征以及正样本重组图像特征，将正样本特征以及正样本重组图像特征进行第一特征融合，得到第一融合样本特征，将第一融合样本特征以及负样本特征作为融合样本特征，正样本重组图像特征是将正样本特征分块重组后形成的，正样本图像为目标对象为活体的样本图像，负样本为目标对象为非活体的样本图像。
可选的，训练单元还用于：
采用特征提取网络，获得负样本图像的负样本特征以及负样本重组图像特征，将负样本特征以及负样本重组图像特征进行第二特征融合，得到第二融合样本特征，将第一融合样本特征以及第二融合样本特征作为融合样本特征。
可选的，训练单元具体用于：
确定样本图像特征中的各个第一特征与重组图像特征中的各个第二特征；
针对每个特征位置，将第一设定比例的第一特征与第二设定比例的第二特征进行融合，得到特征位置的融合样本子特征，第一设定比例与第二设定比例之和为1；
根据所有特征位置的融合样本子特征确定融合样本特征。
可选的，训练单元还用于：
确定第一融合样本特征中的各个第三特征与第二融合样本特征中的各个第四特征；
针对每个特征位置，将第三设定比例的第三特征与第四设定比例的第四特征进行融合，得到特征位置的第一交叉融合样本子特征，将第四设定比例的第三特征与第三设定比例的第四特征进行融合，得到特征位置的第二交叉融合样本子特征，第三设定比例与第四设定比例之和为1；
根据所有特征位置的第一交叉融合样本子特征确定第三融合样本特征，根据所有特征位置的第二交叉融合样本子特征确定第四融合样本特征；
将第三融合样本特征以及第四融合样本特征作为融合样本特征。
可选的，训练单元具体用于：
将目标标签信息分为N个标签信息块并重组N个目标标签信息块，得到重组目标标签信息，重组方式与重组图像特征的重组方式相同；
根据目标标签信息以及重组目标标签信息进行标签信息融合，得到融合目标标签信息；
根据预测标签信息与融合目标标签信息之间的标签信息差确定损失值。
可选的，训练单元具体用于：
将正样本目标深度信息中的各个第一目标深度信息与正样本重组目标深度信息中的各个第二目标深度信息，按照各深度信息位置进行第一加权特征融合，得到正样本融合目标深度信息，正样本目标深度信息是正样本图像对应的深度信息，正样本重组目标深度信息是将正样本目标深度信息重组后形成的；
将负样本目标深度信息中的各个第三目标深度信息与负样本重组目标深度信息中的各个第四目标深度信息，按照各深度信息位置进行第二加权特征融合，得到负样本融合目标深度信息，负样本目标深度信息是负样本图像对应的深度信息，负样本重组目标深度信息是将负样本目标深度信息重组后形成的；
将正样本融合目标深度信息以及负样本融合目标深度信息作为融合预测标签信息。
可选的，训练单元具体用于：
根据正样本融合目标深度信息与第一样本深度预测信息之间的深度信息差确定第一损失值，第一样本深度预测信息是基于特征回归网络以及第三融合样本特征确定的；
根据负样本融合目标标签信息与第二样本深度预测信息之间的深度信息差确定第二损失值，第二样本深度预测信息是基于特征回归网络以及第四融合样本特征确定的；
将第一损失值与第二损失值的平均值作为损失值。
可选的，检测单元具体用于：
基于活体检测模型，提取待检测图像的检测特征，并将检测特征转换为检测标签信息；
根据检测标签信息与预设标签信息之间的信息差值，确定活体检测分数；
根据活体检测分数，确定活体检测结果。
一方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现活体检测方法的步骤。
一方面，本申请实施例提供了一种计算机可读存储介质，其存储有可由计算机设备执行的计算机程序，当程序在计算机设备上运行时，使得计算机设备执行活体检测方法。
一方面，本申请实施例提供了一种计算机程序产品，包括计算机程序或指令，当计算机程序或指令被执行时，实现至少一个处理器能够执行活体检测方法。
本申请实施例中，通过活体检测模型确定待检测图像中包括的目标对象是否为活体，在活体检测模型的训练过程中，对训练样本中的样本图像进行特征提取时，考虑了原样本图像的样本图像特征以及将样本图像特征进行重组后的重组图像特征，通过样本图像特征与重组图像特征之间的图像融合，得到融合样本特征；进一步地，通过将融合样本特征映射为预测标签信息，该标签信息是模型的预测结果，所以还需要结合真值确定损失值，通过损失值来更新模型参数。
在上述训练过程中，不仅仅考虑原样本图像的样本图像特征，还考虑了重组图像特征，所以既能够在训练过程中学习到了样本图像中目标对象的全局特征，又学习到针对目标对象的局部特征，所以训练后的活体检测模型能够提取更全面的特征，当提取到更全面的特征后，就可以在模型的应用过程中，提取到更多的待检测图像中目标对象的待检测特征，增强了活体检测模型的特征识别能力，进而能够更准确的确定待检测图像的活体检测结果。
在本申请实施例中，在针对活体检测模型的训练过程中，在样本图像层面以及特征层面进行数据扩增。破坏了原样本图像整体的结构化信息，使得神经网络注意局部信息；然后通过同类特征及异类特征之间的重组填补了数据空间，并引导分类边界面通过数据分布稀疏的区域，提高网络的泛化性。
在各个生物特征识别场景下，由于能够更加准确确定待检测图像的活体检测结果，所以能够进一步提高生物特征识别技术的安全性，保证了害财产、人身以及公共安全。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种应用场景示意图；
图2a为本申请实施例提供的一种活体检测模型的结构示意图；
图2b为本申请实施例提供的一种通过放大1.5倍确定样本图像的方法示意图；
图3为本申请实施例提供的一种活体检测模型的训练方法流程示意图；
图4为本申请实施例提供的一种对样本图像进行分块的场景示意图；
图5为本申请实施例提供的一种对样本图像进行分块的场景示意图；
图6为本申请实施例提供的一种对样本图像进行分块的场景示意图；
图7为本申请实施例提供的一种特征重组方法的示意图；
图8a为本申请实施例提供的一种特征重组方法的示意图；
图8b为本申请实施例提供的一种特征重组方法的流程示意图；
图9为本申请实施例提供的一种特征提取网络的结构示意图；
图10为本申请实施例提供的一种特征融合方法的流程示意图；
图11为本申请实施例提供的一种特征融合方法的流程示意图；
图12为本申请实施例提供的一种特征融合方法的流程示意图；
图13a为本申请实施例提供的一种特征融合方法的流程示意图；
图13b为本申请实施例提供的一种活体检测模型的训练方法流程示意图；
图14为本申请实施例提供的一种活体检测方法的流程示意图；
图15为本申请实施例提供的一种小活体检测装置的结构示意图；
图16为本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请的说明书和权利要求书中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了方便理解，下面对本申请实施例中涉及的名词进行解释。
活体：指具有生命的物体，如活着的动物、植物、人体及其组织。例如活体为人体、眼球、虹膜等。在本申请实施例中，用目标对象来表征活体，即目标对象可以是动物、植物、人体及其组织。
活体检测：是在一些身份验证、身份识别场景中确定对象真实生理特征的方法，即确定检测对象是否为活体的方法。例如，针对人体进行活体检测时，通常检测人脸，通过检测人脸的特征与真实人脸生理特征进行比对，来确定用户是否为真实活体。
对人脸识别系统的攻击，主要有照片攻击、视频攻击等。非法分子或者假冒用户在获得合法用户的照片或视频后，使用合法用户的照片或视频作为伪造的人脸试图欺骗系统。活体检测可有效抵御照片、换脸、面具、遮挡以及屏幕翻拍等常见的攻击手段，从而帮助用户甄别欺诈行为，保障用户的利益。
通常在活体检测过程中，需要使用到人工智能技术。
人工智能(Artificial Intelligence,AI)：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
由于人工智能技术的先进性，所以可以使用人工智能技术进行活体检测。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。本申请实施例中的活体检测过程涉及到机器学习技术，将在下文中进行介绍。
卷积神经网络(Convolutional Neural Networks，CNN)：是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。该特征抽取器可以看作是滤波器，卷积过程可以看作是使用一个可训练的滤波器与一个输入的图像或者卷积特征平面(feature map)做卷积。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。这其中隐含的原理是：图像的某一部分的统计信息与其他部分是一样的。即在某一部分学习的图像信息也能用在另一部分上。所以对于图像上的所有位置，都能使用同样的学习得到的图像信息。在同一卷积层中，可以使用多个卷积核来提取不同的图像信息，一般地，卷积核数量越多，卷积操作反映的图像信息越丰富。卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。
由于卷积神经网络可以提取图像中各个层级的特征，所以可以使用卷积神经网络来提取待检测图像中的特征，来进一步判断待检测图像中的目标对象是否为活体。
损失函数：在训练深度神经网络的过程中，因为希望深度神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为深度神经网络中的各层预先配置参数)，比如，如果网络的预测值高，就调整权重向量让它预测低一些，不断的调整，直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objectivefunction)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数(loss)的输出值越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过程，损失函数的值可以定义为损失值。
训练样本：在机器学习/深度学习中，用一定容量的样本值来训练神经网络。求得神经网络中各神经元之间的连接权重。训练样本中通常包括正样本以及负样本。
正样本：是与训练目的匹配的样本，例如，训练模型的目的是确定活体，所以将活体图像作为正样本。
负样本：指的是与训练目的不匹配的样本，例如，训练模型的目的是确定活体，所以非活体图像作为负样本。
在介绍了上述名词后，现在基于现有技术中存在的问题，说明本申请的构思。
随着技术的发展，人脸识别系统的应用场景越来越广泛，目前出现了许多通过使用包含有他人人脸的照片、视频，或者套用他人的人脸面具等方式来伪装成他人，以蒙混通过人脸识别，对他人的权益安全产生威胁的现象。因此，在进行人脸识别之前，还会先使用活体检测方法进行活体检测，以确定所要识别的图像数据中的人脸对象是否是真实的人类的脸，而不是照片、视频或者面具等。又由于不同场景所对应的环境条件、识别要求等会存在差异，导致针对不同的场景，往往需要分别单独训练建立对应的活体检测模型来进行活体检测。
当使用机器学习模型进行活体检测时，就需要对机器学习模型进行训练。在训练过程中，需要大规模的训练数据，虽然机器学习模型因为其强大的数据拟合能力能够在训练集上表现不俗，但是当应用于实际活体检测中，遇到一些与训练样本相似但实际上不同的待检测图像，会给出错误的检测结果，所以现有技术中在训练过程中存在泛化能力差的问题，进而影响了活体检测的准确性以及财产、人身、公共等安全性。
基于上述问题，本申请的发明人首先构思了一种活体检测方法，通过在训练过程中，对训练样本进行数据增强，数据增强的方法主要有对训练样本进行翻转、随机剪切、缩放等，或者对训练样本进行色彩空间的转换，模糊程度变换等数据处理方式。
但是本申请的发明人发现，虽然通过上述数据增强方法，能够丰富样本的多样性，但是上述数据增强的处理方法都只是对样本本身做了较小的扰动，并没有本质上的改变样本数据的分布，导致训练后的模型泛化能力不足。
本申请的发明人进一步构思，若能够将样本本身做将大的改动，又不改变样本本身的性质，则可以对本质上的改变样本数据的分布，例如，样本为正样本，将正样本进行较大的改动，得到的改动样本依然是正样本。
基于上述构思，发明人提出了一种新的活体检测方法，在活体检测方法中使用了活体模型，并在对活体模型的训练过程中，从特征的层面改变样本，并且使用的样本图像特征和重组样本特征进行融合的方式，丰富了训练样本特征。
进一步地，由于本申请中的重组样本特征是对样本图像特征进行重组后得到的，所以重组样本特征与样本图像特征性质是相同的，例如，样本图像特征指的是活体特征，则重组样本特征也是活体特征。
由于在本申请中，至少将样本图像特征和重组样本特征进行融合，得到了更丰富的训练样本特征，是的在训练过程中，不仅关注样本图像特征中的全局活体特征，例如整张人脸的特征，也进一步关注了将全局活体特征进行重组后得到的各个局部活体特征，例如每个重组样本特征块中的纹理特征，所以能够提升了活体检测模型的检测效果以及检测能力，提高了在不同应用场景下的活体检测模型的泛化能力。
在各个生物特征识别场景下，由于能够更加准确确定待检测图像的活体检测结果，所以能够进一步提高生物特征识别技术的安全性，保证了害财产、人身以及公共安全。
参考图1，其为本申请实施例适用的一种系统架构图，该系统架构至少包括M个终端设备101以及服务器102，M个终端设备101即图1中所示的终端设备101～1至终端设备101～M，M为正整数，M的值本申请实施例并不进行限制。
终端设备101中安装有客户端，该客户端由服务器102提供活体检测服务。终端设备101中的客户端可以是浏览器客户端、视频应用客户端等。终端设备101中的客户端是各应用的客户端，即可以通过终端设备101运行各应用，并通过各应用将服务器102确定的活体检测结果显示给目标用户。
终端设备101可以包括一个或多个处理器1011、存储器1012、与服务器102交互的I/O接口1013以及显示面板1014等。终端设备101可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。
服务器102为提供计算能力的终端设备，服务器102根据终端设备101上传的待检测图像，确定待检测图像的活体检测结果，服务器102可以包括一个或多个处理器1021、存储器1022以及与终端设备101交互的I/O接口1023等。此外，服务器102还可以配置数据库1024。服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备101与服务器102可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
在本申请实施例中，服务器102通过活体检测模型对待检测图像进行活体检测，得到活体检测结果，活体检测模型可以保存在服务器102中的存储器1022中，也可以保存在其它的存储介质中，例如云储存中，在本申请实施例中不做限定。
在本申请实施例中，活体检测模型的训练过程可以是服务器102执行的，具体的，服务器102获取训练样本，训练样本包括目标对象的样本图像以及样本图像的目标标签信息，目标标签信息用于表征目标对象为活体的概率值，样本图像中至少包括目标对象为活体的图像，每次迭代训练过程包括：
分别获得样本图像特征和重组图像特征，重组图像特征是将样本图像特征分块重组后形成的，样本图像特征和重组图像特征的特征维度相同；将样本图像特征以及重组图像特征进行特征融合，得到融合样本特征；确定融合样本特征的预测标签信息；基于目标标签信息以及预测标签信息确定损失值，并基于损失值调整模型参数。
当然，在本申请实施例中，活体检测模型的训练过程还可以是其它设备执行的，服务器102可以从其它设备中获取已训练的活体检测模型。
用户可以通过终端设备101内安装的客户端来访问服务器102，从而能够接收服务器102确定的活体检测结果。例如，该终端设备101可以通过支付类应用客户端来访问服务器102，还可以通过浏览器客户端中支付类应用来访问服务器102确定待检测图像中目标对象的活体检测结果。
服务器102确定了待检测图像中目标对象的活体检测结果后，将待检测图像中目标对象的活体检测结果发送给终端设备101，并显示在终端设备101的客户端中。
示例性的，用户为进行消费的消费者，终端设备101为消费者使用的电子设备，例如手机，消费者使用终端设备101中的支付应用进行购物，支付应用对应的服务器102需要确定当前是否为预设的消费者，所以终端设备101通过摄像设备获取消费者的图像信息，作为待检测图像信息，将待检测图像信息上传至服务器102，服务器102基于活体检测模型，确定待检测图像信息中的消费者是否为活体，且是预设的消费者，当确定消费者是活体，且是预设的消费者，则可以通过活体检测，并将检测结果发送给终端设备101，实现支付功能；当确定消费者不是活体，则不能通过活体检测，并将活体检测结果发送给终端设备101，不能进行支付。
当然，本申请实施例提供的方法并不限用于图1所示的应用场景中，还可以用于其它可能的应用场景，本申请实施例并不进行限制。对于图1所示的应用场景的各个设备所能实现的功能将在后续的方法实施例中一并进行描述，在此先不过多赘述。
基于上述设计思想以及上述应用场景，下面对本申请实施例的活体检测方法进行具体介绍。
在本申请实施例中，通过活体检测模型进行活体检测，所以为了便于说明活体检测的过程，首先介绍活体检测模型的训练过程。
在本申请实施例中，活体检测模型是基于目标对象的训练样本进行多次迭代训练直至达到迭代终止条件时获得的。
具体的，活体检测模型可以提取特征，并对提取的特征进行特征映射，也可以理解为特征分类，确定提取的特征是否为活体特征，一种可选的实施例中，可以进行二分类，即是活体特征或者不是活体特征。
在本申请实施例中的一种可选的实施例中，如图2a所示，活体检测模型中至少包括特征提取网络以及特征回归网络，将训练样本输入至活体检测模型中，特征提取网络提取特征，特征回归网络对提取的特征进行特征映射，并通过多次迭代训练，得到训练完成的活体检测模型。
在本申请实施例中，迭代终止条件指的可以是迭代的次数，例如设置了迭代次数为500次，当执行了500次训练过程后，则确定迭代停止；或者迭代终止条件为预设的阈值，当确定某次迭代训练的损失值小于该预设的阈值时，则确定迭代停止。
当然，上述只是一种可选的确定迭代终止条件的方法，还有其它确定迭代终止条件的方法，在此不做赘述。
在每次训练过程中，需要进行正向训练，得到活体检测模型的预测结果，并基于预测结果以及损失函数的表达式，确定损失值，进行反向训练，调整活体检测模型中的各模型参数，包括特征提取网络的模型参数以及特征回归网络的模型参数。
在训练过程中，需要获取训练样本，训练样本中包括目标对象的样本图像以及样本图像的目标标签信息。
在本申请实施例中，目标对象可以是人，可以是植物，可以是动物也可以是器官等，例如目标对象可以是人脸，眼睛，虹膜，叶子等。
在本申请实施例中，目标对象的具体内容是与活体检测模型的检测任务相关的，检测任务为确定是否为活体人脸，则目标对象可以是人脸，也可以是眼睛、虹膜等。
所以本申请实施例中的活体检测方法，不仅能够确定是否为活体人脸，也可以适用于其它确定活体的应用场景，具有广泛性。
在本申请实施例中，目标对象的样本图像指的是包括目标对象的图像，例如，当目标对象为人脸，则样本图像为人脸图像；同样的，当目标对象为植物，则样本图像为植物图像。
在本申请实施例中，为了保证活体模型的训练效果，所以样本图像中至少包括目标对象为活体的图像，示例性的，当目标对象为人脸时，样本图像中至少包括活体人脸的图像。
在本申请实施例中，目标对象为活体的图像可以是通过摄像设备针对活体进行拍摄得到的，也可以是其它途径获得的，在此不做赘述。
为了进一步保证活体模型的训练效果，样本图像中还包括目标对象为非活体的图像，在本申请实施例中，非活体的图像可以是与目标对象为活体相对的伪造图像，例如，对目标对象为活体的图像进行拍照、摄像得到非活体的图像；或者目标对象为非活体的图像还可以是与目标对象无关的非活体图像，例如，目标对象为人脸，非活体的图像可以是车、树、河流的图像。
在本申请实施例中，可以将目标对象为活体的图像作为正样本图像，将目标对象为非活体的图像作为负样本图像。通过正样本图像，训练活体检测模型将活体图像识别为活体的能力，通过负样本图像，训练活体检测模型将非活体图像识别为非活体的能力。
在本申请实施例中，训练样本中还包括样本图像的目标标签信息，该标签信息表示的是图像中目标对象为活体的概率值，可以认为当概率值大于设定值时，目标对象为活体，当概率不大于设定值时，目标对象为非活体。所以目标标签信息可以直接表示为概率值，例如，正样本图像的目标标签信息为98％，负样本图像的目标标签信息为22％等。
一种可选的实施例中，目标标签信息可以是其它信息，例如可以用深度信息来表示，当深度信息大于设定深度信息时，目标对象为活体，当深度信息不大于设定深度信息时，目标对象为非活体。
在本申请实施例中，可以将所有的深度信息进行平均，得到平均深度信息，当平均深度信息大于设定深度信息时，目标对象为活体，当平均深度信息不大于设定深度信息时，目标对象为非活体。
还有一种可选的实施例中，目标标签信息还可以用特征信息来表示，当特征信息大于设定特征信息时，目标对象为活体，当特征信息不大于设定特征信息时，目标对象为非活体。
特征信息可以是纹理信息、直方图信息以及梯度信息等，在此不做限定。
在概括介绍了活体检测模型的训练流程后，现在具体针对每次迭代过程，介绍活体检测模型的训练过程。
具体的如图3所示，本申请实施例中的训练方法，至少包括：
步骤S301，获取用于训练活体检测模型的样本图像，所述样本图像中至少包括目标对象为活体的图像。上述内容中已经介绍了活体以及目标对象的概念，在此不做赘述。
在本申请实施例中，可以将样本图像中包括目标对象为活体的图像作为正样本图像进行描述，同理，可以将样本图像中包括目标对象为非活体的图像作为负样本图像进行描述。
进一步地，正样本图像以及负样本图像都是可以基于图像进行目标提取得到的，示例性的，当目标对象为人脸时，可以使用人脸识别技术，从完整的图像中将人脸图像区域提取出来，若该图像是针对活体进行拍摄的，则提取出的人脸图像区域为正样本图像。同理可以确定负样本图像。
进一步地，在本申请实施例中，在确定了目标对象的图像区域后，还可以基于目标对象的图像区域进行缩放，提取比目标对象的图像区域较大的区域，或者较小的区域。
在本申请实施例中，缩放比例可以根据经验值来进行设置，例如基于目标对象的图像区域放大1.5倍，提取放大1.5倍图像区域为样本图像。
示例性的，如图2b，目标图像中包括目标对象，基于目标对象的图像区域进行1.5倍放大，得到样本图像区域。
当然，上述只是一种示例性的缩放方法确定样本图像区域的方法，还可以有使用其它的缩放比例来确定样本图像区域，在此不做赘述。
步骤S302，确定样本图像特征和重组图像特征，重组图像特征是将样本图像特征分块重组后形成的，样本图像特征和重组图像特征的特征维度相同。
具体的，在一次训练过程中，能够获得样本图像特征以及重组图像特征，并定义了重组图像特征是将样本图像特征进行分块重组后得到的。
在本申请实施例中，为了能够便于重组图像特征与样本图像特征能够进行融合，所以重组图像特征与样本图像特征具有相同的特征维度。
示例性的，样本图像特征用向量表示，例如(0.5，0.3，0.9，0.01，0.06，0.7)，则重组图像特征也是由6个向量值构成的向量，例如(0.025，0.5，0.604，0.31，0.76，0.05)。
通用性的，样本图像特征是由S*T维的向量矩阵构成，则重组图像样本特征也由S*T维的向量矩阵构成，其中S大于等于1，T大于等于1。
还有一种表征样本图像特征的方式是，用特征图来表征样本图像特征，特征图由行*列的像素点构成，所以样本图像特征与重组图像样本特征的特征图的行像素点的个数相同，列像素点的个数也相同。
在本申请实施例中，样本图像特征表示的是目标对象的特征，该特征可以是灰度特征、颜色特征、对比度特征、亮度特征、纹理特征，也可以是器官特征，例如手部特征、脚部特征、嘴部特征等。
同样的，重组图像样本特征中也可以是灰度特征、颜色特征、对比度特征、亮度特征、纹理特征，也可以是器官特征，例如手部特征、脚部特征、嘴部特征等。
进一步地，由于重组图像样本特征是将样本图像特征进行分块重组后得到的，所以能够提取出每个样本图像特征块中的特征，这些特征可以是样本图像特征中没有的特征。
示例性的，以目标对象为人脸进行说明，样本图像特征是基于人脸进行提取的，提取的是人脸的全局特征，例如人脸的轮廓等信息；而重组样本特征是基于样本图像特征块进行提取的，例如，阴影、纹理、背景等特征。
当然，上述只是示例性的解释了各特征的含义，通过活体检测模型提取的特征不限定于一个特征，还可以是上述特征的组合，在此不做赘述。
在本申请实施例中，重组样本特征的构成方式有多种，下面具体介绍确定重组样本特征的方法。
在本申请实施例中，确定重组样本特征的思想是将样本图像特征进行分块并重组，所以一种可选的方式是，将样本图像首先进行分块，然后将分块后的样本图像输入至特征提取网络，得到分块样本图像特征，并通过重组分块样本图像特征得到重组样本特征。
具体的，在本申请实施例中，为了与能够提取更多的样本图像特征中的局部特征，可以将样本图像分为多个块，即至少分为两块，在本申请实施例中，定义分块数为N，N大于等于2。
在本申请实施例中，可以按照同样的大小对样本图像进行分块，也可以按照不同的大小对样本图像进行分块，或者按照一定的缩放比例，对样本图像进行分块。
例如，在图4中，按照同样的大小，对样本图像进行分块，分为3块，每个样本图像块的大小相等，即第一分块、第二分块以及第三分块的图像大小相同。
在图5中，按照不同的大小对样本图像进行分块，即第一分块、第二分块以及第三分块三个图像大小不相同。
在本申请实施例中，分块的方式不限制于是按照行来分块或者按照列来分块。
在本申请实施例中，当按照同样的大小对样本图像进行分块时，且样本图像为正方形图像时，可以按照九宫格的方式，对样本图像进行分块。例如按照2*2的方式或者3*3的方式，将样本图像进行分块。
示例性的，如图6所示，按照3*3的方式对样本图像进行分块，得到了9块分块样本图像。
当然，上述只是几种可选的对样本图像进行分块的方法，还有其它对样本图像进行分块的方法，例如，沿着目标对象的轮廓线进行分块，或者根据图像信息的直方图信息进行分块，在此不做赘述。
在得到各样本图像块后，确定各样本图像块的特征，然后对分块的特征进行重组，得到重组样本特征。
一种可选的实施例中，将样本图像块输入至特征提取网络，并通过特征提取网络，确定各样本图像块的特征，并将各样本图像块的特征进行重组，得到重组样本特征。
具体的分块以及重组的流程可以如图7所示，在图7中，首先将样本图像分块，得到分块样本图像；将各分块样本图像输入至特征提取网络，得到各分块样本图像特征，然后进行重组，得到重组样本特征。
还有另一种确定重组样本特征的方法，首先将样本图像输入至特征提取网络，得到样本图像特征，然后对样本图像特征进行分块，得到多块样本图像特征，然后对多块样本图像特征进行重组，得到重组样本特征。
具体的，在本申请实施例中，与对样本图像分块相同，为了与能够提取更多的样本图像特征中的局部特征，可以将样本图像特征分为多个块，即至少分为两块，在本申请实施例中，定义分块数为N，N大于等于2。
在本申请实施例中，可以按照同样的大小对样本图像特征进行分块，也可以按照不同的大小对样本图像特征进行分块，或者按照一定的缩放比例，对样本图像特征进行分块。在对样本图像特征行分块的过程是按照特征的向量维度进行分块的，例如样本图像特征是2*2维度的特征，则可以分为4块，每块为1*1维度的特征。
在本申请实施例中，当按照同样的特征大小对样本图像进行分块时，且样本图像为正方形图像时，可以按照九宫格的方式，对样本图像特征进行分块。例如按照2*2的方式或者3*3的方式，将样本图像特征进行分块。
具体的分块以及重组的流程可以如图8a所示，在图8a中，首先将样本图像输入至特征提取网络，得到样本图像特征，将样本图像特征进行分块，得到分块样本图像特征；将各分块样本图像特征进行重组，得到重组样本特征。
当然，上述只是几种可选的对样本图像特征进行分块的方法，还有其它对样本图像特征进行分块的方法，在此不做赘述。
在本申请实施例中，在进行重组样本特征时，需要考虑各分块样本图像特征之间的连接顺序，所以还需要确定重组顺序。
一种可选的实施例中，可以按照各分块样本图像特征的重要程度，来确定重组顺序，例如，可以针对各分块样本图像特征设置权重，然后按照权重由高至低的顺序排列，得到了重组顺序，按照重组顺序进行重组。
在本申请实施例中，可以根据模型训练目的来设置权重，也可以根据目标对象的属性来设置权重。
例如，目标对象为人脸，确定人脸是否为活体，眼睛部分的权重可以设置为较高的权重，而眉毛部分可以设置较低的权重，则对应的，眼睛分块样本图像特征的权重较高，眉毛分块样本图像特征的权重较低。
当然，还有其它设置权重的方法，在此不做赘述。
还有一种可选的实施例中，可以将样本图像特征分为N个分块样本图像特征，并随机进行重组。
具体的，在本申请实施例中，一种可选的随机重组的方式为，将N个分块样本图像特征进行标记，得到每个分块标识信息；按照随机排列的顺序将所有的分块标识信息进行随机排序；按照随机排序后的分块标识信息对N个分块样本图像特征进行重组，得到重组图像特征，其中N大于等于2。
示例性的，如图8b所示，在8b中，将样本图像特征分为9个块，按照先行后列的顺序，标记了各块为0，1，2，3，4，5，6，7，8。
将0，1，2，3，4，5，6，7，8进行随机组合，有9！种组合方法，在本申请实施例中，以一种随机组合的方式为例进行介绍。
随机组合的结果为6，0，4，1，8，7，5，8，2，则按照该随机组合的标号顺序以及先行后列的排列方式，将各分块样本图像特征进行组合，得到了重组图像样本。
当然，在本申请实施例中，对样本图像进行分块重组的过程，也可以使用上述的重组方式，在此不做赘述。
在介绍了如何确定重组样本特征的方法后，下面介绍特征提取模块，在本申请实施例中，活体检测模型为一种机器学习模型，所以特征提取模块是一个完整的神经网络或者为神经网络中的一部分。
在本申请实施例中，特征提取网络用于进行针对图像进行关键点定位、轮廓特征提取以及其它特征处理过程，特征提取网络提取的特征可以是特征图像，也可以是特征向量。
一种可选的实施例中，特征提取网络为CNN，如图9所示，在图9中，特征提取网络900中包括卷积层901、池化层(max pooling)902和全连接层903，本申请实施例不限制各个层结构的数量。
卷积层901用于提取特征的层，分为卷积操作和激活操作两部分。其中，进行卷积操作时，使用预先经过训练学习得到的卷积核进行特征提取，进行激活操作时，使用激活函数对卷积得到的特征图进行激活处理，常用的激活函数包括线性整流(Rectified LinearUnit，ReLU)函数、S型(Sigmoid)函数和双曲正切(Tanh)函数等。
池化层902，位于卷积层901之后，用于降低卷积层输出的特征向量，即缩小特征图的尺寸，同时改善过拟合问题。常用的池化方式包括平均池化(mean-pooling)、最大池化(max-pooling)和随机池化(stochastic-pooling)等。
全连接层903用来把池化层902提取到的特征综合起来。
下面以将样本图像进行分块，然后将各样本图像块输入至特征提取网络900中，得到各样本图像特征块的过程为例，介绍特征提取网络900的处理流程。
将各样本图像块输入至卷积层901，输出第一特征图，第一特征图经过池化层902后，获得第二特征图，第二特征图经过全连接层903，输出各样本图像特征块。
上述只是一种可选的特征提取网络的模型结构，还有其它的特征提取网络的结构，在此不做赘述。
步骤S303，将样本图像特征以及重组图像特征进行特征融合，得到融合样本特征，并确定融合样本特征的预测标签信息。
具体的，在本申请实施例中，当得到了重组图像特征后，对重组图像特征与样本图像特征进行特征融合。
在本申请实施例中，特征融合的方法有多种，一种可选的实施例中，样本图像特征以及重组图像特征是矩阵向量形式的特征，则可以针对每个向量进行对位融合。
示例性的，样本图像特征的形式为
Figure BDA0002658236110000231
重组图像特征的形式为
Figure BDA0002658236110000232
样本图像特征和重组图像特征进行对位融合，对位融合的过程可以是将特征向量对位相加，可以表征为
Figure BDA0002658236110000233
当然，上述融合的过程只是一种可选的融合方式，其它的融合方式还可以是减法融合、加权融合等。
示例性的，对样本图像特征和重组图像特征进行加权融合，设置权重系数为λ，加权融合的结果为
Figure BDA0002658236110000234
还有一种可选的融合方式，样本图像特征的部分信息和重组图像特征的部分信息进行加权融合，设置样本图像特征的部分信息比例为m，重组图像特征的部分信息比例为n，则加权融合的结果为
Figure BDA0002658236110000235
还有一种可选的实施例中，为了能够不改变融合后的特征的性质，所以设置m+n＝1，示例性的，加权融合的结果为
Figure BDA0002658236110000236
还有一种可选的实施例，当样本图像特征以及重组图像特征的形式为图像时，可以对图像的像素点进行对位的融合处理。
示例性的，样本图像特为特征图1，特征图1中包括四个像素点，分别为像素点1，像素点2以及像素点3、像素点4；重组图像特为特征图2，特征图2中包括四个像素点，分别为像素点5，像素点6以及像素点7、像素点8。
对特征图1以及特征图2进行融合，融合的过程可以是插值计算的过程，示例性的，如图10所示，以融合过程为像素值相加然后进行归一化为例进行说明，将像素点1的像素与像素点5的像素值进行相加，然后除以255，得到归一化像素值1，将像素点2的像素与像素点6的像素值进行相加，然后除以255，得到归一化像素值2；将像素点3的像素与像素点7的像素值进行相加，然后除以255，得到归一化像素值3；将像素点4的像素与像素点8的像素值进行相加，然后除以255，得到归一化像素值4，得到融合样本特征图。
当然，上述只是几种概括性对特征进行融合的方式，还有其它的融合方法，在此不做赘述。
下面结合具体的样本解释几种样本的融合方式。
一种可选的实施例中，样本图像中包括正样本图像，所以可以采用特征提取网络，分别获得正样本图像特征和正样本重组图像特征，针对负样本，采用特征提取网络，分别获得负样本图像特征。
也就是说，只针对正样本特征进行重组，而不对负样本特征进行重组。
示例性的，如图11所示，在特征融合的过程中，正样本图像特征和正样本重组图像特征进行融合，得到正样本融合样本特征，将正样本融合样本特征与负样本特征作为融合样本特征。
一种可选的实施例中，样本图像中包括正样本图像以及负样本，所以可以采用特征提取网络，分别获得正样本图像特征和正样本重组图像特征，负样本图像特征和负样本重组图像特征；
然后针对正样本特征进行融合，得到正样本融合样本特征；对负样本特征进行融合，得到负样本融合样本特征，示例性的，如图12所示，将正样本融合样本特征与负正样本融合样本特征作为融合样本特征。
还有一种可选的实施例中，为了能够增加一些噪声干扰，使得特征变化多样，还可以进行交叉融合的过程，交叉融合的方式有多种。
一种可选的实施例中，可以将正样本融合特征中加入负样本特征，在负样本特征中加入正样本融合样本特征；还有一种可选的实施例中，将正样本融合样本特征中加入负样本特征融合样本特征，在负样本特征融合样本特征中，加入正样本融合样本特征。
具体的，在进行交叉融合的过程中，可以通过设置融合参数，来确定融合过程的信息占比，例如，可以设置融合参数μ，将正样本融合特征中加入μ倍的负样本特征，在负样本特征中加入μ倍的正样本融合样本特征。
在本申请实施例中，针对正样本特征的融合参数可以与针对正样本特征的融合参数相同，也可以不同，在此不做限定。
示例性的，如图13a所示，以将正样本融合样本特征中加入负样本特征融合样本特征，在负样本特征融合样本特征中，加入正样本融合样本特征的过程为例进行说明。
在图13a中，存在正样本图像、正样本重组图像、负样本图像、负样本重组图像。
将上述四副图像输入至特征提取网络，得到各图像的特征，分别为正样本图像特征、正样本重组图像特征、负样本图像特征、负样本重组图像特征。
然后设置正样本图像特征、正样本重组图像特征中的融合参数与负样本图像特征、负样本重组图像特征中的融合参数相同，都是λ以及1-λ。
具体的，将λ正样本图像特征与1-λ正样本重组图像特征进行融合，得到正样本融合样本特征。
将λ负样本图像特征与1-λ负样本重组图像特征进行融合，得到负样本融合样本特征。
设置正样本重组图像特征与负样本重组图像特征的融合参数，在正样本重组图像特征中加入1-β的负样本重组图像特征，同样的，在负样本重组图像特征中加入1-β的正样本重组图像特征。
即将β正样本重组图像特征与1-β负样本重组图像特征进行融合，得到第一目标融合样本特征。
将β负样本重组图像特征与1-β正样本重组图像特征进行融合，得负第二目标融合样本特征。
当然，上述只是几种可选的概括性的特征融合方式，还有其它融合方式，可以是上述几种方式的组合，在本申请实施例中不做赘述，也不做限定。
在本申请实施例中，为了能够确定损失值，还需要确融合样本特征的预测标签信息，一种可选的实施例中，在本申请实施例中，在确定了融合样本特征后，通过特征回归网络，确定了预测标签信息。
在本申请实施例中，特征回归网络可以是分类单元，预测标签信息为是活体或者不是活体。
可选的，在本申请实施例中，为了便于计算损失函数，可以将是活体的预测标签信息设置为1，不是活体的预测标签信息设置为0。
还有一种可选的实施例中，预测标签信息为纹理标签，符合人脸的纹理可以设置为1，不符合人脸的纹理设置为0。
示例性的，当负样本是对正样本进行摄屏得到的，在负样本中存在一些屏幕产生的摩尔纹，这些摩尔纹不是人脸的纹理，所以可以设为0。可选的，在本申请实施例中，预测标签信息为局部二值模式LBP信息。
还有一种可选的实施例中，预测标签信息为直方图，活体图像的直方图信息与伪造活体的直方图信息不同，所以可以通过直方图信息确定是否是活体。
可选的，在本申请实施例中，预测标签信息为方向梯度直方图HOG。
另一种可选的实施例中，可以通过特征回归网络，确定融合样本特征的预测深度信息，该深度信息可以是深度信息矩阵、深度信息向量，还可以是深度图像。
在本申请实施例中，当目标对象是活体时，深度信息是存在变化的，而不是不变的背景深度信息值，所以可以通过深度信息来确定是否为活体。
当然，上述只是几种可选的确定预测标签信息的方法，还有其它针对预测标签信息的定义方法以及确定方法，在此不做赘述。
在本申请实施例中，通过特征回归网络确定的预测标签信息的个数是与输入至特征回归网络的特征图或者融合特征的个数相关。
一种可选的实施例中，上述实施例中输入特征回归网络的融合特征为第一融合样本特征以及第二融合样本特征，所以通过特征回归网络确定第一融合样本特征的第一样本深度预测信息以及第二融合样本特征的第二样本深度预测信息。
步骤S304，基于目标标签信息以及预测标签信息确定损失值，并基于损失值调整模型参数。
具体的，在本申请实施例中，由于对样本图像特征以及重组图像特征进行了特征之间的融合处理方法，所以为了便于确定损失函数值，也需要对目标标签信息进行融合处理，得到与预测标签信息对应的目标标签信息。
所以在本申请实施例中，在获得了目标标签信息后，将目标标签信息进行分开、重组以及融合处理。
一种可选的实施例中，将目标标签信息分为N个标签信息块并重组N个目标标签信息块，得到重组目标标签信息，重组方式与重组图像特征的重组方式相同；根据目标标签信息以及重组目标标签信息进行标签信息融合，得到融合目标标签信息；根据预测标签信息与融合目标标签信息之间的标签信息差确定损失值。
也就是说，在本申请实施例中，通过与重组图像特征的重组方式相同的方式进行重组，并进行融合，得到融合目标标签信息。
示例性的，上述实施例中有若干个重组图像特征的方法，以正样本图像以及负样本图像都进行重组特征为例进行说明。
将正样本目标深度信息中的各个第一目标深度信息与正样本重组目标深度信息中的各个第二目标深度信息，按照各深度信息位置进行第一加权特征融合，得到正样本融合目标标签信息。第一加权的方式是正样本融合样本特征的加权方式。
也就是说，与正样本融合样本特征的过程相同，将正样本图像的目标深度信息与正样本重组图像的目标深度信息进行融合。
同样的，将负样本目标深度信息中的各个第三目标深度信息与负样本重组目标深度信息中的各个第四目标深度信息，按照各深度信息位置进行第二加权特征融合，得到负样本融合目标标签信息；第二加权的方式是负样本融合样本特征的加权方式。
示例性的，将λ正样本图像特征与1-λ正样本重组图像特征进行融合，得到正样本融合样本特征。
则同样的，将λ正样本图像特征的目标深度信息与1-λ正样本重组图像特征的目标深度信息进行融合，得到正样本融合目标标签信息。
将λ负样本图像特征与1-λ负样本重组图像特征进行融合，得到负样本融合样本特征。
同样的，将λ负样本图像特征的深度信息与1-λ负样本重组图像特征的深度信息进行融合，得到负样本融合目标标签信息。
当然，上述只是示例性的说明目标标签信息的融合过程。
在本申请实施例中，若确定了上述实施例中的第一样本深度预测信息以及第二样本深度预测信息后，结合正样本融合目标标签信息以及负样本融合目标标签信息来确定损失值。
在本申请实施例中，由于训练的目的是希望能够提取目标对象为活体的多种特征或者目标对象为非活体的多种特征，所以希望第一样本深度预测信息与正样本融合目标标签信息之间的差异较小，同时第二样本深度预测信息与负样本融合目标标签信息之间的差异较小。
所以基于上述训练目的，在本申请实施例中，构思了一种损失函数表示方法，具体如公式1所示：
Loss＝‖Depth(feat_combine(Enc(x)))-depx‖1 公式1
其中，Loss表示的是损失函数，Depth(feat_combine(Enc(x)))表示的是预测标签信息为深度信息，depx表示的是目标标签信息，feat_combine(Enc(x))表示的是融合样本特征。
结合公式1，可以确定，根据正样本融合目标标签信息与第一样本深度预测信息之间的深度信息差确定第一损失值；根据负样本融合目标标签信息与第二样本深度预测信息之间的深度信息差确定第二损失值。通过第一损失值与第二损失值的平均值确定损失值，或者通过第一损失值与第二损失值的其它计算方式来确定损失值。
当然，公式1只是一种可选的确定损失函数的方法，还可以定义其它的损失函数的行驶，例如公式2，将纹理的损失设置为损失函数：
Loss＝‖LBP(feat_combine(Enc(x)))-LBPx‖1 公式2
其中，Loss表示的是损失函数，LBP(feat_combine(Enc(x)))表示的是预测标签信息为纹理信息，LBPx表示的是目标标签信息，feat_combine(Enc(x))表示的是融合样本特征。
当然，损失函数还可以有其它定义方法，但无论哪种定义方法，损失函数的基本计算原理是基于预测标签信息与目标标签信息之间的差异来计算损失值。
在本申请实施例中，当确定了损失值后，进行反向训练，调整活体检测模型的模型参数。一种可选的实施例中，由于活体检测模型中至少包括特征提取网络以及特征回归网络，所以可以通过反向训练过程，调整特征提取网络以及特征回归网络的模型参数。
为了便于理解上述的训练过程，如图13b所示，通过完整的训练过程来示例性描述训练过程的流程。
具体的，在图13b中，目标对象为人脸，所以将人脸的正样本图像以及负样本图像进行分块重组，同时，在本申请实施例中，深度信息为深度图像，所以将正样本图像对应的深度图像以及负样本图像对应的深度图像进行分块重组，重组的方式相同。在本申请实施例中，样本图像定义为原图像，重组图像定义为乱序图像。
将各原图像输入特征提取网络，将乱序图像也输入到特征提取网络，进行特征提取过程，得到了四副图像的特征。
将正样本的原图像定义为图像1，将图像1的乱序图像定义为图像1a，将负样本的原图像定义为图像2，将图像2的乱序图像定义为图像2a。
同样的，针对深度图像，将正样本对应的深度图像定义为深度图像1，将图像1的乱序图像对应的深度图像定义为深度图像1a，将负样本的原图像对应的深度图像定义为深度图像2，将图像2的乱序图像对应的深度图像定义为深度图像2a。
将各深度图像输入特征提取网络，得到了四副深度图像的特征。
所以通过特征提取网络，得到了图像特征1，图像特征1a，图像特征2，以及图像特征2a。也得到了深度图像特征1，深度图像特征1a，深度图像特征2，以及深度图像特征2a。
如图13b所示，将λ倍的图像特征1与(1-λ)倍的图像特征1a进行融合，得到了融合特征1；将λ倍的图像特征2与(1-λ)倍的图像特征2a进行融合，得到了融合特征2。
将λ倍的深度图像特征1与(1-λ)倍的深度图像特征1a进行融合，得到了融合深度1，将λ倍的深度图像特征2与(1-λ)倍的深度图像特征2a进行融合，得到了融合深度2。
进一步地，将β倍的融合特征1与(1-λ)倍的融合特征2进行融合，得到了融合特征3，将β倍的融合特征2与(1-λ)倍的融合特征1进行融合，得到了融合特征4。
将融合特征3以及融合特征4输入至特征回归网络中，分别得到预测深度1以及预测深度2。
计算融合深度1与预测深度1之间的第一差值，计算融合深度2与预测深度2之间的第二差值，将第一差值与第二差值之间的平均值，作为损失值，调整模型参数。
通过上述具体的各个实施例的解释，介绍了针对活体检测模型的训练过程，在实际应用中，通过已经训练得到的活体检测模型，对待检测图像进行活体检测。
所以在本申请中，还包括步骤S305，基于训练得到的活体检测模型，对待检测图像进行活体检测。
在本申请实施例中，基于活体检测模型，提取待检测图像的检测特征，并将检测特征转换为检测标签信息，根据检测标签信息与预设标签信息之间的信息差值，确定活体检测分数，根据活体检测分数，确定活体检测结果。
一种可选的实施例，由于在训练过程中，活体检测模型包括特征提取网络以及特征回归网络，所以在实际应用中，如图14所示，检测的步骤包括：
步骤S1401，对待检测图像的检测过程中，基于特征提取网络，提取待检测图像的检测特征；
步骤S1402，通过特征回归网络，将检测特征转换为检测标签信息；
步骤S1404，根据检测标签信息与预设标签信息阈值之间的差值，确定活体检测分数；
步骤S1404，根据活体检测分数，确定活体检测结果。
具体的，在步骤S1401中，基于训练得到的特征提取网络，提取出待检测图像中的检测特征。
可选的，在本申请实施例中，可以首先确定待检测图像中的目标对象图像，然后确定目标对象图像的特征。
在步骤S1402中，在确定了特征后，不需要对特征进行融合，而是直接输入至特征回归网络，确定检测标签信息，该标签信息可以是深度信息、纹理信息、直方图信息等。
在步骤S1403中，当确定了检测标签信息后，与预先设置的活体标签信息阈值进行比对，并基于比对结果，确定活体检测分数。
一种可选的实施例中，比对结果与活体检测分数之间存在对应关系，示例性的，如表1所示，比对结果为检测标签信息与活体标签信息阈值之差，当差值小于15时，确定活体检测分数为90；当差值大于等于15小于35时，确定活体检测分数为80；当差值大于等于35小于55时，确定活体检测分数为65，以此类推。
表1
差值 活体检测分数
小于15 90
大于等于15小于35 80
大于等于35小于55 65
…… ……
在步骤S1404中，当确定了活体检测分数后，可以将活体检测分数作为检测结果，也可以根据活体检测分数以及检测分数的置信度来确定活体检测结果。
示例性的，可以根据活体检测分数以及检测分数的置信度进行加权，得到活体检测加权分数，当活体检测加权分数大于设定分数阈值，则确定活体检测结果为该待检测图像中的目标对象是活体。
在介绍了上述的训练过程以及检测过程后，本申请实施例中的活体检测方法可以应用于不同的应用场景中。例如支付场景、网约车场景以及小区门禁的管理场景。
示例性的，当用户需要进行远程开户时，为了确认开户人的真实身份，也采用了活体检测的技术，一种可选的流程如下：首先用户会在应用前端通过摄像头获取一张包含人脸的图像。前端将该图像传输到后端并调用活体检测算法。并将结果返回前端。如果判定为活体则通过，否则开户失败。
另一种可选的实施例中，在人脸支付过程中，活体检测是把控支付安全的一个重要环节，高精度的活体检测方法可以拒绝一些非法攻击试图进行的交易，保证交易的安全，保证公司和个人的利益不受损害。
在本申请实施例中，在针对活体检测模型的训练过程中，在样本图像层面以及特征层面进行数据扩增。破坏了原样本图像整体的结构化信息，使得神经网络注意局部信息；然后通过同类特征及异类特征之间的重组填补了数据空间，并引导分类边界面通过数据分布稀疏的区域，提高网络的泛化性。
基于同样的构思，本申请实施例还提供了一种活体检测装置，如图15所示，包括：
训练单元1501，用于获取用于训练活体检测模型的样本图像，样本图像中至少包括目标对象为活体的图像；确定样本图像特征以及重组图像特征，重组图像特征是将样本图像特征分块重组后形成的，样本图像特征和重组图像特征的特征维度相同；将样本图像特征以及重组图像特征进行特征融合，得到融合样本特征，并确定融合样本特征的预测标签信息；基于目标标签信息以及预测标签信息确定损失值，基于损失值调整活体检测模型的模型参数并继续迭代训练，直至满足迭代停止条件时结束训练，目标标签信息用于表征样本图像中目标对象为活体的概率值；
检测单元1502，用于基于训练得到的活体检测模型，对待检测图像进行活体检测。
可选的，训练单元1501具体用于：
将样本图像进行分块，得到N个分块样本图像，对N个分块样本图像进行重组，得到由N个分块样本图像构成的重组样本图像；
将重组样本图像输入至活体检测模型中的特征提取网络，得到重组图像特征，重组图像特征中包括N个分块样本图像特征。
可选的，训练单元1501还用于：
确定每个分块样本图像特征的重要程度值；
对所有的重要程度值进行排序，得到目标序列；
按照目标序列的排列方式，对N个分块样本图像特征进行重组。可选的，训练单元具体用于：
将N个分块样本图像特征进行标记，得到每个分块标识信息；
按照随机排列的顺序将所有的分块标识信息进行随机排序；
按照随机排序后的分块标识信息对N个分块样本图像特征进行重组，得到重组图像特征。
可选的，训练单元1501具体用于：
采用特征提取网络，获得正样本图像的正样本特征、负样本图像的负样本特征以及正样本重组图像特征，将正样本特征以及正样本重组图像特征进行第一特征融合，得到第一融合样本特征，将第一融合样本特征以及负样本特征作为融合样本特征，正样本重组图像特征是将正样本特征分块重组后形成的，正样本图像为目标对象为活体的样本图像，负样本为目标对象为非活体的样本图像。
可选的，训练单元1501还用于：
采用特征提取网络，获得负样本图像的负样本特征以及负样本重组图像特征，将负样本特征以及负样本重组图像特征进行第二特征融合，得到第二融合样本特征，将第一融合样本特征以及第二融合样本特征作为融合样本特征。
可选的，训练单元1501具体用于：
确定样本图像特征中的各个第一特征与重组图像特征中的各个第二特征；
针对每个特征位置，将第一设定比例的第一特征与第二设定比例的第二特征进行融合，得到特征位置的融合样本子特征，第一设定比例与第二设定比例之和为1；
根据所有特征位置的融合样本子特征确定融合样本特征。
可选的，训练单元1501还用于：
确定第一融合样本特征中的各个第三特征与第二融合样本特征中的各个第四特征；
针对每个特征位置，将第三设定比例的第三特征与第四设定比例的第四特征进行融合，得到特征位置的第一交叉融合样本子特征，将第四设定比例的第三特征与第三设定比例的第四特征进行融合，得到特征位置的第二交叉融合样本子特征，第三设定比例与第四设定比例之和为1；
根据所有特征位置的第一交叉融合样本子特征确定第三融合样本特征，根据所有特征位置的第二交叉融合样本子特征确定第四融合样本特征；
将第三融合样本特征以及第四融合样本特征作为融合样本特征。
可选的，训练单元1501具体用于：
将目标标签信息分为N个标签信息块并重组N个目标标签信息块，得到重组目标标签信息，重组方式与重组图像特征的重组方式相同；
根据目标标签信息以及重组目标标签信息进行标签信息融合，得到融合目标标签信息；
根据预测标签信息与融合目标标签信息之间的标签信息差确定损失值。
可选的，训练单元1501具体用于：
将正样本目标深度信息中的各个第一目标深度信息与正样本重组目标深度信息中的各个第二目标深度信息，按照各深度信息位置进行第一加权特征融合，得到正样本融合目标深度信息，正样本目标深度信息是正样本图像对应的深度信息，正样本重组目标深度信息是将正样本目标深度信息重组后形成的；
将负样本目标深度信息中的各个第三目标深度信息与负样本重组目标深度信息中的各个第四目标深度信息，按照各深度信息位置进行第二加权特征融合，得到负样本融合目标深度信息，负样本目标深度信息是负样本图像对应的深度信息，负样本重组目标深度信息是将负样本目标深度信息重组后形成的；
将正样本融合目标深度信息以及负样本融合目标深度信息作为融合预测标签信息。
可选的，训练单元1501具体用于：
根据正样本融合目标深度信息与第一样本深度预测信息之间的深度信息差确定第一损失值，第一样本深度预测信息是基于特征回归网络以及第三融合样本特征确定的；
根据负样本融合目标标签信息与第二样本深度预测信息之间的深度信息差确定第二损失值，第二样本深度预测信息是基于特征回归网络以及第四融合样本特征确定的；
将第一损失值与第二损失值的平均值作为损失值。
可选的，检测单元1502具体用于：
基于活体检测模型，提取待检测图像的检测特征，并将检测特征转换为检测标签信息；
根据检测标签信息与预设标签信息之间的信息差值，确定活体检测分数；
根据活体检测分数，确定活体检测结果。
基于相同的技术构思，本申请实施例提供了一种计算机设备，如图16所示，包括至少一个处理器1601，以及与至少一个处理器连接的存储器1602，本申请实施例中不限定处理器1601与存储器1602之间的具体连接介质，图16中处理器1601和存储器1602之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。
在本申请实施例中，存储器1602存储有可被至少一个处理器1601执行的指令，至少一个处理器1601通过执行存储器1602存储的指令，可以执行前述的活体检测方法中所包括的步骤。
其中，处理器1601是计算机设备的控制中心，可以利用各种接口和线路连接计算机设备的各个部分，通过运行或执行存储在存储器1602内的指令以及调用存储在存储器1602内的数据，从而创建虚拟机。可选的，处理器1601可包括一个或多个处理单元，处理器1601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1601中。在一些实施例中，处理器1601和存储器1602可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器1601可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器1602作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器1602可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器1602是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器1602还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
基于同一发明构思，本申请实施例提供了一种计算机可读存储介质，其存储有可由计算机设备执行的计算机程序，当程序在计算机设备上运行时，使得计算机设备执行活体检测方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种活体检测方法，其特征在于，所述方法包括：
获取用于训练活体检测模型的样本图像，所述样本图像中至少包括目标对象为活体的图像；
确定样本图像特征以及重组图像特征，所述重组图像特征是将所述样本图像特征分块重组后形成的，所述样本图像特征和所述重组图像特征的特征维度相同；
将所述样本图像特征以及所述重组图像特征进行特征融合，得到融合样本特征，并确定所述融合样本特征的预测标签信息；
基于目标标签信息以及所述预测标签信息确定损失值，基于所述损失值调整所述活体检测模型的模型参数并继续迭代训练，直至满足迭代停止条件时结束训练，所述目标标签信息用于表征所述样本图像中所述目标对象为活体的概率值；
基于训练得到的所述活体检测模型，对待检测图像进行活体检测。
2.根据权利要求1所述的方法，其特征在于，所述重组图像特征是将所述样本图像特征分块重组后形成的，包括：
将所述样本图像进行分块，得到N个分块样本图像，对所述N个所述分块样本图像进行重组，得到由N个所述分块样本图像构成的重组样本图像；
将所述重组样本图像输入至所述活体检测模型中的特征提取网络，得到所述重组图像特征，所述重组图像特征中包括N个分块样本图像特征。
3.根据权利要求2所述的方法，其特征在于，所述得到N个分块样本图像特征后，还包括：
确定每个所述分块样本图像特征的重要程度值；
对所有的重要程度值进行排序，得到目标序列；
按照所述目标序列的排列方式，对所述N个分块样本图像特征进行重组。
4.根据权利要求2所述的方法，其特征在于，所述重组图像特征是将所述样本图像特征分块重组后形成的，包括：
将所述N个分块样本图像特征进行标记，得到每个分块标识信息；
按照随机排列的顺序将所有的所述分块标识信息进行随机排序；
按照随机排序后的所述分块标识信息对N个所述分块样本图像特征进行重组，得到所述重组图像特征。
5.根据权利要求4所述的方法，其特征在于，所述将所述样本图像特征以及所述重组图像特征进行特征融合，得到融合样本特征，包括：
采用所述特征提取网络，获得正样本图像的正样本特征、负样本图像的负样本特征以及正样本重组图像特征，将所述正样本特征以及所述正样本重组图像特征进行第一特征融合，得到第一融合样本特征，将所述第一融合样本特征以及所述负样本特征作为所述融合样本特征，所述正样本重组图像特征是将所述正样本特征分块重组后形成的，所述正样本图像为所述目标对象为活体的样本图像，所述负样本为所述目标对象为非活体的样本图像。
6.根据权利要求5所述的方法，其特征在于，所述得到第一融合样本特征后，还包括：
采用所述特征提取网络，获得负样本图像的负样本特征以及负样本重组图像特征，将所述负样本特征以及所述负样本重组图像特征进行第二特征融合，得到第二融合样本特征，将所述第一融合样本特征以及所述第二融合样本特征作为所述融合样本特征。
7.根据权利要求6所述的方法，其特征在于，所述将所述样本图像特征以及所述重组图像特征进行特征融合，得到融合样本特征，包括：
确定所述样本图像特征中的各个第一特征与所述重组图像特征中的各个第二特征；
针对每个特征位置，将第一设定比例的所述第一特征与第二设定比例的所述第二特征进行融合，得到所述特征位置的所述融合样本子特征，所述第一设定比例与所述第二设定比例之和为1；
根据所有特征位置的所述融合样本子特征确定所述融合样本特征。
8.根据权利要求6所述的方法，其特征在于，所述得到第二融合样本特征后，还包括：
确定所述第一融合样本特征中的各个第三特征与所述第二融合样本特征中的各个第四特征；
针对每个特征位置，将第三设定比例的所述第三特征与第四设定比例的所述第四特征进行融合，得到所述特征位置的所述第一交叉融合样本子特征，将第四设定比例的所述第三特征与第三设定比例的所述第四特征进行融合，得到所述特征位置的所述第二交叉融合样本子特征，所述第三设定比例与所述第四设定比例之和为1；
根据所有特征位置的所述第一交叉融合样本子特征确定第三融合样本特征，根据所有特征位置的所述第二交叉融合样本子特征确定第四融合样本特征；
将所述第三融合样本特征以及所述第四融合样本特征作为所述融合样本特征。
9.根据权利要求8所述的方法，其特征在于，所述基于所述目标标签信息以及所述预测标签信息确定损失值，包括：
将所述目标标签信息分为N个标签信息块并重组所述N个目标标签信息块，得到重组目标标签信息，所述重组方式与所述重组图像特征的重组方式相同；
根据所述目标标签信息以及所述重组目标标签信息进行标签信息融合，得到融合目标标签信息；
根据所述预测标签信息与所述融合目标标签信息之间的标签信息差确定所述损失值。
10.根据权利要求9所述的方法，其特征在于，所述目标标签信息为目标深度信息，所述根据所述重组预测标签信息以及所述目标标签信息进行标签信息融合，得到融合预测标签信息，包括：
将正样本目标深度信息中的各个第一目标深度信息与正样本重组目标深度信息中的各个第二目标深度信息，按照各深度信息位置进行第一加权特征融合，得到正样本融合目标深度信息，所述正样本目标深度信息是所述正样本图像对应的深度信息，所述正样本重组目标深度信息是将正样本目标深度信息重组后形成的；
将所述负样本目标深度信息中的各个第三目标深度信息与所述负样本重组目标深度信息中的各个第四目标深度信息，按照各深度信息位置进行第二加权特征融合，得到负样本融合目标深度信息，所述负样本目标深度信息是所述负样本图像对应的深度信息，所述负样本重组目标深度信息是将负样本目标深度信息重组后形成的；
将所述正样本融合目标深度信息以及所述负样本融合目标深度信息作为所述融合预测标签信息。
11.根据权利要求10所述的方法，其特征在于，所述根据所述预测标签信息与所述融合目标标签信息之间的标签信息差确定所述损失值，包括：根据所述正样本融合目标深度信息与第一样本深度预测信息之间的深度信息差确定第一损失值，所述第一样本深度预测信息是基于所述特征回归网络以及所述第三融合样本特征确定的；
根据所述负样本融合目标标签信息与第二样本深度预测信息之间的深度信息差确定第二损失值，所述第二样本深度预测信息是基于所述特征回归网络以及所述第四融合样本特征确定的；
将所述第一损失值与所述第二损失值的平均值作为所述损失值。
12.根据权利要求1所述的方法，其特征在于，所述基于训练得到的所述活体检测模型，对待检测图像进行活体检测，包括：
基于所述活体检测模型，提取所述待检测图像的检测特征，并将所述检测特征转换为检测标签信息；
根据所述检测标签信息与预设标签信息之间的信息差值，确定活体检测分数；
根据所述活体检测分数，确定所述活体检测结果。
13.一种活体检测装置，其特征在于，包括：
训练单元，用于获取用于训练活体检测模型的样本图像，所述样本图像中至少包括目标对象为活体的图像；确定样本图像特征以及重组图像特征，所述重组图像特征是将所述样本图像特征分块重组后形成的，所述样本图像特征和所述重组图像特征的特征维度相同；将所述样本图像特征以及所述重组图像特征进行特征融合，得到融合样本特征，并确定所述融合样本特征的预测标签信息；基于目标标签信息以及所述预测标签信息确定损失值，基于所述损失值调整所述活体检测模型的模型参数并继续迭代训练，直至满足迭代停止条件时结束训练，所述目标标签信息用于表征所述样本图像中所述目标对象为活体的概率值；
检测单元，用于基于训练得到的所述活体检测模型，对待检测图像进行活体检测。
14.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1～12任一权利要求所述方法的步骤。
15.一种计算机可读存储介质，其特征在于，其存储有可由计算机设备执行的计算机程序，当所述程序在计算机设备上运行时，使得所述计算机设备执行权利要求1～12任一权利要求所述方法的步骤。
CN202010895249.9A 2020-08-31 2020-08-31 一种活体检测方法及装置 Pending CN112084917A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010895249.9A CN112084917A (zh) 2020-08-31 2020-08-31 一种活体检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010895249.9A CN112084917A (zh) 2020-08-31 2020-08-31 一种活体检测方法及装置

Publications (1)

Publication Number Publication Date
CN112084917A true CN112084917A (zh) 2020-12-15

Family

ID=73731266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010895249.9A Pending CN112084917A (zh) 2020-08-31 2020-08-31 一种活体检测方法及装置

Country Status (1)

Country Link
CN (1) CN112084917A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528897A (zh) * 2020-12-17 2021-03-19 Oppo（重庆）智能科技有限公司 人像的年龄估测方法、装置、计算机设备及存储介质
CN113052150A (zh) * 2021-05-24 2021-06-29 腾讯科技（深圳）有限公司 活体检测方法、装置、电子设备和计算机可读存储介质
CN113505630A (zh) * 2021-04-13 2021-10-15 新希望六和股份有限公司 猪场监控模型训练方法、装置、计算机设备和存储介质
CN113610071A (zh) * 2021-10-11 2021-11-05 深圳市一心视觉科技有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN113657197A (zh) * 2021-07-27 2021-11-16 浙江大华技术股份有限公司 图像识别方法、图像识别模型的训练方法以及相关装置
CN113792701A (zh) * 2021-09-24 2021-12-14 北京市商汤科技开发有限公司 一种活体检测方法、装置、计算机设备和存储介质
CN113807237A (zh) * 2021-09-15 2021-12-17 河南星环众志信息科技有限公司 活体检测模型的训练、活体检测方法、计算机设备及介质
CN114463860A (zh) * 2021-12-14 2022-05-10 浙江大华技术股份有限公司 检测模型的训练方法、活体检测方法及相关装置
CN116977794A (zh) * 2023-08-28 2023-10-31 杭州一知智能科技有限公司 一种基于强化学习的数字人视频鉴别模型训练方法和系统
CN117351579A (zh) * 2023-10-18 2024-01-05 北京建筑大学 基于多源信息融合的虹膜活体检测方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200146A (zh) * 2014-08-29 2014-12-10 华侨大学 一种结合视频人脸和数字唇动密码的身份验证方法
CN107832672A (zh) * 2017-10-12 2018-03-23 北京航空航天大学 一种利用姿态信息设计多损失函数的行人重识别方法
CN107992842A (zh) * 2017-12-13 2018-05-04 深圳云天励飞技术有限公司 活体检测方法、计算机装置及计算机可读存储介质
CN109614853A (zh) * 2018-10-30 2019-04-12 国家新闻出版广电总局广播科学研究院 一种基于身体结构划分的双线性行人再识别网络构建方法
WO2019080580A1 (zh) * 2017-10-26 2019-05-02 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置
CN110321932A (zh) * 2019-06-10 2019-10-11 浙江大学 一种基于深度多源数据融合的全城市空气质量指数估计方法
CN110570396A (zh) * 2019-08-07 2019-12-13 华中科技大学 一种基于深度学习的工业产品缺陷检测方法
CN110598580A (zh) * 2019-08-25 2019-12-20 南京理工大学 一种人脸活体检测方法
CN111462036A (zh) * 2020-02-18 2020-07-28 腾讯科技（深圳）有限公司 基于深度学习的病理图像处理方法、模型训练方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200146A (zh) * 2014-08-29 2014-12-10 华侨大学 一种结合视频人脸和数字唇动密码的身份验证方法
CN107832672A (zh) * 2017-10-12 2018-03-23 北京航空航天大学 一种利用姿态信息设计多损失函数的行人重识别方法
WO2019080580A1 (zh) * 2017-10-26 2019-05-02 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置
CN107992842A (zh) * 2017-12-13 2018-05-04 深圳云天励飞技术有限公司 活体检测方法、计算机装置及计算机可读存储介质
CN109614853A (zh) * 2018-10-30 2019-04-12 国家新闻出版广电总局广播科学研究院 一种基于身体结构划分的双线性行人再识别网络构建方法
CN110321932A (zh) * 2019-06-10 2019-10-11 浙江大学 一种基于深度多源数据融合的全城市空气质量指数估计方法
CN110570396A (zh) * 2019-08-07 2019-12-13 华中科技大学 一种基于深度学习的工业产品缺陷检测方法
CN110598580A (zh) * 2019-08-25 2019-12-20 南京理工大学 一种人脸活体检测方法
CN111462036A (zh) * 2020-02-18 2020-07-28 腾讯科技（深圳）有限公司 基于深度学习的病理图像处理方法、模型训练方法及装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528897B (zh) * 2020-12-17 2023-06-13 Oppo（重庆）智能科技有限公司 人像的年龄估测方法、装置、计算机设备及存储介质
CN112528897A (zh) * 2020-12-17 2021-03-19 Oppo（重庆）智能科技有限公司 人像的年龄估测方法、装置、计算机设备及存储介质
CN113505630A (zh) * 2021-04-13 2021-10-15 新希望六和股份有限公司 猪场监控模型训练方法、装置、计算机设备和存储介质
CN113052150A (zh) * 2021-05-24 2021-06-29 腾讯科技（深圳）有限公司 活体检测方法、装置、电子设备和计算机可读存储介质
CN113052150B (zh) * 2021-05-24 2021-07-30 腾讯科技（深圳）有限公司 活体检测方法、装置、电子设备和计算机可读存储介质
CN113657197A (zh) * 2021-07-27 2021-11-16 浙江大华技术股份有限公司 图像识别方法、图像识别模型的训练方法以及相关装置
CN113807237A (zh) * 2021-09-15 2021-12-17 河南星环众志信息科技有限公司 活体检测模型的训练、活体检测方法、计算机设备及介质
CN113792701A (zh) * 2021-09-24 2021-12-14 北京市商汤科技开发有限公司 一种活体检测方法、装置、计算机设备和存储介质
CN113610071A (zh) * 2021-10-11 2021-11-05 深圳市一心视觉科技有限公司 人脸活体检测方法、装置、电子设备及存储介质
CN114463860A (zh) * 2021-12-14 2022-05-10 浙江大华技术股份有限公司 检测模型的训练方法、活体检测方法及相关装置
CN114463860B (zh) * 2021-12-14 2023-05-23 浙江大华技术股份有限公司 检测模型的训练方法、活体检测方法及相关装置
CN116977794A (zh) * 2023-08-28 2023-10-31 杭州一知智能科技有限公司 一种基于强化学习的数字人视频鉴别模型训练方法和系统
CN116977794B (zh) * 2023-08-28 2024-04-02 杭州一知智能科技有限公司 一种基于强化学习的数字人视频鉴别模型训练方法和系统
CN117351579A (zh) * 2023-10-18 2024-01-05 北京建筑大学 基于多源信息融合的虹膜活体检测方法及装置
CN117351579B (zh) * 2023-10-18 2024-04-16 北京建筑大学 基于多源信息融合的虹膜活体检测方法及装置

Similar Documents

Publication Publication Date Title
CN112084917A (zh) 一种活体检测方法及装置
CN110188795B (zh) 图像分类方法、数据处理方法和装置
CN110532871B (zh) 图像处理的方法和装置
CN111444881B (zh) 伪造人脸视频检测方法和装置
CN112215180B (zh) 一种活体检测方法及装置
CN109492627B (zh) 一种基于全卷积网络的深度模型的场景文本擦除方法
Peng et al. Superpixel-based face sketch–photo synthesis
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
Zanardelli et al. Image forgery detection: a survey of recent deep-learning approaches
CN110222718B (zh) 图像处理的方法及装置
Arora et al. A robust framework for spoofing detection in faces using deep learning
CN110163111A (zh) 基于人脸识别的叫号方法、装置、电子设备及存储介质
CN111754396A (zh) 脸部图像处理方法、装置、计算机设备和存储介质
Wu et al. A deep residual convolutional neural network for facial keypoint detection with missing labels
CN115565238B (zh) 换脸模型的训练方法、装置、设备、存储介质和程序产品
Wang et al. PalGAN: Image colorization with palette generative adversarial networks
CN112651333A (zh) 静默活体检测方法、装置、终端设备和存储介质
Qiu et al. Finger vein presentation attack detection using convolutional neural networks
Ilyas et al. E-Cap Net: an efficient-capsule network for shallow and deepfakes forgery detection
CN115115910A (zh) 图像处理模型的训练方法、使用方法、装置、设备及介质
Hu et al. Learning to detect saliency with deep structure
Gupta et al. Face Recognition System Based on Convolutional Neural Network (CNN) for Criminal Identification
CN112446270B (zh) 行人再识别网络的训练方法、行人再识别方法和装置
Singh et al. Performance Analysis of ELA-CNN model for Image Forgery Detection
CN116645700B (zh) 特征提取模型处理方法、装置和特征提取方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40035260

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination