CN116129504A - 一种活体检测模型训练方法和活体检测方法 - Google Patents

一种活体检测模型训练方法和活体检测方法 Download PDF

Info

Publication number
CN116129504A
CN116129504A CN202310119056.8A CN202310119056A CN116129504A CN 116129504 A CN116129504 A CN 116129504A CN 202310119056 A CN202310119056 A CN 202310119056A CN 116129504 A CN116129504 A CN 116129504A
Authority
CN
China
Prior art keywords
image
key point
living body
body detection
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310119056.8A
Other languages
English (en)
Inventor
陈昕
张劲风
钱贝贝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orbbec Inc
Original Assignee
Orbbec Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orbbec Inc filed Critical Orbbec Inc
Priority to CN202310119056.8A priority Critical patent/CN116129504A/zh
Publication of CN116129504A publication Critical patent/CN116129504A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种活体检测模型训练方法和活体检测方法，可以解决目前实现活体检测的成本较高的问题，该活体检测模型训练方法包括：获取待处理图像和待处理图像对应的散斑图像，待处理图像和散斑图像均包括人脸区域；从待处理图像中提取出第一人脸区域图像，从散斑图像中提取出第二人脸区域图像；确定第一人脸区域图像中的人脸区域的原始关键点集合；从原始关键点集合中提取出目标关键点，目标关键点集合中目标关键点的数量小于原始关键点集合中原始关键点的数量；针对每个目标关键点，确定第二人脸区域图像中与目标关键点对应的坐标上的深度值；根据各个目标关键点的坐标和深度值，对活体检测模型进行训练，获得训练好的活体检测模型。

Description

一种活体检测模型训练方法和活体检测方法
技术领域
本申请属于人工智能技术领域，尤其涉及一种活体检测模型训练方法、活体检测方法、用于活体检测的电子设备、装置、电子设备及计算机可读存储介质
背景技术
活体检测方法中的深度活体检测能够很好地对真人和假体进行识别，从而防止人脸识别系统收到假体攻击。
但是，深度活体检测方法在训练和应用活体检测模型时，需要计算出深度图像，将深度图像的信息作为模型的输入。而深度图像需要进行大量的深度信息的计算才能得到。对于算力相对较低的平台，例如以主控芯片作为运算核心的平台，难以完成大量的深度信息的计算，需要使用额外的深度计算芯片进行深度信息的计算，而深度计算芯片的造价较贵。因此，目前实现活体检测的成本较高。
发明内容
本申请提供了一种活体检测模型的训练方法、活体检测方法、用于活体检测的电子设备、装置、电子设备及计算机可读存储介质，可以解决实现活体检测的成本较高的问题。
第一方面，本申请实施例提供了一种活体检测模型的训练方法，包括：
获取待处理图像和待处理图像对应的散斑图像，待处理图像和散斑图像均包括人脸区域；从待处理图像中提取出第一人脸区域图像，从散斑图像中提取出第二人脸区域图像；确定第一人脸区域图像中的人脸区域的原始关键点集合；从原始关键点集合中提取出目标关键点，目标关键点集合中目标关键点的数量小于原始关键点集合中原始关键点的数量；针对每个目标关键点，确定第二人脸区域图像中与目标关键点对应的坐标上的深度值；根据各个目标关键点的坐标和深度值，对活体检测模型进行训练，获得训练好的活体检测模型。
本申请实施例通过在训练活体检测模型的过程中，从原始关键点集合中提取出目标关键点，并且目标关键点的数量小于原始关键点的数量，对提取出的目标关键点计算其深度值，将目标关键点的坐标及其深度值输入活体检测模型中，得到训练好的活体检测模型。相比于现有技术，本申请实施例在模型训练过程中，不需要计算出整张深度图像，只需要计算出部分关键点的深度值，并根据部分关键点的坐标及其深度值完成活体检测模型的训练。相应的，在模型应用过程中，也不需要计算出整张深度图，只需要计算出部分关键点的深度值即可完成活体检测。因此，本申请实施例所要求的算力大大降低，对于硬件的依赖性不高，能够部署在算力相对较低的平台，降低了实现活体检测的成本。
在第一方面的一种可能的实现方式中，目标关键点集合包括第一目标关键点集合和第二目标关键点集合；第一目标关键点集合包括原始关键点集合中部分原始关键点；第二目标关键点集合包括原始关键点集合中部分原始关键点之间的中点。
在第一方面的一种可能的实现方式中，目标关键点的坐标为第一坐标或第二坐标，第一坐标为目标关键点的坐标，第二坐标为根据目标关键点的坐标和随机扰动量得到的坐标。
本申请实施例通过在目标关键点的坐标中添加随机扰动量，以得到新的训练样本，能够提升训练样本的多样性和活体检测模型的鲁棒性。
在第一方面的一种可能的实现方式中，根据各个目标关键点的坐标和深度值，对活体检测模型进行训练，获得训练好的活体检测模型，包括：对各个目标关键点的坐标和深度值进行预处理以得到输入向量；将输入向量输入至活体检测模型，获得活体检测模型的输出结果；根据输出结果，确定活体检测模型的分类损失值；根据分类损失值进行反向传播，以调整活体检测模型的参数；依此迭代训练多次，直至训练次数达到预设次数，则获得训练好的活体检测模型。
在第一方面的一种可能的实现方式中，活体检测模型包括第一分支、第二分支、第三分支、特征拼接层以及全连接层；将输入向量输入至活体检测模型，获得活体检测模型的输出结果，包括：将输入向量输入至活体检测模型，获得活体检测模型的输出结果，包括：将输入向量输入第一分支，获得第一分支输出的第一局部特征矩阵；将输入向量输入第二分支，获得第二分支输出的第二局部特征矩阵；将输入向量输入第三分支，获得第三分支输出的第三局部特征矩阵；将第一局部特征矩阵、第二局部特征矩阵以及第三局部特征矩阵输入特征拼接层，获得特征拼接层输出的特征矩阵；将特征矩阵输入全连接层，获得全连接层输出的输出结果。
本申请实施例所使用的网络架构通过拼接不同分支的特征使得模型更好地学习到有区分度的真假体特征。
第二方面，本申请实施例提供了一种活体检测方法，包括：获取待处理图像和待处理图像对应的散斑图像，待处理图像和散斑图像均包括人脸区域；从待处理图像中提取出第一人脸区域图像，从散斑图像中提取出第二人脸区域图像；确定第一人脸区域图像的人脸区域的原始关键点集合；从原始关键点集合中提取出目标关键点，目标关键点集合中目标关键点的数量小于原始关键点集合中原始关键点的数量；针对每个目标关键点，确定第二人脸区域图像中与目标关键点对应的坐标上的深度值；根据各个目标关键点的位置和深度值，生成输入向量；将输入向量输入至预先训练好的活体检测模型，获得活体检测模型输出的活体检测结果。
第三方面，本申请实施例提供了一种用于活体检测的电子设备，包括：成像模组，用于获取待处理图像和待处理图像对应的散斑图像，待处理图像和散斑图像均包括人脸区域，所述成像模组包括散斑发射器、泛光发射器以及采集器；处理器，用于从待处理图像中提取出第一人脸区域图像，从散斑图像中提取出第二人脸区域图像，确定第一人脸区域图像中的人脸区域的原始关键点集合，从原始关键点集合中提取出目标关键点，目标关键点集合中目标关键点的数量小于原始关键点集合中原始关键点的数量，针对每个目标关键点，确定第二人脸区域图像中与目标关键点对应的坐标上的深度值，根据各个目标关键点的位置和深度值，生成输入向量，将输入向量输入至预先训练好的活体检测模型，获得活体检测模型输出的活体检测结果。
第四方面，本申请实施例提供了一种活体检测模型训练装置，包括：获取单元，用于获取待处理图像和待处理图像对应的散斑图像，待处理图像和散斑图像均包括人脸区域；图像提取单元，用于从待处理图像中提取出第一人脸区域图像，从散斑图像中提取出第二人脸区域图像；关键点检测单元，用于确定第一人脸区域图像中的人脸区域的原始关键点集合；关键点提取单元，用于从原始关键点集合中提取出目标关键点，目标关键点集合的目标关键点的数量小于原始关键点集合的原始关键点数量；深度值计算单元，用于针对每个目标关键点，确定第二人脸区域图像中与目标关键点对应的坐标上的深度值；训练单元，用于根据各个目标关键点的位置和深度值，对活体检测模型进行训练，获得训练好的活体检测模型。
第五方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述第一方面或第二方面任一项的方法。
第六方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面或第二方面任一项的方法。
第七方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面或第二方面任一项的方法。
可以理解的是，上述第二方面至第七方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的用于活体检测的电子设备的结构示意框图；
图2是本申请一实施例提供的活体检测模型的训练方法的流程示意图；
图3是本申请一实施例提供的人脸原始关键点示意图；
图4是本申请一实施例提供的人脸目标关键点示意图；
图5是本申请一实施例提供的活体检测模型的结构示意框图；
图6是本申请一实施例提供的活体检测方法的流程示意图；
图7是本申请一实施例提供的活体检测模型训练装置的结构框图；
图8是本申请一实施例提供的电子设备的结构示意框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
在本申请说明书中描述的参考“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一些实施例中”，不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
如背景技术所言，目前深度活体检测技术在训练和应用活体检测模型时，需要计算出深度图像，将深度图像的信息作为模型的输入。而对于深度图像的计算，普通的处理芯片，例如中央处理单元(Central Processing Unit，CPU)，因算力相对有限而难以胜任，需要使用专门的深度计算芯片完成。而深度计算芯片的造价较高。因此，若使用现有技术，一方面会造成成本的上升；另一方面，模型对深度图像进行判断也会增加模型的计算量和计算耗时。
针对于此，本申请通过在训练活体检测模型的过程中，从原始关键点集合中提取出目标关键点，并且目标关键点的数量小于原始关键点的数量，利用目标关键点计算深度值并对活体检测模型进行训练。相比于现有技术，本方案在模型训练和应用过程中，不需要计算出整张深度值，只需要计算出部分关键点的深度值，对于算力的要求大大降低，可直接部署在算力相对较低的平台。不仅降低了实现活体检测的成本，而且由本方案得到的活体检测模型的计算量和计算耗时都能得到降低。
请参见图1，图1为本申请实施例提供的一种用于活体检测的电子设备。如图1所示，该电子设备可以包括寄存器11、处理器12以及成像模组13，其中寄存器中存放人脸检测模型14、关键点检测模型15以及活体检测模型16。成像模组13用于采集待处理图像和与待处理图像对应的散斑图像，并传输给处理器12。
在一些实施例中，成像模组13可以包括散斑发射器、泛光发射器以及采集器。可以打开泛光发射器和采集器采集待处理图像，可以通过开启散斑发射器，向目标对象投射散斑光束得到散斑图像。处理器12接收到来自成像模组13传输的待处理图像和散斑图像之后，调用寄存器11中的人脸检测模型14，并将待处理图像输入至人脸检测模型14中，得到第一人脸区域图像。可根据第一人脸区域图像获得散斑图像中对应的第二人脸区域图像。在得到第一人脸区域图像后，处理器12通过调用寄存器11中的关键点检测模型15，并将第一人脸区域图像输入至关键点检测模型15中，得到人脸原始关键点集合，其中人脸原始关键点集合包括每个原始关键点的编号和坐标，处理器12再从人脸关键点中提取出目标关键点集合，目标关键点集合是原始关键点集合的一部分，得到目标关键点集合后，通过第二人脸区域图像确定集合中每一个目标关键点的深度值。
处理器12根据上述目标关键点集合中每一个目标关键点的坐标值和深度值生成输入向量并调用活体检测模型16，将输入向量输入至预先训练好的活体检测模型16中，活体检测模型16对于该输入向量进行分类，得到分类结果。
在一些实施例中，上述用于活体检测的电子设备为门锁系统。在门锁系统中，成像模组13用于采集待处理图像和与待处理图像对应的散斑图像，并传输给处理器12，处理器12通过调用寄存器11中的人脸检测模型14、关键点检测模型15以及活体检测模型16完成活体检测，得到活体检测的分类结果，并根据分类结果控制锁体(图1中未示出)开启或关闭。
在现有技术中，需要将深度图像的信息作为活体检测模型的输入。即在成像模组13获取到待处理图像和对应的散斑图像后，还需根据散斑图像和参考散斑图计算出深度图像。在得到深度图像后，才能进行后续的活体检测步骤。因为获取深度图像需要计算大量的深度信息，普通的处理芯片，例如CPU，难以满足算力要求，需要使用额外的深度计算芯片来进行深度信息的计算得到深度图像，而深度计算芯片的造价较贵。因此，现有技术对于硬件的依赖性高，若使用现有技术，一方面会造成成本的上升；另一方面，模型对深度图像进行判断也会增加模型的计算量和计算耗时。
针对上述问题，本申请实施例提供了一种活体检测模型的训练方法。请参见图2，图2为本申请一实施例提供的活体检测模型的训练方法，该方法包括以下步骤：
S201、获取待处理图像和待处理图像对应的散斑图像。
其中，待处理图像可以为包含人脸区域的NIR图像，NIR图像可通过开启泛光灯获得。散斑图像为与该NIR图对应的散斑图，可通过开启散斑发射器，向目标投射散斑光束获得。散斑图像也包括人脸区域。
S202、从待处理图像中提取出第一人脸区域图像，从散斑图像中提取出第二人脸区域图像。
在一些实施例中，可以通过人脸检测模型从待处理图像中提取出第一人脸区域图像。具体来说，可以将待处理图像输入至人脸检测模型中，得到第一人脸区域图像。当然，也可以通过其它方式确定待处理图像的人脸区域的位置，在此不作限定。第一人脸区域图像为包括人脸区域的图像。
在得到第一人脸区域图像后，即可根据第一人脸区域图像获得散斑图像中对应的第二人脸区域图像，即第一人脸区域图像对应的散斑图像。该第二人脸区域图像为包括人脸区域的图像。在得到第一人脸区域图像和第二人脸区域图像之后，可以将第一人脸区域图像和第二人脸区域图像均缩放为指定像素大小后，再对缩放后的图像进行后续处理。例如，将第一人脸区域图像和第二人脸区域图像均缩放为像素大小为112×112的图像。
上述人脸检测模型可以根据实际情况选择ResNet、Xception或者其他人脸检测模型，本申请实施例对于人脸检测模型的选择不作限定。
S203、确定第一人脸区域图像中的人脸区域的原始关键点集合。
在一些实施例中，可以将步骤S202得到的第一人脸区域图像输入至人脸关键点检测模型中，得到人脸关键点检测模型输出的原始关键点集合，集合中包括每个原始关键点的编号以及坐标。示例性地，参见图3，图3为标注了98个关键点的人脸关键点检测模型输出的原始关键点的示意图，如图3所示，98个原始关键点覆盖眉毛、眼睛、鼻子、嘴巴以及脸部轮廓等人脸区域。
上述人脸关键点检测模型可以是MobileNet、ResNet或者其他人脸关键点检测模型，人脸关键点检测模型的数据集可以是标注了68、98或者106个关键点，本申请实施例对于人脸关键点检测模型的选择和数据集不作限定。
S204、从原始关键点集合中提取目标关键点。
其中，目标关键点集合包括第一目标关键点集合和第二目标关键点集合，第一目标关键点集合包括原始关键点集合中的部分原始关键点。第二目标关键点集合包括原始关键点集合中部分原始关键点之间的中点。例如，在人脸关键点检测模型输出的原始关键点数量为98，各原始关键点的位置如图3所示的情况下，提取目标关键点的过程如下：因为人脸边缘容易畸变，首先去掉33个人脸轮廓关键点，从剩下的65个关键点中选择相对深度差较大的10个点作为第一目标关键点集合，然后再从98个原始关键点集合中选取深度差较大的两个关键点的中点，这样的中点共取5个，作为第二目标关键点集合。
参见图4，图4为提取出的各个目标关键点的位置示意图，如图4所示，第一目标关键点集合中包括10个目标关键点，具体包括位于两侧眉毛的2个关键点A1和A2、位于两侧眼睛的2个关键点A3和A5、位于鼻子的3个关键点A4、A6以及A7、位于鼻底的1个关键点A8、位于上嘴唇的1个关键点A9以及位于下嘴唇的1个关键点A10。第二目标关键点集合中包括两个原始关键点的中点，共5个点，具体包括位于鼻子和位于脸部左侧轮廓的原始关键点的中点B1、位于鼻子和位于脸部右侧轮廓的原始关键点的中点B3、位于左侧嘴角和位于脸部左侧轮廓的原始关键点的中点B2、位于右侧嘴角和位于脸部右侧轮廓的原始关键点的中点B4、以及位于下嘴唇和位于下巴的原始关键点的中点B5。在提取出上述目标关键点集合后，可以将各个目标关键点的编号保存到索引中。
需要指出的是，上述提取目标关键点的规则仅作为示例，而非用作限定，例如，在人脸关键点检测模型输出的原始关键点数量为65个时，提取出的目标关键点集合包括第一目标关键点集合和第二目标关键点集合，第一目标关键点集合包括8个点，具体包括位于两侧眉毛的2个关键点、位于两侧眼睛的2个关键点、位于鼻子的2个关键点、位于上嘴唇的1个关键点以及位于下嘴唇的1个关键点；第二目标关键点集合包括4个关键点，具体包括位于鼻子和位于脸部左侧轮廓的原始关键点的中点、位于鼻子和位于脸部右侧轮廓的原始关键点的中点、位于左侧嘴角和位于脸部左侧轮廓的原始关键点的中点以及位于右侧嘴角和位于脸部右侧轮廓的原始关键点的中点。
S205、针对每个目标关键点，确定第二人脸区域图像中与目标关键点对应的坐标上的深度值。
在一些实施例中，可以根据索引找到各个目标关键点的坐标，再根据各个目标关键点的坐标，在第二人脸区域图像中确定各个目标关键点的深度值。例如，首先根据索引得到某个目标关键点的编号，根据该编号在步骤S303中得到的原始关键点集合中得到该目标关键点的坐标为(x，y)，通过在第二人脸区域图像中定位坐标为(x，y)的散斑点，根据该散斑点找到参考散斑图中与该散斑点对应的参考散斑点(x’，y’)，计算出该散斑点与参考散斑点之间的视差，就能够得到坐标为(x，y)的目标关键点的深度值。在得到每个目标关键点的深度值后，可以将目标关键点的坐标以及其深度值进行保存，以供在训练和测试活体检测模型的过程中进行调用。例如，可以保存在本地的txt文件、excel文件以及csv文件中，也可以保存在服务器上，本申请实施例对于上述目标关键点信息的保存不作限定。
S206、根据各个目标关键点的坐标和深度值，对活体检测模型进行训练，获得训练好的活体检测模型。
读取步骤S205得到的各个目标关键点的坐标及其深度值，根据上述坐标和深度值生成输入向量，并将输入向量输入至活体检测模型中进行训练。
在一些实施例中，在读取到的各个目标关键点的坐标及其深度值之后，可以对各个目标关键点的坐标和深度值进行预处理以得到输入向量。预处理可以是首先对各个目标关键点的坐标进行归一化，对深度值进行中值处理和归一化处理，然后根据处理后的坐标和深度值生成输入向量。例如，在第一人脸区域图像的像素大小为112×112情况下，目标关键点的横纵坐标的取值范围均为0至111，因此将每个目标关键点的坐标除以111。对于深度值，首先进行中值处理，具体为若深度值大于中值加127，则将该深度值设为255；若深度值小于中值减128，则将该深度值设为0；若深度值等于中值，则将该深度值设为128；其余情况，则先将深度值减去中值，再加上128，其中，中值为所有目标关键点的深度值的中值，这样处理的能够在保留关键点间的相对深度差的同时将深度值映射到0至255之间。最后根据每个目标关键点的横坐标、纵坐标以及深度值生成输入向量，输入向量中的每一列分别代表横坐标、纵坐标以及深度值，每一行代表一个目标关键点。
参见图5，图5为一种活体检测模型结构示意图，在一些实施例中，活体检测模型如5所示，对该活体检测模型进行训练包括：首先将输入向量作为模型的输入，输入向量进入第一卷积层，第一卷积层的输出进入第二卷积层，第二卷积层的输出分别进入第一分支和第三卷积层，第一分支包括两个用于下采样的卷积层，第三卷积层的输出分别进入第二分支和第三分支，第二分支包括一个用于下采样的卷积层，第三分支包括一个卷积层和一个用于下采样的卷积层，然后第一分支、第二分支和第三分支输出的局部特征进入特征拼接层，特征拼接层对局部特征进行拼接，并将特征输出至第四卷积层，第四卷积层的输出进入自适应池化层，自适应池化层的输出进入全连接层，最终全连接层输出分类结果。其中，在自适应池化层的输出进入全连接层之前，还需要先对自适应池化层的输出以及全连接层权重进行L2范数归一化。
然后基于上述分类结果和预先标记的正确的分类标签，确定当前训练轮次的分类损失值，根据分类损失值对活体检测模型的参数进行调整，并进行下一轮次的训练，直至训练结束得到训练好的活体检测模型。其中在上述训练过程中使用focal loss来约束网络收敛，上述分类结果为一个1行2列的矩阵，矩阵中第一列元素代表检测对象是假体的分数，第二列元素代表输入对象是真人的分数，在部署后推理时，通过比较两个分数的大小，将较大的分数所代表的标签作为输出的结果。其中，分类损失函数可以是交叉熵函数以及其他分类损失函数。
上述活体检测模型仅为本方案的一种可能的实现方式，还可以根据实际需求选择其他活体检测模型，同样能够达到本申请实施例所描述的技术效果，例如MobileNet、ResNet或者Xception。
在一些实施例中，若训练轮次达到了预设次数，则结束活体检测模型的训练，将最后一个训练轮次得到的活体检测模型作为最终得到的活体检测模型，预设次数可以是200。
在一些实施例中，为了提升数据的多样性和模型的鲁棒性，在每一个训练轮次提取人脸图像数据时，可以在每一个目标关键点的坐标中加入随机扰动量得到新的坐标，根据新的坐标计算相应位置的深度值，再根据新的坐标和其深度值对活体检测模型进行训练。例如，使用python的numpy库中的随机数生成函数生成了随机扰动量[1,-1]，将随机扰动量加入某个目标关键点的坐标[43,56]中，可得到新的坐标为[44，55]，根据新的坐标计算出深度值，对于其他的目标关键点，也依此进行相应的操作，得到一个新的训练样本，根据新的训练样本对活体检测模型进行训练。
图6为本申请一实施例提供的活体检测方法。本申请实施例提供的活体检测方法可以应用于手机、平板电脑、服务器、可穿戴设备、车载设备、增强现实(augmentedreality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digitalassistant，PDA)等电子设备上，服务器包括但不限于独立服务器或者云服务器等。本申请实施例对电子设备的具体类型不作任何限制。如图6所示，该活体检测方法包括：
S601、获取待处理图像和待处理图像对应的散斑图像。
S602、从待处理图像中提取出第一人脸区域图像，从散斑图像中提取出第二人脸区域图像。
S603、确定第一人脸区域图像中的人脸区域的原始关键点集合。
S604、从原始关键点集合中提取出目标关键点。
S605、针对每个目标关键点，确定第二人脸区域图像中与目标关键点对应的坐标上的深度值。
S606、根据各个目标关键点的位置和所述深度值，生成输入向量。
S607、将输入向量输入至预先训练好的活体检测模型，获得活体检测模型输出的结果。
在一些实施例中，上述模型输出的结果为一个1行2列的矩阵，矩阵中第一列元素代表检测对象是假体的分数，第二列元素代表输入对象是真人的分数，在部署后推理时，通过比较两个分数的大小，将较大的分数所代表的标签作为输出的结果，即若代表真人的分数大于代表假体的分数，则判断检测对象为真人，若代表假体的分数大于代表真人的分数，则判断检测对象为假体。
经试验，本申请实施例提供的活体检测模型，对于假体的和真人的分类准确率达到99.8％，能够达到使用深度活体检测方法的准确率，本申请实施例在有效防止平面图片、屏幕播放以及弯折图片攻击的同时能够保证真人的通过率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例中提出的活体检测模型训练方法，图7示出了本申请实施例提供的活体检测模型训练装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。如图7所示，该装置包括：
获取单元71，用于获取待处理图像和对应的散斑图像；
其中上述图像可以是从本地硬盘中读取，也可以是从服务器上下载，本申请实施例对于上述图像的获取方式不作限定。
图像提取单元72，用于从待处理图像中提取出第一人脸区域图像，从散斑图像中提取出第二人脸区域图像，待处理图像和散斑图像均包括人脸区域；
关键点检测单元73，用于确定第一人脸区域图像中人脸区域的原始关键点集合；
关键点提取单元74，用于从原始关键点集合中提取出目标关键点，其中目标关键点集合的目标关键点的数量小于原始关键点集合的原始关键点数量；
深度值计算单元75，用于针对每个目标关键点，确定第二人脸区域图像中与目标关键点对应的坐标上的深度值；
训练单元76，用于根据各个目标关键点的位置和深度值，对活体检测模型进行训练，获得训练好的活体检测模型。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
本申请实施例还提供了一种电子设备，参见图8，图8为本申请一实施例提供的电子设备的结构示意图。如图8所示，该实施例的电子设备8包括：至少一个处理器80(图8中仅示出一个)、存储器81以及存储在所述存储器81中并可在所述至少一个处理器80上运行的计算机程序82，所述处理器80执行所述计算机程序82时可以实现上述活体检测模型训练方法和/或活体检测方法实施例中的各个步骤。
所述电子设备8可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该电子设备可包括，但不仅限于，处理器80、存储器81。本领域技术人员可以理解，图8仅仅是电子设备8的举例，并不构成对电子设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器80可以是中央处理单元(Central Processing Unit，CPU)，该处理器80还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器81在一些实施例中可以是所述电子设备8的内部存储单元，例如电子设备8的硬盘或内存。所述存储器81在另一些实施例中也可以是所述电子设备8的外部存储设备，例如所述电子设备8上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器81还可以既包括所述电子设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种活体检测模型的训练方法，其特征在于，所述方法包括：
获取待处理图像和所述待处理图像对应的散斑图像，所述待处理图像和散斑图像均包括人脸区域；
从所述待处理图像中提取出第一人脸区域图像，从所述散斑图像中提取出第二人脸区域图像；
确定所述第一人脸区域图像中的人脸区域的原始关键点集合；
从所述原始关键点集合中提取出目标关键点，目标关键点集合中所述目标关键点的数量小于所述原始关键点集合中原始关键点的数量；
针对每个所述目标关键点，确定所述第二人脸区域图像中与所述目标关键点对应的坐标上的深度值；
根据各个所述目标关键点的坐标和所述深度值，对活体检测模型进行训练，获得训练好的活体检测模型。
2.根据权利要求1所述的方法，其特征在于，所述目标关键点集合包括第一目标关键点集合和第二目标关键点集合；
所述第一目标关键点集合包括所述原始关键点集合中部分原始关键点；
所述第二目标关键点集合包括所述原始关键点集合中部分原始关键点之间的中点。
3.根据权利要求1所述的方法，其特征在于，所述目标关键点的坐标为第一坐标或第二坐标，所述第一坐标为所述目标关键点的坐标，所述第二坐标为根据所述目标关键点的坐标和随机扰动量得到的坐标。
4.根据权利要求1所述的方法，其特征在于，所述根据各个所述目标关键点的坐标和所述深度值，对活体检测模型进行训练，获得训练好的活体检测模型，包括：
对各个所述目标关键点的坐标和深度值进行预处理以得到输入向量；
将所述输入向量输入至所述活体检测模型，获得所述活体检测模型的输出结果；
根据所述输出结果，确定所述活体检测模型的分类损失值；
根据所述分类损失值进行反向传播，以调整所述活体检测模型的参数；
依此迭代训练多次，直至训练次数达到预设次数，则获得所述训练好的活体检测模型。
5.根据权利要求4所述的方法，其特征在于，所述活体检测模型包括第一分支、第二分支、第三分支、特征拼接层以及全连接层；
所述将所述输入向量输入至所述活体检测模型，获得所述活体检测模型的输出结果，包括：
将所述输入向量输入第一分支，获得所述第一分支输出的第一局部特征矩阵；
将所述输入向量输入第二分支，获得所述第二分支输出的第二局部特征矩阵；
将所述输入向量输入第三分支，获得所述第三分支输出的第三局部特征矩阵；
将所述第一局部特征矩阵、所述第二局部特征矩阵以及所述第三局部特征矩阵输入所述特征拼接层，获得所述特征拼接层输出的特征矩阵；
将所述特征矩阵输入所述全连接层，获得所述全连接层输出的所述输出结果。
6.一种活体检测方法，其特征在于，包括：
获取待处理图像和待处理图像对应的散斑图像，所述待处理图像和散斑图像均包括人脸区域；
从所述待处理图像中提取出第一人脸区域图像，从所述散斑图像中提取出第二人脸区域图像；
确定第一人脸区域图像中的人脸区域的原始关键点集合；
从所述原始关键点集合中提取出目标关键点，目标关键点集合中所述目标关键点的数量小于所述原始关键点集合中原始关键点的数量；
针对每个所述目标关键点，确定所述第二人脸区域图像中与所述目标关键点对应的坐标上的深度值；
根据各个所述目标关键点的位置和所述深度值，生成输入向量；
将所述输入向量输入至预先训练好的活体检测模型，获得所述活体检测模型输出的活体检测结果。
7.一种用于活体检测的电子设备，其特征在于，包括：
成像模组，用于获取待处理图像和待处理图像对应的散斑图像，所述待处理图像和散斑图像均包括人脸区域，所述成像模组包括散斑发射器、泛光发射器以及采集器；
处理器，用于从所述待处理图像中提取出第一人脸区域图像，从所述散斑图像中提取出第二人脸区域图像，确定第一人脸区域图像中的人脸区域的原始关键点集合，从所述原始关键点集合中提取出目标关键点，目标关键点集合中所述目标关键点的数量小于所述原始关键点集合中原始关键点的数量，针对每个所述目标关键点，确定所述第二人脸区域图像中与所述目标关键点对应的坐标上的深度值，根据各个所述目标关键点的位置和所述深度值，生成输入向量，将所述输入向量输入至预先训练好的活体检测模型，获得所述活体检测模型输出的活体检测结果。
8.一种活体检测模型训练装置，其特征在于，包括：
获取单元，用于获取待处理图像和所述待处理图像对应的散斑图像，所述待处理图像和散斑图像均包括人脸区域；
图像提取单元，用于从所述待处理图像中提取出第一人脸区域图像，从所述散斑图像中提取出第二人脸区域图像；
关键点检测单元，用于确定所述第一人脸区域图像中的人脸区域的原始关键点集合；
关键点提取单元，用于从所述原始关键点集合中提取出目标关键点，目标关键点集合的所述目标关键点的数量小于所述原始关键点集合的原始关键点数量；
深度值计算单元，用于针对每个所述目标关键点，确定所述第二人脸区域图像中与所述目标关键点对应的坐标上的深度值；
训练单元，用于根据各个所述目标关键点的位置和所述深度值，对活体检测模型进行训练，获得训练好的活体检测模型。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的活体检测模型训练方法和/或实现如权利要求6所述的活体检测方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的活体检测的模型训练方法和/或实现如权利要求6所述的活体检测方法。
CN202310119056.8A 2023-01-18 2023-01-18 一种活体检测模型训练方法和活体检测方法 Pending CN116129504A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310119056.8A CN116129504A (zh) 2023-01-18 2023-01-18 一种活体检测模型训练方法和活体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310119056.8A CN116129504A (zh) 2023-01-18 2023-01-18 一种活体检测模型训练方法和活体检测方法

Publications (1)

Publication Number Publication Date
CN116129504A true CN116129504A (zh) 2023-05-16

Family

ID=86309890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310119056.8A Pending CN116129504A (zh) 2023-01-18 2023-01-18 一种活体检测模型训练方法和活体检测方法

Country Status (1)

Country Link
CN (1) CN116129504A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117253296A (zh) * 2023-11-17 2023-12-19 深圳市安思疆科技有限公司 一种用于身份认证的3d成像系统
CN117292417A (zh) * 2023-07-13 2023-12-26 合肥智能语音创新发展有限公司 一种关键点检测方法、系统以及相关装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292417A (zh) * 2023-07-13 2023-12-26 合肥智能语音创新发展有限公司 一种关键点检测方法、系统以及相关装置
CN117253296A (zh) * 2023-11-17 2023-12-19 深圳市安思疆科技有限公司 一种用于身份认证的3d成像系统
CN117253296B (zh) * 2023-11-17 2024-02-27 深圳市安思疆科技有限公司 一种用于身份认证的3d成像系统

Similar Documents

Publication Publication Date Title
CN112528831B (zh) 多目标姿态估计方法、多目标姿态估计装置及终端设备
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN110781784A (zh) 基于双路注意力机制的人脸识别方法、装置及设备
US20220270348A1 (en) Face recognition method and apparatus, computer device, and storage medium
CN109101946B (zh) 一种图像特征的提取方法、终端设备及存储介质
CN116129504A (zh) 一种活体检测模型训练方法和活体检测方法
CN109948397A (zh) 一种人脸图像校正方法、系统及终端设备
CN110781770B (zh) 基于人脸识别的活体检测方法、装置及设备
CN113298152B (zh) 模型训练方法、装置、终端设备及计算机可读存储介质
CN116228702A (zh) 一种基于注意力机制和卷积神经网络的伪装目标检测方法
CN111738269B (zh) 模型训练方法、图像处理方法及装置、设备、存储介质
CN111488853B (zh) 金融机构安防系统的大数据人脸识别方法、系统及机器人
CN110472582A (zh) 基于眼部识别的3d人脸识别方法、装置和终端
CN111597910A (zh) 一种人脸识别方法、装置、终端设备及介质
CN111108508A (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
CN111488810A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
CN113569607A (zh) 动作识别方法、装置、设备以及存储介质
CN113191189A (zh) 人脸活体检测方法、终端设备及计算机可读存储介质
CN113033305B (zh) 活体检测方法、装置、终端设备和存储介质
CN112434576A (zh) 一种基于深度相机的人脸识别方法及系统
CN114241222A (zh) 一种图像检索方法及装置
CN113724176B (zh) 一种多摄像头动作捕捉无缝衔接方法、装置、终端及介质
CN115439733A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
CN112419249B (zh) 一种特殊服饰图片转化方法、终端设备及存储介质
CN113643318B (zh) 图像分割方法、图像分割装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination