CN114092986A - 活体人脸的检测方法及装置 - Google Patents
活体人脸的检测方法及装置 Download PDFInfo
- Publication number
- CN114092986A CN114092986A CN202010856310.9A CN202010856310A CN114092986A CN 114092986 A CN114092986 A CN 114092986A CN 202010856310 A CN202010856310 A CN 202010856310A CN 114092986 A CN114092986 A CN 114092986A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- box
- living body
- detection result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 269
- 238000012549 training Methods 0.000 claims abstract description 15
- 230000015654 memory Effects 0.000 claims description 17
- 238000009432 framing Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 210000000887 face Anatomy 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种活体人脸的检测方法及装置，该方法包括：在确定出由活体人脸区域图像和非活体人脸区域图像组成的正样本以及由背景区域图像组成的负样本之后，基于正样本中的所有活体人脸区域图像对应的人脸边界框和分类标签、正样本中的所有非活体人脸区域图像对应的人脸边界框和分类标签以及负样本中的所有背景区域图像对应的背景边界框和分类标签训练预先确定出的一级检测模型，得到训练后的一级检测模型；将第一待检测图像输入训练后的一级检测模型进行分析，得到第一待检测图像对应的一级检测结果。可见，实施本发明能够在检测人脸区域的同时实现活体人脸和非活体人脸的分类，从而能够减少活体人脸检测的时间，提高活体人脸的检测效率。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种活体人脸的检测方法及装置。
背景技术
人脸识别技术常用于手机刷脸解锁、手机刷脸支付和刷脸开门等需要对用户的身份进行验证的应用场景中。
在实际应用中，许多人脸识别技术并不能判断输入的人脸图像是否是用户对应的活体人脸图像，这导致用户在进行身份验证时存在安全隐患，例如，使用用户的照片或者用户在视频中的图像也可以通过身份验证。为此，为了提高人脸识别的安全性，人们提出了活体人脸检测技术，在原有的人脸识别技术的基础上，能够辨别输入的人脸图像是否是活体人脸图像，从而能够防御基于用户的照片、视频等非活体人脸图像进行的攻击，提高人脸识别技术的安全性。然而，实践发现，现有的活体人脸检测技术通常是将人脸检测任务和活体检测任务分开进行，这样会增加活体人脸检测的时间，降低活体人脸检测的检测效率。
发明内容
本发明所要解决的技术问题在于，提供一种活体人脸的检测方法及装置，能够在检测人脸区域的同时实现活体人脸和非活体人脸的分类，从而能够减少活体人脸检测的时间，提高活体人脸检测的检测效率。
为了解决上述技术问题，本发明第一方面公开了一种活体人脸的检测方法，所述方法包括：
在确定出由活体人脸区域图像和非活体人脸区域图像组成的正样本以及由背景区域图像组成的负样本之后，基于所述正样本中的所有活体人脸区域图像对应的人脸边界框和分类标签、所述正样本中的所有非活体人脸区域图像对应的人脸边界框和分类标签以及所述负样本中的所有背景区域图像对应的背景边界框和分类标签训练预先确定出的一级检测模型，得到训练后的一级检测模型；
将第一待检测图像输入所述训练后的一级检测模型进行分析，得到所述第一待检测图像对应的一级检测结果，所述一级检测结果至少包括：第一人脸边界框集合和所述第一人脸边界框集合中每个第一人脸边界框对应的第一分类标签，每个所述第一人脸边界框用于框选出所述第一待检测图像中的一个活体人脸区域图像或者一个非活体人脸区域图像，每个所述第一人脸边界框对应的第一分类标签用于表示该第一人脸边界框中的图像是活体人脸区域图像或者非活体人脸区域图像。
作为一种可选的实施方式，在本发明第一方面中，所述将第一待检测图像输入所述训练后的一级检测模型进行分析，得到所述第一待检测图像对应的一级检测结果之后，所述方法还包括：
根据所述一级检测结果，从所述第一人脸边界框集合中的所有所述第一人脸边界框中选取所有不确定人脸边界框，所有所述不确定人脸边界框中每个所述不确定人脸边界框所框选的图像为不确定是否为活体人脸区域图像的图像；
根据所有所述不确定人脸边界框从所述第一待检测图像中生成第二待检测图像，所述第二待检测图像为所述第一待检测图像中不确定是否为活体人脸区域图像的图像；
将所述第二待检测图像输入预先确定出的二级检测模型进行分析，得到所述第二待检测图像对应的二级检测结果，所述二级检测结果至少包括：所述第二待检测图像对应的第二分类标签，所述第二分类标签用于表示该第二待检测图像是活体人脸区域图像或者非活体人脸区域图像；
根据所述一级检测结果和所述二级检测结果确定所述第一待检测图像对应的最终检测结果，所述最终检测结果至少包括：第二人脸边界框集合和所述第二人脸边界框集合中每个第二人脸边界框对应的第三分类标签，每个所述第二人脸边界框用于框选出所述第一待检测图像中的一个活体人脸区域图像或者一个非活体人脸区域图像，每个第二人脸边界框对应的第三分类标签用于表示该第二人脸边界框中的图像是活体人脸区域图像或者非活体人脸区域图像。
作为一种可选的实施方式，在本发明第一方面中，所述一级检测结果还包括每个所述第一分类标签对应的第一置信值，每个所述第一分类标签对应的第一置信值是一个用于表示该第一分类标签的准确性的数值；
以及，所述根据所述一级检测结果，从所述第一人脸边界框集合中的所有所述第一人脸边界框中选取所有不确定人脸边界框，包括：
从所述第一人脸边界框集合中所有所述第一人脸边界框中选取所述第一置信值大于等于置信度阈值的所有待确定人脸边界框；
从所有所述待确定人脸边界框中选取任意一个第一目标人脸边界框和任意一个第二目标人脸边界框，所述第一目标人脸边界框用于表示该第一目标人脸边界框中的图像是活体人脸区域图像，所述第二目标人脸边界框用于表示该第二目标人脸边界框中的图像是非活体人脸区域图像；
计算所述第一目标人脸边界框和所述第二目标人脸边界框的重叠率，并判断所述重叠率是否大于等于重叠率阈值；
若所述重叠率大于等于所述重叠率阈值，根据所述第一目标人脸边界框和所述第二目标人脸边界框确定不确定人脸边界框。
作为一种可选的实施方式，在本发明第一方面中，所述根据所述第一目标人脸边界框和所述第二目标人脸边界框确定不确定人脸边界框，包括：
根据所述第一目标人脸边界框和所述第二目标人脸边界框确定重叠人脸边界框，所述重叠人脸边界框是所述第一目标人脸边界框对应的活体人脸图像区域和所述第二目标人脸边界框对应的非活体人脸图像区域的重叠部分所对应的人脸边界框；
计算所述重叠人脸边界框在所述第一目标人脸边界框中的第一占比率和所述重叠人脸边界框在所述第二目标人脸边界框中的第二占比率，并判断所述第一占比率是否大于等于所述第二占比率；
若所述第一占比率大于等于所述第二占比率，将所述第一目标人脸边界框确定为不确定人脸边界框；
若所述第一占比率不大于等于所述第二占比率，将所述第二目标人脸边界框确定为不确定人脸边界框。
作为一种可选的实施方式，在本发明第一方面中，所述根据所述第一目标人脸边界框和所述第二目标人脸边界框确定不确定人脸边界框之后，所述方法还包括：
从所有所述第一人脸边界框中选取出所述第一置信值不大于等于所述置信度阈值的所述第一人脸边界框，并将选取出的所述第一人脸边界框添加至所有所述不确定人脸边界框中。
作为一种可选的实施方式，在本发明第一方面中，所述一级检测结果还包括：每个所述第一人脸边界框对应的人脸关键点，所述人脸关键点是用于对该第一人脸边界框中的活体人脸区域图像或者非活体人脸区域图像进行对齐操作的关键点；
以及，所述根据所有所述不确定人脸边界框从所述第一待检测图像中生成第二待检测图像，包括：
从所述第一待检测图像中截取每个所述不确定人脸边界框对应的目标人脸区域图像；
根据每个所述不确定人脸边界框对应的人脸关键点，将每个所述不确定人脸边界框对应的所述目标人脸区域图像对齐预设标准人脸图像得到每个所述不确定人脸边界框对应的第二待检测图像。
作为一种可选的实施方式，在本发明第一方面中，所述二级检测结果还包括每个所述第二分类标签对应的第二置信值，每个所述第二分类标签对应的第二置信值是一个用于表示该第二分类标签的准确性的数值；
以及，所述根据所述一级检测结果和所述二级检测结果确定所述第一待检测图像对应的最终检测结果，包括：
判断所述第一分类标签和所述第一分类标签对应的所述第二分类标签是否相同；
若所述第一分类标签和所述第一分类标签对应的所述第二分类标签不相同，判断置信值差值是否大于差值阈值，所述置信值差值等于所述第一分类标签对应的所述第二分类标签的第二置信值减去所述第一分类标签的第一置信值；
若所述置信值差值大于所述差值阈值，将所述第一分类标签对应的第一人脸边界框作为最终检测结果中的第二人脸边界框，并将所述第一分类标签对应的所述第二分类标签作为所述第二人脸边界框对应的第三分类标签；
若所述置信值差值不大于所述差值阈值，将所述第一分类标签对应的第一人脸边界框作为最终检测结果中的第二人脸边界框，并将所述第一分类标签作为所述第二人脸边界框对应的第三分类标签。
本发明第二方面公开了一种活体人脸的检测装置，所述装置包括：
训练模块，用于在确定出由活体人脸区域图像和非活体人脸区域图像组成的正样本以及由背景区域图像组成的负样本之后，基于所述正样本中的所有活体人脸区域图像对应的人脸边界框和分类标签、所述正样本中的所有非活体人脸区域图像对应的人脸边界框和分类标签以及所述负样本中的所有背景区域图像对应的背景边界框和分类标签训练预先确定出的一级检测模型，得到训练后的一级检测模型；
分析模块，用于将第一待检测图像输入所述训练后的一级检测模型进行分析，得到所述第一待检测图像对应的一级检测结果，所述一级检测结果至少包括：第一人脸边界框集合和所述第一人脸边界框集合中每个第一人脸边界框对应的第一分类标签，每个所述第一人脸边界框用于框选出所述第一待检测图像中的一个活体人脸区域图像或者一个非活体人脸区域图像，每个所述第一人脸边界框对应的第一分类标签用于表示该第一人脸边界框中的图像是活体人脸区域图像或者非活体人脸区域图像。
作为一种可选的实施方式，在本发明第二方面中，所述装置还包括：
选取模块，用于在所述分析模块将第一待检测图像输入所述训练后的一级检测模型进行分析，得到所述第一待检测图像对应的一级检测结果之后，根据所述一级检测结果，从所述第一人脸边界框集合中的所有所述第一人脸边界框中选取所有不确定人脸边界框，所有所述不确定人脸边界框中每个所述不确定人脸边界框所框选的图像为不确定是否为活体人脸区域图像的图像；
生成模块，用于根据所有所述不确定人脸边界框从所述第一待检测图像中生成第二待检测图像，所述第二待检测图像为所述第一待检测图像中不确定是否为活体人脸区域图像的图像；
以及，所述分析模块，还用于将所述第二待检测图像输入预先确定出的二级检测模型进行分析，得到所述第二待检测图像对应的二级检测结果，所述二级检测结果至少包括：所述第二待检测图像对应的第二分类标签，所述第二分类标签用于表示该第二待检测图像是活体人脸区域图像或者非活体人脸区域图像；
以及，所述装置还包括：
确定模块，用于根据所述一级检测结果和所述二级检测结果确定所述第一待检测图像对应的最终检测结果，所述最终检测结果至少包括：第二人脸边界框集合和所述第二人脸边界框集合中每个第二人脸边界框对应的第三分类标签，每个所述第二人脸边界框用于框选出所述第一待检测图像中的一个活体人脸区域图像或者一个非活体人脸区域图像，每个第二人脸边界框对应的第三分类标签用于表示该第二人脸边界框中的图像是活体人脸区域图像或者非活体人脸区域图像。
作为一种可选的实施方式，在本发明第二方面中，所述一级检测结果还包括每个所述第一分类标签对应的第一置信值，每个所述第一分类标签对应的第一置信值是一个用于表示该第一分类标签的准确性的数值；
以及，所述选取模块，包括：
选取子模块，用于从所述第一人脸边界框集合中所有所述第一人脸边界框中选取所述第一置信值大于等于置信度阈值的所有待确定人脸边界框；
以及，所述选取子模块，还用于从所有所述待确定人脸边界框中选取任意一个第一目标人脸边界框和任意一个第二目标人脸边界框，所述第一目标人脸边界框用于表示该第一目标人脸边界框中的图像是活体人脸区域图像，所述第二目标人脸边界框用于表示该第二目标人脸边界框中的图像是非活体人脸区域图像；
以及，所述选取模块，还包括：
计算子模块，用于计算所述第一目标人脸边界框和所述第二目标人脸边界框的重叠率，并判断所述重叠率是否大于等于重叠率阈值；
确定子模块，用于在所述计算子模块判断出所述重叠率大于等于所述重叠率阈值之后，根据所述第一目标人脸边界框和所述第二目标人脸边界框确定不确定人脸边界框。
作为一种可选的实施方式，在本发明第二方面中，所述确定子模块根据所述第一目标人脸边界框和所述第二目标人脸边界框确定不确定人脸边界框的具体方式为：
根据所述第一目标人脸边界框和所述第二目标人脸边界框确定重叠人脸边界框，所述重叠人脸边界框是所述第一目标人脸边界框对应的活体人脸图像区域和所述第二目标人脸边界框对应的非活体人脸图像区域的重叠部分所对应的人脸边界框；
计算所述重叠人脸边界框在所述第一目标人脸边界框中的第一占比率和所述重叠人脸边界框在所述第二目标人脸边界框中的第二占比率，并判断所述第一占比率是否大于等于所述第二占比率；
若所述第一占比率大于等于所述第二占比率，将所述第一目标人脸边界框确定为不确定人脸边界框；
若所述第一占比率不大于等于所述第二占比率，将所述第二目标人脸边界框确定为不确定人脸边界框。
作为一种可选的实施方式，在本发明第二方面中，所述选取子模块，还用于在所述确定子模块根据所述第一目标人脸边界框和所述第二目标人脸边界框确定不确定人脸边界框之后，从所有所述第一人脸边界框中选取出所述第一置信值不大于等于所述置信度阈值的所述第一人脸边界框，并将选取出的所述第一人脸边界框添加至所有所述不确定人脸边界框中。
作为一种可选的实施方式，在本发明第二方面中，所述一级检测结果还包括：每个所述第一人脸边界框对应的人脸关键点，所述人脸关键点是用于对该第一人脸边界框中的活体人脸区域图像或者非活体人脸区域图像进行对齐操作的关键点；
以及，所述生成模块根据所有所述不确定人脸边界框从所述第一待检测图像中生成第二待检测图像的具体方式为：
从所述第一待检测图像中截取每个所述不确定人脸边界框对应的目标人脸区域图像；
根据每个所述不确定人脸边界框对应的人脸关键点，将每个所述不确定人脸边界框对应的所述目标人脸区域图像对齐预设标准人脸图像得到每个所述不确定人脸边界框对应的第二待检测图像。
作为一种可选的实施方式，在本发明第二方面中，所述二级检测结果还包括每个所述第二分类标签对应的第二置信值，每个所述第二分类标签对应的第二置信值是一个用于表示该第二分类标签的准确性的数值；
以及，所述确定模块根据所述一级检测结果和所述二级检测结果确定所述第一待检测图像对应的最终检测结果的具体方式为：
判断所述第一分类标签和所述第一分类标签对应的所述第二分类标签是否相同；
若所述第一分类标签和所述第一分类标签对应的所述第二分类标签不相同，判断置信值差值是否大于差值阈值，所述置信值差值等于所述第一分类标签对应的所述第二分类标签的第二置信值减去所述第一分类标签的第一置信值；
若所述置信值差值大于所述差值阈值，将所述第一分类标签对应的第一人脸边界框作为最终检测结果中的第二人脸边界框，并将所述第一分类标签对应的所述第二分类标签作为所述第二人脸边界框对应的第三分类标签；
若所述置信值差值不大于所述差值阈值，将所述第一分类标签对应的第一人脸边界框作为最终检测结果中的第二人脸边界框，并将所述第一分类标签作为所述第二人脸边界框对应的第三分类标签。
本发明第三方面公开了另一种活体人脸的检测装置，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的活体人脸的检测方法。
本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的活体人脸的检测方法。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中，通过使用预先确定出的正样本和负样本训练一级检测模型，然后将第一待检测图像输入训练后的一级检测模型，得到包括第一人脸边界框集合和第一分类标签的一级检测结果，从而能够实现在一级检测模型中同时完成人脸区域的检测任务和人脸区域的分类任务。可见，实施本发明能够在检测人脸区域的同时实现活体人脸和非活体人脸的分类，从而能够减少活体人脸检测的时间，提高活体人脸的检测效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种活体人脸的检测方法的流程示意图；
图2是本发明实施例公开的另一种活体人脸的检测方法的流程示意图；
图3是本发明实施例公开的一种活体人脸的检测装置的结构示意图；
图4是本发明实施例公开的另一种活体人脸的检测装置的结构示意图；
图5是本发明实施例公开的又一种活体人脸的检测装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种活体人脸的检测方法及装置，通过使用预先确定出的正样本和负样本训练一级检测模型，然后将第一待检测图像输入训练后的一级检测模型，得到包括第一人脸边界框集合和第一分类标签的一级检测结果，从而能够实现在一级检测模型中同时完成人脸区域的检测任务和人脸区域的分类任务，进而能够减少活体人脸检测的时间，提高活体人脸的检测效率。以下分别进行详细说明。
实施例一
请参阅图1，图1是本发明实施例公开的一种活体人脸的检测方法的流程示意图。如图1所示，该活体人脸的检测方法可以包括以下操作：
101、在确定出由活体人脸区域图像和非活体人脸区域图像组成的正样本以及由背景区域图像组成的负样本之后，基于正样本中的所有活体人脸区域图像对应的人脸边界框和分类标签、正样本中的所有非活体人脸区域图像对应的人脸边界框和分类标签以及负样本中的所有背景区域图像对应的背景边界框和分类标签训练预先确定出的一级检测模型，得到训练后的一级检测模型。当执行完步骤101之后，可以触发执行步骤102。
在上述步骤101中，由于一级检测模型实现的主要任务是提取第一待检测图像中的活体人脸区域图像和非活体人脸区域图像以及每个区域图像对应的第一分类标签，所以使用包括活体人脸区域图像对应的人脸边界框和分类标签、非活体人脸区域图像对应的人脸边界框和分类标签的正样本和包括背景区域图像对应的背景边界框和分类标签的负样本，对一级检测模型进行训练，能够使得一级检测模型获得提取第一待检测图像中的活体人脸区域图像和非活体人脸区域图像以及每个区域图像对应的第一分类标签的能力。这里，可以将分类标签设置为不同的数值来表示不同的分类结果。例如，分类标签的数值为1，即表示分类结果为活体人脸区域图像，分类标签的数值为2，即表示分类结果为非活体人脸区域图像，分类标签的数值为3，即表示分类结果为背景区域图像。人脸边界框可以用边界框的中心像素坐标值和边界框的尺寸(长度像素值和宽度像素值)来表示。
可选地，对于正样本和负样本可以采用难样本挖掘策略，使得正负样本的比例维持在1：3。进一步可选地，在训练预先确定出的一级检测模型之前，可以先对正样本和负样本做图像扩展、图像裁剪和图像旋转等操作中的任意一种或多种操作，从而增加正负样本的数量。又进一步可选地，预先确定出的一级检测模型可以是MTCNN、SSD等神经网络模型，其中，一级检测模型优选的是SSD神经网络模型。又进一步可选地，一级检测模型可以是使用预设像素大小的图像作为模型输入、使用指定的层的输出作为预测输出且初始学习率为预设学习率的神经网络模型，例如：一级检测模型可以是预设像素大小为300*300、指定的层为conv6_2(或者conv7_2或者conv8_2或者conv9_2)的输出且初始学习率为10^(-2)的神经网络模型。当一级检测模型是SSD神经网络模型时，在SSD神经网络模型中，人脸边界框的尺寸可以由以下公式计算得到：
其中，i∈[2，max-1]，max代表SSD神经网络模型中预测层的数量，scmin，sci，scmax分别代表SSD神经网络模型中最低预测层、第i个预测层、最高预测层先验框的尺寸。
102、将第一待检测图像输入训练后的一级检测模型进行分析，得到第一待检测图像对应的一级检测结果。
在上述步骤102中，一级检测结果至少包括：第一人脸边界框集合和第一人脸边界框集合中每个第一人脸边界框对应的第一分类标签，每个第一人脸边界框用于框选出第一待检测图像中的一个活体人脸区域图像或者一个非活体人脸区域图像，每个第一人脸边界框对应的第一分类标签用于表示该第一人脸边界框中的图像是活体人脸区域图像或者非活体人脸区域图像。第一待检测图像可以是由摄像头采集的图像，也可以是从指定的存储地址(例如，指定的磁盘的逻辑地址、指定的服务器等)提取的图像。训练后的一级检测模型对第一待检测图像的检测结果可以如下：例如，第一待检测图像包含有一个活体人脸，即一级检测模型对该第一待检测图像进行分析后得到的一级检测结果包括一个第一人脸边界框和一个第一分类标签，其中，第一人脸边界框会在第一待检测图像中框选出该活体人脸的图像部分，第一分类标签的值为1，即表示分类结果为活体人脸。
在一个可选的实施例中，第一待检测图像可以是多张从视频中提取的帧图像；
以及，将第一待检测图像输入训练后的一级检测模型进行分析，得到第一待检测图像对应的一级检测结果之后，该活体人脸的检测方法还可以包括：
在所有帧图像中每张帧图像对应的第一分类标签中，统计用于表示第一人脸边界框中的图像是活体人脸区域图像的第一分类标签的第一数量；
在所有帧图像中每张帧图像对应的第一分类标签中，统计用于表示第一人脸边界框中的图像是非活体人脸区域图像的第一分类标签的第二数量；
判断第一数量是否大于等于第二数量；
若判断出第一数量大于等于第二数量，确定多张帧图像对应的视频中的人脸是活体人脸；
若判断出第一数量不大于等于第二数量，确定多张帧图像对应的视频中的人脸不是活体人脸。
例如，帧图像共有十张，六张帧图像经过一级检测模型分析后得到六个用于表示第一人脸边界框中的图像是活体人脸区域图像的第一分类标签，四张帧图像经过一级检测模型分析后得到四个用于表示第一人脸边界框中的图像是非活体人脸区域图像的第一分类标签。其中，用于表示活体人脸区域图像的第一分类标签占比最高，所以确定该视频中的人脸是活体人脸。
可见，实施该可选的实施例，能够根据多张帧图像的检测结果判断帧图像对应的视频中的人脸是否是活体人脸，从而实现判断视频中的人脸是否是活体人脸的功能。
可见，实施图1所描述的活体人脸的检测方法，通过使用预先确定出的正样本和负样本训练一级检测模型，然后将第一待检测图像输入训练后的一级检测模型，得到包括第一人脸边界框集合和第一分类标签的一级检测结果，从而能够实现在一级检测模型中同时完成人脸区域的检测任务和人脸区域的分类任务，进而能够减少活体人脸检测的时间，提高活体人脸的检测效率。
实施例二
请参阅图2，图2是本发明实施例公开的一种活体人脸的检测方法的流程示意图。如图2所示，该活体人脸的检测方法可以包括以下操作：
201、在确定出由活体人脸区域图像和非活体人脸区域图像组成的正样本以及由背景区域图像组成的负样本之后，基于正样本中的所有活体人脸区域图像对应的人脸边界框和分类标签、正样本中的所有非活体人脸区域图像对应的人脸边界框和分类标签以及负样本中的所有背景区域图像对应的背景边界框和分类标签训练预先确定出的一级检测模型，得到训练后的一级检测模型。
202、将第一待检测图像输入训练后的一级检测模型进行分析，得到第一待检测图像对应的一级检测结果。
203、根据一级检测结果，从第一人脸边界框集合中的所有第一人脸边界框中选取所有不确定人脸边界框。
在上述步骤203中，所有不确定人脸边界框中每个不确定人脸边界框所框选的图像为不确定是否为活体人脸区域图像的图像。
在一个可选的实施例中，一级检测结果还可以包括每个第一分类标签对应的第一置信值，每个第一分类标签对应的第一置信值是一个用于表示该第一分类标签的准确性的数值，其中，第一置信值越高表示该第一置信值对应的第一分类标签的准确性越高；
以及，根据一级检测结果，从第一人脸边界框集合中的所有第一人脸边界框中选取所有不确定人脸边界框，可以包括：
从第一人脸边界框集合中所有第一人脸边界框中选取第一置信值大于等于置信度阈值的所有待确定人脸边界框；
从所有待确定人脸边界框中选取任意一个第一目标人脸边界框和任意一个第二目标人脸边界框，第一目标人脸边界框用于表示该第一目标人脸边界框中的图像是活体人脸区域图像，第二目标人脸边界框用于表示该第二目标人脸边界框中的图像是非活体人脸区域图像；
计算第一目标人脸边界框和第二目标人脸边界框的重叠率，并判断重叠率是否大于等于重叠率阈值；
若重叠率大于等于重叠率阈值，根据第一目标人脸边界框和第二目标人脸边界框确定不确定人脸边界框。
在该可选的实施例中，置信度阈值可以取值为0.9。在所有的第一人脸边界框中，若两个第一人脸边界框的重叠率大于重叠率阈值(例如：0.7)，且这两个第一人脸边界框以大于置信度阈值的置信值分别被分类为活体人脸和非活体人脸，两个分类结果发生了冲突，即表示一级检测模型对这两个第一人脸边界框框选出的图像的分析过程并不准确，所以需要根据这两个第一人脸边界框确定不确定人脸边界框，以便后续的二级检测模型根据不确定人脸边界框进行分析，从而使得到的检测结果更加准确。这里，可以通过多次执行从所有待确定人脸边界框中选取任意一个第一目标人脸边界框和任意一个第二目标人脸边界框的操作，以实现遍历第一目标人脸边界框和第二目标人脸边界框的每种组合，判断每个第一目标人脸边界框和第二目标人脸边界框的组合是否满足被确定为不确定人脸边界框的条件，进而实现筛选出所有将有可能被确定为不确定人脸边界框的第一目标人脸边界框和第二目标人脸边界框。
可见，实施该可选的实施例，通过选取出所有重叠率高，但是却以高置信值被分类为不同分类结果的两个第一人脸边界框，然后根据这两个第一人脸边界框确定出不确定人脸边界框，从而使得不确定人脸边界框的确定更加准确，减少后续流程的数据处理量，在提高检测结果的准确性的同时还提高了检测效率。
在该可选的实施例中，进一步可选的，根据第一目标人脸边界框和第二目标人脸边界框确定不确定人脸边界框，可以包括：
根据第一目标人脸边界框和第二目标人脸边界框确定重叠人脸边界框，重叠人脸边界框是第一目标人脸边界框对应的活体人脸图像区域和第二目标人脸边界框对应的非活体人脸图像区域的重叠部分所对应的人脸边界框；
计算重叠人脸边界框在第一目标人脸边界框中的第一占比率和重叠人脸边界框在第二目标人脸边界框中的第二占比率，并判断第一占比率是否大于等于第二占比率；
若第一占比率大于等于第二占比率，将第一目标人脸边界框确定为不确定人脸边界框；
若第一占比率不大于等于第二占比率，将第二目标人脸边界框确定为不确定人脸边界框。
在该进一步可选的实施例中，第一目标人脸边界框、第二目标人脸边界框和重叠人脸边界框均可以用边界框的中心像素坐标值和边界框的尺寸(长度像素值和宽度像素值)来表示。通过边界框的尺寸即可以计算边界框所占的像素点的数量，然后通过边界框所占的像素点的数量即可以计算各个边界框之间的占比率。当第一占比率大于等于第二占比率时，即表示用第一目标人脸边界框框选重叠区域更加准确，所以将第一目标人脸边界框确定为不确定人脸边界框，当第一占比率不大于等于第二占比率时，即表示用第二目标人脸边界框框选重叠区域更加准确，所以将第二目标人脸边界框确定为不确定人脸边界框。
可见，实施该进一步可选的实施例，通过在第一目标人脸边界框和第二目标人脸边界框之间选取重叠部分占比最高的边界框作为不确定人脸边界框，能够使得不确定人脸边界框的确定更加准确，减少后续流程的数据处理量，在提高检测结果的准确性的同时还提高了检测效率。
在该进一步可选的实施例中，又进一步可选的，根据第一目标人脸边界框和第二目标人脸边界框确定不确定人脸边界框之后，该活体人脸的检测方法还可以包括：
从所有第一人脸边界框中选取出第一置信值不大于等于置信度阈值的第一人脸边界框，并将选取出的第一人脸边界框添加至所有不确定人脸边界框中。
在该又进一步可选的实施例中，当第一置信值不高时，即表示一级检测结果的准确性不高，故需要将其对应的第一人脸边界框选取出来添加至不确定人脸边界框中，以在后续的流程中进行进一步的处理来提高检测结果的准确性。
可见，实施该又进一步可选的实施例，通过选取出置信值不高的第一人脸边界框以作为不确定人脸边界框，能够使得不确定人脸边界框的确定更加全面，从而提高检测结果的准确性。
204、根据所有不确定人脸边界框从第一待检测图像中生成第二待检测图像。
在上述步骤204中，第二待检测图像为第一待检测图像中不确定是否为活体人脸区域图像的图像。
在一个可选的实施例中，一级检测结果还可以包括：每个第一人脸边界框对应的人脸关键点，人脸关键点是用于对该第一人脸边界框中的活体人脸区域图像或者非活体人脸区域图像进行对齐操作的关键点；
以及，根据所有不确定人脸边界框从第一待检测图像中生成第二待检测图像，可以包括：
从第一待检测图像中截取每个不确定人脸边界框对应的目标人脸区域图像；
根据每个不确定人脸边界框对应的人脸关键点，将每个不确定人脸边界框对应的目标人脸区域图像对齐预设标准人脸图像得到每个不确定人脸边界框对应的第二待检测图像。
在该可选的实施例中，人脸关键点可以是根据人脸的五官、轮廓等预设在人脸的点，例如，人脸的鼻尖可以是一个关键点、眉毛的末端可以是一个关键点、嘴角可以是一个关键点。预设标准人脸图像可以是按照指定的位置摆放好的指定像素大小的人脸图像，例如，居中摆正的300乘300像素大小的人脸图像、图像的中线倾斜45度摆放的300乘300像素大小的人脸图像。图像对齐是一种常见的图像处理方式，其基于图像上的特征点(即人脸关键点)能够把一张图像的所有像素映射到另一个图像，从而将该图像变换为与另一个图像具有基本相同的大小、位置和形态的图像
可见，实施该可选的实施例，先截取出不确定人脸边界框对应的目标人脸区域图像，然后将目标人脸区域图像进行对齐后得到第二待检测图像，能够减少原本的目标人脸区域图像中影响检测模型检测准确性的因素，从而使得后续的检测结果更加准确。
205、将第二待检测图像输入预先确定出的二级检测模型进行分析，得到第二待检测图像对应的二级检测结果。
在上述步骤205中，二级检测结果至少包括：第二待检测图像对应的第二分类标签，第二分类标签用于表示该第二待检测图像是活体人脸区域图像或者非活体人脸区域图像。二级检测模型可以是深度学习网络模型，优选为MTCNN中的onet模型。由于二级检测模型是用于检测一级检测模型未能准确判断的图像，所以需要使用深度学习网络模型作为二级检测模型来保证二级检测模型具有足够强大的检测能力。这里，也可以将第二分类标签设置为不同的数值来表示不同的分类结果。例如，第二分类标签的数值为1，即表示分类结果为活体人脸区域图像，第二分类标签的数值为2，即表示分类结果为非活体人脸区域图像。
206、根据一级检测结果和二级检测结果确定第一待检测图像对应的最终检测结果。
在上述步骤206中，最终检测结果至少包括：第二人脸边界框集合和第二人脸边界框集合中每个第二人脸边界框对应的第三分类标签，每个第二人脸边界框用于框选出第一待检测图像中的一个活体人脸区域图像或者一个非活体人脸区域图像，每个第二人脸边界框对应的第三分类标签用于表示该第二人脸边界框中的图像是活体人脸区域图像或者非活体人脸区域图像。
在一个可选的实施例中，二级检测结果还可以包括每个第二分类标签对应的第二置信值，每个第二分类标签对应的第二置信值是一个用于表示该第二分类标签的准确性的数值；
以及，根据一级检测结果和二级检测结果确定第一待检测图像对应的最终检测结果，可以包括：
判断第一分类标签和第一分类标签对应的第二分类标签是否相同；
若第一分类标签和第一分类标签对应的第二分类标签不相同，判断置信值差值是否大于差值阈值，置信值差值等于第一分类标签对应的第二分类标签的第二置信值减去第一分类标签的第一置信值；
若置信值差值大于差值阈值，将第一分类标签对应的第一人脸边界框作为最终检测结果中的第二人脸边界框，并将第一分类标签对应的第二分类标签作为第二人脸边界框对应的第三分类标签；
若置信值差值不大于差值阈值，将第一分类标签对应的第一人脸边界框作为最终检测结果中的第二人脸边界框，并将第一分类标签作为第二人脸边界框对应的第三分类标签。
在该可选的实施例中，差值阈值可以根据实际效果调整为0.4、0.5、0.6等阈值中的其中一种。在一级检测模型输出的第一分类标签和二级检测模型输出的第二分类标签不一致的情况下，判断二级检测模型输出的第二置信值是否大于一级检测模型输出的第一置信值，在判断出第二置信值大于第一置信值的情况下，才将第二分类标签作为第三分类标签。
可见，实施该可选的实施例，在第一分类标签和第二分类标签不一致的情况下，通过第一置信值和第二置信值来判断哪个分类标签更加可靠，从而确定出第三分类标签，这样能够使检测结果更加准确。
在另一个可选的实施例中，根据一级检测结果和二级检测结果确定第一待检测图像对应的最终检测结果之后，该活体人脸的检测方法还可以包括：
选取满足预设条件的第二待检测图像作为易错图像，并将所有易错图像组成易错样本；
基于易错样本中的所有活体人脸区域图像对应的人脸边界框和分类标签以及易错样本中的所有非活体人脸区域图像对应的人脸边界框和分类标签训练一级检测模型。
可见，实施该另一个可选的实施例，由于第二待检测图像大多是一级检测模型未能准确检测的图像，所以从第二待检测图像中选取出部分图像作为训练样本，然后基于该训练样本对一级检测模型进行训练，能够提高一级检测模型的检测能力，从而使得检测结果更加准确。
在该另一个可选的实施例中，进一步可选的，预设条件可以是第二待检测图像对应的第一置信值和第二置信值均大于置信度阈值，且第二待检测图像对应的第一分类标签和第二分类标签不相同，或者，第二待检测图像对应的第一置信值和第二置信值均不大于置信度阈值。
可见，实施该进一步可选的实施例，通过选取出以较高置信值被分类成不同的分类结果的或者置信值都不高的第二待检测图像作为训练样本，能够使训练样本的数据更加准确、有效，从而使针对一级检测模型的训练更加有效，进而使得检测结果更加准确。
对于步骤201和步骤202的详细描述可以参见步骤101和步骤102的详细描述，在此不再一一赘述。
可见，实施图2所描述的活体人脸的检测方法，通过使用预先确定出的正样本和负样本训练一级检测模型，然后将第一待检测图像输入训练后的一级检测模型，得到包括第一人脸边界框集合和第一分类标签的一级检测结果，从而能够实现在一级检测模型中同时完成人脸区域的检测任务和人脸区域的分类任务，进而能够减少活体人脸检测的时间，提高活体人脸的检测效率。另外，还能够根据一级检测结果选取出一级检测模型未能准确判断的图像，再将这些图像进行对齐处理后输入二级检测模型进行分析得到二级检测结果，最后综合一级检测结果和二级检测结果得到最终检测结果，从而能够提升检测结果的准确性。
实施例三
请参阅图3，图3是本发明实施例公开的一种活体人脸的检测装置的结构示意图。如图3所示，该活体人脸的检测装置可以包括：
训练模块301，用于在确定出由活体人脸区域图像和非活体人脸区域图像组成的正样本以及由背景区域图像组成的负样本之后，基于正样本中的所有活体人脸区域图像对应的人脸边界框和分类标签、正样本中的所有非活体人脸区域图像对应的人脸边界框和分类标签以及负样本中的所有背景区域图像对应的背景边界框和分类标签训练预先确定出的一级检测模型，得到训练后的一级检测模型；
分析模块302，用于将第一待检测图像输入训练后的一级检测模型进行分析，得到第一待检测图像对应的一级检测结果，一级检测结果至少包括：第一人脸边界框集合和第一人脸边界框集合中每个第一人脸边界框对应的第一分类标签，每个第一人脸边界框用于框选出第一待检测图像中的一个活体人脸区域图像或者一个非活体人脸区域图像，每个第一人脸边界框对应的第一分类标签用于表示该第一人脸边界框中的图像是活体人脸区域图像或者非活体人脸区域图像。
可见，实施图3所描述的活体人脸的检测装置，通过使用预先确定出的正样本和负样本训练一级检测模型，然后将第一待检测图像输入训练后的一级检测模型，得到包括第一人脸边界框集合和第一分类标签的一级检测结果，从而能够实现在一级检测模型中同时完成人脸区域的检测任务和人脸区域的分类任务，进而能够减少活体人脸检测的时间，提高活体人脸的检测效率。
在一个可选的实施例中，如图4所示，该活体人脸的检测装置还包括：
选取模块303，用于在分析模块302将第一待检测图像输入训练后的一级检测模型进行分析，得到第一待检测图像对应的一级检测结果之后，根据一级检测结果，从第一人脸边界框集合中的所有第一人脸边界框中选取所有不确定人脸边界框，所有不确定人脸边界框中每个不确定人脸边界框所框选的图像为不确定是否为活体人脸区域图像的图像；
生成模块304，用于根据所有不确定人脸边界框从第一待检测图像中生成第二待检测图像，第二待检测图像为第一待检测图像中不确定是否为活体人脸区域图像的图像；
以及，分析模块302，还用于将第二待检测图像输入预先确定出的二级检测模型进行分析，得到第二待检测图像对应的二级检测结果，二级检测结果至少包括：第二待检测图像对应的第二分类标签，第二分类标签用于表示该第二待检测图像是活体人脸区域图像或者非活体人脸区域图像；
以及，装置还包括：
确定模块305，用于根据一级检测结果和二级检测结果确定第一待检测图像对应的最终检测结果，最终检测结果至少包括：第二人脸边界框集合和第二人脸边界框集合中每个第二人脸边界框对应的第三分类标签，每个第二人脸边界框用于框选出第一待检测图像中的一个活体人脸区域图像或者一个非活体人脸区域图像，每个第二人脸边界框对应的第三分类标签用于表示该第二人脸边界框中的图像是活体人脸区域图像或者非活体人脸区域图像。
可见，实施图4所描述的活体人脸的检测装置，能够根据一级检测结果选取出一级检测模型未能准确判断的图像，再将这些图像进行对齐处理后输入二级检测模型进行分析得到二级检测结果，最后综合一级检测结果和二级检测结果得到最终检测结果，从而能够提升检测结果的准确性。
在该可选的实施例中，进一步可选的，如图4所示，一级检测结果还包括每个第一分类标签对应的第一置信值，每个第一分类标签对应的第一置信值是一个用于表示该第一分类标签的准确性的数值；
以及，选取模块303，包括：
选取子模块3031，用于从第一人脸边界框集合中所有第一人脸边界框中选取第一置信值大于等于置信度阈值的所有待确定人脸边界框；
以及，选取子模块3031，还用于从所有待确定人脸边界框中选取任意一个第一目标人脸边界框和任意一个第二目标人脸边界框，第一目标人脸边界框用于表示该第一目标人脸边界框中的图像是活体人脸区域图像，第二目标人脸边界框用于表示该第二目标人脸边界框中的图像是非活体人脸区域图像；
以及，选取模块303，还包括：
计算子模块3032，用于计算第一目标人脸边界框和第二目标人脸边界框的重叠率，并判断重叠率是否大于等于重叠率阈值；
确定子模块3033，用于在计算子模块3032判断出重叠率大于等于重叠率阈值之后，根据第一目标人脸边界框和第二目标人脸边界框确定不确定人脸边界框。
可见，实施图4所描述的活体人脸的检测装置，通过选取出所有重叠率高，但是却以高置信值被分类为不同分类结果的两个第一人脸边界框，然后根据这两个第一人脸边界框确定出不确定人脸边界框，从而使得不确定人脸边界框的确定更加准确，减少后续流程的数据处理量，在提高检测结果的准确性的同时还提高了检测效率。
在该进一步可选的实施例中，再进一步可选的，如图4所示，确定子模块3033根据第一目标人脸边界框和第二目标人脸边界框确定不确定人脸边界框的具体方式为：
根据第一目标人脸边界框和第二目标人脸边界框确定重叠人脸边界框，重叠人脸边界框是第一目标人脸边界框对应的活体人脸图像区域和第二目标人脸边界框对应的非活体人脸图像区域的重叠部分所对应的人脸边界框；
计算重叠人脸边界框在第一目标人脸边界框中的第一占比率和重叠人脸边界框在第二目标人脸边界框中的第二占比率，并判断第一占比率是否大于等于第二占比率；
若第一占比率大于等于第二占比率，将第一目标人脸边界框确定为不确定人脸边界框；
若第一占比率不大于等于第二占比率，将第二目标人脸边界框确定为不确定人脸边界框。
可见，实施图4所描述的活体人脸的检测装置，通过在第一目标人脸边界框和第二目标人脸边界框之间选取重叠部分占比最高的边界框作为不确定人脸边界框，能够使得不确定人脸边界框的确定更加准确，减少后续流程的数据处理量，在提高检测结果的准确性的同时还提高了检测效率。
在该再进一步可选的实施例中，又进一步可选的，如图4所示，选取子模块3031，还用于在确定子模块3033根据第一目标人脸边界框和第二目标人脸边界框确定不确定人脸边界框之后，从所有第一人脸边界框中选取出第一置信值不大于等于置信度阈值的第一人脸边界框，并将选取出的第一人脸边界框添加至所有不确定人脸边界框中。
可见，实施图4所描述的活体人脸的检测装置，通过选取出置信值不高的第一人脸边界框以作为不确定人脸边界框，能够使得不确定人脸边界框的确定更加全面，从而提高检测结果的准确性。
在另一个可选的实施例中，如图4所示，一级检测结果还包括：每个第一人脸边界框对应的人脸关键点，人脸关键点是用于对该第一人脸边界框中的活体人脸区域图像或者非活体人脸区域图像进行对齐操作的关键点；
以及，生成模块304根据所有不确定人脸边界框从第一待检测图像中生成第二待检测图像的具体方式为：
从第一待检测图像中截取每个不确定人脸边界框对应的目标人脸区域图像；
根据每个不确定人脸边界框对应的人脸关键点，将每个不确定人脸边界框对应的目标人脸区域图像对齐预设标准人脸图像得到每个不确定人脸边界框对应的第二待检测图像。
可见，实施图4所描述的活体人脸的检测装置，先截取出不确定人脸边界框对应的目标人脸区域图像，然后将目标人脸区域图像进行对齐后得到第二待检测图像，由于第二待检测图像是进行对齐后得到的图像，所以能够减少原本的目标人脸区域图像中影响检测模型检测准确性的一些因素，从而使得后续的检测结果更加准确。
在又一个可选的实施例中，如图4所示，二级检测结果还包括每个第二分类标签对应的第二置信值，每个第二分类标签对应的第二置信值是一个用于表示该第二分类标签的准确性的数值；
以及，确定模块305根据一级检测结果和二级检测结果确定第一待检测图像对应的最终检测结果的具体方式为：
判断第一分类标签和第一分类标签对应的第二分类标签是否相同；
若第一分类标签和第一分类标签对应的第二分类标签不相同，判断置信值差值是否大于差值阈值，置信值差值等于第一分类标签对应的第二分类标签的第二置信值减去第一分类标签的第一置信值；
若置信值差值大于差值阈值，将第一分类标签对应的第一人脸边界框作为最终检测结果中的第二人脸边界框，并将第一分类标签对应的第二分类标签作为第二人脸边界框对应的第三分类标签；
若置信值差值不大于差值阈值，将第一分类标签对应的第一人脸边界框作为最终检测结果中的第二人脸边界框，并将第一分类标签作为第二人脸边界框对应的第三分类标签。
可见，实施图4所描述的活体人脸的检测装置，在第一分类标签和第二分类标签不一致的情况下，通过第一置信值和第二置信值来判断哪个分类标签更加可靠，从而确定出第三分类标签，这样能够使检测结果更加准确。
对于活体人脸的检测装置的详细描述可以参见上述活体人脸的检测方法的详细描述，在此不再一一赘述。
可见，实施图4所描述的活体人脸的检测装置，通过使用预先确定出的正样本和负样本训练一级检测模型，然后将第一待检测图像输入训练后的一级检测模型，得到包括第一人脸边界框集合和第一分类标签的一级检测结果，从而能够实现在一级检测模型中同时完成人脸区域的检测任务和人脸区域的分类任务，进而能够减少活体人脸检测的时间，提高活体人脸的检测效率。另外，还能够根据一级检测结果选取出一级检测模型未能准确判断的图像，再将这些图像进行对齐处理后输入二级检测模型进行分析得到二级检测结果，最后综合一级检测结果和二级检测结果得到最终检测结果，从而能够提升检测结果的准确性。
实施例四
请参阅图5，图5是本发明实施例公开的又一种活体人脸的检测装置的结构示意图。如图5所示，该装置可以包括：
存储有可执行程序代码的存储器501；
与存储器501耦合的处理器502；
处理器502调用存储器501中存储的可执行程序代码，用于执行实施例一或实施例二中所描述的活体人脸的检测方法。
实施例五
本发明实施例公开了一种计算机存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机执行实施例一或实施例二中所描述的活体人脸的检测方法。
实施例六
本发明实施例公开了一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机存储介质，且该计算机程序可操作来使计算机执行实施例一或实施例二中所描述的活体人脸的检测方法。
以上所描述的装置实施例仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是：本发明实施例公开的一种活体人脸的检测方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。
Claims (10)
1.一种活体人脸的检测方法，其特征在于，所述方法包括：
在确定出由活体人脸区域图像和非活体人脸区域图像组成的正样本以及由背景区域图像组成的负样本之后，基于所述正样本中的所有活体人脸区域图像对应的人脸边界框和分类标签、所述正样本中的所有非活体人脸区域图像对应的人脸边界框和分类标签以及所述负样本中的所有背景区域图像对应的背景边界框和分类标签训练预先确定出的一级检测模型，得到训练后的一级检测模型；
将第一待检测图像输入所述训练后的一级检测模型进行分析，得到所述第一待检测图像对应的一级检测结果，所述一级检测结果至少包括：第一人脸边界框集合和所述第一人脸边界框集合中每个第一人脸边界框对应的第一分类标签，每个所述第一人脸边界框用于框选出所述第一待检测图像中的一个活体人脸区域图像或者一个非活体人脸区域图像，每个所述第一人脸边界框对应的第一分类标签用于表示该第一人脸边界框中的图像是活体人脸区域图像或者非活体人脸区域图像。
2.根据权利要求1所述的活体人脸的检测方法，其特征在于，所述将第一待检测图像输入所述训练后的一级检测模型进行分析，得到所述第一待检测图像对应的一级检测结果之后，所述方法还包括：
根据所述一级检测结果，从所述第一人脸边界框集合中的所有所述第一人脸边界框中选取所有不确定人脸边界框，所有所述不确定人脸边界框中每个所述不确定人脸边界框所框选的图像为不确定是否为活体人脸区域图像的图像；
根据所有所述不确定人脸边界框从所述第一待检测图像中生成第二待检测图像，所述第二待检测图像为所述第一待检测图像中不确定是否为活体人脸区域图像的图像；
将所述第二待检测图像输入预先确定出的二级检测模型进行分析，得到所述第二待检测图像对应的二级检测结果，所述二级检测结果至少包括：所述第二待检测图像对应的第二分类标签，所述第二分类标签用于表示该第二待检测图像是活体人脸区域图像或者非活体人脸区域图像；
根据所述一级检测结果和所述二级检测结果确定所述第一待检测图像对应的最终检测结果，所述最终检测结果至少包括：第二人脸边界框集合和所述第二人脸边界框集合中每个第二人脸边界框对应的第三分类标签，每个所述第二人脸边界框用于框选出所述第一待检测图像中的一个活体人脸区域图像或者一个非活体人脸区域图像，每个第二人脸边界框对应的第三分类标签用于表示该第二人脸边界框中的图像是活体人脸区域图像或者非活体人脸区域图像。
3.根据权利要求2所述的活体人脸的检测方法，其特征在于，所述一级检测结果还包括每个所述第一分类标签对应的第一置信值，每个所述第一分类标签对应的第一置信值是一个用于表示该第一分类标签的准确性的数值；
以及，所述根据所述一级检测结果，从所述第一人脸边界框集合中的所有所述第一人脸边界框中选取所有不确定人脸边界框，包括：
从所述第一人脸边界框集合中所有所述第一人脸边界框中选取所述第一置信值大于等于置信度阈值的所有待确定人脸边界框；
从所有所述待确定人脸边界框中选取任意一个第一目标人脸边界框和任意一个第二目标人脸边界框，所述第一目标人脸边界框用于表示该第一目标人脸边界框中的图像是活体人脸区域图像，所述第二目标人脸边界框用于表示该第二目标人脸边界框中的图像是非活体人脸区域图像；
计算所述第一目标人脸边界框和所述第二目标人脸边界框的重叠率，并判断所述重叠率是否大于等于重叠率阈值；
若所述重叠率大于等于所述重叠率阈值，根据所述第一目标人脸边界框和所述第二目标人脸边界框确定不确定人脸边界框。
4.根据权利要求3所述的活体人脸的检测方法，其特征在于，所述根据所述第一目标人脸边界框和所述第二目标人脸边界框确定不确定人脸边界框，包括：
根据所述第一目标人脸边界框和所述第二目标人脸边界框确定重叠人脸边界框，所述重叠人脸边界框是所述第一目标人脸边界框对应的活体人脸图像区域和所述第二目标人脸边界框对应的非活体人脸图像区域的重叠部分所对应的人脸边界框；
计算所述重叠人脸边界框在所述第一目标人脸边界框中的第一占比率和所述重叠人脸边界框在所述第二目标人脸边界框中的第二占比率，并判断所述第一占比率是否大于等于所述第二占比率；
若所述第一占比率大于等于所述第二占比率，将所述第一目标人脸边界框确定为不确定人脸边界框；
若所述第一占比率不大于等于所述第二占比率，将所述第二目标人脸边界框确定为不确定人脸边界框。
5.根据权利要求3或4所述的活体人脸的检测方法，其特征在于，所述根据所述第一目标人脸边界框和所述第二目标人脸边界框确定不确定人脸边界框之后，所述方法还包括：
从所有所述第一人脸边界框中选取出所述第一置信值不大于等于所述置信度阈值的所述第一人脸边界框，并将选取出的所述第一人脸边界框添加至所有所述不确定人脸边界框中。
6.根据权利要求2-4任一项所述的活体人脸的检测方法，其特征在于，所述一级检测结果还包括：每个所述第一人脸边界框对应的人脸关键点，所述人脸关键点是用于对该第一人脸边界框中的活体人脸区域图像或者非活体人脸区域图像进行对齐操作的关键点；
以及，所述根据所有所述不确定人脸边界框从所述第一待检测图像中生成第二待检测图像，包括：
从所述第一待检测图像中截取每个所述不确定人脸边界框对应的目标人脸区域图像；
根据每个所述不确定人脸边界框对应的人脸关键点，将每个所述不确定人脸边界框对应的所述目标人脸区域图像对齐预设标准人脸图像得到每个所述不确定人脸边界框对应的第二待检测图像。
7.根据权利要求3所述的活体人脸的检测方法，其特征在于，所述二级检测结果还包括每个所述第二分类标签对应的第二置信值，每个所述第二分类标签对应的第二置信值是一个用于表示该第二分类标签的准确性的数值；
以及，所述根据所述一级检测结果和所述二级检测结果确定所述第一待检测图像对应的最终检测结果，包括：
判断所述第一分类标签和所述第一分类标签对应的所述第二分类标签是否相同；
若所述第一分类标签和所述第一分类标签对应的所述第二分类标签不相同，判断置信值差值是否大于差值阈值，所述置信值差值等于所述第一分类标签对应的所述第二分类标签的第二置信值减去所述第一分类标签的第一置信值；
若所述置信值差值大于所述差值阈值，将所述第一分类标签对应的第一人脸边界框作为最终检测结果中的第二人脸边界框，并将所述第一分类标签对应的所述第二分类标签作为所述第二人脸边界框对应的第三分类标签；
若所述置信值差值不大于所述差值阈值，将所述第一分类标签对应的第一人脸边界框作为最终检测结果中的第二人脸边界框，并将所述第一分类标签作为所述第二人脸边界框对应的第三分类标签。
8.一种活体人脸的检测装置，其特征在于，所述装置包括：
训练模块，用于在确定出由活体人脸区域图像和非活体人脸区域图像组成的正样本以及由背景区域图像组成的负样本之后，基于所述正样本中的所有活体人脸区域图像对应的人脸边界框和分类标签、所述正样本中的所有非活体人脸区域图像对应的人脸边界框和分类标签以及所述负样本中的所有背景区域图像对应的背景边界框和分类标签训练预先确定出的一级检测模型，得到训练后的一级检测模型；
分析模块，用于将第一待检测图像输入所述训练后的一级检测模型进行分析，得到所述第一待检测图像对应的一级检测结果，所述一级检测结果至少包括：第一人脸边界框集合和所述第一人脸边界框集合中每个第一人脸边界框对应的第一分类标签，每个所述第一人脸边界框用于框选出所述第一待检测图像中的一个活体人脸区域图像或者一个非活体人脸区域图像，每个所述第一人脸边界框对应的第一分类标签用于表示该第一人脸边界框中的图像是活体人脸区域图像或者非活体人脸区域图像。
9.一种活体人脸的检测装置，其特征在于，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-7任一项所述的活体人脸的检测方法。
10.一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1-7任一项所述的活体人脸的检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010856310.9A CN114092986A (zh) | 2020-08-24 | 2020-08-24 | 活体人脸的检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010856310.9A CN114092986A (zh) | 2020-08-24 | 2020-08-24 | 活体人脸的检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114092986A true CN114092986A (zh) | 2022-02-25 |
Family
ID=80295438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010856310.9A Pending CN114092986A (zh) | 2020-08-24 | 2020-08-24 | 活体人脸的检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114092986A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596041A (zh) * | 2018-03-28 | 2018-09-28 | 中科博宏（北京）科技有限公司 | 一种基于视频的人脸活体检测方法 |
| CN109255322A (zh) * | 2018-09-03 | 2019-01-22 | 北京诚志重科海图科技有限公司 | 一种人脸活体检测方法及装置 |
| CN110188730A (zh) * | 2019-06-06 | 2019-08-30 | 山东大学 | 基于mtcnn的人脸检测与对齐方法 |
| US20190354746A1 (en) * | 2018-05-18 | 2019-11-21 | Beijing Sensetime Technology Development Co., Ltd | Method and apparatus for detecting living body, electronic device, and storage medium |
-
2020
- 2020-08-24 CN CN202010856310.9A patent/CN114092986A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596041A (zh) * | 2018-03-28 | 2018-09-28 | 中科博宏（北京）科技有限公司 | 一种基于视频的人脸活体检测方法 |
| US20190354746A1 (en) * | 2018-05-18 | 2019-11-21 | Beijing Sensetime Technology Development Co., Ltd | Method and apparatus for detecting living body, electronic device, and storage medium |
| CN109255322A (zh) * | 2018-09-03 | 2019-01-22 | 北京诚志重科海图科技有限公司 | 一种人脸活体检测方法及装置 |
| CN110188730A (zh) * | 2019-06-06 | 2019-08-30 | 山东大学 | 基于mtcnn的人脸检测与对齐方法 |
Non-Patent Citations (1)
| Title |
|---|
| 宋潇: "双目立体视觉深度估计及应用研究", 中国优秀硕士学位论文全文数据库, no. 06, 15 June 2020 (2020-06-15), pages 138 - 799 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11195037B2 (en) | Living body detection method and system, computer-readable storage medium | |
| CN109697416B (zh) | 一种视频数据处理方法和相关装置 | |
| WO2021139324A1 (zh) | 图像识别方法、装置、计算机可读存储介质及电子设备 | |
| US8867828B2 (en) | Text region detection system and method | |
| CN107944427B (zh) | 动态人脸识别方法及计算机可读存储介质 | |
| US11790499B2 (en) | Certificate image extraction method and terminal device | |
| CN108875600A (zh) | 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质 | |
| CN104318225B (zh) | 车牌检测方法及装置 | |
| CN110706261A (zh) | 车辆违章检测方法、装置、计算机设备和存储介质 | |
| CN109389019B (zh) | 人脸图像选择方法、装置及计算机设备 | |
| CN110674680B (zh) | 活体识别的方法、装置、存储介质 | |
| CN111191568A (zh) | 翻拍图像识别方法、装置、设备及介质 | |
| CN111079816A (zh) | 图像的审核方法、装置和服务器 | |
| WO2022246989A1 (zh) | 一种数据识别方法、装置、设备及可读存储介质 | |
| CN110795714A (zh) | 一种身份验证方法、装置、计算机设备及存储介质 | |
| CN115223022A (zh) | 一种图像处理方法、装置、存储介质及设备 | |
| CN112560683A (zh) | 一种翻拍图像识别方法、装置、计算机设备及存储介质 | |
| CN116228644A (zh) | 图像检测方法、电子设备及存储介质 | |
| CN116453232A (zh) | 人脸活体检测方法、人脸活体检测模型的训练方法和装置 | |
| CN113743378B (zh) | 一种基于视频的火情监测方法和装置 | |
| WO2018058573A1 (zh) | 对象检测方法、对象检测装置以及电子设备 | |
| CN114299583A (zh) | 一种人脸认证识别方法、装置、设备及存储介质 | |
| CN111091089B (zh) | 一种人脸图像处理方法、装置、电子设备及存储介质 | |
| CN112329597A (zh) | 一种人脸识别的方法和装置 | |
| CN114092986A (zh) | 活体人脸的检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |