CN117238018A - 基于多粒度的可增量深宽网络活体检测方法、介质及设备 - Google Patents
基于多粒度的可增量深宽网络活体检测方法、介质及设备 Download PDFInfo
- Publication number
- CN117238018A CN117238018A CN202311217076.5A CN202311217076A CN117238018A CN 117238018 A CN117238018 A CN 117238018A CN 202311217076 A CN202311217076 A CN 202311217076A CN 117238018 A CN117238018 A CN 117238018A
- Authority
- CN
- China
- Prior art keywords
- face
- living body
- feature
- network
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 31
- 239000013598 vector Substances 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 12
- 230000004308 accommodation Effects 0.000 claims description 6
- 238000001727 in vivo Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 210000000887 face Anatomy 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 210000004709 eyebrow Anatomy 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 238000013461 design Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明提供了一种基于多粒度的可增量深宽网络活体检测方法、介质及设备；其中方法为：将待检测的图像依次进行人脸区域提取、人脸对齐、人脸特征向量提取处理，形成多粒度信息；将多粒度信息输入到稀疏宽度活体识别网络，得到活体检测结果；稀疏宽度活体识别网络的训练方法为：将样本图像分成若干批次；将样本图像的多粒度信息分批次输入到宽度活体识别网络进行学习，更新权重；当获取到新的样本图像时，采用增量方式输入到宽度活体识别网络进行学习，更新权重。该方法可解决学习时间消耗和资源占用问题，检测精度高，鲁棒性强。
Description
技术领域
本发明涉及活体检测技术领域，更具体地说，涉及一种基于多粒度的可增量深宽网络活体检测方法、介质及设备。
背景技术
活体检测技术主要分为基于手工设计特征的方法和基于深度学习的方法。人工设计的特征针对图像采集时的信息损失和噪声引入，对比图像的纹理差异，如局部高光、阴影变化、模糊程度和高频分量信息损失等实现识别目的。随着高清摄像机和高清3D面具的应用，其不足之处日益凸显。基于运动信息的检测方法是常见识别率较高的人脸认证技术，但它需要认证人员的高度配合，检测过程不友好，且耗时较长。这类方法虽识别率较高，但严重依赖于特征表达(需要解决细节损失、颜色失真、阴影模糊和图像高光等问题)和硬件支持，在视频回放、3D面具等逼真的伪信息下，鲁棒性和泛化能力有限。
相较于基于手工设计特征的方法，基于深度学习的活体检测方式适用于各种欺骗手段。如针对照片和视频攻击的双流CNN的人脸反欺骗方法；反3D面具欺骗方法；使用Inception和ResNet架构在不同的环境下的人脸欺骗检测等。然而该类方法成本高、体量大，轻量化部署难度高，不能满足在线实时处理需求。
宽度学习作为一种单隐层神经网络，保留高度非线性逼近能力的同时，能在短时间内实现较高识别率。若能将宽度学习网络应用于活体检测领域，则可克服深度学习资源消耗高，训练时间长等缺点，满足工业中轻量化部署的需求。同时，考虑到随着攻击手段更新，神经网络模型也需要不断学习，因此，如何加快新样本学习，对活体检测技术也十分重要。
发明内容
为克服现有技术中的缺点与不足，本发明的目的在于提供一种基于多粒度的可增量深宽网络活体检测方法、介质及设备；该方法可解决学习时间消耗和资源占用问题，检测精度高，鲁棒性强。
为了达到上述目的，本发明通过下述技术方案予以实现：一种基于多粒度的可增量深宽网络活体检测方法，将待检测的图像依次进行人脸区域提取、人脸对齐、人脸特征向量提取处理，得到人脸区域和C2维人脸特征；之后将包括人脸特征和人脸区域的多粒度信息融合，并输入到稀疏宽度活体识别网络，得到活体检测结果；
稀疏宽度活体识别网络是指经过训练的稀疏宽度活体识别网络；稀疏宽度活体识别网络的训练方法，包括如下步骤：
步骤Y1、获取当前的样本图像；根据样本图像对应的标签和机器容纳能力，将样本图像分成若干批次；
步骤Y2、将各个样本图像分别进行人脸区域提取、人脸对齐、人脸特征向量提取处理，得到各个样本图像的C2维人脸特征和人脸区域；对于各个批次，将批次对应样本图像的包括人脸特征和人脸区域的多粒度信息进行融合，得到数据Ba；
步骤Y3、对各个批次数据Ba依次进行学习：
步骤Y31、对于第1批次输入的数据B1，计算映射特征节点和增强特征节点/>合并映射特征节点/>和增强特征节点/>形成人脸活体识别特征层并连接到稀疏宽度活体识别网络的输出层Y；
计算人脸活体识别特征层和输出层Y的连接权重/>
通过优化问题求解稀疏宽度学习的连接权重
步骤Y32、对于第a(a≥2)批次输入的数据Ba，计算增量映射特征节点和增强特征节点/>形成新的人脸活体识别特征层/>为：
输出层权重由如下公式更新：
其中，为数据Ba对应的标签；
当获取到新的样本图像时，根据新的样本图像对应的标签和机器容纳能力，将新的样本图像分成若干批次；之后执行步骤Y2和步骤Y32；
所述稀疏宽度活体识别网络的输出Y为：
在稀疏宽度活体识别网络中，由于稀疏宽度学习输入的是人脸特征和脸部区域形成的高维数据，直接使用一次性样本内存和计算的压力较大，因此宽度活体识别网路采用增量学习的方式进行训练；这样既能缓解计算压力，又能在动态环境中不断更新数据和模型。
此外，由于在实际场景中，随着新的攻击手段更新，会有新的样本图像；如果新的样本图像(包括原始攻击手段和新攻击手段)到来时，如果需要重新训练稀疏宽度活体识别网络，无疑会重复相同的工作并浪费大量的计算资源。本发明中的增量学习设计致力于解决这一尴尬问题。对于新的样本图像，直接使用相同的过程来提取人脸的多粒度信息；采用与以上a(a≥2)批次计算过程，执行增量学习更新。
优选地，在稀疏宽度活体识别网络的训练方法中，对于第a(a≥1)批次输入的数据Ba，计算增量映射特征节点和增强特征节点/>是指：
其中，为随机线性映射函数；ζ为一个非线性激活函数；连接权重Wei和βei(e＝1,2,…,n)，以及连接权重Whj和βhj(j＝1,2,…,m)是随机产生。
优选地，所述将待检测的图像依次进行人脸区域提取、人脸对齐、人脸特征向量提取处理，得到人脸区域和C2维人脸特征；之后将包括C2维人脸特征和人脸区域的多粒度信息融合，并输入到稀疏宽度活体识别网络，得到活体检测结果，是指：包括如下步骤：
步骤S1、将待检测的图像输入到人脸区域提取模型；人脸区域提取模型对图像中的人脸进行检测，得到人脸区域的坐标信息；
步骤S2、对人脸区域，通过关键点估计方法找到C1个初步的人脸关键点；通过级联姿势回归算法使各个人脸关键点对齐，从而将人脸区域中的脸部调整为设定的正脸姿态和大小，得到调整后的人脸图像；
步骤S3、使用人脸表征提取模块对人脸图像进行C2维人脸特征向量提取；
步骤S4、将包括人脸特征和人脸区域的多粒度信息融合，并输入到稀疏宽度活体识别网络；根据稀疏宽度活体识别网络的输出，得到活体检测结果。
优选地，所述步骤S1中，人脸区域提取模型包括P-Net、R-Net和O-Net；
所述P-Net用于判别是否存在人脸，并使用边界框回归和特征点定位器初步提取人脸区域，输出多张人脸区域；
所述R-Net用于对P-Net输出的多张人脸区域进行再次判别是否存在人脸，删除错误输入，再次使用边界框回归和特征点定位器进行人脸区域的边界框回归和人脸特征点定位，输出可信度更高的人脸区域；
所述Q-Net用于对R-Net输出的多张人脸区域进行第三次判别是否存在人脸，使用边界框回归和特征点定位器进行人脸区域的边界框回归和人脸特征点定位，最终输出人脸区域的坐标信息与人脸的五个特征点。
优选地，所述人脸区域的坐标信息包括人脸区域的左上角坐标和右下角坐标；人脸的五个特征点包括左眼位置、右眼位置、鼻子位置以及嘴巴左、右位置；每个特征点用两维表示。
优选地，所述步骤S2中，C1个初步的人脸关键点包括下巴顶部的关键点、每只眼睛外部轮廓的关键点、每条眉毛内部轮廓的关键点、鼻子外部轮廓的关键点、嘴唇内部轮廓和外部轮廓的关键点。
优选地，所述S3中，人脸表征提取模块是指在ResNet模型的基础上添加池化层，用于将ResNet模型的输出转化为一个C2维人脸特征向量；
人脸表征提取模块是指经过训练的人脸表征提取模块；在人脸表征提取模块的训练过程中，每次随机选择一个三元组，并使用随机梯度下降优化器来最小化损失函数Loss；所述三元组是指在训练样本中抽出任三张人脸图像，其中第一张和第二张人脸图像为真人正样本，分别记为x1k和x2k，第三张人脸图像为攻击手段对应的负样本，记为x3k；
损失函数Loss为：
其中，N表示三元组数量；‖f(x1k)-f(x2k)‖2 2表示第一张人脸图像与第二张人脸图像的人脸特征向量的欧氏距离或马氏距离；‖f(x1k)-f(x3k)‖2 2表示第一张人脸图像与第三张人脸图像的人脸特征向量的欧氏距离或马氏距离；l代表用于强制增加正样本和负样本间距离的参数。
优选地，根据稀疏宽度活体识别网络的输出Y，计算置信度Cdp：
其中，Yp代表稀疏宽度活体识别网络的输出；Yq代表稀疏宽度活体识别网络判断图像为第q种类别对应的输出；
根据置信度Cdp，得到活体检测结果。
一种可读存储介质，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述基于多粒度的可增量深宽网络活体检测方法。
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述基于多粒度的可增量深宽网络活体检测方法。
与现有技术相比，本发明具有如下优点与有益效果：
1、本发明采用人脸区域和多维人脸特征的多粒度信息输入到稀疏宽度活体识别网络中；人脸区域能够涵盖更多信息，但是没有针对性的细节信息，只利用人脸区域进一步提取特征可能会丢弃后期宽度无法获取的细节信息；而人脸特征则在一定程度上弥补了这一缺点，能提供初步的脸部相关的细节信息，实现互补；
2、为避免高维多粒度信息中存在的冗余和无用信息干扰，本发明设计基于L1/2正则化的稀疏宽度学习，使其具有特征选择和产生稀疏权重的能力，从而提高模型识别效果；
3、为解决同时学习全部多粒度信息对运算资源需求太大的问题，本发明中宽度学习采用增量输入方式，形成数据流模式，宽度学习一次只学习部分数据，并在前期知识上根据新批次的数据不断更新权重；另一方面，本发明采用增量学习方式能够方便利用新增加的各种类型攻击手段数据，无需模型重建和重新训练，使用最低成本提高模型鲁棒性；
4、本发明具有检测精度高、耗时短、鲁棒性强、实时响应等优点。
附图说明
图1是本发明基于多粒度的可增量深宽网络活体检测方法的流程示意图；
图2是本发明基于多粒度的可增量深宽网络活体检测方法中，人脸区域提取模型的结构示意图；
图3是本发明基于多粒度的可增量深宽网络活体检测方法中，稀疏宽度活体识别网络的训练流程示意图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细的描述。
实施例一
本实施例一种基于多粒度的可增量深宽网络活体检测方法，如图1所示，包括如下步骤：
步骤S1、将待检测的图像输入到人脸区域提取模型；人脸区域提取模型对图像中的人脸进行检测，得到人脸区域的坐标信息。
人脸区域提取模型，如图2所示，包括P-Net、R-Net和O-Net；
所述P-Net用于判别是否存在人脸，并使用边界框回归和特征点定位器初步提取人脸区域，输出多张人脸区域；
所述R-Net用于对P-Net输出的多张人脸区域进行再次判别是否存在人脸，删除错误输入，再次使用边界框回归和特征点定位器进行人脸区域的边界框回归和人脸特征点定位，输出可信度更高的人脸区域；
所述Q-Net用于对R-Net输出的多张人脸区域进行第三次判别是否存在人脸，使用边界框回归和特征点定位器进行人脸区域的边界框回归和人脸特征点定位，最终输出人脸区域的坐标信息与人脸的五个特征点。
所述P-Net输入为12×12×3的图像，经过三个3×3的卷积层；P-Net的输出包括三个部分：P-Net的第一部分输出大小为1×1×2的向量，表示是否存在人脸；P-Net的第二部分输出大小为1×1×4的向量，表示人脸边界框位置相对完美人脸框位置的偏移信息；偏移信息包括：人脸边界框左上角横坐标的相对偏移、人脸边界框左上角纵坐标的相对偏移、人脸边界框的宽度误差以及人脸边界框的高度误差；P-Net的第三部分输出大小为1×1×10的向量，表示人脸的五个特征点位置；
所述R-Net输入为24×24×3的图像，经过大小分别为3×3、3×3和2×2的三个卷积层后接一个128全连接层；R-Net的输出包括三个部分：R-Net的第一部分输出大小为1×1×2的向量，用于进行多张人脸区域进行细化选择，删除部分错误输入；R-Net的第二部分输出大小为1×1×4的向量，表示人脸边界框位置相对完美人脸框位置的偏移；R-Net的第三部分输出大小为1×1×10的向量，表示人脸的五个特征点位置；
所述Q-Net输入为48×48×3的图像，经过大小分别为大小分别为3×3、3×3、3×3和2×2的三个卷积层后接一个256全连接层，输出人脸区域的坐标信息和人脸的五个特征点位置。
人脸区域的坐标信息包括人脸区域的左上角坐标和右下角坐标；人脸的五个特征点包括左眼位置、右眼位置、鼻子位置以及嘴巴左、右位置；每个特征点用两维表示。
步骤S2、对人脸区域，通过关键点估计方法找到C1个(例如：68个)初步的人脸关键点；68个初步的人脸关键点包括下巴顶部的关键点、每只眼睛外部轮廓的关键点、每条眉毛内部轮廓的关键点、鼻子外部轮廓的关键点、嘴唇内部轮廓和外部轮廓的关键点。通过级联姿势回归算法使各个人脸关键点对齐，从而将人脸区域中的脸部调整为设定的正脸姿态和大小，得到调整后的人脸图像。
步骤S3、使用人脸表征提取模块对人脸图像进行C2维(例如：128维)人脸特征向量提取。
人脸表征提取模块是指在ResNet模型的基础上添加池化层，用于将ResNet模型的输出转化为一个C2维人脸特征向量；
人脸表征提取模块是指经过训练的人脸表征提取模块；在人脸表征提取模块的训练过程中，每次随机选择一个三元组，并使用随机梯度下降优化器来最小化损失函数Loss；所述三元组是指在训练样本中抽出任三张人脸图像，其中第一张和第二张人脸图像为真人正样本，分别记为x1k和x2k，第三张人脸图像为攻击手段对应的负样本，记为x3k；
损失函数Loss为：
其中，N表示三元组数量；‖f(x1k)-f(x2k)‖2 2表示第一张人脸图像与第二张人脸图像的人脸特征向量的欧氏距离或马氏距离；‖f(x1k)-f(x3k)‖2 2表示第一张人脸图像与第三张人脸图像的人脸特征向量的欧氏距离或马氏距离；l代表用于强制增加正样本和负样本间距离的参数。
因此，距离||f(xai)-f(xpi)||2应该较小，而距离‖f(xai)-f(xni)‖2应该较大。
步骤S4、将包括C2维人脸特征和人脸区域的多粒度信息融合为特征向量F；输入到稀疏宽度活体识别网络。
稀疏宽度活体识别网络是指经过训练的稀疏宽度活体识别网络；稀疏宽度活体识别网络的训练方法如图3所示，包括如下步骤：
步骤Y1、获取当前的采集样本图像；根据样本图像对应的标签和机器容纳能力，将样本图像分成若干批次；
步骤Y2、将各个样本图像分别进行步骤S1～S3处理，得到各个样本图像的C2维人脸特征和人脸区域(160×160×3)；对于各个批次，将批次对应样本图像的包括C2维人脸特征和人脸区域的多粒度信息进行融合，得到数据Ba；
步骤Y3、对各个批次数据Ba依次进行学习：
步骤Y31、对于第1批次输入的数据B1，计算映射特征节点和增强特征节点/>
其中，为随机线性映射函数；ζ为一个非线性激活函数；连接权重Wei和βei(e＝1,2,…,n)，以及连接权重Whj和βhj(j＝1,2,…,m)是随机产生。
合并映射特征节点和增强特征节点/>形成人脸活体识别特征层并连接到稀疏宽度活体识别网络的输出层Y；
计算人脸活体识别特征层和输出层Y的连接权重/>
通过优化问题求解稀疏宽度学习的连接权重
步骤Y32、对于第a(a≥2)批次输入的数据Ba，计算增量映射特征节点和增强特征节点/>
形成新的人脸活体识别特征层为：
输出层权重由如下公式更新：
其中，为数据Ba对应的标签；
在完成所有批次数据学习后，测试稀疏宽度活体识别网络的精度；当精度不满足要求时，重新进行各个批次数据学习，直至精度满足要求；
当获取到新的样本图像时，根据新的样本图像对应的标签和机器容纳能力，将新的样本图像分成若干批次；之后执行步骤Y2和步骤Y32；
所述稀疏宽度活体识别网络的输出Y为：
根据稀疏宽度活体识别网络的输出，得到活体检测结果。
具体地说，根据稀疏宽度活体识别网络的输出Y，计算置信度Cdp：
其中，Yp代表稀疏宽度活体识别网络的输出；Yq代表稀疏宽度活体识别网络判断图像为第q种类别对应的输出；
根据置信度Cdp，得到活体检测结果。
实施例二
本实施例一种可读存储介质，其中所述可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行实施例一所述的基于多粒度的可增量深宽网络活体检测方法。
实施例三
本实施例一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现实施例一所述的基于多粒度的可增量深宽网络活体检测方法。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.一种基于多粒度的可增量深宽网络活体检测方法，其特征在于：将待检测的图像依次进行人脸区域提取、人脸对齐、人脸特征向量提取处理，得到人脸区域和C2维人脸特征；之后将包括人脸特征和人脸区域的多粒度信息融合，并输入到稀疏宽度活体识别网络，得到活体检测结果；
稀疏宽度活体识别网络是指经过训练的稀疏宽度活体识别网络；稀疏宽度活体识别网络的训练方法，包括如下步骤：
步骤Y1、获取当前的样本图像；根据样本图像对应的标签和机器容纳能力，将样本图像分成若干批次；
步骤Y2、将各个样本图像分别进行人脸区域提取、人脸对齐、人脸特征向量提取处理，得到各个样本图像的C2维人脸特征和人脸区域；对于各个批次，将批次对应样本图像的包括人脸特征和人脸区域的多粒度信息进行融合，得到数据Ba；
步骤Y3、对各个批次数据Ba依次进行学习：
步骤Y31、对于第1批次输入的数据B1，计算映射特征节点和增强特征节点/>合并映射特征节点/>和增强特征节点/>形成人脸活体识别特征层/>并连接到稀疏宽度活体识别网络的输出层Y；
计算人脸活体识别特征层和输出层Y的连接权重/>
通过优化问题求解稀疏宽度学习的连接权重
步骤Y32、对于第a批次输入的数据Ba，a≥2，计算增量映射特征节点和增强特征节点形成新的人脸活体识别特征层/>为：
输出层权重由如下公式更新：
其中，为数据Ba对应的标签；
当获取到新的样本图像时，根据新的样本图像对应的标签和机器容纳能力，将新的样本图像分成若干批次；之后执行步骤Y2和步骤Y32；
所述稀疏宽度活体识别网络的输出Y为：
2.根据权利要求1所述的基于多粒度的可增量深宽网络活体检测方法，其特征在于：在稀疏宽度活体识别网络的训练方法中，对于第a批次输入的数据Ba，a≥1，计算增量映射特征节点和增强特征节点/>是指：
其中，为随机线性映射函数；ζ为一个非线性激活函数；连接权重Wei和βei(e＝1,2,…,n)，以及连接权重Whj和βhj(j＝1,2,…,m)是随机产生。
3.根据权利要求1所述的基于多粒度的可增量深宽网络活体检测方法，其特征在于：所述将待检测的图像依次进行人脸区域提取、人脸对齐、人脸特征向量提取处理，得到人脸区域和C2维人脸特征；之后将包括C2维人脸特征和人脸区域的多粒度信息融合，并输入到稀疏宽度活体识别网络，得到活体检测结果，是指：包括如下步骤：
步骤S1、将待检测的图像输入到人脸区域提取模型；人脸区域提取模型对图像中的人脸进行检测，得到人脸区域的坐标信息；
步骤S2、对人脸区域，通过关键点估计方法找到C1个初步的人脸关键点；通过级联姿势回归算法使各个人脸关键点对齐，从而将人脸区域中的脸部调整为设定的正脸姿态和大小，得到调整后的人脸图像；
步骤S3、使用人脸表征提取模块对人脸图像进行C2维人脸特征向量提取；
步骤S4、将包括人脸特征和人脸区域的多粒度信息融合，并输入到稀疏宽度活体识别网络；根据稀疏宽度活体识别网络的输出，得到活体检测结果。
4.根据权利要求3所述的基于多粒度的可增量深宽网络活体检测方法，其特征在于：所述步骤S1中，人脸区域提取模型包括P-Net、R-Net和O-Net；
所述P-Net用于判别是否存在人脸，并使用边界框回归和特征点定位器初步提取人脸区域，输出多张人脸区域；
所述R-Net用于对P-Net输出的多张人脸区域进行再次判别是否存在人脸，删除错误输入，再次使用边界框回归和特征点定位器进行人脸区域的边界框回归和人脸特征点定位，输出可信度更高的人脸区域；
所述Q-Net用于对R-Net输出的多张人脸区域进行第三次判别是否存在人脸，使用边界框回归和特征点定位器进行人脸区域的边界框回归和人脸特征点定位，最终输出人脸区域的坐标信息与人脸的五个特征点。
5.根据权利要求4所述的基于多粒度的可增量深宽网络活体检测方法，其特征在于：所述人脸区域的坐标信息包括人脸区域的左上角坐标和右下角坐标；人脸的五个特征点包括左眼位置、右眼位置、鼻子位置以及嘴巴左、右位置；每个特征点用两维表示。
6.根据权利要求3所述的基于多粒度的可增量深宽网络活体检测方法，其特征在于：所述步骤S2中，C1个初步的人脸关键点包括下巴顶部的关键点、每只眼睛外部轮廓的关键点、每条眉毛内部轮廓的关键点、鼻子外部轮廓的关键点、嘴唇内部轮廓和外部轮廓的关键点。
7.根据权利要求3所述的基于多粒度的可增量深宽网络活体检测方法，其特征在于：所述S3中，人脸表征提取模块是指在ResNet模型的基础上添加池化层，用于将ResNet模型的输出转化为一个C2维人脸特征向量；
人脸表征提取模块是指经过训练的人脸表征提取模块；在人脸表征提取模块的训练过程中，每次随机选择一个三元组，并使用随机梯度下降优化器来最小化损失函数Loss；所述三元组是指在训练样本中抽出任三张人脸图像，其中第一张和第二张人脸图像为真人正样本，分别记为x1k和x2k，第三张人脸图像为攻击手段对应的负样本，记为x3k；
损失函数Loss为：
其中，N表示三元组数量；‖f(x1k)-f(x2k)‖2 2表示第一张人脸图像与第二张人脸图像的人脸特征向量的欧氏距离或马氏距离；‖f(x1k)-f(x3k)‖2 2表示第一张人脸图像与第三张人脸图像的人脸特征向量的欧氏距离或马氏距离；l代表用于强制增加正样本和负样本间距离的参数。
8.根据权利要求3所述的基于多粒度的可增量深宽网络活体检测方法，其特征在于：根据稀疏宽度活体识别网络的输出Y，计算置信度Cdp：
其中，Yp代表稀疏宽度活体识别网络的输出；Yq代表稀疏宽度活体识别网络判断图像为第q种类别对应的输出；
根据置信度Cdp，得到活体检测结果。
9.一种可读存储介质，其特征在于，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行权利要求1-8中任一项所述的基于多粒度的可增量深宽网络活体检测方法。
10.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-8中任一项所述的基于多粒度的可增量深宽网络活体检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311217076.5A CN117238018A (zh) | 2023-09-20 | 2023-09-20 | 基于多粒度的可增量深宽网络活体检测方法、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311217076.5A CN117238018A (zh) | 2023-09-20 | 2023-09-20 | 基于多粒度的可增量深宽网络活体检测方法、介质及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117238018A true CN117238018A (zh) | 2023-12-15 |
Family
ID=89090666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311217076.5A Pending CN117238018A (zh) | 2023-09-20 | 2023-09-20 | 基于多粒度的可增量深宽网络活体检测方法、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117238018A (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190059225A (ko) * | 2017-11-22 | 2019-05-30 | 인하대학교 산학협력단 | 점진적 딥러닝 학습을 이용한 적응적 영상 인식 기반 감성 추정 방법 및 장치 |
| CN109920021A (zh) * | 2019-03-07 | 2019-06-21 | 华东理工大学 | 一种基于正则化宽度学习网络的人脸素描合成方法 |
| CN110909678A (zh) * | 2019-11-22 | 2020-03-24 | 燕山大学 | 一种基于宽度学习网络特征提取的人脸识别方法及系统 |
| CN111709409A (zh) * | 2020-08-20 | 2020-09-25 | 腾讯科技（深圳）有限公司 | 人脸活体检测方法、装置、设备及介质 |
| US20210004570A1 (en) * | 2019-07-05 | 2021-01-07 | Wuyi University | Method and apparatus for predicting face beauty grade, and storage medium |
| US20210241112A1 (en) * | 2020-02-05 | 2021-08-05 | Samsung Electronics Co., Ltd. | Neural network update method, classification method and electronic device |
| CN114373205A (zh) * | 2021-12-27 | 2022-04-19 | 华南理工大学 | 一种基于卷积宽度网络的人脸检测和识别方法 |
| CN114549481A (zh) * | 2022-02-25 | 2022-05-27 | 河北工业大学 | 一种融合深度和宽度学习的深度伪造图像检测方法 |
| CN114743234A (zh) * | 2022-02-25 | 2022-07-12 | 华南农业大学 | 基于深度学习的人脸口罩高效识别方法 |
| CN114743058A (zh) * | 2022-05-18 | 2022-07-12 | 河南工业大学 | 基于混合范数正则约束的宽度学习图像分类方法及装置 |
| US20220319153A1 (en) * | 2020-03-10 | 2022-10-06 | Olympus Corporation | Image processing system, image processing device, endoscope system, interface, image processing method and information storage medium |
| US20230080031A1 (en) * | 2020-01-16 | 2023-03-16 | Huawei Technologies Co., Ltd. | Face Recognition Method and Face Recognition Apparatus |
| CN116012922A (zh) * | 2023-01-17 | 2023-04-25 | 南京大学 | 一种适于口罩佩戴状态的人脸图像性别识别方法 |
| CN116188941A (zh) * | 2023-02-03 | 2023-05-30 | 河南工业大学 | 一种基于松弛标注的流形正则化宽度学习方法及系统 |
| CN116229179A (zh) * | 2023-03-13 | 2023-06-06 | 河南工业大学 | 基于宽度学习系统的双松弛图像分类方法 |
| CN116403294A (zh) * | 2023-06-08 | 2023-07-07 | 华南理工大学 | 基于Transformer的多视图宽度学习活体检测方法、介质及设备 |
-
2023
- 2023-09-20 CN CN202311217076.5A patent/CN117238018A/zh active Pending
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190059225A (ko) * | 2017-11-22 | 2019-05-30 | 인하대학교 산학협력단 | 점진적 딥러닝 학습을 이용한 적응적 영상 인식 기반 감성 추정 방법 및 장치 |
| CN109920021A (zh) * | 2019-03-07 | 2019-06-21 | 华东理工大学 | 一种基于正则化宽度学习网络的人脸素描合成方法 |
| US20210004570A1 (en) * | 2019-07-05 | 2021-01-07 | Wuyi University | Method and apparatus for predicting face beauty grade, and storage medium |
| CN110909678A (zh) * | 2019-11-22 | 2020-03-24 | 燕山大学 | 一种基于宽度学习网络特征提取的人脸识别方法及系统 |
| US20230080031A1 (en) * | 2020-01-16 | 2023-03-16 | Huawei Technologies Co., Ltd. | Face Recognition Method and Face Recognition Apparatus |
| US20210241112A1 (en) * | 2020-02-05 | 2021-08-05 | Samsung Electronics Co., Ltd. | Neural network update method, classification method and electronic device |
| US20220319153A1 (en) * | 2020-03-10 | 2022-10-06 | Olympus Corporation | Image processing system, image processing device, endoscope system, interface, image processing method and information storage medium |
| CN111709409A (zh) * | 2020-08-20 | 2020-09-25 | 腾讯科技（深圳）有限公司 | 人脸活体检测方法、装置、设备及介质 |
| CN114373205A (zh) * | 2021-12-27 | 2022-04-19 | 华南理工大学 | 一种基于卷积宽度网络的人脸检测和识别方法 |
| CN114743234A (zh) * | 2022-02-25 | 2022-07-12 | 华南农业大学 | 基于深度学习的人脸口罩高效识别方法 |
| CN114549481A (zh) * | 2022-02-25 | 2022-05-27 | 河北工业大学 | 一种融合深度和宽度学习的深度伪造图像检测方法 |
| CN114743058A (zh) * | 2022-05-18 | 2022-07-12 | 河南工业大学 | 基于混合范数正则约束的宽度学习图像分类方法及装置 |
| CN116012922A (zh) * | 2023-01-17 | 2023-04-25 | 南京大学 | 一种适于口罩佩戴状态的人脸图像性别识别方法 |
| CN116188941A (zh) * | 2023-02-03 | 2023-05-30 | 河南工业大学 | 一种基于松弛标注的流形正则化宽度学习方法及系统 |
| CN116229179A (zh) * | 2023-03-13 | 2023-06-06 | 河南工业大学 | 基于宽度学习系统的双松弛图像分类方法 |
| CN116403294A (zh) * | 2023-06-08 | 2023-07-07 | 华南理工大学 | 基于Transformer的多视图宽度学习活体检测方法、介质及设备 |
Non-Patent Citations (3)
| Title |
|---|
| C. L. PHILIP CHEN ET AL: "Broad Learning System: An Effective and Efficient Incremental Learning System Without the Need for Deep Architecture", IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS, 21 July 2017 (2017-07-21), pages 10 * |
| 朱玉斌;延向军;申旭奇;卢兆林;: "基于级联宽度学习的疲劳驾驶检测", 计算机工程与设计, no. 02, 16 February 2020 (2020-02-16) * |
| 王欢;吴成东;迟剑宁;于晓升;胡倩;: "联合多任务学习的人脸超分辨率重建", 中国图象图形学报, no. 02, 16 February 2020 (2020-02-16) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7128022B2 (ja) | 完全教師あり学習用のデータセットの形成 | |
| Kumar et al. | Object detection system based on convolution neural networks using single shot multi-box detector | |
| CN110348330B (zh) | 基于vae-acgan的人脸姿态虚拟视图生成方法 | |
| CN111652124A (zh) | 一种基于图卷积网络的人体行为识别模型的构建方法 | |
| CN109740537B (zh) | 人群视频图像中行人图像属性的精确标注方法及系统 | |
| CN110415280B (zh) | 多任务cnn模型下的遥感影像与建筑物矢量配准方法及系统 | |
| Wang et al. | Point linking network for object detection | |
| CN103971112A (zh) | 图像特征提取方法及装置 | |
| CN112634149A (zh) | 一种基于图卷积网络的点云去噪方法 | |
| CN115661246A (zh) | 一种基于自监督学习的姿态估计方法 | |
| JP2015036939A (ja) | 特徴抽出プログラム及び情報処理装置 | |
| CN114333062B (zh) | 基于异构双网络和特征一致性的行人重识别模型训练方法 | |
| CN113361431A (zh) | 一种基于图推理的人脸遮挡检测的网络模型及方法 | |
| CN117152844A (zh) | 基于计算机视觉的高完整性工人施工姿态检测方法及系统 | |
| Cao et al. | CMAN: Leaning global structure correlation for monocular 3D object detection | |
| WO2023066142A1 (zh) | 全景图像的目标检测方法、装置、计算机设备和存储介质 | |
| CN109165551B (zh) | 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法 | |
| Ye et al. | Tiny face detection based on deep learning | |
| CN117238018A (zh) | 基于多粒度的可增量深宽网络活体检测方法、介质及设备 | |
| CN113222867B (zh) | 基于多模板图像的图像数据增强方法及系统 | |
| CN113255514B (zh) | 基于局部场景感知图卷积网络的行为识别方法 | |
| CN113159158A (zh) | 一种基于生成对抗网络的车牌矫正与重构方法及系统 | |
| Liu et al. | Prediction with Visual Evidence: Sketch Classification Explanation via Stroke-Level Attributions | |
| CN114118303B (zh) | 基于先验约束的人脸关键点检测方法及装置 | |
| Zhou et al. | Dense correspondence of 3D facial point clouds via neural network fitting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |