CN115731593A - 一种人脸活体检测方法 - Google Patents
一种人脸活体检测方法 Download PDFInfo
- Publication number
- CN115731593A CN115731593A CN202210928331.6A CN202210928331A CN115731593A CN 115731593 A CN115731593 A CN 115731593A CN 202210928331 A CN202210928331 A CN 202210928331A CN 115731593 A CN115731593 A CN 115731593A
- Authority
- CN
- China
- Prior art keywords
- face
- layer
- fusion
- image
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 55
- 239000013598 vector Substances 0.000 claims abstract description 57
- 230000004927 fusion Effects 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 13
- 238000001727 in vivo Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 9
- 238000007500 overflow downdraw method Methods 0.000 claims description 2
- 238000003709 image segmentation Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000001574 biopsy Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开一种人脸活体检测方法，其特征在于，包括如下步骤：步骤一：接收包含人脸区域的可见光、深度和红外图像；步骤二：对人脸可见光、深度和红外图像进行预处理操作，提取可见光、深度和红外三种模态特征向量，实现人脸图像增强；步骤三：将所述三种模态人脸图像输入至经训练的多核卷积神经网络中，对所述三种模态的学习结果进行LTF融合，将融合特征输入至分类层实现人脸活体检测得到人脸检测结果，或从所述三种模态向量中任意选取两个进行组合，得到三个组合，将所述三个组合输入至MultiModal Vision Transformer结构中，对所述三个模态的学习结果进行融合，将融合特征输入至分类层实现人脸活体检测，得到人脸检测结果。
Description
技术领域
本申请涉及人脸活体检测技术领域，特别涉及一种人脸活体检测方法。
背景技术
人脸活体检测是计算机视觉领域内的一个重要研究课题，该技术以深度学习为基础框架，利用真实人脸与欺骗人脸图像在特征上的差异设计相应的活体检测方法，对真假人脸进行判断，防止虚假人脸对人脸识别系统进行攻击，为人脸识别系统的信息安全提供了保障。
人脸活体检测可以被理解为一种二分类问题，通常用1表示真实人脸，0表示虚假人脸。人脸活体检测中常见的非活体攻击方式有照片攻击、视频攻击和3D面具攻击。针对上述攻击，设计一个准确率高、鲁棒性强、泛化能力强的人脸活体检测系统至关重要。现有技术的人脸活体检测方法有如下几种：
方法一：利用真假人脸图像纹理差异分析的方法。人脸图像在采集的过程中存在着各种噪声影响和信息的损失，二次采样的图像上也会存在纹理上的差异，通过图像纹理上的差异可以对真假人脸进行区分。随着目前人脸攻击方式的多变，该方法无法应对3D面具以及更先进的攻击，不能满足当前各种各样的检测需求。
方法二：利用真假人脸图像多光谱反射特性的不同来判断。真实人脸与虚假人脸在材质上差异较大，导致了真假脸图像在某些特定的波段下呈现出不同的反射特性，并由此来判断真假人脸。其中可见光、近紫外光和近红外光等波段易于提取，有助于多光谱人脸活体检测方法的实现。由于多光谱图像的采集过程较为繁琐，对于检测对象的要求较高，在一定程度上影响了用户的体验感，而且多光谱图像采集对于设备的要求较高，增加了成本。
方法三：通过人脸运动信息的方法来判断。真实人脸在实施检测中会有各种运动特征，比如张嘴，眨眼，面部表情等变化，而虚假人脸则没有这些运动特征，由此可以通过这些特征来判断是否为真实人脸。虽然这种方法的识别准确率较高，但需要用户根据特定的检测系统做出特定的动作，在实时检测中具有一定的局限性。
方法四：基于深度信息的方法。真实的人脸是三维构建的，其面部关键点不同位置具有不同的深度信息，而照片攻击和视频攻击中的人脸是二维的，无论是平面照片还是弯曲折叠，其面部各个部位的深度信息是相同的，因此可以通过这些面部关键点深度信息的不同来判断真假人脸。该方法对于照片与视频的攻击具有较好的检测效果，但对于3D面具这种具有不同深度信息的攻击方式，其检测效果较差。
因此，需要一种方法来应对人脸活体检测领域内的各种不同攻击方式的问题，进而保证人脸活体检测算法的性能，是亟需解决的技术问题。
发明内容
本发明的目的在于，针对上述现有技术中的不足，提供一种人脸活体检测方法，以便解决相关技术中无法应对人脸活体检测领域内的各种不同攻击方式，进而无法保证人脸活体检测算法的性能的问题。
为实现上述目的，本发明实施例采用的技术方案如下：
本发明实施例提供了一种人脸活体检测方法，其特征在于，包括如下步骤：
步骤一：接收包含人脸区域的可见光、深度和红外图像；
步骤二：对人脸可见光、深度和红外图像进行预处理操作，提取可见光、深度和红外三种模态特征向量，实现人脸图像增强；
步骤三：将所述三种模态人脸图像输入至经训练的多核卷积神经网络中，对所述三种模态的学习结果进行LTF融合，将融合特征输入至分类层实现人脸活体检测得到人脸检测结果，或从所述三种模态向量中任意选取两个进行组合，得到三个组合，将所述三个组合输入至MultiModal Vision Transformer结构中，对所述三个模态的学习结果进行融合，将融合特征输入至分类层实现人脸活体检测，得到人脸检测结果。
可选地，将所述人脸检测结果进行分类投票，并根据所述投票结果输出预测结果。
可选地，所述多核卷积神经网络包括输入层、卷积层、池化层、全连接层、softmax层与输出层；其中输入层用于对有效人脸深度图像进行格式及大小的调整；卷积层用于获取融合特征，其包括多个多核权重分支构成，每个分支包括三个不同大小的卷积操作与一个多核权重模块；所述融合特征经过所述池化层及全连接层后，所述softmax层预测得到的向量输出，用于人脸活体二分类判别。
可选地，所述LTF融合方法包括：
对原特征图经过三个不同大小卷积的分支进行卷积操作；
计算每个卷积核权重部分，并将三部分的特征图进行所述LTF融合，所述LTF融合将权重分解成多组与各分支权重相关的因子，并将每个权重表示成矩阵形式：
由多卷积权重特征融合得到h维特征：
将所述融合特征h经过全局平均池化生成信道信息：
将所述信道信息经过全连接层生成紧凑特征z：z＝fc(Sc)＝Relu(B(Ws))；
通过softmax层来计算每个卷积核的权重，最后通过拼接求和操作得到最终融合特征。
可选地，对所述接收到的图像进行预处理操作，实现人脸图像切块和图像块嵌入。
可选地，，将一个H×W×C大小的图像，要将其分成N个P×P×C大小的图像块；经过所述图像块嵌入操作，将N×(P×P×C)的向量维度图像降低维度后得到维度为D的图像：
其中Epos为位置编码向量，可见光图像特征向量对应的模态为x，深度图像特征向量对应的模态为y，红外图像特征向量对应的模态为z。
可选地，计算所述模态x的key向量与所述模态y的query向量的积获得可见光模态与深度模态的相关性；将所述相关性转变为分布在[0,1]区间的矩阵：
可选地，重复执行所述相关性的计算，获得每一次计算的head：
headi＝Attention(QyWi Q,KxWi K,VxWi V)；
将n次重复结果进行拼接得到所述模态x与所述模态y经过Multi-head Self-attention后的结果：
MultiHead(Qy,Kx,Vx)＝concat(head1,head2,……,headn)WO。
可选地，获得所述模态x与所述模态z、所述模态y与所述模态z经过所述Multi-head Self-attention后的结果。
可选地，将所述经过Multi-head Self-attention后的结果经过LTF融合得到低维特征信息，根据所述低维特征信息获得三维张量融合结果；根据所述三维张量的融合结果得到可见光特征向量、深度特征向量以及红外特征向量对应学习后的特征矩阵；将所述特征矩阵输入分类层，运用分类投票方法输出预测结果。
本发明的有益效果是：一种人脸活体检测方法，其特征在于，包括如下步骤：
步骤一：接收包含人脸区域的可见光、深度和红外图像；
步骤二：对人脸可见光、深度和红外图像进行预处理操作，提取可见光、深度和红外三种模态特征向量，实现人脸图像增强；
步骤三：将所述三种模态人脸图像输入至经训练的多核卷积神经网络中，对所述三种模态的学习结果进行LTF融合，将融合特征输入至分类层实现人脸活体检测得到人脸检测结果，或从所述三种模态向量中任意选取两个进行组合，得到三个组合，将所述三个组合输入至MultiModal Vision Transformer结构中，对所述三个模态的学习结果进行融合，将融合特征输入至分类层实现人脸活体检测，得到人脸检测结果，通过如此设计，可以解决现有技术中无法应对人脸活体检测领域内的各种不同攻击方式，进而无法保证人脸活体检测算法的性能的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种人脸活体检测步骤示意图；
图2为本申请实施例提供的一种深度卷积神经网络示意图；
图3为本申请实施例提供的一种主干网络模块示意图；
图4为本申请实施列提供的一种多核权重模块Multi Core Weight(MCW)示意图；
图5为本申请实例提供的一种基于MultiModal Vision Transformer的人脸活体检测方法。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
图1为本申请实施例提供的一种人脸活体检测步骤示意图。如图1所示包括如下步骤：
S101：处理器用于接收包含人脸区域的可见光、红外线和深度图像；
S102：对人脸可见光图像进行预处理操作，实现人脸图像增强；
S103：将预处理后的人脸图像输入至构建的深度卷积神经网络中进行网络训练，实现人脸活体检测。
如图1所示的实施例中，在S102步骤中对检测到的人脸区域深度图像进行预处理，以获取有效人脸深度图像，预处理包含如下步骤：
(1)对当前人脸区域图像进行大小缩放处理，缩放至所构建卷积神经网络输入层112×112的大小。
(2)对上述人脸图像进行水平翻转和上下翻转操作，并进行[-30，-30]之间角度的图像旋转操作。
(3)对当前人脸区域深度图像中的像素值进行归一化操作，设原始图像为Io，归一化后图像记为In，如公式(1)所示：
In＝Io/255.0 (1)
此时人脸图像像素值在[0，1]之间，图像预处理过程结束。将预处理后的人脸图像，输入至经训练的级联深度卷积神经网络，以检测所述人脸是真实人脸或虚假人脸。
图2为本申请实施例提供的一种深度卷积神经网络示意图。如图2所示的深度卷积神经网络包括：输入层201、卷积层202、池化层203、全连接层204、Softmax层205以及输出层206。输入层201用于对接收到的有效人脸深度图像进行图像大小和格式转换，输入至卷积层202，卷积层202包含conv1、conv2、conv3、conv4和conv5五个卷积操作，每个卷积操作包括了两个1×1大小和一个3×3大小的卷积层，接着经过一个平均池化层203和全连接层204，最后经过Softmax激活函数层205得到2维向量并在输出层206输出，用于二分类人脸活体检测。其中卷积层包含五个卷积操作只是为了示意说明，本申请不做具体限制。
图3为本申请实施例提供的一种主干网络模块示意图。如图3所示主干网络模块示意图包括：输入层301、卷积层302、多核卷积网络模块303以及输出层304。输入层301用于接收有效人脸深度图像并进行图像大小和格式转换，卷积层302包含了conv1、conv2和conv3三个卷积操作，其中conv1与conv3为1×1大小的卷积层，conv2为3×3大小的卷积层，多核卷积神经网络模块303通过三个不同大小的卷积核设置分支，对上一层输出的特征图进行进一步提取，最后将32个分支进行拼接处理，输出层304将输出结果与输入结果相加作为最终输出。
图4为本申请实施列提供的一种多核权重模块Multi Core Weight(MCW)示意图。整个多核权重模块MCW主要由Split、Fuse、Select三部分组成。
Split部分对原特征图经过不同大小的卷积核部分进行卷积的过程，其中包括3个分支，对输入X使用不同大小卷积核分别进行3×3、5×5和7×7大小的卷积操作。
Fuse部分计算每个卷积核权重的部分，并将三部分的特征图进行Low-rankTensor Fusion(LTF)融合，LTF将W分解成3组与W1、W2和W3相关的low-rank因子。
将每一个权重W视为h个矩阵，其中秩为r时，卷积核权重个数为m时，每个Wk矩阵表示如下：
最后由多卷积权重特征Z融合成h维特征，每个模态分别构建r个权重矩阵，融合后对各模态特征进行矩阵乘法，得到一个h维的特征，然后将各卷积权重得到的h维特征进行像素级乘法，可以得到融合后的特征h为：
将融合后的特征h输入至全局平均池化生成通道统计信息，得到维度为C*1的特征Sc。
接下来经过全连接层生成紧凑特征z，具体操作为RELU激活函数，B表示批数据标准化(BN)，W维度为d×C，d为全连接后的特征维度，L为z的维度，r为压缩因子。z与d的表达式如下：
z＝fc(Sc)＝Relu(B(Ws)) (5)
d＝max(C/r,L) (6)
Select部分是根据不同权重卷积核计算后得到的新的特征图的过程，主要通过softmax层来计算每个卷积核的权重，最后通过拼接求和操作得到最终融合特征。
图5为本申请实例提供的一种基于MultiModal Vision Transformer的人脸活体检测方法。根据传统Transformer结构引入多模态Transformer框架，并通过LTF融合机制将各模态特征向量融合得到最终结果。具体步骤示如下：
S501：接收包含人脸区域的可见光、深度和红外图像；
S502：对接收到的图像进行预处理操作，实现人脸图像切块和图像块嵌入；
S503：将上述人脸可见光、深度和红外三个模态的特征向量输入至构建的MultiModal Vision Transformer中进行学习，得到学习后的三个模态的特征矩阵；
S504：将三个特征矩阵输入至Low-rank Tensor Fusion中进行融合，得到三个模态融合的特征；
S505：将融合过的特征输入至softmax层进行分类。
在步骤S502中，对接收到的图像进行切块和图像块嵌入操作，对于一个H×W×C大小的图像，要将其分成P×P×C大小的图像块(patches)，则会有N＝H×W/P×P个patches，全部patches的维度为N×P×P×C。然后将每个patch进行展平，相应的数据维度就为N×(P×P×C)，其中N可以为输入到Transformer的序列长度，C为输入图像的通道数，P为一个图像patch的大小。
要将N×(P×P×C)的向量维度，转化为N×D大小的二维输入，需要经过图像块嵌入操作(patch embedding)。图像块嵌入是一种将高维向量转化为低维向量的方式，具体操作就是对每一个展平后的patch向量做一个线性变换，即经过一个其输入大小为P×P×C，输出大小为D全连接层E，使得降维后的维度为D；具体计算公式如下：
为了保持输入图像块之间的空间位置信息，需要对图像块嵌入中添加一个位置编码向量，如上述公式中的Epos。
在S503中，可见光图像特征向量对应的模态为x，深度图像特征向量对应的模态为y，红外图像特征向量对应的模态为z。
将模态x的Key向量、Value向量和Query向量分别记为Kx、Vx和Qx；将模态y的Key向量、Value向量和Query向量分别记为Ky、Vx和Qy；将模态z的Key向量、Value向量和Query向量分别记为Kz、Vz和Qz。
计算Kx中每一个向量与Qy中每一个向量的点积来获取可见光模态与深度模态的相关性，也就是矩阵相乘Kx的转置，其中dk是Kx的维度，下一步通过softmax函数，转变为分布在[0,1]区间的矩阵；具体计算公式如下：
重复上述操作，计算每一次操作的head；具体计算公式如下：
headi＝Attention(QyWi Q,KxWi K,VxWi V) (9)
其中Wi Q表示计算第i个head时Qy的权重，Wi K表示计算第i个head时Kx的权重，Wi V表示计算第i个head时Vx的权重，i＝1,2,3……n，n为重复操作次数。
将n次重复结果进行拼接可以得到模态x与模态y经过Multi-head Self-attention后的结果；具体计算公式如下：
MultiHead(Qy,Kx,Vx)＝concat(head1,head2,……,headn)WO (10)
在计算出模态x与模态y经过Multi-head Self-attention的结果后，将Kx、Vx和Qz与Ky、Vy和Qz按照R3.2至R3.4操作，计算模态x与模态z、模态y与模态z经过Multi-headSelf-attention后的结果。
将上述三个模态间的计算结果输入至Low-rank Tensor Fusion(LTF)融合来得到低维特征信息；并通过笛卡尔积获得三维张量融合的结果，表示如下：
将上述融合后的张量输入全连接层和非线性激活函数组成的前向传播层FeedForward Network(FFN)；将融合后的张量输入至全连接层和非线性激活函数组成的前向传播层进行一次残差变换和LayerNorm归一化变换，得到可见光特征向量对应学习后的特征矩阵FRGB，计算公式如下：
FRGB＝LayerNorm(v+Residual(v)) (12)
其中，LayerNorm()表示层次归一化操作，Residual()表示残差变换操作。
深度特征向量对应模态y，按照上述步骤，得到深度特征向量对应的特征矩阵FDepth。
红外特征向量对应模态z，按照步骤上述步骤，得到红外特征向量对应的特征矩阵FIR。
至此三个模态数据经过三个MultiModal Vision Transformer结构后，得到三个特征矩阵FRGB、FDepth、FIR、最后通过特征拼接得到融合特征。
将上述两种结构融合后的特征输入至分类层，获得多核卷积神经网络和MViT两种结构的人脸活体检测二分类结果，并运用分类投票法输出两种模型中出现最多的预测结果。
上述实施例通过Multi Core Weight模块和MultiModal Vision Transformer结构进行三种模态的融合，解决了传统人脸活体检测方法准确率低，泛化性较差等问题。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种人脸活体检测方法，其特征在于，包括如下步骤：
步骤一：接收包含人脸区域的可见光、深度和红外图像；
步骤二：对人脸可见光、深度和红外图像进行预处理操作，提取可见光、深度和红外三种模态特征向量，实现人脸图像增强；
步骤三：将所述三种模态人脸图像输入至经训练的多核卷积神经网络中，对所述三种模态的学习结果进行LTF融合，将融合特征输入至分类层实现人脸活体检测得到人脸检测结果，或从所述三种模态向量中任意选取两个进行组合，得到三个组合，将所述三个组合输入至MultiModal Vision Transformer结构中，对所述三个模态的学习结果进行融合，将融合特征输入至分类层实现人脸活体检测，得到人脸检测结果。
2.根据权利要求1所述的人脸活体检测方法，其特征在于，将所述人脸检测结果进行分类投票，并根据所述投票结果输出预测结果。
3.根据权利要求1所述的人脸活体检测方法，其特征在于，所述多核卷积神经网络包括输入层、卷积层、池化层、全连接层、softmax层与输出层；其中输入层用于对有效人脸深度图像进行格式及大小的调整；卷积层用于获取融合特征，其包括多个多核权重分支构成，每个分支包括三个不同大小的卷积操作与一个多核权重模块；所述融合特征经过所述池化层及全连接层后，所述softmax层预测得到的向量输出，用于人脸活体二分类判别。
4.根据权利要求1所述的人脸活体检测方法，其特征在于，所述LTF融合方法包括：
对原特征图经过三个不同大小卷积的分支进行卷积操作；
计算每个卷积核权重部分，并将三部分的特征图进行所述LTF融合，所述LTF融合将权重分解成多组与各分支权重相关的因子，并将每个权重表示成矩阵形式：
由多卷积权重特征融合得到h维特征：
将所述融合特征h经过全局平均池化生成信道信息：
将所述信道信息经过全连接层生成紧凑特征z：
z＝fc(Sc)＝Relu(B(Ws))；
通过softmax层来计算每个卷积核的权重，最后通过拼接求和操作得到最终融合特征。
5.根据权利要求1所述的人脸活体检测方法，其特征在于，对所述接收到的图像进行预处理操作，实现人脸图像切块和图像块嵌入。
6.根据权利要求5所述的人脸活体检测方法，其特征在于，将一个H×W×C大小的图像，要将其分成N个P×P×C大小的图像块；经过所述图像块嵌入操作，将N×(P×P×C)的向量维度图像降低维度后得到维度为D的图像：
其中Epos为位置编码向量，可见光图像特征向量对应的模态为x，深度图像特征向量对应的模态为y，红外图像特征向量对应的模态为z。
7.根据权利要求6所述的人脸活体检测方法，其特征在于，计算所述模态x的key向量与所述模态y的query向量的积获得可见光模态与深度模态的相关性；将所述相关性转变为分布在[0,1]区间的矩阵：
8.根据权利要求7所述的人脸活体检测方法，其特征在于，重复执行所述相关性的计算，获得每一次计算的head：
headi＝Attention(QyWi Q,KxWi K,VxWi V)；
将n次重复结果进行拼接得到所述模态x与所述模态y经过Multi-head Self-attention后的结果：
MultiHead(Qy,Kx,Vx)＝concat(head1,head2,……,headn)WO。
9.根据权利要求8所述的人脸活体检测方法，其特征在于，获得所述模态x与所述模态z、所述模态y与所述模态z经过所述Multi-headSelf-attention后的结果。
10.根据权利要求8-9任一所述的人脸活体检测方法，其特征在于，将所述经过Multi-head Self-attention后的结果经过LTF融合得到低维特征信息，根据所述低维特征信息获得三维张量融合结果；根据所述三维张量的融合结果得到可见光特征向量、深度特征向量以及红外特征向量对应学习后的特征矩阵；将所述特征矩阵输入分类层，运用分类投票方法输出预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210928331.6A CN115731593A (zh) | 2022-08-03 | 2022-08-03 | 一种人脸活体检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210928331.6A CN115731593A (zh) | 2022-08-03 | 2022-08-03 | 一种人脸活体检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115731593A true CN115731593A (zh) | 2023-03-03 |
Family
ID=85292663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210928331.6A Pending CN115731593A (zh) | 2022-08-03 | 2022-08-03 | 一种人脸活体检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115731593A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116866211A (zh) * | 2023-06-26 | 2023-10-10 | 中国信息通信研究院 | 一种改进的深度合成检测方法和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109684924A (zh) * | 2018-11-21 | 2019-04-26 | 深圳奥比中光科技有限公司 | 人脸活体检测方法及设备 |
| CN113705400A (zh) * | 2021-08-18 | 2021-11-26 | 中山大学 | 一种基于多模态人脸训练的单模态人脸活体检测方法 |
| CN113806609A (zh) * | 2021-09-26 | 2021-12-17 | 郑州轻工业大学 | 一种基于mit和fsm的多模态情感分析方法 |
| CN114841319A (zh) * | 2022-04-29 | 2022-08-02 | 哈尔滨工程大学 | 一种基于多尺度自适应卷积核的多光谱图像变化检测方法 |
-
2022
- 2022-08-03 CN CN202210928331.6A patent/CN115731593A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109684924A (zh) * | 2018-11-21 | 2019-04-26 | 深圳奥比中光科技有限公司 | 人脸活体检测方法及设备 |
| CN113705400A (zh) * | 2021-08-18 | 2021-11-26 | 中山大学 | 一种基于多模态人脸训练的单模态人脸活体检测方法 |
| CN113806609A (zh) * | 2021-09-26 | 2021-12-17 | 郑州轻工业大学 | 一种基于mit和fsm的多模态情感分析方法 |
| CN114841319A (zh) * | 2022-04-29 | 2022-08-02 | 哈尔滨工程大学 | 一种基于多尺度自适应卷积核的多光谱图像变化检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| WEIBIN GAO ET AL: ""Deep Neural Networks for Sensor-Based Human Activity Recognition Using Selective Kernel Convolution"", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》 * |
| ZHUN LIU ET AL: ""Efficient Low-rank Multimodal Fusion with Modality-Specific Factors"", 《ARXIV:1806.00064V1》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116866211A (zh) * | 2023-06-26 | 2023-10-10 | 中国信息通信研究院 | 一种改进的深度合成检测方法和系统 |
| CN116866211B (zh) * | 2023-06-26 | 2024-02-23 | 中国信息通信研究院 | 一种改进的深度合成检测方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
| CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
| CN112766158B (zh) | 基于多任务级联式人脸遮挡表情识别方法 | |
| CN109543602B (zh) | 一种基于多视角图像特征分解的行人再识别方法 | |
| CN111444881A (zh) | 伪造人脸视频检测方法和装置 | |
| CN112686331B (zh) | 伪造图像识别模型训练方法及伪造图像识别方法 | |
| CN112488205B (zh) | 基于优化kpca算法的神经网络图像分类识别方法 | |
| CN110543846A (zh) | 一种基于生成对抗网络的多姿态人脸图像正面化方法 | |
| Tsai et al. | Deep learning for printed document source identification | |
| CN112418041B (zh) | 一种基于人脸正面化的多姿态人脸识别方法 | |
| CN111783748A (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
| KR20210025020A (ko) | 의사 이미지들을 이용한 얼굴 이미지 인식 | |
| CN109740539B (zh) | 基于超限学习机和融合卷积网络的3d物体识别方法 | |
| CN114202740A (zh) | 一种基于多尺度特征融合的行人重识别方法 | |
| Owusu et al. | Face detection based on multilayer feed‐forward neural network and haar features | |
| CN115482595B (zh) | 一种基于语义分割的特定人物视觉伪造检测与鉴别方法 | |
| CN116052212A (zh) | 一种基于双重自监督学习的半监督跨模态行人重识别方法 | |
| CN117351550A (zh) | 基于有监督对比学习的网格自注意力人脸表情识别方法 | |
| CN114694089A (zh) | 一种新型的多模态融合的行人重识别算法 | |
| CN115731574A (zh) | 基于中间模态的参数共享和特征学习的跨模态行人重识别方法 | |
| CN115731593A (zh) | 一种人脸活体检测方法 | |
| Szankin et al. | Influence of thermal imagery resolution on accuracy of deep learning based face recognition | |
| CN112560824B (zh) | 一种基于多特征自适应融合的人脸表情识别方法 | |
| CN109886160A (zh) | 一种非限定条件下的人脸识别方法 | |
| JP7258375B2 (ja) | ユーザのバイオメトリック特性を有する画像中の物体を識別して、画像のうちバイオメトリック特性を含む部分を他の部分から分離することにより当該ユーザのｉｄを検証するための方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20230303 |