CN114360032B - 一种多态不变性人脸识别方法及系统 - Google Patents
一种多态不变性人脸识别方法及系统 Download PDFInfo
- Publication number
- CN114360032B CN114360032B CN202210260556.9A CN202210260556A CN114360032B CN 114360032 B CN114360032 B CN 114360032B CN 202210260556 A CN202210260556 A CN 202210260556A CN 114360032 B CN114360032 B CN 114360032B
- Authority
- CN
- China
- Prior art keywords
- face
- feature map
- mapping
- feature
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013507 mapping Methods 0.000 claims abstract description 235
- 238000000605 extraction Methods 0.000 claims abstract description 103
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 170
- 238000004364 calculation method Methods 0.000 claims description 98
- 210000003205 muscle Anatomy 0.000 claims description 42
- 238000005070 sampling Methods 0.000 claims description 23
- 238000010586 diagram Methods 0.000 claims description 22
- 238000011176 pooling Methods 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 12
- 230000004931 aggregating effect Effects 0.000 claims description 5
- 238000005094 computer simulation Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000005283 ground state Effects 0.000 description 6
- 101150024075 Mapk1 gene Proteins 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000001097 facial muscle Anatomy 0.000 description 2
- 101100149325 Escherichia coli (strain K12) setC gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种多态不变性人脸识别方法及系统，涉及人脸识别领域，所述方法包括：将获取到的目标人物的人脸图像输入人脸不变性特征提取模型中，得到目标人脸特征；根据所述目标人脸特征进行身份识别。所述人脸不变性特征提取模型是采用包括相关态人脸对和非相关态人脸对的训练集对特征计算模型进行训练得到的，其中，特征计算模型包括依次连接的向量映射层、向量冗余去除层和特征提取层，特征提取层是基于卷积和注意力机制，采用多层感知器实现的。本发明能实现对扭曲人脸的识别，提高人脸识别的安全性和便捷性。
Description
技术领域
本发明涉及人脸识别领域，特别是涉及一种多态不变性人脸识别方法及系统。
背景技术
人脸识别技术在各行业应用广泛，但人脸识别仍存在诸多不便之处。当对面部肌肉变化较大的扭曲人脸进行识别时，存在人脸识别率低的现象，使得人脸识别系统无法及时、有效地对人身份进行核验。如何从采集到的人脸的多种模态信息中简单、快速地识别出是否是为本人，提升人脸识别系统的安全性与便捷性，一直是业界亟待解决的问题。
发明内容
基于此，本发明实施例提供一种多态不变性人脸识别方法及系统，以实现对扭曲人脸的识别，提高人脸识别的安全性和便捷性。
为实现上述目的，本发明提供了如下方案：
一种多态不变性人脸识别方法，包括：
获取目标人物的人脸图像；
将所述目标人物的人脸图像输入人脸不变性特征提取模型中，得到目标人脸特征；
根据所述目标人脸特征进行身份识别；
其中，所述人脸不变性特征提取模型的确定方法为：
获取训练集；所述训练集包括相关态人脸对和非相关态人脸对；所述相关态人脸对包括同一个人的无肌肉扭曲的人脸图像和有肌肉扭曲的人脸图像；所述非相关态人脸对包括一个人的无肌肉扭曲的人脸图像和另一个人的有肌肉扭曲的人脸图像；
构建特征计算模型；所述特征计算模型包括依次连接的向量映射层、向量冗余去除层和特征提取层；所述向量映射层用于对所述训练集进行非线性映射，得到人脸对映射矩阵；所述向量冗余去除层用于对所述人脸对映射矩阵进行采样，得到人脸对映射更新矩阵；所述特征提取层用于基于卷积和注意力机制，采用多层感知器对所述人脸对映射更新矩阵进行特征提取，得到所述训练集的多态不变特征；
将所述训练集输入所述特征计算模型中，以相关态人脸对的多态不变特征之间的距离小于非相关态人脸对的多态不变特征之间的距离为目标进行训练，并将训练好的特征计算模型确定为所述不变性特征提取模型。
可选的，所述根据所述目标人脸特征进行身份识别，具体包括：
获取预先存储的人物的人脸图像；所述预先存储的人物的人脸图像为无肌肉扭曲的人脸图像；
对所述预先存储的人物的人脸图像进行特征提取，得到预存人脸特征；
将所述目标人脸特征与所述预存人脸特征进行对比，以确定所述目标人物是否为所述预先存储的人物。
可选的，所述向量映射层，具体包括：第一映射层、第二映射层和第三映射层；
所述第一映射层用于对所述训练集进行键值非线性映射，得到键值人脸对映射矩阵；
所述第二映射层用于对所述训练集进行查询非线性映射，得到查询人脸对映射矩阵；
所述第三映射层用于对所述训练集进行等值非线性映射，得到等值人脸对映射矩阵；所述人脸对映射矩阵包括所述键值人脸对映射矩阵、所述查询人脸对映射矩阵和所述等值人脸对映射矩阵。
可选的，所述向量冗余去除层，具体包括：第一冗余去除层、第二冗余去除层和第三冗余去除层；
所述第一冗余去除层用于采用池化方法对所述键值人脸对映射矩阵进行最大值下采样，得到键值人脸对映射更新矩阵；
所述第二冗余去除层用于采用池化方法对所述查询人脸对映射矩阵进行最大值下采样，得到查询人脸对映射更新矩阵；
所述第三冗余去除层用于采用池化方法对所述等值人脸对映射矩阵进行最大值下采样，得到等值人脸对映射更新矩阵；所述人脸对映射更新矩阵包括所述键值人脸对映射更新矩阵、所述查询人脸对映射更新矩阵和所述等值人脸对映射更新矩阵。
可选的，所述特征提取层，具体包括：基础不变特征提取层、中级不变特征提取层、高级不变特征提取层和多级特征融合层；
所述基础不变特征提取层用于：
对所述键值人脸对映射更新矩阵、所述查询人脸对映射更新矩阵和所述等值人脸对映射更新矩阵分别进行卷积计算，得到第一键值特征图、第一查询特征图以及第一等值特征图；
对所述键值人脸对映射更新矩阵、所述查询人脸对映射更新矩阵和所述等值人脸对映射更新矩阵进行注意力计算，得到第一注意力特征图；
对所述第一键值特征图、所述第一查询特征图、所述第一等值特征图和所述第一注意力特征图进行拼接，得到第一拼接特征图；
采用三层感知器对所述第一拼接特征图进行特征提取，得到基础不变性特征向量；
将所述训练集与所述基础不变性特征向量进行残差连接，得到更新后的基础不变性特征向量；
对所述更新后的基础不变性特征向量进行自注意力计算，得到基础不变性特征；
所述中级不变特征提取层用于：
对所述第一键值特征图、所述第一查询特征图和所述第一等值特征图分别进行卷积计算，得到第二键值特征图、第二查询特征图以及第二等值特征图；
对所述第一键值特征图、所述第一查询特征图和所述第一等值特征图进行注意力计算，得到第二注意力特征图；
对所述第二键值特征图、所述第二查询特征图、所述第二等值特征图和所述第二注意力特征图进行拼接，得到第二拼接特征图；
采用三层感知器对所述第二拼接特征图进行特征提取，得到中级不变性特征向量；
将所述训练集与所述中级不变性特征向量进行残差连接，得到更新后的中级不变性特征向量；
对所述更新后的中级不变性特征向量进行自注意力计算，得到中级不变性特征；
所述高级不变特征提取层，用于：
对所述第二键值特征图、所述第二查询特征图和所述第二等值特征图分别进行卷积计算，得到第三键值特征图、第三查询特征图以及第三等值特征图；
对所述第二键值特征图、所述第二查询特征图和所述第二等值特征图进行注意力计算，得到第三注意力特征图；
对所述第三键值特征图、所述第三查询特征图、所述第三等值特征图和所述第三注意力特征图进行拼接，得到第三拼接特征图；
采用三层感知器对所述第三拼接特征图进行特征提取，得到高级不变性特征向量；
将所述训练集与所述高级不变性特征向量进行残差连接，得到更新后的高级不变性特征向量；
对所述更新后的高级不变性特征向量进行自注意力计算，得到高级不变性特征；
所述多级特征融合层，用于：
采用加权求和的方式对所述基础不变性特征、所述中级不变性特征和所述高级不变性特征进行聚合，得到所述训练集的多态不变特征。
本发明还提供了一种多态不变性人脸识别系统，包括：
图像获取模块，用于获取目标人物的人脸图像；
特征提取模块，用于将所述目标人物的人脸图像输入人脸不变性特征提取模型中，得到目标人脸特征；
特征识别模块，用于根据所述目标人脸特征进行身份识别；
模型确定模块，用于确定所述人脸不变性特征提取模型；所述模型确定模块，具体包括：
训练集获取单元，用于获取训练集；所述训练集包括相关态人脸对和非相关态人脸对；所述相关态人脸对包括同一个人的无肌肉扭曲的人脸图像和有肌肉扭曲的人脸图像；所述非相关态人脸对包括一个人的无肌肉扭曲的人脸图像和另一个人的有肌肉扭曲的人脸图像；
计算模型构建单元，用于构建特征计算模型；所述特征计算模型包括依次连接的向量映射层、向量冗余去除层和特征提取层；所述向量映射层用于对所述训练集进行非线性映射，得到人脸对映射矩阵；所述向量冗余去除层用于对所述人脸对映射矩阵进行采样，得到人脸对映射更新矩阵；所述特征提取层用于基于卷积和注意力机制，采用多层感知器对所述人脸对映射更新矩阵进行特征提取，得到所述训练集的多态不变特征；
训练单元，用于将所述训练集输入所述特征计算模型中，以相关态人脸对的多态不变特征之间的距离小于非相关态人脸对的多态不变特征之间的距离为目标进行训练，并将训练好的特征计算模型确定为所述不变性特征提取模型。
可选的，所述特征识别模块，具体包括：
标准图像获取单元，用于获取预先存储的人物的人脸图像；所述预先存储的人物的人脸图像为无肌肉扭曲的人脸图像；
标准图像特征提取单元，用于对所述预先存储的人物的人脸图像进行特征提取，得到预存人脸特征；
比对单元，用于将所述目标人脸特征与所述预存人脸特征进行对比，以确定所述目标人物是否为所述预先存储的人物。
可选的，所述计算模型构建单元中的所述向量映射层，具体包括：第一映射层、第二映射层和第三映射层；
所述第一映射层用于对所述训练集进行键值非线性映射，得到键值人脸对映射矩阵；
所述第二映射层用于对所述训练集进行查询非线性映射，得到查询人脸对映射矩阵；
所述第三映射层用于对所述训练集进行等值非线性映射，得到等值人脸对映射矩阵；所述人脸对映射矩阵包括所述键值人脸对映射矩阵、所述查询人脸对映射矩阵和所述等值人脸对映射矩阵。
可选的，所述计算模型构建单元中的所述向量冗余去除层，具体包括：第一冗余去除层、第二冗余去除层和第三冗余去除层；
所述第一冗余去除层用于采用池化方法对所述键值人脸对映射矩阵进行最大值下采样，得到键值人脸对映射更新矩阵；
所述第二冗余去除层用于采用池化方法对所述查询人脸对映射矩阵进行最大值下采样，得到查询人脸对映射更新矩阵；
所述第三冗余去除层用于采用池化方法对所述等值人脸对映射矩阵进行最大值下采样，得到等值人脸对映射更新矩阵；所述人脸对映射更新矩阵包括所述键值人脸对映射更新矩阵、所述查询人脸对映射更新矩阵和所述等值人脸对映射更新矩阵。
可选的，所述计算模型构建单元中的所述特征提取层，具体包括：基础不变特征提取层、中级不变特征提取层、高级不变特征提取层和多级特征融合层；
所述基础不变特征提取层用于：
对所述键值人脸对映射更新矩阵、所述查询人脸对映射更新矩阵和所述等值人脸对映射更新矩阵分别进行卷积计算，得到第一键值特征图、第一查询特征图以及第一等值特征图；
对所述键值人脸对映射更新矩阵、所述查询人脸对映射更新矩阵和所述等值人脸对映射更新矩阵进行注意力计算，得到第一注意力特征图；
对所述第一键值特征图、所述第一查询特征图、所述第一等值特征图和所述第一注意力特征图进行拼接，得到第一拼接特征图；
采用三层感知器对所述第一拼接特征图进行特征提取，得到基础不变性特征向量；
将所述训练集与所述基础不变性特征向量进行残差连接，得到更新后的基础不变性特征向量；
对所述更新后的基础不变性特征向量进行自注意力计算，得到基础不变性特征；
所述中级不变特征提取层用于：
对所述第一键值特征图、所述第一查询特征图和所述第一等值特征图分别进行卷积计算，得到第二键值特征图、第二查询特征图以及第二等值特征图；
对所述第一键值特征图、所述第一查询特征图和所述第一等值特征图进行注意力计算，得到第二注意力特征图；
对所述第二键值特征图、所述第二查询特征图、所述第二等值特征图和所述第二注意力特征图进行拼接，得到第二拼接特征图；
采用三层感知器对所述第二拼接特征图进行特征提取，得到中级不变性特征向量；
将所述训练集与所述中级不变性特征向量进行残差连接，得到更新后的中级不变性特征向量；
对所述更新后的中级不变性特征向量进行自注意力计算，得到中级不变性特征；
所述高级不变特征提取层，用于：
对所述第二键值特征图、所述第二查询特征图和所述第二等值特征图分别进行卷积计算，得到第三键值特征图、第三查询特征图以及第三等值特征图；
对所述第二键值特征图、所述第二查询特征图和所述第二等值特征图进行注意力计算，得到第三注意力特征图；
对所述第三键值特征图、所述第三查询特征图、所述第三等值特征图和所述第三注意力特征图进行拼接，得到第三拼接特征图；
采用三层感知器对所述第三拼接特征图进行特征提取，得到高级不变性特征向量；
将所述训练集与所述高级不变性特征向量进行残差连接，得到更新后的高级不变性特征向量；
对所述更新后的高级不变性特征向量进行自注意力计算，得到高级不变性特征；
所述多级特征融合层，用于：
采用加权求和的方式对所述基础不变性特征、所述中级不变性特征和所述高级不变性特征进行聚合，得到所述训练集的多态不变特征。
与现有技术相比，本发明的有益效果是：
本发明实施例提出了一种多态不变性人脸识别方法及系统，通过人脸不变性特征提取模型提取目标人脸特征，从而实现对目标人物的身份识别，其中，人脸不变性特征提取模型是采用包括相关态人脸对和非相关态人脸对的训练集对特征计算模型进行训练得到的，特征计算模型是提取多态人脸不变性特征的网络架构，特征计算模型包括依次连接的向量映射层、向量冗余去除层和特征提取层，特征提取层基于卷积和注意力机制，采用多层感知器实现人脸图像中不变因素的提取，从而得到多态不变特征。因此，本发明能实现对扭曲人脸的识别，提高人脸识别的安全性和便捷性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的多态不变性人脸识别方法的流程图；
图2为本发明实施例提供的多态不变性人脸识别系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
在人脸识别领域，目前一般采用人脸关键点的方法进行识别，这种情况下，允许面部肌肉发生小幅度变化，但对于面部扭曲较夸张的人脸，人脸关键点会发生移位，导致以关键点为原理的识别技术识别效率低，甚至无法进行识别，而本实施例提出的多态不变性人脸识别方法主要解决面部肌肉多态势扭曲下的特征不变性人脸识别问题，从底层原理上优于其他相似技术。
图1为本发明实施例提供的多态不变性人脸识别方法的流程图。参见图1，本实施例的多态不变性人脸识别方法，包括：
步骤101：获取目标人物的人脸图像。
步骤102：将所述目标人物的人脸图像输入人脸不变性特征提取模型中，得到目标人脸特征。
步骤103：根据所述目标人脸特征进行身份识别。
其中，步骤102中所述人脸不变性特征提取模型的确定方法为：
1）获取训练集；所述训练集包括相关态人脸对和非相关态人脸对；所述相关态人脸对包括同一个人的无肌肉扭曲的人脸图像和有肌肉扭曲的人脸图像；所述非相关态人脸对包括一个人的无肌肉扭曲的人脸图像和另一个人的有肌肉扭曲的人脸图像。具体包括：
①构造人脸基态与多态集
将无肌肉扭曲的人脸图像作为多态人脸对中的基态
，
表示尺寸为h×w×c的人脸集合空间，h表示高度，w表示宽度，c表示通道数。
将人脸中的有不同程度的肌肉扭曲的人脸图像作为人脸多态集
，F m l 表示人脸多态集中第l个程度的肌肉扭曲的人脸图像。
②构造相关态人脸对与非相关态人脸对，得到训练集
将同一人的人脸基态与其多态集中的人脸相匹配，形成相关态人脸对
，F b i 表示人物i的人脸基态（无肌肉扭曲的人脸图像），F m li 表示人脸多态集中人物i的第l个程度的肌肉扭曲的人脸图像。
将一个人的人脸基态与其他人的多态集中的人脸相匹配，形成非相关态人脸对
，i≠j。其中，F m lj 表示人脸多态集中人物j的第l个程度的肌肉扭曲的人脸图像。
构造人脸对
，即得到训练集。具体的，人脸对的形成方式为人脸图像矩阵在通道上的concat拼接操作，
，
。
表示尺寸为h×w×c×2的人脸集合空间。
2）构建特征计算模型；所述特征计算模型包括依次连接的向量映射层、向量冗余去除层和特征提取层；所述向量映射层用于对所述训练集进行非线性映射，得到人脸对映射矩阵；所述向量冗余去除层用于对所述人脸对映射矩阵进行采样，得到人脸对映射更新矩阵；所述特征提取层用于基于卷积和注意力机制，采用多层感知器对所述人脸对映射更新矩阵进行特征提取，得到所述训练集的多态不变特征。
所述向量映射层，具体包括：第一映射层、第二映射层和第三映射层。
所述第一映射层用于对所述训练集中的人脸对
进行键值非线性映射，得到键值人脸对映射矩阵P K ；映射方法为P K =Normalize(W K P)，W K 表示键值人脸对映射矩阵（待训练参数），Normalize为归一化操作。
所述第二映射层用于对所述训练集中的人脸对P进行查询非线性映射，得到查询人脸对映射矩阵P Q ；映射方法为P Q =Normalize(W Q P)，W Q 表示查询人脸对映射矩阵（待训练参数）。
所述第三映射层用于对所述训练集中的人脸对P进行等值非线性映射，得到等值人脸对映射矩阵P V ；映射方法为P V =Normalize(W V P)，W V 表示等值人脸对映射矩阵（待训练参数）。
所述人脸对映射矩阵包括所述键值人脸对映射矩阵P K 、所述查询人脸对映射矩阵P Q 和所述等值人脸对映射矩阵。
由于训练集中的人脸对中的基态人脸与多态人脸的拼接，导致冗余特征产生，因此采用池化（pooling）方法进行最大值下采样，这样既去除了冗余特征，又减小了计算复杂度。因此，设计所述向量冗余去除层，具体包括：第一冗余去除层、第二冗余去除层和第三冗余去除层。
所述第一冗余去除层用于采用池化方法（如2×2的采样核）对所述键值人脸对映射矩阵进行最大值下采样，得到键值人脸对映射更新矩阵P K1=MaxPooling(P K )。
所述第二冗余去除层用于采用池化方法对所述查询人脸对映射矩阵进行最大值下采样，得到查询人脸对映射更新矩阵P Q1：=MaxPooling(P Q )。
所述第三冗余去除层用于采用池化方法对所述等值人脸对映射矩阵进行最大值下采样，得到等值人脸对映射更新矩阵P V1：=MaxPooling(P V )。
所述人脸对映射更新矩阵包括所述键值人脸对映射更新矩阵P K1、所述查询人脸对映射更新矩阵P Q1和所述等值人脸对映射更新矩阵P V1。
下面对人脸对映射更新矩阵进行convattention计算，Convattention的计算机制为对输入的人脸对映射更新矩阵并行计算卷积convolution与注意力attention。因此。设计所述特征提取层，具体包括：基础不变特征提取层、中级不变特征提取层、高级不变特征提取层和多级特征融合层。
所述基础不变特征提取层用于：
采用1×1的卷积核，对所述键值人脸对映射更新矩阵P K1、所述查询人脸对映射更新矩阵P Q1和所述等值人脸对映射更新矩阵P V1分别进行卷积计算，得到第一键值特征图K 1=Conv(P K1)、第一查询特征图Q 1=Conv(P Q1)以及第一等值特征图V 1=Conv(P V1)。同时，对所述键值人脸对映射更新矩阵P K1、所述查询人脸对映射更新矩阵P Q1和所述等值人脸对映射更新矩阵P V1进行注意力计算，得到第一注意力特征图Attention(P Q1 P K1 P V1)。其中，
，其中，d表示P K1、P Q1和P V1的维度。
对所述第一键值特征图K 1、所述第一查询特征图Q 1、所述第一等值特征图V 1和所述第一注意力特征图Attention(P Q1 P K1 P V1)进行拼接，得到第一拼接特征图T 1，T 1=Concat[Conv(P Q1)：Conv(P K1)：Conv(P V1)：Attention(P Q1 P K1 P V1)]。
采用三层感知器对所述第一拼接特征图进行特征提取，得到基础不变性特征向量M 1=MLP(T 1)。
将所述训练集中的人脸对P与所述基础不变性特征向量M 1进行残差连接，得到更新后的基础不变性特征向量M 1:=M 1+P。
对所述更新后的基础不变性特征向量进行自注意力计算，得到基础不变性特征C 1（即第一次convattention计算的最终结果）。其中，
，其中，Self表示自注意力计算，d c 表示M 1的维度。
所述中级不变特征提取层重复与基础不变特征提取相同的步骤，所述中级不变特征提取层以所述第一键值特征图K 1、所述第一查询特征图Q 1、所述第一等值特征图V 1为输入，替代所述键值人脸对映射更新矩阵P K1、所述查询人脸对映射更新矩阵P Q1和所述等值人脸对映射更新矩阵P V1，进行相同步骤的计算，得到第二键值特征图K 2、所述第二查询特征图Q 2、所述第二等值特征图V 2，以及进行第二次convattention计算，得到计算结果，即中级不变性特征C 2。
具体的所述中级不变特征提取层，用于：
对所述第一键值特征图K 1、所述第一查询特征图Q 1、所述第一等值特征图V 1分别进行卷积计算，得到第二键值特征图K 2、第二查询特征图Q 2、第二等值特征图V 2。
对所述第一键值特征图K 1、所述第一查询特征图Q 1、所述第一等值特征图V 1进行注意力计算，得到第二注意力特征图。
对所述第二键值特征图、所述第二查询特征图、所述第二等值特征图和所述第二注意力特征图进行拼接，得到第二拼接特征图。
采用三层感知器对所述第二拼接特征图进行特征提取，得到中级不变性特征向量。
将所述训练集与所述中级不变性特征向量进行残差连接，得到更新后的中级不变性特征向量。
对所述更新后的中级不变性特征向量进行自注意力计算，得到中级不变性特征。
所述高级不变特征提取层重复与基础不变特征提取相同的步骤，所述高级不变特征提取层以所述第二键值特征图K 2、所述第二查询特征图Q 2、所述第二等值特征图V 2为输入，替代所述第一键值特征图K 1、所述第一查询特征图Q 1、所述第一等值特征图V 1，进行相同步骤的计算，得到第三键值特征图K 3、所述第二查询特征图Q 3、所述第二等值特征图V 3，以及进行第三次convattention计算，得到计算结果，即高级不变性特征C 3。
具体的，所述高级不变特征提取层，用于：
对所述高级不变特征提取层以所述第二键值特征图K 2、所述第二查询特征图Q 2分别进行卷积计算，得到第三键值特征图、第三查询特征图以及第三等值特征图。
对所述高级不变特征提取层以所述第二键值特征图K 2、所述第二查询特征图Q 2进行注意力计算，得到第三注意力特征图。
对所述第三键值特征图、所述第三查询特征图、所述第三等值特征图和所述第三注意力特征图进行拼接，得到第三拼接特征图。
采用三层感知器对所述第三拼接特征图进行特征提取，得到高级不变性特征向量。
将所述训练集与所述高级不变性特征向量进行残差连接，得到更新后的高级不变性特征向量。
对所述更新后的高级不变性特征向量进行自注意力计算，得到高级不变性特征。
所述多级特征融合层，用于：
采用加权求和的方式对所述基础不变性特征C 1、所述中级不变性特征C 2和所述高级不变性特征C 3进行聚合，得到所述训练集的多态不变特征C。具体的：
C=αC 1+βC 2+γC 3，且α+β+γ=1。其中，为α、β、γ均为待训练超参数。
3）将所述训练集输入所述特征计算模型中，以相关态人脸对的多态不变特征之间的距离小于非相关态人脸对的多态不变特征之间的距离为目标进行训练，并将训练好的特征计算模型确定为所述不变性特征提取模型。具体的：
W K 、W Q 、W V 、α、β、γ的选取要满足：相关态人脸对的多态不变特征之间的距离小于非相关态人脸对的多态不变特征之间的距离，其计算公式为：
其中，步骤103，具体包括：
1）获取预先存储的人物的人脸图像；所述预先存储的人物的人脸图像为无肌肉扭曲的人脸图像。
2）对所述预先存储的人物的人脸图像进行特征提取，得到预存人脸特征。
3）将所述目标人脸特征与所述预存人脸特征进行对比，以确定所述目标人物是否为所述预先存储的人物。
本实施例的多态不变性人脸识别方法提出的convattention机制，通过构造一种新的提取多态人脸不变性特征的网络架构，对摄像头采集的人脸进行多态下的偏移特征提取，得到偏移特征，再采用多层感知器分析其中的不变因素，得到多态不变特征C，可以高准确率比对肌肉无扭曲的人脸基态与发生扭曲后的人脸多态，即实现了有无扭曲肌肉人脸下的不变特征提取，从而判别出人脸图像是否为本人。本发明实施例解决了多态人脸下的识别准确率问题，提出的高效计算机制convattention，通过计算扭曲人脸下的不变性特征，实现与基态人脸的对比，提升了目前识别效率低的问题。
本发明还提供了一种多态不变性人脸识别系统，图2为本发明实施例提供的多态不变性人脸识别系统的结构图。参见图2，所述系统，包括：
图像获取模块201，用于获取目标人物的人脸图像。
模型确定模块202，用于确定所述人脸不变性特征提取模型。
特征提取模块203，用于将所述目标人物的人脸图像输入人脸不变性特征提取模型中，得到目标人脸特征。
特征识别模块204，用于根据所述目标人脸特征进行身份识别。
其中，所述模型确定模块202，具体包括：
训练集获取单元，用于获取训练集；所述训练集包括相关态人脸对和非相关态人脸对；所述相关态人脸对包括同一个人的无肌肉扭曲的人脸图像和有肌肉扭曲的人脸图像；所述非相关态人脸对包括一个人的无肌肉扭曲的人脸图像和另一个人的有肌肉扭曲的人脸图像。
计算模型构建单元，用于构建特征计算模型；所述特征计算模型包括依次连接的向量映射层、向量冗余去除层和特征提取层；所述向量映射层用于对所述训练集进行非线性映射，得到人脸对映射矩阵；所述向量冗余去除层用于对所述人脸对映射矩阵进行采样，得到人脸对映射更新矩阵；所述特征提取层用于基于卷积和注意力机制，采用多层感知器对所述人脸对映射更新矩阵进行特征提取，得到所述训练集的多态不变特征。
训练单元，用于将所述训练集输入所述特征计算模型中，以相关态人脸对的多态不变特征之间的距离小于非相关态人脸对的多态不变特征之间的距离为目标进行训练，并将训练好的特征计算模型确定为所述不变性特征提取模型。
在一个示例中，所述特征识别模块204，具体包括：
标准图像获取单元，用于获取预先存储的人物的人脸图像；所述预先存储的人物的人脸图像为无肌肉扭曲的人脸图像。
标准图像特征提取单元，用于对所述预先存储的人物的人脸图像进行特征提取，得到预存人脸特征。
比对单元，用于将所述目标人脸特征与所述预存人脸特征进行对比，以确定所述目标人物是否为所述预先存储的人物。
在一个示例中，所述计算模型构建单元中的所述向量映射层，具体包括：第一映射层、第二映射层和第三映射层。
所述第一映射层用于对所述训练集进行键值非线性映射，得到键值人脸对映射矩阵。
所述第二映射层用于对所述训练集进行查询非线性映射，得到查询人脸对映射矩阵。
所述第三映射层用于对所述训练集进行等值非线性映射，得到等值人脸对映射矩阵；所述人脸对映射矩阵包括所述键值人脸对映射矩阵、所述查询人脸对映射矩阵和所述等值人脸对映射矩阵。
在一个示例中，所述计算模型构建单元中的所述向量冗余去除层，具体包括：第一冗余去除层、第二冗余去除层和第三冗余去除层。
所述第一冗余去除层用于采用池化方法对所述键值人脸对映射矩阵进行最大值下采样，得到键值人脸对映射更新矩阵。
所述第二冗余去除层用于采用池化方法对所述查询人脸对映射矩阵进行最大值下采样，得到查询人脸对映射更新矩阵。
所述第三冗余去除层用于采用池化方法对所述等值人脸对映射矩阵进行最大值下采样，得到等值人脸对映射更新矩阵；所述人脸对映射更新矩阵包括所述键值人脸对映射更新矩阵、所述查询人脸对映射更新矩阵和所述等值人脸对映射更新矩阵。
在一个示例中，所述计算模型构建单元中的所述特征提取层，具体包括：基础不变特征提取层、中级不变特征提取层、高级不变特征提取层和多级特征融合层。
所述基础不变特征提取层用于：
对所述键值人脸对映射更新矩阵、所述查询人脸对映射更新矩阵和所述等值人脸对映射更新矩阵分别进行卷积计算，得到第一键值特征图、第一查询特征图以及第一等值特征图。
对所述键值人脸对映射更新矩阵、所述查询人脸对映射更新矩阵和所述等值人脸对映射更新矩阵进行注意力计算，得到第一注意力特征图。
对所述第一键值特征图、所述第一查询特征图、所述第一等值特征图和所述第一注意力特征图进行拼接，得到第一拼接特征图。
采用三层感知器对所述第一拼接特征图进行特征提取，得到基础不变性特征向量。
将所述训练集与所述基础不变性特征向量进行残差连接，得到更新后的基础不变性特征向量。
对所述更新后的基础不变性特征向量进行自注意力计算，得到基础不变性特征。
所述中级不变特征提取层用于：
对所述第一键值特征图、所述第一查询特征图和所述第一等值特征图分别进行卷积计算，得到第二键值特征图、第二查询特征图以及第二等值特征图；
对所述第一键值特征图、所述第一查询特征图和所述第一等值特征图进行注意力计算，得到第二注意力特征图。
对所述第二键值特征图、所述第二查询特征图、所述第二等值特征图和所述第二注意力特征图进行拼接，得到第二拼接特征图。
采用三层感知器对所述第二拼接特征图进行特征提取，得到中级不变性特征向量。
将所述训练集与所述中级不变性特征向量进行残差连接，得到更新后的中级不变性特征向量。
对所述更新后的中级不变性特征向量进行自注意力计算，得到中级不变性特征。
所述高级不变特征提取层，用于：
对所述第二键值特征图、所述第二查询特征图和所述第二等值特征图分别进行卷积计算，得到第三键值特征图、第三查询特征图以及第三等值特征图。
对所述第二键值特征图、所述第二查询特征图和所述第二等值特征图进行注意力计算，得到第三注意力特征图。
对所述第三键值特征图、所述第三查询特征图、所述第三等值特征图和所述第三注意力特征图进行拼接，得到第三拼接特征图。
采用三层感知器对所述第三拼接特征图进行特征提取，得到高级不变性特征向量。
将所述训练集与所述高级不变性特征向量进行残差连接，得到更新后的高级不变性特征向量。
对所述更新后的高级不变性特征向量进行自注意力计算，得到高级不变性特征。
所述多级特征融合层，用于：
采用加权求和的方式对所述基础不变性特征、所述中级不变性特征和所述高级不变性特征进行聚合，得到所述训练集的多态不变特征。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (4)
1.一种多态不变性人脸识别方法，其特征在于，包括：
获取目标人物的人脸图像；
将所述目标人物的人脸图像输入人脸不变性特征提取模型中，得到目标人脸特征；
根据所述目标人脸特征进行身份识别；
其中，所述人脸不变性特征提取模型的确定方法为：
获取训练集；所述训练集包括相关态人脸对和非相关态人脸对；所述相关态人脸对包括同一个人的无肌肉扭曲的人脸图像和有肌肉扭曲的人脸图像；所述非相关态人脸对包括一个人的无肌肉扭曲的人脸图像和另一个人的有肌肉扭曲的人脸图像；
构建特征计算模型；所述特征计算模型包括依次连接的向量映射层、向量冗余去除层和特征提取层；所述向量映射层用于对所述训练集进行非线性映射，得到人脸对映射矩阵；所述向量冗余去除层用于对所述人脸对映射矩阵进行采样，得到人脸对映射更新矩阵；所述特征提取层用于基于卷积和注意力机制，采用多层感知器对所述人脸对映射更新矩阵进行特征提取，得到所述训练集的多态不变特征；
将所述训练集输入所述特征计算模型中，以相关态人脸对的多态不变特征之间的距离小于非相关态人脸对的多态不变特征之间的距离为目标进行训练，并将训练好的特征计算模型确定为所述不变性特征提取模型；
所述向量映射层，具体包括：第一映射层、第二映射层和第三映射层；
所述第一映射层用于对所述训练集进行键值非线性映射，得到键值人脸对映射矩阵；
所述第二映射层用于对所述训练集进行查询非线性映射，得到查询人脸对映射矩阵；
所述第三映射层用于对所述训练集进行等值非线性映射，得到等值人脸对映射矩阵；所述人脸对映射矩阵包括所述键值人脸对映射矩阵、所述查询人脸对映射矩阵和所述等值人脸对映射矩阵；
所述向量冗余去除层，具体包括：第一冗余去除层、第二冗余去除层和第三冗余去除层；
所述第一冗余去除层用于采用池化方法对所述键值人脸对映射矩阵进行最大值下采样，得到键值人脸对映射更新矩阵；
所述第二冗余去除层用于采用池化方法对所述查询人脸对映射矩阵进行最大值下采样，得到查询人脸对映射更新矩阵；
所述第三冗余去除层用于采用池化方法对所述等值人脸对映射矩阵进行最大值下采样，得到等值人脸对映射更新矩阵；所述人脸对映射更新矩阵包括所述键值人脸对映射更新矩阵、所述查询人脸对映射更新矩阵和所述等值人脸对映射更新矩阵；
所述特征提取层，具体包括：基础不变特征提取层、中级不变特征提取层、高级不变特征提取层和多级特征融合层；
所述基础不变特征提取层用于：
对所述键值人脸对映射更新矩阵、所述查询人脸对映射更新矩阵和所述等值人脸对映射更新矩阵分别进行卷积计算，得到第一键值特征图、第一查询特征图以及第一等值特征图；
对所述键值人脸对映射更新矩阵、所述查询人脸对映射更新矩阵和所述等值人脸对映射更新矩阵进行注意力计算，得到第一注意力特征图；
对所述第一键值特征图、所述第一查询特征图、所述第一等值特征图和所述第一注意力特征图进行拼接，得到第一拼接特征图；
采用三层感知器对所述第一拼接特征图进行特征提取，得到基础不变性特征向量；
将所述训练集与所述基础不变性特征向量进行残差连接，得到更新后的基础不变性特征向量；
对所述更新后的基础不变性特征向量进行自注意力计算，得到基础不变性特征；
所述中级不变特征提取层用于：
对所述第一键值特征图、所述第一查询特征图和所述第一等值特征图分别进行卷积计算，得到第二键值特征图、第二查询特征图以及第二等值特征图；
对所述第一键值特征图、所述第一查询特征图和所述第一等值特征图进行注意力计算，得到第二注意力特征图；
对所述第二键值特征图、所述第二查询特征图、所述第二等值特征图和所述第二注意力特征图进行拼接，得到第二拼接特征图；
采用三层感知器对所述第二拼接特征图进行特征提取，得到中级不变性特征向量；
将所述训练集与所述中级不变性特征向量进行残差连接，得到更新后的中级不变性特征向量；
对所述更新后的中级不变性特征向量进行自注意力计算，得到中级不变性特征；
所述高级不变特征提取层，用于：
对所述第二键值特征图、所述第二查询特征图和所述第二等值特征图分别进行卷积计算，得到第三键值特征图、第三查询特征图以及第三等值特征图；
对所述第二键值特征图、所述第二查询特征图和所述第二等值特征图进行注意力计算，得到第三注意力特征图；
对所述第三键值特征图、所述第三查询特征图、所述第三等值特征图和所述第三注意力特征图进行拼接，得到第三拼接特征图；
采用三层感知器对所述第三拼接特征图进行特征提取，得到高级不变性特征向量；
将所述训练集与所述高级不变性特征向量进行残差连接，得到更新后的高级不变性特征向量；
对所述更新后的高级不变性特征向量进行自注意力计算，得到高级不变性特征；
所述多级特征融合层，用于：
采用加权求和的方式对所述基础不变性特征、所述中级不变性特征和所述高级不变性特征进行聚合，得到所述训练集的多态不变特征。
2.根据权利要求1所述的一种多态不变性人脸识别方法，其特征在于，所述根据所述目标人脸特征进行身份识别，具体包括：
获取预先存储的人物的人脸图像；所述预先存储的人物的人脸图像为无肌肉扭曲的人脸图像；
对所述预先存储的人物的人脸图像进行特征提取，得到预存人脸特征；
将所述目标人脸特征与所述预存人脸特征进行对比，以确定所述目标人物是否为所述预先存储的人物。
3.一种多态不变性人脸识别系统，其特征在于，包括：
图像获取模块，用于获取目标人物的人脸图像；
特征提取模块，用于将所述目标人物的人脸图像输入人脸不变性特征提取模型中，得到目标人脸特征；
特征识别模块，用于根据所述目标人脸特征进行身份识别；
模型确定模块，用于确定所述人脸不变性特征提取模型；所述模型确定模块，具体包括：
训练集获取单元，用于获取训练集；所述训练集包括相关态人脸对和非相关态人脸对；所述相关态人脸对包括同一个人的无肌肉扭曲的人脸图像和有肌肉扭曲的人脸图像；所述非相关态人脸对包括一个人的无肌肉扭曲的人脸图像和另一个人的有肌肉扭曲的人脸图像；
计算模型构建单元，用于构建特征计算模型；所述特征计算模型包括依次连接的向量映射层、向量冗余去除层和特征提取层；所述向量映射层用于对所述训练集进行非线性映射，得到人脸对映射矩阵；所述向量冗余去除层用于对所述人脸对映射矩阵进行采样，得到人脸对映射更新矩阵；所述特征提取层用于基于卷积和注意力机制，采用多层感知器对所述人脸对映射更新矩阵进行特征提取，得到所述训练集的多态不变特征；
训练单元，用于将所述训练集输入所述特征计算模型中，以相关态人脸对的多态不变特征之间的距离小于非相关态人脸对的多态不变特征之间的距离为目标进行训练，并将训练好的特征计算模型确定为所述不变性特征提取模型；
所述计算模型构建单元中的所述向量映射层，具体包括：第一映射层、第二映射层和第三映射层；
所述第一映射层用于对所述训练集进行键值非线性映射，得到键值人脸对映射矩阵；
所述第二映射层用于对所述训练集进行查询非线性映射，得到查询人脸对映射矩阵；
所述第三映射层用于对所述训练集进行等值非线性映射，得到等值人脸对映射矩阵；所述人脸对映射矩阵包括所述键值人脸对映射矩阵、所述查询人脸对映射矩阵和所述等值人脸对映射矩阵；
所述计算模型构建单元中的所述向量冗余去除层，具体包括：第一冗余去除层、第二冗余去除层和第三冗余去除层；
所述第一冗余去除层用于采用池化方法对所述键值人脸对映射矩阵进行最大值下采样，得到键值人脸对映射更新矩阵；
所述第二冗余去除层用于采用池化方法对所述查询人脸对映射矩阵进行最大值下采样，得到查询人脸对映射更新矩阵；
所述第三冗余去除层用于采用池化方法对所述等值人脸对映射矩阵进行最大值下采样，得到等值人脸对映射更新矩阵；所述人脸对映射更新矩阵包括所述键值人脸对映射更新矩阵、所述查询人脸对映射更新矩阵和所述等值人脸对映射更新矩阵；
所述计算模型构建单元中的所述特征提取层，具体包括：基础不变特征提取层、中级不变特征提取层、高级不变特征提取层和多级特征融合层；
所述基础不变特征提取层用于：
对所述键值人脸对映射更新矩阵、所述查询人脸对映射更新矩阵和所述等值人脸对映射更新矩阵分别进行卷积计算，得到第一键值特征图、第一查询特征图以及第一等值特征图；
对所述键值人脸对映射更新矩阵、所述查询人脸对映射更新矩阵和所述等值人脸对映射更新矩阵进行注意力计算，得到第一注意力特征图；
对所述第一键值特征图、所述第一查询特征图、所述第一等值特征图和所述第一注意力特征图进行拼接，得到第一拼接特征图；
采用三层感知器对所述第一拼接特征图进行特征提取，得到基础不变性特征向量；
将所述训练集与所述基础不变性特征向量进行残差连接，得到更新后的基础不变性特征向量；
对所述更新后的基础不变性特征向量进行自注意力计算，得到基础不变性特征；
所述中级不变特征提取层用于：
对所述第一键值特征图、所述第一查询特征图和所述第一等值特征图分别进行卷积计算，得到第二键值特征图、第二查询特征图以及第二等值特征图；
对所述第一键值特征图、所述第一查询特征图和所述第一等值特征图进行注意力计算，得到第二注意力特征图；
对所述第二键值特征图、所述第二查询特征图、所述第二等值特征图和所述第二注意力特征图进行拼接，得到第二拼接特征图；
采用三层感知器对所述第二拼接特征图进行特征提取，得到中级不变性特征向量；
将所述训练集与所述中级不变性特征向量进行残差连接，得到更新后的中级不变性特征向量；
对所述更新后的中级不变性特征向量进行自注意力计算，得到中级不变性特征；
所述高级不变特征提取层，用于：
对所述第二键值特征图、所述第二查询特征图和所述第二等值特征图分别进行卷积计算，得到第三键值特征图、第三查询特征图以及第三等值特征图；
对所述第二键值特征图、所述第二查询特征图和所述第二等值特征图进行注意力计算，得到第三注意力特征图；
对所述第三键值特征图、所述第三查询特征图、所述第三等值特征图和所述第三注意力特征图进行拼接，得到第三拼接特征图；
采用三层感知器对所述第三拼接特征图进行特征提取，得到高级不变性特征向量；
将所述训练集与所述高级不变性特征向量进行残差连接，得到更新后的高级不变性特征向量；
对所述更新后的高级不变性特征向量进行自注意力计算，得到高级不变性特征；
所述多级特征融合层，用于：
采用加权求和的方式对所述基础不变性特征、所述中级不变性特征和所述高级不变性特征进行聚合，得到所述训练集的多态不变特征。
4.根据权利要求3所述的一种多态不变性人脸识别系统，其特征在于，所述特征识别模块，具体包括：
标准图像获取单元，用于获取预先存储的人物的人脸图像；所述预先存储的人物的人脸图像为无肌肉扭曲的人脸图像；
标准图像特征提取单元，用于对所述预先存储的人物的人脸图像进行特征提取，得到预存人脸特征；
比对单元，用于将所述目标人脸特征与所述预存人脸特征进行对比，以确定所述目标人物是否为所述预先存储的人物。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210260556.9A CN114360032B (zh) | 2022-03-17 | 2022-03-17 | 一种多态不变性人脸识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210260556.9A CN114360032B (zh) | 2022-03-17 | 2022-03-17 | 一种多态不变性人脸识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114360032A CN114360032A (zh) | 2022-04-15 |
| CN114360032B true CN114360032B (zh) | 2022-07-12 |
Family
ID=81094410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210260556.9A Active CN114360032B (zh) | 2022-03-17 | 2022-03-17 | 一种多态不变性人脸识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114360032B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114817888A (zh) * | 2022-06-27 | 2022-07-29 | 中国信息通信研究院 | 证书登记和颁发方法、装置与存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418074A (zh) * | 2020-11-20 | 2021-02-26 | 重庆邮电大学 | 一种基于自注意力的耦合姿态人脸识别方法 |
| CN112507995A (zh) * | 2021-02-05 | 2021-03-16 | 成都东方天呈智能科技有限公司 | 一种跨模型人脸特征向量的转换系统及方法 |
| CN112801069A (zh) * | 2021-04-14 | 2021-05-14 | 四川翼飞视科技有限公司 | 一种人脸关键特征点检测装置、方法和存储介质 |
| CN112818850A (zh) * | 2021-02-01 | 2021-05-18 | 华南理工大学 | 基于渐进式神经网络和注意力机制的跨姿态人脸识别方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11734955B2 (en) * | 2017-09-18 | 2023-08-22 | Board Of Trustees Of Michigan State University | Disentangled representation learning generative adversarial network for pose-invariant face recognition |
| US20200410210A1 (en) * | 2018-03-12 | 2020-12-31 | Carnegie Mellon University | Pose invariant face recognition |
| CN112800937B (zh) * | 2021-01-26 | 2023-09-05 | 华南理工大学 | 一种智能人脸识别方法 |
| CN112801015B (zh) * | 2021-02-08 | 2023-03-24 | 华南理工大学 | 一种基于注意力机制的多模态人脸识别方法 |
| CN113536990A (zh) * | 2021-06-29 | 2021-10-22 | 复旦大学 | 深度伪造人脸数据鉴别方法 |
| CN114067385B (zh) * | 2021-10-09 | 2024-05-31 | 华南理工大学 | 基于度量学习的跨模态人脸检索哈希方法 |
-
2022
- 2022-03-17 CN CN202210260556.9A patent/CN114360032B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418074A (zh) * | 2020-11-20 | 2021-02-26 | 重庆邮电大学 | 一种基于自注意力的耦合姿态人脸识别方法 |
| CN112818850A (zh) * | 2021-02-01 | 2021-05-18 | 华南理工大学 | 基于渐进式神经网络和注意力机制的跨姿态人脸识别方法 |
| CN112507995A (zh) * | 2021-02-05 | 2021-03-16 | 成都东方天呈智能科技有限公司 | 一种跨模型人脸特征向量的转换系统及方法 |
| CN112801069A (zh) * | 2021-04-14 | 2021-05-14 | 四川翼飞视科技有限公司 | 一种人脸关键特征点检测装置、方法和存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| AAformer:Auto-Aligned Transformer for Person Re-Identification;Kuan Zhu 等;《arXiv》;20210910;第1-9页 * |
| Age-Invariant Face Recognition by Multi-Feature Fusion and Decomposition with Self-Attention;Chenggang Yan 等;《ACM Transactions on Multimedia Computing，Communications,and Applications》;20220125;第18卷(第1期);第1-18页 * |
| Attention Is All You Need;Ashish Vaswani 等;《arXiv》;20171206;第1-11页 * |
| Audiomer:A Convolutional Transformer for Keyword Spotting;Surya Kant Sahu 等;《arXiv》;20210921;第1-7页 * |
| 基于自注意力网络的多模态人脸反欺骗;孔超;《现代计算机》;20210228;第82-85、90页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114360032A (zh) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107506740B (zh) | 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法 | |
| CN109840556B (zh) | 一种基于孪生网络的图像分类识别方法 | |
| CN110390340B (zh) | 特征编码模型、视觉关系检测模型的训练方法及检测方法 | |
| CN108427921A (zh) | 一种基于卷积神经网络的人脸识别方法 | |
| CN108345827B (zh) | 识别文档方向的方法、系统和神经网络 | |
| CN112926396A (zh) | 一种基于双流卷积注意力的动作识别方法 | |
| CN111695415A (zh) | 图像识别模型的构建方法、识别方法及相关设备 | |
| JP6127219B2 (ja) | 顔画像のデータから顔特徴を抽出する方法、およびシステム | |
| CN110929080B (zh) | 基于注意力和生成对抗网络的光学遥感图像检索方法 | |
| TW202141358A (zh) | 圖像修復方法及裝置、存儲介質、終端 | |
| CN113628059A (zh) | 一种基于多层图注意力网络的关联用户识别方法及装置 | |
| JP2010157118A (ja) | パターン識別装置及びパターン識別装置の学習方法ならびにコンピュータプログラム | |
| TWI803243B (zh) | 圖像擴增方法、電腦設備及儲存介質 | |
| CN114360032B (zh) | 一种多态不变性人脸识别方法及系统 | |
| CN114419406A (zh) | 图像变化检测方法、训练方法、装置和计算机设备 | |
| CN114565092A (zh) | 一种神经网络结构确定方法及其装置 | |
| CN110610140B (zh) | 人脸识别模型的训练方法、装置、设备及可读存储介质 | |
| CN111079930A (zh) | 数据集质量参数的确定方法、装置及电子设备 | |
| CN117237858B (zh) | 一种回环检测方法 | |
| CN110796182A (zh) | 一种少量样本的票据分类方法及系统 | |
| CN112818818B (zh) | 一种基于affpn的新型超高清遥感图像变化检测方法 | |
| CN117992919A (zh) | 基于机器学习和多气象模态融合的河流洪水预警方法 | |
| CN116883773A (zh) | 基于知识迁移的图像异常检测方法、系统、终端及介质 | |
| CN116758092A (zh) | 图像分割方法、装置、电子设备及存储介质 | |
| CN115953902A (zh) | 一种基于多视图时空图卷积网络的交通流预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Song Bo Inventor after: Wang Die Inventor after: Zhao Hui Inventor after: Liu Chong Inventor after: Dong Feng Inventor before: Song Bo Inventor before: Wang Die Inventor before: Zhao Hui |