CN112507995B - 一种跨模型人脸特征向量的转换系统及方法 - Google Patents

一种跨模型人脸特征向量的转换系统及方法 Download PDF

Info

Publication number
CN112507995B
CN112507995B CN202110159566.9A CN202110159566A CN112507995B CN 112507995 B CN112507995 B CN 112507995B CN 202110159566 A CN202110159566 A CN 202110159566A CN 112507995 B CN112507995 B CN 112507995B
Authority
CN
China
Prior art keywords
layer
network
module
training
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110159566.9A
Other languages
English (en)
Other versions
CN112507995A (zh
Inventor
闫超
黄俊洁
韩强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Dongfang Tiancheng Intelligent Technology Co ltd
Original Assignee
Chengdu Dongfang Tiancheng Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Dongfang Tiancheng Intelligent Technology Co ltd filed Critical Chengdu Dongfang Tiancheng Intelligent Technology Co ltd
Priority to CN202110159566.9A priority Critical patent/CN112507995B/zh
Publication of CN112507995A publication Critical patent/CN112507995A/zh
Application granted granted Critical
Publication of CN112507995B publication Critical patent/CN112507995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种跨模型人脸特征向量的转换系统及方法，通过网络训练模块将训练数据集中的输入样本输入网络模型进行训练得到训练后的网络模型。所述网络模型由卷积网络部分和变形注意力机制网络部分组成；将源特征向量输入卷积网络部分并得到深度卷积特征，将人脸图像输入变形注意力机制网络部分并提取得到人脸图像的深度特征；然后将深度卷积特征与人脸图像的深度特征进行拼接融合，得到表达能力更强的特征图并进行分类转换。本发明通过搭建双分支深度神经网络学习源特征向量与目标特征向量之间的转换关系，同时使用人脸图像作为辅助，改善了主任务训练过程中的信息丢失的问题，增加了网络模型的泛化性，有效提高了转换成功率。

Description

一种跨模型人脸特征向量的转换系统及方法
技术领域
本发明属于人脸识别的技术领域，具体涉及一种跨模型人脸特征向量的转换系统及方法。
背景技术
在大数据时代中，随着深度学习技术的迅猛崛起，不断衍生出令人惊奇的人工智能设备，使得人们的生活更加便捷，与此同时出现了许多的个人信息交换，这让人们开始重点关注个人信息的安全性。有了人们信息安全性的需求，各种身份验证技术应运而生，如人脸识别、瞳孔识别、指纹识别等等，应用场景非常广泛。
在许多生物识别技术中人脸识别凭着成本低、非接触性等优势脱颖而出。人脸识别是利用人类面部特征信息进行分类识别的一项技术，从现在技术发展来看，基于深度学习的人脸识别技术成为主流技术流派，这类方法采用深度神经网络提取人脸图像的特征信息，较于传统技术使用的手工特征，深度神经网络提取的特征信息具有更为丰富的语义信息，并且泛化能力更强。利用人脸识别技术落地生产的产品广泛被使用在安全防护、系统验证、门禁验证等等场景中，给用户们带来友好的使用体验，提高用户的生活效率。
目前，不同的人脸识别设备会采用不同的人脸识别算法提取人脸图像的特征向量，这样会导致特征向量不通用，一旦特征向量更换，对应的人脸识别设备也需修改部署方案，造成便捷性降低，大大浪费人力资源。因此，需要提出一种易用性强、操作简单的人脸特征向量转换方式，解决跨模型使用人脸特征向量出现的不通用的问题。
发明内容
本发明的目的在于提供一种跨模型人脸特征向量的转换系统，本发明使用人脸图像作为辅助，改善主任务训练过程中的信息丢失的问题，增加网络模型的泛化性，可以有效提高转换成功率。本发明的目的还在于提供一种跨模型人脸特征向量的转换方法，旨在解决上述问题。
本发明通过以下技术方案实现：
一种跨模型人脸特征向量的转换系统，包括数据提取模块、网络训练模块、转换模块；所述数据提取模块用于收集人脸图像数据集、源特征向量以及目标特征向量；标注人脸图像数据集的身份类别并形成训练数据集，所述训练数据集的训练样本为人脸图像数据与源特征向量；
所述网络训练模块用于将训练数据集输入网络模型进行训练并得到训练后的网络模型；所述网络模型由卷积网络部分和变形注意力机制网络部分组成；所述网络训练模块用于将训练数据集中的源特征向量、人脸图像数据对应输入到网络模型中的卷积网络部分、变形注意力机制网络部分进行训练；
所述转换模块用于将待转换的人脸特征向量输入网络训练模块中训练后的网络模型，并输出转换后的人脸特征向量。
所述网络训练模块用于将源特征向量输入卷积网络部分并得到深度卷积特征，并将人脸图像数据输入变形注意力机制网络部分并提取得到人脸图像的深度特征；然后将网络训练模块输出的深度卷积特征与人脸图像的深度特征分别输入特征拼接层进行拼接融合。
为了更好地实现本发明，进一步地，所述变形注意力机制网络部分包括依次设置的卷积层、多头注意力机制模块、批归一化层、全连接层、激活函数层，所述卷积层用于将图像下采样提高语义性；所述多头注意力机制模块用于将卷积特征分片，并提取每片特征之间的关系信息。
为了更好地实现本发明，进一步地，所述变形注意力机制网络部分由从前至后依次设置的第一集成模块、位置嵌入向量层、第二集成模块、批归一化层、全连接层、激活函数层、全连接层、激活函数层封装得到；所述第一集成模块、第二集成模块分别设置有若干个；所述第一集成模块与位置嵌入向量层相加后并与第二集成模块连接；所述第一集成模块由从前至后依次设置的卷积层、批归一化层、激活函数层组成，所述第二集成模块由重组向量层、多头注意力机制模块、特征相加层、批归一化层组成。
为了更好地实现本发明，进一步地，所述多头注意力机制模块由依次设置的若干个第三集成模块以及特征拼接层、全连接层组成；若干个第三集成模块分别与特征拼接层连接，所述第三集成模块由从前至后设置的3个全连接层以及特征相乘层、特征向量开方层、柔性最大值层、特征相乘层构成，前2个全连接层分别输入特征相乘层处理，然后依次与特征向量开方层、柔性最大值层连接；最后与剩下的1个全连接层经过特征相乘层处理后输入特征拼接层。
为了更好地实现本发明，进一步地，所述卷积网络部分由10块从前至后依次设置的卷积层、批归一化层、激活函数层堆叠的块组成。
为了更好地实现本发明，进一步地，所述转换系统还包括特征拼接层、第一全连接层、第二全连接层、第三全连接层，所述卷积网络部分和变形注意力机制网络部分的输出端分别与特征拼接层连接，所述特征拼接层与第一全连接层连接，所述第一全连接层的输出端分别与第二全连接层、第三全连接层连接，所述第二全连接层、第三全连接层的输出端分别对应设置有分类类别损失函数、向量转换损失函数。
本发明主要通过以下技术方案实现：
一种跨模型人脸特征向量的转换方法，采用上述的转换系统进行转换，包括以下步骤：
步骤S100：收集人脸图像数据集、源特征向量以及目标特征向量；标注人脸图像数据集的身份类别并形成训练数据集；将人脸图像数据与源特征向量作为训练样本，且标注的身份类别作为真实标签值；
步骤S200：将训练样本输入网络模型进行训练，并计算网络模型的损失函数，并通过端到端的训练达到优化目的；
步骤S300：随机初始化网络模型的权重参数，并设定最大迭代次数，选择优化器优化损失值，重复计算，直至损失值收敛，网络模型性能最优，得到训练后的网络模型；
步骤S400：将待转换的人脸特征向量输入训练后的网络模型，并输出转换后的人脸特征向量。
为了更好地实现本发明，进一步地，所述步骤S200中的损失函数包括分类类别损失函数和向量转换损失函数；所述分类类别损失函数采用柔性最大值损失函数，用于计算预测身份类别与真实身份类别标签之间的损失值；所述向量转换损失函数是计算网络模型预测得到的特征向量与目标特征向量之间的余弦夹角损失值，并通过衰减余弦夹角损失值达到网络模型性能优化的目的。
为了更好地实现本发明，进一步地，所述步骤S300中利用预热余弦学习率下降法在迭代计算时衰减学习率，优化器为带牛顿动量的随机梯度下降法，且动量参数设为0.9；所述最大迭代次数为20000次，其中预热迭代次数预先设为1000次。
本发明利用卷积网络部分得到源特征向量的深度卷积特征，同时使用变形注意力机制网络部分提取人脸图像的深度特征，在网络模型的末端拼接成表达能力更强的特征图进行分类转换。所述的卷积网络部分主要是将特征向量映射更高维的特征空间中，增加非线性，利于网络模型学习到源特征向量和目标特征向量之间的映射关系；所述的变形注意力机制网络部分利用自注意力机制的并行性和能结合上下文提取特征的特性能获取语义更为丰富的人脸图像信息。本发明通过搭建双分支深度神经网络学习源特征向量与目标特征向量之间的转换关系，同时使用人脸图像作为辅助，改善主任务训练过程中的信息丢失的问题，增加网络模型的泛化性，有效提高转换成功率。
本发明的有益效果：
（1）本发明提出了将变形注意力机制引入人脸特征向量的转换流程中，通过搭建变形注意力机制网络部分可以充分提取人脸图像中可利用的局部信息和全局信息，大大提高模型的特征表达能力，提高模型的性能和泛化性；
（2）本发明通过搭建双分支深度神经网络学习源特征向量与目标特征向量之间的转换关系，同时使用人脸图像作为辅助，改善主任务训练过程中的信息丢失的问题，增加网络模型的泛化性，有效提高转换成功率。
附图说明
图1为本发明网络模型的网络结构示意图；
图2为变形注意力机制网络部分的结构示意图；
图3为多头注意力机制模块的结构示意图；
图4为卷积网络部分网络的结构示意图；
图5为本发明特征向量转换的流程图。
具体实施方式
实施例1：
一种跨模型人脸特征向量的转换系统，包括数据提取模块、网络训练模块、转换模块。
所述数据提取模块用于收集人脸图像数据集、源特征向量以及目标特征向量；标注人脸图像数据集的身份类别并形成训练数据集，将人脸图像数据与源特征向量作为训练样本，且标注的身份类别作为真实标签值；
所述网络训练模块用于将数据提取模块中的训练数据集中的输入样本输入网络模型进行训练得到训练后的网络模型；
所述转换模块用于将待转换的人脸特征向量输入网络训练模块中训练后的网络模型，并输出转换后的人脸特征向量。
如图1所示，所述网络模型由卷积网络部分和变形注意力机制网络部分组成；将源特征向量输入卷积网络部分并得到深度卷积特征，将人脸图像输入变形注意力机制网络部分并提取得到人脸图像的深度特征；然后将深度卷积特征与人脸图像的深度特征进行拼接融合，得到表达能力更强的特征图并进行分类转换。
本发明具有较高的易用性和可扩展性，本发明通过搭建双分支深度神经网络学习源特征向量与目标特征向量之间的转换关系，同时使用人脸图像作为辅助，改善主任务训练过程中的信息丢失的问题，增加网络模型的泛化性，提高转换成功率。
实施例2：
本实施例是在实施例1的基础上进行优化，所述变形注意力机制网络部分先利用卷积层将图像下采样提高语义性；再利用多头注意力机制模块将卷积特征分片，以提取每片特征之间的关系信息；最后经批归一化层、全连接层、激活函数层依次处理后与卷积网络部分拼接融合。
本发明提出了将变形注意力机制引入人脸特征向量的转换流程中，通过搭建变形注意力机制网络部分可以充分提取人脸图像中可利用的局部信息和全局信息，大大提高模型的特征表达能力，提高模型的性能和泛化性。
本实施例的其他部分与实施例1相同，故不再赘述。
实施例3：
本实施例是在实施例2的基础上进行优化，如图2所示，所述变形注意力机制网络部分由从前至后依次设置的第一集成模块、位置嵌入向量层、第二集成模块、批归一化层、全连接层、激活函数层、全连接层、激活函数层封装得到；所述第一集成模块、第二集成模块分别设置有若干个；所述第一集成模块与位置嵌入向量层相加有与第二集成模块连接；所述第一集成模块由从前至后依次设置的卷积层、批归一化层、激活函数层组成，所述第二集成模块由重组向量层、多头注意力机制模块、特征相加层、批归一化层组成。
进一步地，所述的激活函数层都采用修正线性单元层。
进一步地，如图3所示，所述多头注意力机制模块由若干个第三集成模块以及特征拼接层、全连接层组成；若干个第三集成模块分别与特征拼接层连接，所述第三集成模块由从前至后设置的3个全连接层以及特征相乘层、特征向量开方层、柔性最大值层、特征相乘层构成，前2个全连接层分别输入特征相乘层处理，然后依次与特征向量开方层、柔性最大值层连接；最后与剩下的1个全连接层经过特征相乘层处理后输入特征拼接层。
进一步地，如图4所示，卷积网络部分的结构是从前至后将卷积层、批归一化层、激活函数层堆叠成一块，共使用10块。
所述的卷积网络部分主要是将特征向量映射更高维的特征空间中，增加非线性，利于网络模型学习到源特征向量和目标特征向量之间的映射关系。所述的变形注意力机制网络部分利用自注意力机制的并行性和能结合上下文提取特征的特性能获取语义更为丰富的人脸图像信息。
本实施例的其他部分与上述实施例2相同，故不再赘述。
实施例4：
本实施例是在实施例2或3的基础上进行优化，如图1所示，还包括特征拼接层、第一全连接层、第二全连接层、第三全连接层，所述卷积网络部分和变形注意力机制网络部分的输出端分别与特征拼接层连接，所述特征拼接层与第一全连接层连接，所述第一全连接层的输出端分别与第二全连接层、第三全连接层连接，所述第二全连接层、第三全连接层的输出端分别对应设置有分类类别损失函数、向量转换损失函数。
本发明通过搭建双分支深度神经网络学习源特征向量与目标特征向量之间的转换关系，同时使用人脸图像作为辅助，改善主任务训练过程中的信息丢失的问题，增加网络模型的泛化性，有效提高转换成功率。
本实施例的其他部分与上述实施例2或3相同，故不再赘述。
实施例5：
一种跨模型人脸特征向量的转换方法，如图5所示，采用上述的转换系统进行转换，包括以下步骤：
步骤S100：收集人脸图像数据集、源特征向量以及目标特征向量；标注人脸图像数据集的身份类别并形成训练数据集；将人脸图像数据与源特征向量作为训练样本，且标注的身份类别作为真实标签值；
步骤S200：将训练样本输入网络模型进行训练，并计算网络模型的损失函数，并通过端到端的训练达到优化目的；
步骤S300：随机初始化网络模型的权重参数，并设定最大迭代次数，选择优化器优化损失值，重复计算，直至损失值收敛，网络模型性能最优，得到训练后的网络模型；
步骤S400：将待转换的人脸特征向量输入训练后的网络模型，并输出转换后的人脸特征向量。
进一步地，所述步骤S200中的损失函数包括分类类别损失函数和向量转换损失函数；所述分类类别损失函数采用柔性最大值损失函数，用于计算预测身份类别与真实身份类别标签之间的损失值；所述向量转换损失函数是计算网络模型预测得到的特征向量与目标特征向量之间的余弦夹角损失值，并通过衰减余弦夹角损失值达到网络模型性能优化的目的。
进一步地，所述步骤S300中利用预热余弦学习率下降法在迭代计算时衰减学习率，优化器为带牛顿动量的随机梯度下降法，且动量参数设为0.9；所述最大迭代次数为20000次，其中预热迭代次数预先设为1000次。
所述分类类别损失函数采用柔性最大值损失函数，计算公式如下：
Figure DEST_PATH_IMAGE001
公式中N为批次样本的处理大小，
Figure DEST_PATH_IMAGE002
为向量y中索引为i的真实标签值，而
Figure DEST_PATH_IMAGE003
是向量s中索引为i的预测概率值。
所述向量转换损失函数是计算模型预测得到的特征向量与目标特征向量之间的余弦夹角损失值，通过衰减余弦夹角损失值达到网络模型性能优化的目的，损失值计算公式为：
Figure DEST_PATH_IMAGE004
式中，N表示批处理样本的大小，
Figure DEST_PATH_IMAGE005
表示模型预测得到的索引为j的特征码向量，
Figure DEST_PATH_IMAGE006
表示索引为j的目标特征码向量。上标T表示为矩阵函数中的转置处理，为公知常识，故不再赘述。
又根据向量夹角余弦计算公式可得：
Figure DEST_PATH_IMAGE007
公式表示索引为j的源特征码预测得到的特征码与目标特征码之间的夹角
Figure DEST_PATH_IMAGE008
的余弦值，用该值可以表示向量之间的相似度，并约束
Figure DEST_PATH_IMAGE009
。
可重写映射损失函数的计算公式为：
Figure DEST_PATH_IMAGE010
公式中的
Figure DEST_PATH_IMAGE011
为模型预测得到的j类目标对应的角度，即源特征向量与目标特征向量之间的夹角。
在开始训练之前随机初始化网络模型的权重参数，设定相关的超参数和设定最大迭代次数，选择最优的优化器优化损失值，重复计算，直至损失值收敛，网络模型性能最优。
本发明通过搭建双分支深度神经网络学习源特征向量与目标特征向量之间的转换关系，同时使用人脸图像作为辅助，改善主任务训练过程中的信息丢失的问题，增加网络模型的泛化性，有效提高转换成功率。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (8)

1.一种跨模型人脸特征向量的转换系统，其特征在于，包括数据提取模块、网络训练模块、转换模块；所述数据提取模块用于收集人脸图像数据集、源特征向量以及目标特征向量；标注人脸图像数据集的身份类别并形成训练数据集，所述训练数据集的训练样本为人脸图像数据与源特征向量；
所述网络训练模块用于将训练数据集输入网络模型进行训练并得到训练后的网络模型；所述网络模型由卷积网络部分和变形注意力机制网络部分组成；所述网络训练模块用于将训练数据集中的源特征向量、人脸图像数据对应输入到网络模型中的卷积网络部分、变形注意力机制网络部分进行训练；
所述转换模块用于将待转换的人脸特征向量输入网络训练模块中训练后的网络模型，并输出转换后的人脸特征向量；
所述网络训练模块用于将源特征向量输入卷积网络部分并得到深度卷积特征，并将人脸图像数据输入变形注意力机制网络部分并提取得到人脸图像的深度特征；然后将网络训练模块输出的深度卷积特征与人脸图像的深度特征分别输入特征拼接层进行拼接融合；
所述变形注意力机制网络部分包括依次设置的卷积层、多头注意力机制模块、批归一化层、全连接层、激活函数层，所述卷积层用于将图像下采样提高语义性；所述多头注意力机制模块用于将卷积特征分片，并提取每片特征之间的关系信息。
2.根据权利要求1所述的一种跨模型人脸特征向量的转换系统，其特征在于，所述变形注意力机制网络部分由从前至后依次设置的第一集成模块、位置嵌入向量层、第二集成模块、批归一化层、全连接层、激活函数层、全连接层、激活函数层封装得到；所述第一集成模块、第二集成模块分别设置有若干个；所述第一集成模块与位置嵌入向量层相加后并与第二集成模块连接；所述第一集成模块由从前至后依次设置的卷积层、批归一化层、激活函数层组成，所述第二集成模块由重组向量层、多头注意力机制模块、特征相加层、批归一化层组成。
3.根据权利要求2所述的一种跨模型人脸特征向量的转换系统，其特征在于，所述多头注意力机制模块由依次设置的若干个第三集成模块以及特征拼接层、全连接层组成；若干个第三集成模块分别与特征拼接层连接，所述第三集成模块由从前至后设置的3个全连接层以及特征相乘层、特征向量开方层、柔性最大值层、特征相乘层构成，前2个全连接层分别输入特征相乘层处理，然后依次与特征向量开方层、柔性最大值层连接；最后与剩下的1个全连接层经过特征相乘层处理后输入特征拼接层。
4.根据权利要求1所述的一种跨模型人脸特征向量的转换系统，其特征在于，所述卷积网络部分由10块从前至后依次设置的卷积层、批归一化层、激活函数层堆叠的块组成。
5.根据权利要求1-4任一项所述的一种跨模型人脸特征向量的转换系统，其特征在于，所述转换系统还包括特征拼接层、第一全连接层、第二全连接层、第三全连接层，所述卷积网络部分和变形注意力机制网络部分的输出端分别与特征拼接层连接，所述特征拼接层与第一全连接层连接，所述第一全连接层的输出端分别与第二全连接层、第三全连接层连接，所述第二全连接层、第三全连接层的输出端分别对应设置有分类类别损失函数、向量转换损失函数。
6.一种跨模型人脸特征向量的转换方法，采用权利要求1-5任一项所述的转换系统进行转换，其特征在于，包括以下步骤：
步骤S100：收集人脸图像数据集、源特征向量以及目标特征向量；标注人脸图像数据集的身份类别并形成训练数据集；将人脸图像数据与源特征向量作为训练样本，且标注的身份类别作为真实标签值；
步骤S200：将训练样本输入网络模型进行训练，并计算网络模型的损失函数，并通过端到端的训练达到优化目的；
步骤S300：随机初始化网络模型的权重参数，并设定最大迭代次数，选择优化器优化损失值，重复计算，直至损失值收敛，网络模型性能最优，得到训练后的网络模型；
步骤S400：将待转换的人脸特征向量输入训练后的网络模型，并输出转换后的人脸特征向量。
7.根据权利要求6所述的一种跨模型人脸特征向量的转换方法，其特征在于，所述步骤S200中的损失函数包括分类类别损失函数和向量转换损失函数；所述分类类别损失函数采用柔性最大值损失函数，用于计算预测身份类别与真实身份类别标签之间的损失值；所述向量转换损失函数是计算网络模型预测得到的特征向量与目标特征向量之间的余弦夹角损失值，并通过衰减余弦夹角损失值达到网络模型性能优化的目的。
8.根据权利要求6所述的一种跨模型人脸特征向量的转换方法，其特征在于，所述步骤S300中利用预热余弦学习率下降法在迭代计算时衰减学习率，优化器为带牛顿动量的随机梯度下降法，且动量参数设为0.9；所述最大迭代次数为20000次，其中预热迭代次数预先设为1000次。
CN202110159566.9A 2021-02-05 2021-02-05 一种跨模型人脸特征向量的转换系统及方法 Active CN112507995B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110159566.9A CN112507995B (zh) 2021-02-05 2021-02-05 一种跨模型人脸特征向量的转换系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110159566.9A CN112507995B (zh) 2021-02-05 2021-02-05 一种跨模型人脸特征向量的转换系统及方法

Publications (2)

Publication Number Publication Date
CN112507995A CN112507995A (zh) 2021-03-16
CN112507995B true CN112507995B (zh) 2021-06-01

Family

ID=74953128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110159566.9A Active CN112507995B (zh) 2021-02-05 2021-02-05 一种跨模型人脸特征向量的转换系统及方法

Country Status (1)

Country Link
CN (1) CN112507995B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990328A (zh) * 2021-03-25 2021-06-18 北京百度网讯科技有限公司 特征融合方法、装置、设备、存储介质以及程序产品
CN112990116B (zh) * 2021-04-21 2021-08-06 四川翼飞视科技有限公司 基于多注意力机制融合的行为识别装置、方法和存储介质
CN113283313B (zh) * 2021-05-10 2022-10-11 长沙海信智能系统研究院有限公司 信息处理方法、装置及设备
CN112949618A (zh) * 2021-05-17 2021-06-11 成都市威虎科技有限公司 一种人脸特征码转换方法及装置和电子设备
CN113869285B (zh) * 2021-12-01 2022-03-04 四川博创汇前沿科技有限公司 一种人群密度估计装置、方法和存储介质
CN114360032B (zh) * 2022-03-17 2022-07-12 北京启醒科技有限公司 一种多态不变性人脸识别方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543606A (zh) * 2018-11-22 2019-03-29 中山大学 一种加入注意力机制的人脸识别方法
CN110210468A (zh) * 2019-05-29 2019-09-06 电子科技大学 一种基于卷积神经网络特征融合迁移的文字识别方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726794B (zh) * 2017-10-27 2024-03-12 谷歌有限责任公司 基于关注的图像生成神经网络
US11625609B2 (en) * 2018-06-14 2023-04-11 International Business Machines Corporation Integration of external applications into deep neural networks
CN110162799B (zh) * 2018-11-28 2023-08-04 腾讯科技（深圳）有限公司 模型训练方法、机器翻译方法以及相关装置和设备
CN111382602B (zh) * 2018-12-28 2024-08-02 深圳光启空间技术有限公司 一种跨域人脸识别算法、存储介质及处理器
CN109858392B (zh) * 2019-01-11 2021-02-02 复旦大学 一种用于化妆前后人脸图像自动识别方法
CN109829427B (zh) * 2019-01-31 2022-05-17 福州大学 一种基于纯度检测和空间注意力网络的人脸聚类方法
CN111079549B (zh) * 2019-11-22 2023-09-22 杭州电子科技大学 一种利用门控融合判别特征进行漫画人脸识别的方法
CN111488804B (zh) * 2020-03-19 2022-11-11 山西大学 基于深度学习的劳保用品佩戴情况检测和身份识别的方法
CN111401292B (zh) * 2020-03-25 2023-05-26 成都东方天呈智能科技有限公司 一种融合红外图像训练的人脸识别网络构建方法
CN111582044B (zh) * 2020-04-15 2023-06-20 华南理工大学 基于卷积神经网络和注意力模型的人脸识别方法
CN111783532B (zh) * 2020-05-27 2024-05-17 东南大学 一种基于在线学习的跨年龄人脸识别方法
CN111814706B (zh) * 2020-07-14 2022-06-24 电子科技大学 基于多任务卷积神经网络的人脸识别及属性分类方法
CN111916207B (zh) * 2020-08-07 2023-08-08 杭州深睿博联科技有限公司 一种基于多模态融合的疾病识别方法及装置
CN111709004B (zh) * 2020-08-19 2020-11-13 北京远鉴信息技术有限公司 一种身份认证方法、装置、电子设备及可读存储介质
CN112037315A (zh) * 2020-08-31 2020-12-04 中国科学院自动化研究所 一种局部描述子的生成方法、模型生成的方法及装置
CN112052792B (zh) * 2020-09-04 2022-04-26 恒睿(重庆)人工智能技术研究院有限公司 一种跨模型人脸识别方法、装置、设备及介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543606A (zh) * 2018-11-22 2019-03-29 中山大学 一种加入注意力机制的人脸识别方法
CN110210468A (zh) * 2019-05-29 2019-09-06 电子科技大学 一种基于卷积神经网络特征融合迁移的文字识别方法

Also Published As

Publication number Publication date
CN112507995A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN112507995B (zh) 一种跨模型人脸特征向量的转换系统及方法
Zhang et al. Improved deep hashing with soft pairwise similarity for multi-label image retrieval
Chen et al. Efficient approximation of deep relu networks for functions on low dimensional manifolds
CN113486190B (zh) 一种融合实体图像信息和实体类别信息的多模态知识表示方法
CN114298158A (zh) 一种基于图文线性组合的多模态预训练方法
CN112015868B (zh) 基于知识图谱补全的问答方法
CN111797589B (zh) 一种文本处理网络、神经网络训练的方法以及相关设备
CN112199532B (zh) 一种基于哈希编码和图注意力机制的零样本图像检索方法及装置
CN111400494B (zh) 一种基于GCN-Attention的情感分析方法
CN110222718B (zh) 图像处理的方法及装置
CN112446888B (zh) 图像分割模型的处理方法和处理装置
CN115203442B (zh) 基于联合注意力的跨模态深度哈希检索方法、系统及介质
CN115221846A (zh) 一种数据处理方法及相关设备
CN117033609B (zh) 文本视觉问答方法、装置、计算机设备和存储介质
CN113435520A (zh) 神经网络的训练方法、装置、设备及计算机可读存储介质
CN113378938B (zh) 一种基于边Transformer图神经网络的小样本图像分类方法及系统
CN108154156B (zh) 基于神经主题模型的图像集成分类方法及装置
CN112347756A (zh) 一种基于序列化证据抽取的推理阅读理解方法及系统
CN111241326A (zh) 基于注意力金字塔图网络的图像视觉关系指代定位方法
CN113011568A (zh) 一种模型的训练方法、数据处理方法及设备
CN112733810A (zh) 一种特征码转换网络模型的构建方法
CN117828534A (zh) 基于隐式标签推理的情感意图语义关联方法、系统及设备
CN116883746A (zh) 一种基于分区池化超图神经网络的图节点分类方法
CN116361511A (zh) 一种复合语义的视频检索方法、装置、设备及存储介质
CN114120245B (zh) 基于深度神经网络的人群图像分析方法、装置以及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant