CN113971830A - 一种人脸识别方法、装置、存储介质及电子设备 - Google Patents

一种人脸识别方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN113971830A
CN113971830A CN202111276111.1A CN202111276111A CN113971830A CN 113971830 A CN113971830 A CN 113971830A CN 202111276111 A CN202111276111 A CN 202111276111A CN 113971830 A CN113971830 A CN 113971830A
Authority
CN
China
Prior art keywords
attention
module
features
face recognition
pooling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111276111.1A
Other languages
English (en)
Inventor
曹琼
陈夏宁
陶大程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Information Technology Co Ltd
Original Assignee
Jingdong Technology Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Information Technology Co Ltd filed Critical Jingdong Technology Information Technology Co Ltd
Priority to CN202111276111.1A priority Critical patent/CN113971830A/zh
Publication of CN113971830A publication Critical patent/CN113971830A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种人脸识别方法、装置、存储介质及电子设备。其中方法包括：一种人脸识别方法，其特征在于，包括：获取待识别的人脸图像；将所述人脸图像输入至人脸识别模型中，得到所述人脸识别模型输出的识别结果。通过多头注意力模块和多阶混合注意力模块对输入的人脸图像进行交替的特征提取，以得到人脸图像中的高阶联系特征，实现了对人脸图像中复杂特征表示。进一步的，通过池化模型得到人脸图像的全局特征和局部特征，提高了特征的全面性，通过全局特征和局部特征分别确定识别概率，提高了人脸识别的准确性。

Description

一种人脸识别方法、装置、存储介质及电子设备
技术领域
本发明实施例涉及人脸识别技术领域，尤其涉及一种人脸识别方法、装置、存储介质及电子设备。
背景技术
人脸识别在智能安防和智能城市中被广泛应用。
目前一般是通过手工构造特征或者通过CNN或transformer提取特征来完成对人脸的表征。之后，在训练阶段将特征通过分类器进行训练集人脸的分类，在测试阶段将特征与身份库的人脸特征进行匹配，并赋予相匹配的身份。
但是在实现本发明的过程中，发明人发现现有技术中至少存在以下技术问题：目前对人脸图像进行判别，一般局限于学习人脸中的局部判别性特征，导致在进行身份匹配时将人脸相似的不同身份的人匹配在一起的误判。
发明内容
本发明实施例提供一种人脸识别方法、装置、存储介质及电子设备，以实现提高人脸识别的识别准确度。
第一方面，本发明实施例提供了一种人脸识别方法，包括：
获取待识别的人脸图像；
将所述人脸图像输入至人脸识别模型中，得到所述人脸识别模型输出的识别结果；
其中，所述人脸识别模型包括特征提取模块、池化模块和分类模块，所述特征提取模块包括第一数量的多头注意力模块、第二数量的多阶混合注意力模块，用于提取具有全局联系的视觉序列特征，所述池化模块用于基于所述视觉序列特征得到全局特征和局部特征，所述分类模块用于基于所述全局特征和所述局部特征得到人脸图像的识别结果。
可选的，所述多头注意力模块和所述多阶混合注意力模块基于预设的连接顺序进行连接，所述多阶混合注意力模块包括多个注意力单元，任意相邻两注意力单元之间设置有卷积单元。
可选的，所述卷积单元包括可形变卷积和深度可分离卷积，分别对上一注意力单元输出的特征信息进行卷积处理，所述可形变卷积和所述深度可分离卷积的处理结果经合并后输入至下一注意力单元。
可选的，任一所述注意力单元的注意力参数，基于一阶注意力参数与当前阶注意力单元的先验信息确定。
可选的，所述特征提取模块还包括嵌入层，用于对输入的人脸图像提取初始视觉序列特征，并将所述初始视觉序列特征输出至与所述嵌入层连接的多头注意力模块。
可选的，所述池化模块包括全局池化单元和局部池化单元，所述全局池化单元用于对所述特征提取模块输出的视觉序列特征进行全局池化处理，得到全局特征；所述局部池化单元用于对所述特征提取模块输出的视觉序列特征进行局部池化处理，得到多个局部特征。
可选的，所述分类模块包括多个全连接层和结果处理单元，各全连接层分别用于基于全局特征或任一局部特征确定识别概率，所述结果处理单元基于各所述全连接层输出的识别概率确定识别结果。
第二方面，本发明实施例还提供了一种人脸识别装置，包括：
人脸图像获取模块，用于获取待识别的人脸图像；
人脸识别模块，用于将所述人脸图像输入至人脸识别模型中，得到所述人脸识别模型输出的识别结果；
其中，所述人脸识别模型包括特征提取模块、池化模块和分类模块，所述特征提取模块包括第一数量的多头注意力模块、第二数量的多阶混合注意力模块，用于提取具有全局联系的视觉序列特征，所述池化模块用于基于所述视觉序列特征得到全局特征和局部特征，所述分类模块用于基于所述全局特征和所述局部特征得到人脸图像的识别结果。
第三方面，本发明实施例还提供了本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例提供的人脸识别方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例中任一所述的人脸识别方法。
本实施例提供的技术方案，通过设置人脸识别模型对人脸图像进行高精度的人脸识别，其中人脸模型中特征提取模块包括多头注意力模块和多阶混合注意力模块，通过多头注意力模块和多阶混合注意力模块对输入的人脸图像进行交替的特征提取，以得到人脸图像中的高阶联系特征，实现了对人脸图像中复杂特征表示。进一步的，通过池化模型得到人脸图像的全局特征和局部特征，提高了特征的全面性，通过全局特征和局部特征分别确定识别概率，提高了人脸识别的准确性。
附图说明
图1为本发明实施例提供的一种人脸识别方法的流程图；
图2是本发明实施例提供的一种人脸识别模型的结构示意图；
图3是本发明实施例提供的一种多阶混合注意力模块的结构示意图；
图4是本发明实施例提供的一种多阶混合注意力模块的结构示意图；
图5是本发明实施例提供的一种人脸识别模型的结构示意图；
图6是本发明实施例提供的一种人脸识别装置的结构示意图；
图7是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明实施例提供的一种人脸识别方法的流程图，本实施例可适用于对人脸图像进行高精度识别的情况，该方法可以由本发明实施例提供的人脸识别装置来执行，该人脸识别装置可以由软件和/或硬件来实现，该人脸识别装置可以配置在诸如计算机、手机等的电子设备上，具体包括如下步骤：
S110、获取待识别的人脸图像。
S120、将所述人脸图像输入至人脸识别模型中，得到所述人脸识别模型输出的识别结果。
本实施例中，获取人脸图像可以是接收导入的图像，还可以是获取采集的的人脸图像，对人脸图像的获取方式不限定。可选的，获取待识别的人脸图像还可以是获取待处理图像，识别图像中的人脸区域，对待处理图像进行人脸分割，基于分割得到人脸区域得到待识别的人脸图像，具体的，可以是将分割得到的人脸区域添加单色背景，得到待识别的人脸图像，例如单色背景可以是黑色背景或白色背景等，减少原图像中背景信息对人脸识别的干扰。
在一些实施例中，在获取人脸图像之后，还包括对获取的人脸图像进行图像增强处理，提高图像质量，便于人脸识别模型对人脸图像的准确识别。本实施例中不限定图像增强的实现方式，示例性的，可以是基于预设的图像增强模型处理实现；还可以是基于gamma校正方式对人脸图像进行自适应的白平衡矫正；还可以是通过预设幂函数对人脸图像的图像亮度进行调节，其中，预设幂函数可以是0.9次幂的幂函数，或者1.3次幂的幂函数。
在一些实施例中，还可以是基于人脸识别模型的输入需求对人脸图像进行缩放，例如，将人脸图像缩放为256×256的图像，其中人脸图像的目标尺寸根据人脸识别模型的输入需求确定，对此不作限定。
其中，所述人脸识别模型包括特征提取模块、池化模块和分类模块，所述特征提取模块包括第一数量的多头注意力模块、第二数量的多阶混合注意力模块，用于提取具有全局联系的视觉序列特征，所述池化模块用于基于所述视觉序列特征得到全局特征和局部特征，所述分类模块用于基于所述全局特征和所述局部特征得到人脸图像的识别结果。示例性的，参见图2，图2是本发明实施例提供的一种人脸识别模型的结构示意图。
将经过预处理的人脸图像输入至人脸识别模型中，该人脸识别模型为具有提取并融合人脸的局部、全部、高阶、联系等特征的识别模型，鲁棒性高，提高了对人脸的识别精度。
本实施例中，人脸识别模型包括特征提取模块、池化模块和分类模块，所述特征提取模块用于提取具有全局联系的视觉序列特征，所述池化模块用于基于所述视觉序列特征得到全局特征和局部特征，所述分类模块用于基于所述全局特征和所述局部特征得到人脸图像的识别结果。可选的，将所述人脸图像输入至人脸识别模型中，得到所述人脸识别模型输出的识别结果，包括：将人脸图像输入到特征提取模块，得到特征提取模块输出的具有全局联系的视觉序列特征，将所述视觉序列特征输入到池化模块，得到池化模块输出的全局特征和局部特征，将所述全局特征和所述局部特征输入至分类模块中，得到分类模块输出的人脸图像的识别结果。
特征提取模块中包括第一数量的多头注意力模块、第二数量的多阶混合注意力模块，其中，多头注意力模块可对输入信息进行多个并行的注意力运算，并将各多头得到的注意力信息进行拼接，得到最终的多头注意力信息。每一个多头输入的信息相同，对输入信息进行独立的注意力运算，通过拼接方式得到多头注意力信息，可达到防止过拟合现象的效果。
本实施例中的多个多头注意力模块可以是包括相同数量的多头，也可以是包括不同数量的多头，对此不作限定。
多阶混合注意力模块包括多阶注意力单元，前一阶注意力单元的输出的特征信息作为下一阶注意力单元的输入信息，并将多阶注意力单元输出的各阶特征信息进行融合，得到多阶混合注意力模块输出的目标特征信息。通过设置多阶混合注意力模块可提前人脸图像中的高阶特征信息，同时将各阶特征信息进行融合，实现不同阶特征信息的融合，可达到防止过拟合现象的效果。
本实施例中的多个多阶混合注意力模块可以是包括相同数量的阶数，也可以是包括不同数量的阶数，对此不作限定。在一些实施例中，各多阶混合注意力模块的阶数可以是2或3。
示例性的，参见图3，图3是本发明实施例提供的一种多阶混合注意力模块的结构示意图。图3中包括多个注意力单元，输入信息X为前一模块输出的特征信息，其中，前一模型可以是多头注意力模块，也可以是多阶混合注意力模块。通过norm函数将输入信息生成符合当前注意力单元所需的特征向量，该特征向量为第一阶注意力单元的输入信息，该第一阶注意力单元基于输入信息生成一阶注意力参数，即Q1、K1和V1，具体的，可以是通过输入信息X分布与权重WQ1、WK1和WV1计算得到，即Q1＝XWQ1、K1＝XWK1和V1＝XWV1。通过一阶注意力参数Q1、K1和V1得到一阶注意力信息A1，A1＝solfmax(S1)·V1，其中，相似性系数
Figure BDA0003329998430000071
Figure BDA0003329998430000072
为归一化参数，
Figure BDA0003329998430000073
可以是8，还可以是其他数值，以训练过程中梯度的稳定性。
一阶注意力单元的输出信息作为二阶注意力单元的输入信息，基于一阶注意力单元的输出信息得到一阶注意力信息A2，二阶注意力单元的输出信息作为三阶注意力单元的输入信息，并以此类推，以得到高阶注意力信息，以得到人脸图像的高阶特征。
在多阶混合注意力模块中，随着深度的增加，高阶注意力单元存在计算量大的问题，尤其是在注意力获取的阶段。针对上述问题，本实施例中的多阶混合注意力模块设置了参数共享机制，在高阶注意力单元中复用一阶注意力参数Q1、K1和V1，基于复用的一阶注意力参数确定高阶注意力参数，无需基于上一注意力单元的输出特征进行大量计算得到，提高了一阶注意力参数的复用率，减少了计算量。
相应的，任一所述注意力单元的注意力参数，基于一阶注意力参数与当前阶注意力单元的先验信息确定。此处的注意力参数为相似性系数Si，图3中各阶注意点单元的相似性系数Si基于Qi和Ki计算得到，本实施例中，各阶注意点单元的相似性系数Si基于一阶注意力参数S1与当前阶注意力单元的先验信息W计算得到，具体的，基于一阶注意力参数S1与先验信息W点乘得到。示例性的，参见图4，图4是本发明实施例提供的一种多阶混合注意力模块的结构示意图。需要说明的是，各阶注意力单元的注意力参数Vi基于该注意力单元的输入信息确定，并基于得到的相似性系数Si与注意力参数Vi确定当前阶注意力信息Ai。通过简化相似性系数Si的计算方式，减少了多阶混合注意力模块中的计算量，降低对算力资源的消耗。
各阶注意力单元的先验信息W是在人脸识别模型的训练过程中训练得到的，不同阶注意力单元的先验信息可以不同，相应的，不同多阶混合注意力模块中各阶注意力单元的先验信息可以不同。
在上述实施例的基础上，多阶混合注意力模块中任意相邻两注意力单元之间设置有卷积单元，该卷积单元用于对上一阶注意力单元的输出信息进行卷积处理，以降低输出信息的序列长度，达到降低下一阶注意力单元的计算量的效果。
在一些实施例中，卷积单元包括但不限于可形变卷积和深度可分离卷积的至少一项，分别对上一注意力单元输出的特征信息进行卷积处理。其中，可形变卷积(deformableconvolution，DFConv)中包括偏移参数，该偏移参数在对人脸识别模型进行端对端的训练过程中训练得到。可形变卷积的卷积核的大小和位置可以根据当前需要识别的图像内容进行动态调整，其直观效果就是不同位置的卷积核采样点位置会根据图像内容发生自适应的变化，从而适应不同物体的形状、大小等几何形变，在本实施例中，可根据人脸图像中人脸区域的大小和位置进行采样点位置的调整，以采集人脸区域内的图像内容，避免人脸区域外的背景信息对人脸识别的干扰，提高了人脸区域中特征信息的提取精度，进一步提高了人脸识别精度。
深度可分离卷积(depthwise convolution，DWConv)中包括至少两层的卷积操作，对于输入信息中的各通道数据，分别基于第一卷积核进行卷积处理，得到各通道的特征信息，再通过n(例如可以是通道数)个1×1的卷积核遍历上述得到特征信息，进行特征融合。可选的，可基于n个1×1的卷积核对上述融合得到的特征信息进一步处理，得到深层信息。通过设置深度可分离卷积可提取输入信息中的空间信息，即人脸图像中的空间信息，为人脸识别提高空间参考依据，同时减少模型参数，便于提高人脸识别效率。
参见图3，任一卷积单元包括可形变卷积和深度可分离卷积，可形变卷积和深度可分离卷积分别接收上一阶注意力单元的输出信息，并将可形变卷积和所述深度可分离卷积的处理结果经合并后输入至下一注意力单元。通过对上一阶注意力单元的输出信息进行不同维度的卷积处理，提高特征的准确性和多样性，便于下一阶注意力单元基于卷积单元的输出信息进行高精度的特征提取。
在上述实施例的基础上，特征提取模块中多头注意力模块和多阶混合注意力模块基于预设的连接顺序进行连接，多头注意力模块和多阶混合注意力模块的数量可根据用户需求设置，在一些实施例中，多头注意力模块的第一数量的数据范围可以是6-10，多阶混合注意力模块的第二数量的数据范围可以是2-6，对此不作限定。在一些实施例中，多头注意力模块的第一数量可以是8，多阶混合注意力模块的第二数量可以是4。
在一些实施例中，多阶混合注意力模块位于特征提取模块的中心位置，多头注意力模块分布在特征提取模块的两端。
在一些实施例中，特征提取模块中多头注意力模块和多阶混合注意力模块交替连接，且特征提取模块的两端分别设置有至少一个多头注意力模块。
在上述实施例的基础上，特征提取模块还包括嵌入层，用于对输入的人脸图像提取初始视觉序列特征，并将所述初始视觉序列特征输出至与所述嵌入层连接的多头注意力模块。其中，嵌入层可以是通过嵌入器实现，通过嵌入层嵌入层，便于多头注意力模块对初始视觉序列特征进行快速特征提取，加快特征提取效率。
在上述实施例的基础上，所述池化模块包括全局池化单元和局部池化单元，全局池化单元和局部池化单元分别与特征提取模块的输出端连接，并分别对特征提取模块输出的视觉序列特征进行处理。
全局池化单元用于对所述特征提取模块输出的视觉序列特征进行全局池化处理，得到全局特征，在一些实施例中，全局池化单元可以是通过全局池化层实现，全局池化层可以是对视觉序列特征进行平均池化或者最大池化。
局部池化单元用于对所述特征提取模块输出的视觉序列特征进行局部池化处理，得到多个局部特征，在一些实施例中，局部池化单元可以是通过局部池化层实现，该局部池化层可以是平均池化或者最大池化。例如将特征提取模块输出的视觉序列特征划分为多个子特征，分别进行平均池化或者最大池化，得到多个局部特征，其中，局部特征的数量可以是6个。
在上述实施例的基础上，分类模块包括多个全连接层和结果处理单元，各全连接层分别用于基于全局特征或任一局部特征确定识别概率，所述结果处理单元基于各所述全连接层输出的识别概率确定识别结果。具体的，结果处理单元可以是将多个全连接层输出的识别概率进行均值处理得到的概率均值确定为人脸识别结果；结果处理单元还可以是将多个全连接层输出的识别概率进行加权处理，得到的加权概率确定为人脸识别结果。其中，各识别概率的权重可以是预先设置的，可选的，全局特征对应的识别概率的权重可以高于局部特征对应的识别概率的权重，以提高全局特征的重要性，避免不同人脸特征中局部特征相似性导致的识别错误的情况。
本实施例中，通过提取全局特征和局部特征，通过全局特征和局部特征分别确定识别概率，提高了特征的全面性，降低了仅基于局部特征识别人脸导致的识别错误率，提高了人脸识别的准确性。
本实施例的技术方案，通过设置人脸识别模型对人脸图像进行高精度的人脸识别，其中人脸模型中特征提取模块包括多头注意力模块和多阶混合注意力模块，通过多头注意力模块和多阶混合注意力模块对输入的人脸图像进行交替的特征提取，以得到人脸图像中的高阶联系特征，实现了对人脸图像中复杂特征表示。进一步的，通过池化模型得到人脸图像的全局特征和局部特征，提高了特征的全面性，通过全局特征和局部特征分别确定识别概率，提高了人脸识别的准确性。
在上述实施例的基础上，本发明实施例还提供了一个优选实例，参见图5，图5是本发明实施例提供的一种人脸识别模型的结构示意图。该人脸识别模型中包括嵌入器、多头注意力模块与多阶混合注意力模块交替连接的特征提取模块、池化模型和分类模块，其中，多头注意力模块与多阶混合注意力模块交替连接的特征提取模块中包括8个多头注意力模块和4个多阶混合注意力模块，其中，嵌入器与一多头注意力模块连接，用于对输入的人脸图像提取初始的视觉序列特征。特征提取模块中包括依次连接的多头注意力模块、多头注意力模块、多阶混合注意力模块、多头注意力模块、多阶混合注意力模块、多头注意力模块、多阶混合注意力模块、多头注意力模块、多阶混合注意力模块、多头注意力模块、多头注意力模块和多头注意力模块。每一多阶混合注意力模块中注意力参数共享，各高阶注意力单元复用一阶注意力单元输出的一阶注意力参数，以简化运算过程，减少计算量。最后一个多头注意力模块输出具有全局联系的视觉序列特征，池化模型中包括全局池化单元和局部池化单元，分别输出全局特征和局部特征，分类模块基于用于对输入的人脸图像提取初始的视觉序列特征输出人脸识别结果。
图6是本发明实施例提供的一种人脸识别装置的结构示意图，该装置包括：
人脸图像获取模块210，用于获取待识别的人脸图像；
人脸识别模块220，用于将所述人脸图像输入至人脸识别模型中，得到所述人脸识别模型输出的识别结果；
其中，所述人脸识别模型包括特征提取模块、池化模块和分类模块，所述特征提取模块包括第一数量的多头注意力模块、第二数量的多阶混合注意力模块，用于提取具有全局联系的视觉序列特征，所述池化模块用于基于所述视觉序列特征得到全局特征和局部特征，所述分类模块用于基于所述全局特征和所述局部特征得到人脸图像的识别结果。
可选的，所述多头注意力模块和所述多阶混合注意力模块基于预设的连接顺序进行连接，所述多阶混合注意力模块包括多个注意力单元，任意相邻两注意力单元之间设置有卷积单元。
可选的，所述卷积单元包括可形变卷积和深度可分离卷积，分别对上一注意力单元输出的特征信息进行卷积处理，所述可形变卷积和所述深度可分离卷积的处理结果经合并后输入至下一注意力单元。
可选的，任一所述注意力单元的注意力参数，基于一阶注意力参数与当前阶注意力单元的先验信息确定。
可选的，所述特征提取模块还包括嵌入层，用于对输入的人脸图像提取初始视觉序列特征，并将所述初始视觉序列特征输出至与所述嵌入层连接的多头注意力模块。
可选的，所述池化模块包括全局池化单元和局部池化单元，所述全局池化单元用于对所述特征提取模块输出的视觉序列特征进行全局池化处理，得到全局特征；所述局部池化单元用于对所述特征提取模块输出的视觉序列特征进行局部池化处理，得到多个局部特征。
可选的，所述分类模块包括多个全连接层和结果处理单元，各全连接层分别用于基于全局特征或任一局部特征确定识别概率，所述结果处理单元基于各所述全连接层输出的识别概率确定识别结果。
本发明实施例所提供的人脸识别装置可执行本发明任意实施例所提供的人脸识别方法，具备执行方法相应的功能模块和有益效果。
图7为本发明实施例四提供的一种电子设备的结构示意图。图7示出了适于用来实现本发明实施方式的电子设备12的框图。图7显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。设备12典型的是承担图像分类功能的电子设备。
如图7所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器16，存储装置28，连接不同系统组件(包括存储装置28和处理器16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储装置28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块26的程序36，可以存储在例如存储装置28中，这样的程序模块26包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网关环境的实现。程序模块26通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、摄像头、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网关适配器20与一个或者多个网关(例如局域网(Local Area Network，LAN)，广域网Wide Area Network，WAN)和/或公共网关，例如因特网)通信。如图所示，网关适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器16通过运行存储在存储装置28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的人脸识别方法。
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的人脸识别方法。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的人脸识别方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的源代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的源代码可以用任何适当的介质传输，包括——但不限于否线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机源代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。源代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网关——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种人脸识别方法，其特征在于，包括：
获取待识别的人脸图像；
将所述人脸图像输入至人脸识别模型中，得到所述人脸识别模型输出的识别结果；
其中，所述人脸识别模型包括特征提取模块、池化模块和分类模块，所述特征提取模块包括第一数量的多头注意力模块、第二数量的多阶混合注意力模块，用于提取具有全局联系的视觉序列特征，所述池化模块用于基于所述视觉序列特征得到全局特征和局部特征，所述分类模块用于基于所述全局特征和所述局部特征得到人脸图像的识别结果。
2.根据权利要求1所述的方法，其特征在于，所述多头注意力模块和所述多阶混合注意力模块基于预设的连接顺序进行连接，所述多阶混合注意力模块包括多个注意力单元，任意相邻两注意力单元之间设置有卷积单元。
3.根据权利要求2所述的方法，其特征在于，所述卷积单元包括可形变卷积和深度可分离卷积，分别对上一注意力单元输出的特征信息进行卷积处理，所述可形变卷积和所述深度可分离卷积的处理结果经合并后输入至下一注意力单元。
4.根据权利要求2所述的方法，其特征在于，任一所述注意力单元的注意力参数，基于一阶注意力参数与当前阶注意力单元的先验信息确定。
5.根据权利要求1所述的方法，其特征在于，所述特征提取模块还包括嵌入层，用于对输入的人脸图像提取初始视觉序列特征，并将所述初始视觉序列特征输出至与所述嵌入层连接的多头注意力模块。
6.根据权利要求1所述的方法，其特征在于，所述池化模块包括全局池化单元和局部池化单元，所述全局池化单元用于对所述特征提取模块输出的视觉序列特征进行全局池化处理，得到全局特征；所述局部池化单元用于对所述特征提取模块输出的视觉序列特征进行局部池化处理，得到多个局部特征。
7.根据权利要求1所述的方法，其特征在于，所述分类模块包括多个全连接层和结果处理单元，各全连接层分别用于基于全局特征或任一局部特征确定识别概率，所述结果处理单元基于各所述全连接层输出的识别概率确定识别结果。
8.一种人脸识别装置，其特征在于，包括：
人脸图像获取模块，用于获取待识别的人脸图像；
人脸识别模块，用于将所述人脸图像输入至人脸识别模型中，得到所述人脸识别模型输出的识别结果；
其中，所述人脸识别模型包括特征提取模块、池化模块和分类模块，所述特征提取模块包括第一数量的多头注意力模块、第二数量的多阶混合注意力模块，用于提取具有全局联系的视觉序列特征，所述池化模块用于基于所述视觉序列特征得到全局特征和局部特征，所述分类模块用于基于所述全局特征和所述局部特征得到人脸图像的识别结果。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的人脸识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的人脸识别方法。
CN202111276111.1A 2021-10-29 2021-10-29 一种人脸识别方法、装置、存储介质及电子设备 Pending CN113971830A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111276111.1A CN113971830A (zh) 2021-10-29 2021-10-29 一种人脸识别方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111276111.1A CN113971830A (zh) 2021-10-29 2021-10-29 一种人脸识别方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN113971830A true CN113971830A (zh) 2022-01-25

Family

ID=79589007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111276111.1A Pending CN113971830A (zh) 2021-10-29 2021-10-29 一种人脸识别方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN113971830A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114995657A (zh) * 2022-07-18 2022-09-02 湖南大学 一种智能机器人的多模态融合自然交互方法、系统及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114995657A (zh) * 2022-07-18 2022-09-02 湖南大学 一种智能机器人的多模态融合自然交互方法、系统及介质

Similar Documents

Publication Publication Date Title
CN108509915B (zh) 人脸识别模型的生成方法和装置
US20200334830A1 (en) Method, apparatus, and storage medium for processing video image
US20190087648A1 (en) Method and apparatus for facial recognition
JP2023541532A (ja) テキスト検出モデルのトレーニング方法及び装置、テキスト検出方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
CN107273458B (zh) 深度模型训练方法及装置、图像检索方法及装置
CN110163205B (zh) 图像处理方法、装置、介质和计算设备
JP7425147B2 (ja) 画像処理方法、テキスト認識方法及び装置
CN112016638B (zh) 一种钢筋簇的识别方法、装置、设备及存储介质
CN110084172B (zh) 文字识别方法、装置和电子设备
CN109784243B (zh) 身份确定方法及装置、神经网络训练方法及装置、介质
CN110619334B (zh) 基于深度学习的人像分割方法、架构及相关装置
CN112766284B (zh) 图像识别方法和装置、存储介质和电子设备
CN113239807B (zh) 训练票据识别模型和票据识别的方法和装置
WO2022161302A1 (zh) 动作识别方法、装置、设备、存储介质及计算机程序产品
CN114429637B (zh) 一种文档分类方法、装置、设备及存储介质
JP7393472B2 (ja) 陳列シーン認識方法、装置、電子機器、記憶媒体およびコンピュータプログラム
CN113343981A (zh) 一种视觉特征增强的字符识别方法、装置和设备
CN115577768A (zh) 半监督模型训练方法和装置
CN117523645B (zh) 一种人脸关键点检测方法、装置、电子设备及存储介质
CN113971830A (zh) 一种人脸识别方法、装置、存储介质及电子设备
CN113255501A (zh) 生成表格识别模型的方法、设备、介质及程序产品
CN112287734A (zh) 碎屏检测及用于碎屏检测的卷积神经网络的训练方法
CN113191364B (zh) 车辆外观部件识别方法、装置、电子设备和介质
CN114332993A (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
CN113971677A (zh) 图像分割方法、装置、电子设备和可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination