CN113947802B - 有遮挡人脸识别方法、装置、设备及可读存储介质 - Google Patents

有遮挡人脸识别方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN113947802B
CN113947802B CN202111572588.4A CN202111572588A CN113947802B CN 113947802 B CN113947802 B CN 113947802B CN 202111572588 A CN202111572588 A CN 202111572588A CN 113947802 B CN113947802 B CN 113947802B
Authority
CN
China
Prior art keywords
sample
feature map
characteristic diagram
attention
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111572588.4A
Other languages
English (en)
Other versions
CN113947802A (zh
Inventor
杨曼
方鹏程
张新访
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Tianyu Information Industry Co Ltd
Original Assignee
Wuhan Tianyu Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Tianyu Information Industry Co Ltd filed Critical Wuhan Tianyu Information Industry Co Ltd
Priority to CN202111572588.4A priority Critical patent/CN113947802B/zh
Publication of CN113947802A publication Critical patent/CN113947802A/zh
Application granted granted Critical
Publication of CN113947802B publication Critical patent/CN113947802B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明提供一种有遮挡人脸识别方法、装置、设备及可读存储介质。该方法包括：将有遮挡人脸图像以及无遮挡人脸图像输入训练完成的特征提取网络，得到有遮挡人脸图像的第一特征图以及无遮挡人脸图像的第二特征图；基于第一特征图以及第二特征图得到余弦相似度矩阵；基于训练完成的注意力模型得到第一特征图以及第二特征图对应的注意力矩阵；基于余弦相似度矩阵和注意力矩阵，得到有遮挡人脸图像的识别结果。通过本发明，加强了人脸比对时对局部区域的相似程度的关注度，从而提高了对有遮挡人脸的识别精度。

Description

有遮挡人脸识别方法、装置、设备及可读存储介质
技术领域
本发明涉及人工智能领域，尤其涉及一种有遮挡人脸识别方法、装置、设备及可读存储介质。
背景技术
随着人工智能与计算机视觉的快速发展，人脸识别已经应用到安防、支付等各个领域，已成为目前人工智能落地最为广泛的技术。
目前，人脸识别技术是基于整个人脸图像特征进行人脸识别的算法，依赖于人脸的五官信息得到的特征进行比对识别。这种人脸识别算法在面对用户脸部有遮挡情况时，识别精度低。
发明内容
本发明的主要目的在于提供一种有遮挡人脸识别方法、装置、设备及可读存储介质，旨在解决现有人脸识别算法在面对用户脸部有遮挡情况时，识别精度低的技术问题。
第一方面，本发明提供一种有遮挡人脸识别方法，所述有遮挡人脸识别方法包括：
将有遮挡人脸图像以及无遮挡人脸图像输入训练完成的特征提取网络，得到有遮挡人脸图像的第一特征图以及无遮挡人脸图像的第二特征图；
基于第一特征图以及第二特征图得到余弦相似度矩阵；
基于训练完成的注意力模型得到第一特征图以及第二特征图对应的注意力矩阵；
基于余弦相似度矩阵和注意力矩阵，得到有遮挡人脸图像的识别结果。
第二方面，本发明还提供一种有遮挡人脸识别装置，所述有遮挡人脸识别装置包括：
特征提取模块，用于将有遮挡人脸图像以及无遮挡人脸图像输入训练完成的特征提取网络，得到有遮挡人脸图像的第一特征图以及无遮挡人脸图像的第二特征图；
余弦相似度矩阵构建模块，用于基于第一特征图以及第二特征图得到余弦相似度矩阵；
注意力矩阵构建模块，用于基于训练完成的注意力模型得到第一特征图以及第二特征图对应的注意力矩阵；
结果获取模块，用于基于余弦相似度矩阵和注意力矩阵，得到有遮挡人脸图像的识别结果。
第三方面，本发明还提供一种有遮挡人脸识别设备，所述有遮挡人脸识别设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的有遮挡人脸识别程序，其中所述有遮挡人脸识别程序被所述处理器执行时，实现如上所述的有遮挡人脸识别方法的步骤。
第四方面，本发明还提供一种可读存储介质，所述可读存储介质上存储有有遮挡人脸识别程序，其中所述有遮挡人脸识别程序被处理器执行时，实现如上所述的有遮挡人脸识别方法的步骤。
本发明中，将有遮挡人脸图像以及无遮挡人脸图像输入训练完成的特征提取网络，得到有遮挡人脸图像的第一特征图以及无遮挡人脸图像的第二特征图；基于第一特征图以及第二特征图得到余弦相似度矩阵；基于训练完成的注意力模型得到第一特征图以及第二特征图对应的注意力矩阵；基于余弦相似度矩阵和注意力矩阵，得到有遮挡人脸图像的识别结果。通过本发明，加强了人脸比对时对局部区域的相似程度的关注度，从而提高了对有遮挡人脸的识别精度。
附图说明
图1为本发明实施例方案中涉及的有遮挡人脸识别设备的硬件结构示意图；
图2为本发明有遮挡人脸识别方法一实施例的流程示意图；
图3为本发明有遮挡人脸识别方法一实施例场景示意图；
图4为训练过程的场景示意图；
图5为本发明有遮挡人脸识别装置一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
第一方面，本发明实施例提供一种有遮挡人脸识别设备，该有遮挡人脸识别设备可以是个人计算机（personal computer，PC）、笔记本电脑、服务器等具有数据处理功能的设备。
参照图1，图1为本发明实施例方案中涉及的有遮挡人脸识别设备的硬件结构示意图。本发明实施例中，有遮挡人脸识别设备可以包括处理器1001（例如中央处理器CentralProcessing Unit，CPU），通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard）；网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真WIreless-FIdelity，WI-FI接口）；存储器1005可以是高速随机存取存储器（random access memory，RAM），也可以是稳定的存储器（non-volatile memory），例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的硬件结构并不构成对本发明的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
继续参照图1，图1中作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及有遮挡人脸识别程序。其中，处理器1001可以调用存储器1005中存储的有遮挡人脸识别程序，并执行本发明实施例提供的有遮挡人脸识别方法。
第二方面，本发明实施例提供了一种有遮挡人脸识别方法。
一实施例中，参照图2，图2为本发明有遮挡人脸识别方法一实施例的流程示意图。如图2所示，有遮挡人脸识别方法包括：
步骤S10，将有遮挡人脸图像以及无遮挡人脸图像输入训练完成的特征提取网络，得到有遮挡人脸图像的第一特征图以及无遮挡人脸图像的第二特征图；
本实施例中，训练完成的特征提取网络用于对输入的人脸图像进行特征提取，得到特征图，其中，特征图表达的是输入的人脸图像的轮廓、颜色、特征点以及其他抽象特征等综合信息。特征提取网络具体可以是卷积神经网络，包括多个卷积层，通过多个卷积层对输入的人脸图像进行卷积处理，从而得到对应的特征图，通过对特征提取网络进行训练，即可得到训练完成的特征提取网络，从而将有遮挡人脸图像以及无遮挡人脸图像输入训练完成的特征提取网络，得到有遮挡人脸图像的第一特征图以及无遮挡人脸图像的第二特征图。
步骤S20，基于第一特征图以及第二特征图得到余弦相似度矩阵；
本实施例中，计算第一特征图以及第二特征图每个格点对对应数值的余弦相似度，然后将计算得到的各个余弦相似度按照其对应的格点位置进行排列，从而构建得到余弦相似度矩阵。
进一步地，一实施例中，步骤S20包括：
计算第一特征图以及第二特征图每个格点对对应数值的余弦相似度；以每个格点对对应数值的余弦相似度以及每个格点对的格点位置，构建得到余弦相似度矩阵。
本实施例中，以第一特征图上位置为（i，j）的格点以及第二特征图上位置为（i，j）的格点为一格点对，计算每个格点对对应数值的余弦相似度。其中，格点指像素点，则数值为像素点的像素值。
例如，第一特征图、第二特征图上均有100×100个像素点，则计算第一特征图上第一行第一列像素点的像素值与第二特征图上第一行第一列像素点的像素值的余弦相似度11，同理，计算第一特征图上第一行第二列像素点的像素值与第二特征图上第一行第二列像素点的像素值的余弦相似度12，以此类推。以余弦相似度11为余弦相似度矩阵第一行第一列的元素，以余弦相似度12为余弦相似度矩阵第一行第二列的元素，以此类推，即可构建得到完整的余弦相似度矩阵。
步骤S30，基于训练完成的注意力模型得到第一特征图以及第二特征图对应的注意力矩阵；
本实施例中，基于训练完成的注意力模型对第一特征图以及第二特征图进行学习，得到注意力矩阵。其中，需对初始的注意力模型进行训练，从而得到训练完成的注意力模型。
进一步地，一实施例中，步骤S30包括：
将第一特征图以及第二特征图进行通道维度拼接，得到拼接特征图；
基于训练完成的注意力模型对所述拼接特征图进行两次卷积处理，得到注意力矩阵。
本实施例中，将第一特征图以及第二特征图进行通道维度拼接，得到拼接特征图，然后基于训练完成的注意力模型对拼接特征图进行两次卷积处理，得到注意力矩阵。
步骤S40，基于余弦相似度矩阵和注意力矩阵，得到有遮挡人脸图像的识别结果。
本实施例中，可通过如下公式计算余弦相似度矩阵和注意力矩阵的相似度C：
Figure 654858DEST_PATH_IMAGE002
其中，余弦相似度矩阵和注意力矩阵的行数均为hf，余弦相似度矩阵和注意力矩阵的列数为wf，Wi，j为注意力矩阵中第i行第j列的元素，Si，j为余弦相似度矩阵中第i行第j列的元素。
进一步地，一实施例中，步骤S40包括：
将余弦相似度矩阵转换成第一一维向量；
将注意力矩阵转换成第二一维向量；
对第一一维向量以及第二一维向量执行点乘运算，以点乘运算结果作为有遮挡人脸图像的识别结果。
本实施例中，将余弦相似度矩阵转换成第一一维向量S，例如第一一维向量S为：
[S1，S2，S3，...Sn]；
将将注意力矩阵转换成第二一维向量W，例如第二一维向量W为：
[W1，W2，W3，...Wn]；
对第一一维向量S和第二一维向量W执行点乘运算，即：
Figure 40840DEST_PATH_IMAGE004
点乘运算结果即为有遮挡人脸图像的识别结果。
参照图3，图3为本发明有遮挡人脸识别方法一实施例场景示意图。如图3所示，将有遮挡人脸图像以及无遮挡人脸图像输入训练完成的特征提取网络，得到有遮挡人脸图像的第一特征图以及无遮挡人脸图像的第二特征图；然后，将第一特征图以及第二特征图输入逐元素相似度模块，得到余弦相似度矩阵；将第一特征图以及第二特征图输入训练完成的注意力模块，得到注意力矩阵；最后，对余弦相似度矩阵以及注意力矩阵执行点乘运算，并以点乘运算结果作为有遮挡人脸图像的识别结果。
本实施例中，将有遮挡人脸图像以及无遮挡人脸图像输入训练完成的特征提取网络，得到有遮挡人脸图像的第一特征图以及无遮挡人脸图像的第二特征图；基于第一特征图以及第二特征图得到余弦相似度矩阵；基于训练完成的注意力模型得到第一特征图以及第二特征图对应的注意力矩阵；基于余弦相似度矩阵和注意力矩阵，得到有遮挡人脸图像的识别结果。本实施例中，综合有遮挡人脸图像以及无遮挡人脸图像的特征图对应的余弦相似度矩阵和注意力矩阵，得到有遮挡人脸图像的识别结果，加强了人脸比对时对局部区域的相似程度的关注度，从而提高了对有遮挡人脸的识别精度。
进一步地，一实施例中，在步骤S10之前，还包括：
步骤S501，将若干样本图像对输入特征提取网络，得到每个样本图像对的第一样本特征图以及第二样本特征图；
本实施例中，参照图4，图4为训练过程的场景示意图。如图4所示，将若干样本图像对输入特征提取网络，从而得到每个样本图像对的第一样本特征图以及第二样本特征图。其中，预先收集若干个用户的有遮挡人脸图像和无遮挡人脸图像，对于每张人脸图像（包括有遮挡和无遮挡）而言，其所属的用户即为其对应的类别。然后以一张有遮挡人脸图像与一张无遮挡人脸图像为一样本图像对的方式，构建得到若干样本图像对。其中，一样本图像对中的两张图像可以是同一用户的也可以是不同用户的。若是同一用户的，则该样本图像对的相似度标签值为1；若不是同一用户的，则该样本图像对的相似度标签值为0。
步骤S502，通过Flatten层以及全连接层的处理，得到每个样本特征图所属类别概率预测值；
本实施例中，将每个样本特征图（包括每个第一样本特征图以及每个第二样本特征图）输入Flatten层，从而将每个样本特征图转换成一维向量，再将一维向量输入全连接层，从而得到每个样本特征图所属类别概率预测值。
步骤S503，基于每个样本特征图所属类别概率预测值得到第一损失函数；
本实施例中，第一损失函数选用Arcface-loss损失函数，假设样本图像对是基于100个用户的有遮挡人脸图像和无遮挡人脸图像构建的，则每个样本特征图所属类别概率预测值包括每个样本特征图属于用户1的概率预测值、属于用户2的概率预测值、...、属于用户100的概率预测值，结合Arcface-loss损失函数的计算公式，即可得到第一损失函数。
步骤S504，基于每个样本图像对的第一样本特征图以及第二样本特征图得到每个样本图像对的样本余弦相似度矩阵；
步骤S505，基于注意力模型得到每个样本图像对的第一样本特征图以及第二样本特征图对应的样本注意力矩阵；
步骤S506，将每个样本图像对的样本余弦相似度矩阵与样本注意力矩阵点乘求和，得到每个样本图像对的相似度预测结果；
本实施例中，步骤S504至步骤S506的具体实施例与上述步骤S20至步骤S40的实施例基本相同，在此不做赘述。
步骤S507，基于每个样本图像对的相似度标签值和相似度预测结果，得到第二损失函数；
本实施例中，基于如下公式得到第二损失函数L2：
Figure 23839DEST_PATH_IMAGE005
其中，M为样本图像对的个数，
Figure 153469DEST_PATH_IMAGE006
为第n对样本图像对的相似度标签值，
Figure 171104DEST_PATH_IMAGE007
为第n对样本图像对的相似度预测结果。
步骤S508，组合第一损失函数以及第二损失函数得到联合损失函数；
本实施例中，将第一损失函数以及第二损失函数相加，得到联合损失函数。
步骤S509，基于第一损失函数调整全连接层的参数；
步骤S510，基于第二损失函数调整注意力模型的参数；
步骤S511，基于联合损失函数调整特征提取网络的参数；
本实施例中，基于第一损失函数调整全连接层的参数、基于第二损失函数调整注意力模型的参数以及基于联合损失函数调整特征提取网络的参数，从而得到新的全连接层、新的注意力模型以及新的特征提取网络，进入下一轮迭代。
步骤S512，检测联合损失函数是否收敛；
本实施例中，检测联合损失函数是否收敛即检测连续得到的联合损失函数是否稳定在某个值几乎不变，若是，则确定联合损失函数收敛。
步骤S513，若联合损失函数未收敛，则以新的若干样本图像对作为所述若干样本图像对，并返回执行步骤S501；
本实施例中，若联合损失函数未收敛，则以新的若干样本图像对作为若干样本图像对，并返回执行步骤S501，从而继续通过步骤S509至步骤S511的步骤调整全连接层、注意力模型以及特征提取网络的参数。
步骤S514，若联合损失函数收敛，则以最新的注意力模型为训练完成的注意力模型，以最新的特征提取网络为训练完成的特征提取网络。
本实施例中，若联合损失函数收敛，则认为训练完成，则以最新的注意力模型为训练完成的注意力模型，以最新的特征提取网络为训练完成的特征提取网络，用于对有遮挡人脸图像进行识别。
第三方面，本发明实施例还提供一种有遮挡人脸识别装置。
一实施例中，参照图5，图5为本发明有遮挡人脸识别装置一实施例的功能模块示意图。如图5所示，有遮挡人脸识别装置包括：
特征提取模块10，用于将有遮挡人脸图像以及无遮挡人脸图像输入训练完成的特征提取网络，得到有遮挡人脸图像的第一特征图以及无遮挡人脸图像的第二特征图；
余弦相似度矩阵构建模块20，用于基于第一特征图以及第二特征图得到余弦相似度矩阵；
注意力矩阵构建模块30，用于基于训练完成的注意力模型得到第一特征图以及第二特征图对应的注意力矩阵；
结果获取模块40，用于基于余弦相似度矩阵和注意力矩阵，得到有遮挡人脸图像的识别结果。
进一步地，一实施例中，有遮挡人脸识别装置还包括训练模块，用于：
将若干样本图像对输入特征提取网络，得到每个样本图像对的第一样本特征图以及第二样本特征图；
通过Flatten层以及全连接层的处理，得到每个样本特征图所属类别概率预测值；
基于每个样本特征图所属类别概率预测值得到第一损失函数；
基于每个样本图像对的第一样本特征图以及第二样本特征图得到每个样本图像对的样本余弦相似度矩阵；
基于注意力模型得到每个样本图像对的第一样本特征图以及第二样本特征图对应的样本注意力矩阵；
将每个样本图像对的样本余弦相似度矩阵与样本注意力矩阵点乘求和，得到每个样本图像对的相似度预测结果；
基于每个样本图像对的相似度标签值和相似度预测结果，得到第二损失函数；
组合第一损失函数以及第二损失函数得到联合损失函数；
基于第一损失函数调整全连接层的参数；
基于第二损失函数调整注意力模型的参数；
基于联合损失函数调整特征提取网络的参数；
检测联合损失函数是否收敛；
若联合损失函数未收敛，则以新的若干样本图像对作为所述若干样本图像对，并返回执行所述将若干样本图像对输入特征提取网络，得到每个样本图像对的第一样本特征图以及第二样本特征图的步骤；
若联合损失函数收敛，则以最新的注意力模型为训练完成的注意力模型，以最新的特征提取网络为训练完成的特征提取网络。
进一步地，一实施例中，余弦相似度矩阵构建模块20，用于：
计算第一特征图以及第二特征图每个格点对对应数值的余弦相似度；
以每个格点对对应数值的余弦相似度以及每个格点对的格点位置，构建得到余弦相似度矩阵。
进一步地，一实施例中，注意力矩阵构建模块30，用于：
将第一特征图以及第二特征图进行通道维度拼接，得到拼接特征图；
基于训练完成的注意力模型对所述拼接特征图进行两次卷积处理，得到注意力矩阵。
进一步地，一实施例中，结果获取模块40，用于：
将余弦相似度矩阵转换成第一一维向量；
将注意力矩阵转换成第二一维向量；
对第一一维向量以及第二一维向量执行点乘运算，以点乘运算结果作为有遮挡人脸图像的识别结果。
其中，上述有遮挡人脸识别装置中各个模块的功能实现与上述有遮挡人脸识别方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
第四方面，本发明实施例还提供一种可读存储介质。
本发明可读存储介质上存储有有遮挡人脸识别程序，其中所述有遮挡人脸识别程序被处理器执行时，实现如上述的有遮挡人脸识别方法的步骤。
其中，有遮挡人脸识别程序被执行时所实现的方法可参照本发明有遮挡人脸识别方法的各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种有遮挡人脸识别方法，其特征在于，所述有遮挡人脸识别方法包括：
将若干样本图像对输入特征提取网络，得到每个样本图像对的第一样本特征图以及第二样本特征图；
通过Flatten层以及全连接层的处理，得到每个样本特征图所属类别概率预测值；
基于每个样本特征图所属类别概率预测值得到第一损失函数；
基于每个样本图像对的第一样本特征图以及第二样本特征图得到每个样本图像对的样本余弦相似度矩阵；
基于注意力模型得到每个样本图像对的第一样本特征图以及第二样本特征图对应的样本注意力矩阵；
将每个样本图像对的样本余弦相似度矩阵与样本注意力矩阵点乘求和，得到每个样本图像对的相似度预测结果；
基于每个样本图像对的相似度标签值和相似度预测结果，得到第二损失函数；
组合第一损失函数以及第二损失函数得到联合损失函数；
基于第一损失函数调整全连接层的参数；
基于第二损失函数调整注意力模型的参数；
基于联合损失函数调整特征提取网络的参数；
检测联合损失函数是否收敛；
若联合损失函数未收敛，则以新的若干样本图像对作为所述若干样本图像对，并返回执行所述将若干样本图像对输入特征提取网络，得到每个样本图像对的第一样本特征图以及第二样本特征图的步骤；
若联合损失函数收敛，则以最新的注意力模型为训练完成的注意力模型，以最新的特征提取网络为训练完成的特征提取网络；
将有遮挡人脸图像以及无遮挡人脸图像输入训练完成的特征提取网络，得到有遮挡人脸图像的第一特征图以及无遮挡人脸图像的第二特征图；
基于第一特征图以及第二特征图得到余弦相似度矩阵；
基于训练完成的注意力模型得到第一特征图以及第二特征图对应的注意力矩阵；
基于余弦相似度矩阵和注意力矩阵，得到有遮挡人脸图像的识别结果。
2.如权利要求1所述的有遮挡人脸识别方法，其特征在于，所述基于第一特征图以及第二特征图得到余弦相似度矩阵包括：
计算第一特征图以及第二特征图每个格点对对应数值的余弦相似度；
以每个格点对对应数值的余弦相似度以及每个格点对的格点位置，构建得到余弦相似度矩阵。
3.如权利要求1所述的有遮挡人脸识别方法，其特征在于，所述基于训练完成的注意力模型得到第一特征图以及第二特征图对应的注意力矩阵包括：
将第一特征图以及第二特征图进行通道维度拼接，得到拼接特征图；
基于训练完成的注意力模型对所述拼接特征图进行两次卷积处理，得到注意力矩阵。
4.如权利要求1所述的有遮挡人脸识别方法，其特征在于，所述基于余弦相似度矩阵和注意力矩阵，得到有遮挡人脸图像的识别结果包括：
将余弦相似度矩阵转换成第一一维向量；
将注意力矩阵转换成第二一维向量；
对第一一维向量以及第二一维向量执行点乘运算，以点乘运算结果作为有遮挡人脸图像的识别结果。
5.一种有遮挡人脸识别装置，其特征在于，所述有遮挡人脸识别装置包括：
训练模块，用于：
将若干样本图像对输入特征提取网络，得到每个样本图像对的第一样本特征图以及第二样本特征图；
通过Flatten层以及全连接层的处理，得到每个样本特征图所属类别概率预测值；
基于每个样本特征图所属类别概率预测值得到第一损失函数；
基于每个样本图像对的第一样本特征图以及第二样本特征图得到每个样本图像对的样本余弦相似度矩阵；
基于注意力模型得到每个样本图像对的第一样本特征图以及第二样本特征图对应的样本注意力矩阵；
将每个样本图像对的样本余弦相似度矩阵与样本注意力矩阵点乘求和，得到每个样本图像对的相似度预测结果；
基于每个样本图像对的相似度标签值和相似度预测结果，得到第二损失函数；
组合第一损失函数以及第二损失函数得到联合损失函数；
基于第一损失函数调整全连接层的参数；
基于第二损失函数调整注意力模型的参数；
基于联合损失函数调整特征提取网络的参数；
检测联合损失函数是否收敛；
若联合损失函数未收敛，则以新的若干样本图像对作为所述若干样本图像对，并返回执行所述将若干样本图像对输入特征提取网络，得到每个样本图像对的第一样本特征图以及第二样本特征图的步骤；
若联合损失函数收敛，则以最新的注意力模型为训练完成的注意力模型，以最新的特征提取网络为训练完成的特征提取网络；
特征提取模块，用于将有遮挡人脸图像以及无遮挡人脸图像输入训练完成的特征提取网络，得到有遮挡人脸图像的第一特征图以及无遮挡人脸图像的第二特征图；
余弦相似度矩阵构建模块，用于基于第一特征图以及第二特征图得到余弦相似度矩阵；
注意力矩阵构建模块，用于基于训练完成的注意力模型得到第一特征图以及第二特征图对应的注意力矩阵；
结果获取模块，用于基于余弦相似度矩阵和注意力矩阵，得到有遮挡人脸图像的识别结果。
6.如权利要求5所述的有遮挡人脸识别装置，其特征在于，注意力矩阵构建模块，用于：
将第一特征图以及第二特征图进行通道维度拼接，得到拼接特征图；
基于训练完成的注意力模型对所述拼接特征图进行两次卷积处理，得到注意力矩阵。
7.一种有遮挡人脸识别设备，其特征在于，所述有遮挡人脸识别设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的有遮挡人脸识别程序，其中所述有遮挡人脸识别程序被所述处理器执行时，实现如权利要求1至4中任一项所述的有遮挡人脸识别方法的步骤。
8.一种可读存储介质，其特征在于，所述可读存储介质上存储有有遮挡人脸识别程序，其中所述有遮挡人脸识别程序被处理器执行时，实现如权利要求1至4中任一项所述的有遮挡人脸识别方法的步骤。
CN202111572588.4A 2021-12-21 2021-12-21 有遮挡人脸识别方法、装置、设备及可读存储介质 Active CN113947802B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111572588.4A CN113947802B (zh) 2021-12-21 2021-12-21 有遮挡人脸识别方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111572588.4A CN113947802B (zh) 2021-12-21 2021-12-21 有遮挡人脸识别方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN113947802A CN113947802A (zh) 2022-01-18
CN113947802B true CN113947802B (zh) 2022-04-01

Family

ID=79339467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111572588.4A Active CN113947802B (zh) 2021-12-21 2021-12-21 有遮挡人脸识别方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113947802B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960127A (zh) * 2018-06-29 2018-12-07 厦门大学 基于自适应深度度量学习的遮挡行人重识别方法
CN111339930A (zh) * 2020-02-25 2020-06-26 四川翼飞视科技有限公司 一种联合口罩属性损失函数的人脸识别方法
CN112949565A (zh) * 2021-03-25 2021-06-11 重庆邮电大学 基于注意力机制的单样本部分遮挡人脸识别方法及系统
CN113239907A (zh) * 2021-07-12 2021-08-10 北京远鉴信息技术有限公司 一种人脸识别的检测方法、装置、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8401336B2 (en) * 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US10133936B2 (en) * 2016-06-13 2018-11-20 The Board Of Trustees Of The University Of Alabama Active compressive sensing via a thermal sensor for human scenario recognition
CN109886160B (zh) * 2019-01-30 2021-03-09 浙江工商大学 一种非限定条件下的人脸识别方法
CN113095263B (zh) * 2021-04-21 2024-02-20 中国矿业大学 遮挡下行人重识别模型训练方法、装置及遮挡下行人重识别方法、装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960127A (zh) * 2018-06-29 2018-12-07 厦门大学 基于自适应深度度量学习的遮挡行人重识别方法
CN111339930A (zh) * 2020-02-25 2020-06-26 四川翼飞视科技有限公司 一种联合口罩属性损失函数的人脸识别方法
CN112949565A (zh) * 2021-03-25 2021-06-11 重庆邮电大学 基于注意力机制的单样本部分遮挡人脸识别方法及系统
CN113239907A (zh) * 2021-07-12 2021-08-10 北京远鉴信息技术有限公司 一种人脸识别的检测方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于非凸低秩分解判别的叠加线性稀疏人脸识别;叶学义等;《中国图象图形学报》;20190831;第1-11页 *

Also Published As

Publication number Publication date
CN113947802A (zh) 2022-01-18

Similar Documents

Publication Publication Date Title
CN114913565B (zh) 人脸图像检测方法、模型训练方法、装置及存储介质
US10713532B2 (en) Image recognition method and apparatus
CN112597941B (zh) 一种人脸识别方法、装置及电子设备
CN109858333B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN110084216A (zh) 人脸识别模型训练和人脸识别方法、系统、设备及介质
CN111279362A (zh) 胶囊神经网络
CN107578034A (zh) 信息生成方法和装置
Baek et al. Deep self-representative subspace clustering network
CN112668588B (zh) 车位信息生成方法、装置、设备和计算机可读介质
JP2010157118A (ja) パターン識別装置及びパターン識別装置の学習方法ならびにコンピュータプログラム
CN116311214B (zh) 车牌识别方法和装置
CN111242228B (zh) 高光谱图像分类方法、装置、设备及存储介质
CN117349899B (zh) 基于遗忘模型的敏感数据处理方法、系统及存储介质
CN114120454A (zh) 活体检测模型的训练方法、装置、电子设备及存储介质
CN114529750A (zh) 图像分类方法、装置、设备及存储介质
CN111126049B (zh) 对象关系预测方法、装置、终端设备及可读存储介质
CN113947802B (zh) 有遮挡人脸识别方法、装置、设备及可读存储介质
CN108664948B (zh) 用于生成信息的方法和装置
CN114186039A (zh) 一种视觉问答方法、装置及电子设备
CN112749707A (zh) 利用神经网络进行目标分割的方法、设备和介质
CN112613376B (zh) 重识别方法及装置，电子设备
CN113420628B (zh) 一种群体行为识别方法、装置、计算机设备及存储介质
CN112183299B (zh) 行人属性预测方法、装置、电子设备及存储介质
CN112395979B (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
CN116708313B (zh) 流量检测方法、流量检测装置、存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant