CN110781784A - 基于双路注意力机制的人脸识别方法、装置及设备 - Google Patents

基于双路注意力机制的人脸识别方法、装置及设备 Download PDF

Info

Publication number
CN110781784A
CN110781784A CN201910992938.9A CN201910992938A CN110781784A CN 110781784 A CN110781784 A CN 110781784A CN 201910992938 A CN201910992938 A CN 201910992938A CN 110781784 A CN110781784 A CN 110781784A
Authority
CN
China
Prior art keywords
face
face recognition
layer
detected
attention mechanism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910992938.9A
Other languages
English (en)
Inventor
刘彪
毛亮
林焕凯
许丹丹
王祥雪
汪刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gosuncn Technology Group Co Ltd
Original Assignee
Gosuncn Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gosuncn Technology Group Co Ltd filed Critical Gosuncn Technology Group Co Ltd
Priority to CN201910992938.9A priority Critical patent/CN110781784A/zh
Publication of CN110781784A publication Critical patent/CN110781784A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于双路注意力机制的人脸识别方法,包括:获取若干张待检测人脸图像,并对待检测人脸图像进行预处理;将进行完预处理后的待检测人脸图像分为测试集和训练集;利用训练集训练基于双路注意力机制的卷积神经网络,以得到人脸识别模型;其中,人脸识别模型包括特征层和分类层;去除分类层的参数,并从特征层中提取输入到人脸识别模型中的测试集的特征向量;根据所述特征向量计算测试集中待检测人脸图像的相似值,并根据所述相似值输出人脸识别的结果。本发明还公开了一种基于双路注意力机制的人脸识别装置和设备。采用本发明实施例,通过双路注意力机制模块来挖掘更加重要的深层特征信息,提升了网络的特征提取能力和识别准确率。

Description

基于双路注意力机制的人脸识别方法、装置及设备
技术领域
本发明涉及人脸识别技术领域,尤其涉及一种基于双路注意力机制的人脸识别方法、装置及设备。
背景技术
人脸识别方法是一种基于人脸图像的面部特征信息进行身份识别的技术。这种技术被广泛地运用在海关出入关卡、安防门禁等领域。其技术路线可以总结为:输入一张图像或一段视频,首先采用人脸检测器对图像或视频中的人脸进行检测,检测到人脸后对人脸图像进行人脸对齐、优选等预处理,然后将预处理后的人脸图像输入到特征提取模型中提取人脸图像的面部特征,最后通过度量面部特征的相似性来判断是否为同一个人。传统的人脸识别方法主要通过提取传统的图像特征来进行人脸识别,如使用LBP特征进行识别,其优点是速度快,但是LBP这种传统特征提取方法泛化性能差,难以适应光照、遮挡、模糊、表情等外部条件的变化,导致在不同场景下其识别准确率偏低。
发明内容
本发明实施例的目的是提供一种基于双路注意力机制的人脸识别方法、装置及设备,通过双路注意力机制来挖掘更加重要的深层特征信息,提升了网络的特征提取能力和识别准确率。
为实现上述目的,本发明实施例提供了一种基于双路注意力机制的人脸识别方法,包括:
获取若干张待检测人脸图像,并对所述待检测人脸图像进行预处理;
将进行完预处理后的所述待检测人脸图像分为测试集和训练集;
利用所述训练集训练基于双路注意力机制的深度可分离卷积神经网络,以得到人脸识别模型;其中,所述人脸识别模型包括特征层和分类层;
去除所述分类层的参数,并从所述特征层中提取输入到所述人脸识别模型中的所述测试集的特征向量;
根据所述特征向量计算所述测试集中所述待检测人脸图像的相似值,并根据所述相似值输出人脸识别的结果。
与现有技术相比,本发明实施例公开的基于双路注意力机制的人脸识别方法,首先,将进行完预处理后的所述待检测人脸图像分为测试集和训练集;然后,在训练阶段中利用所述训练集训练基于双路注意力机制的深度可分离卷积神经网络,以得到人脸识别模型;最后,在测试阶段中去除分类层的参数,并从特征层中提取输入的测试集的特征向量,从而计算待检测人脸图像的相似值,并根据相似值输出人脸识别的结果。本发明实施例公开的基于双路注意力机制的人脸识别方法,通过双路注意力机制来挖掘更加重要的深层特征信息,提升了网络的特征提取能力和识别准确率,构建了基于双路注意力机制的轻量级人脸识别模型,提升了常规轻量级人脸识别模型的精度,可满足大规模人脸识别场景的应用需求。
作为上述方案的改进,所述对所述待检测人脸图像进行预处理,具体包括:
利用预设的人脸框检测器获取每一所述待检测人脸图像的人脸框信息;
利用预设的人脸特征点检测器获取每一所述待检测人脸图像的特征点信息;
根据所述人脸框信息和所述特征点信息对所述待检测人脸图像进行人脸对齐处理,并对对齐后的待检测人脸图像进行归一化处理。
作为上述方案的改进,所述根据所述特征向量计算所述测试集中所述待检测人脸图像的相似值,具体包括:
利用余弦距离或欧氏距离根据所述特征向量计算所述测试集中所述待检测人脸图像的相似值。
作为上述方案的改进,所述根据所述相似值输出人脸识别的结果,具体包括:
判断所述相似值是否大于预设相似阈值;
若是,则判定所述待检测人脸图像为同一用户的人脸图像;若否,则判定所述待检测人脸图像为非同一用户的人脸图像。
作为上述方案的改进,所述基于双路注意力机制的深度可分离卷积神经网络包括深度可分离卷积结构和双路注意力机制结构。
作为上述方案的改进,所述深度可分离卷积结构包括第一普通卷积层、第二普通卷积层、深度可分离卷积层和相加层;其中,
输入到所述深度可分离卷积结构的特征图依次经过所述第一普通卷积层、所述深度可分离卷积层和所述第二普通卷积层后,输入到所述相加层;
所述相加层将所述第二普通卷积层输出的特征图与输入到所述深度可分离卷积结构的特征图相加,以得到下一级网络的特征图输入。
作为上述方案的改进,所述双路注意力机制结构用于接收所述深度可分离卷积结构输出的特征图;其中,所述双路注意力机制结构包括一路通道和二路通道,所述一路通道用于对输入所述双路注意力机制结构的特征做最大值池化,所述二路通道用于对输入所述双路注意力机制结构的特征做平均值池化。
作为上述方案的改进,所述一路通道包括一个最大池化层、两个全连接层以及连接两个全连接层的ReLU激活函数;所述二路通道包括一个平均池化层、两个全连接层以及连接两个全连接层的ReLU激活函数。
为实现上述目的,本发明实施例还提供了一种基于双路注意力机制的人脸识别装置,包括:
预处理单元,用于获取若干张待检测人脸图像,并对所述待检测人脸图像进行预处理;
划分单元,用于将进行完预处理后的所述待检测人脸图像分为测试集和训练集;
训练单元,用于利用所述训练集训练基于双路注意力机制的卷积神经网络,以得到人脸识别模型;其中,所述人脸识别模型包括特征层和分类层;
测试单元,用于去除所述分类层的参数,并从所述特征层中提取输入到所述人脸识别模型中的所述测试集的特征向量;还用于根据所述特征向量计算所述测试集中所述待检测人脸图像的相似值,并根据所述相似值输出人脸识别的结果。
与现有技术相比,本发明实施例公开的基于双路注意力机制的人脸识别装置,首先,划分单元将进行完预处理后的所述待检测人脸图像分为测试集和训练集;然后,在训练阶段中,训练单元利用所述训练集训练基于双路注意力机制的深度可分离卷积神经网络,以得到人脸识别模型;最后,在测试阶段中,测试单元去除分类层的参数,并从特征层中提取输入的测试集的特征向量,从而计算待检测人脸图像的相似值,并根据相似值输出人脸识别的结果。本发明实施例公开的基于双路注意力机制的人脸识别装置,通过双路注意力机制来挖掘更加重要的深层特征信息,提升了网络的特征提取能力和识别准确率,构建了基于双路注意力机制的轻量级人脸识别模型,提升了常规轻量级人脸识别模型的精度,可满足大规模人脸识别场景的应用需求。
为实现上述目的,本发明实施例还提供了一种基于双路注意力机制的人脸识别设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一实施例所述的基于双路注意力机制的人脸识别方法。
附图说明
图1是本发明实施例提供的一种基于双路注意力机制的人脸识别方法的流程图;
图2是本发明实施例提供的深度可分离卷积结构的结构示意图;
图3是本发明实施例提供的双路注意力机制结构的结构示意图;
图4是本发明实施例提供的另一种基于双路注意力机制的人脸识别方法的流程图;
图5是本发明实施例提供的一种基于双路注意力机制的人脸识别装置的结构示意图;
图6是本发明实施例提供的一种基于双路注意力机制的人脸识别设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,图1是本发明实施例提供的一种基于双路注意力机制的人脸识别方法的流程图;所述人脸识别方法包括:
S1、获取若干张待检测人脸图像,并对所述待检测人脸图像进行预处理;
S2、将进行完预处理后的所述待检测人脸图像分为测试集和训练集;
S3、利用所述训练集训练基于双路注意力机制的深度可分离卷积神经网络,以得到人脸识别模型;其中,所述人脸识别模型包括特征层和分类层;
S4、去除所述分类层的参数,并从所述特征层中提取输入到所述人脸识别模型中的所述测试集的特征向量;
S5、根据所述特征向量计算所述测试集中所述待检测人脸图像的相似值,并根据所述相似值输出人脸识别的结果。
具体的,在步骤S1中,收集人脸数据库,每个文件夹存放同一用户的多张待检测人脸图像,不同用户的人脸图像按不同文件夹存放。
优选的,所述对所述待检测人脸图像进行预处理,具体包括:
S11、利用预设的人脸框检测器获取每一所述待检测人脸图像的人脸框信息;
S12、利用预设的人脸特征点检测器获取每一所述待检测人脸图像的特征点信息;
S13、根据所述人脸框信息和所述特征点信息对所述待检测人脸图像进行人脸对齐处理,并对对齐后的待检测人脸图像进行归一化处理。
具体的,所述人脸框检测器和人脸特征点检测器均是通过预先训练得到的,所述人脸框检测器和人脸特征点检测器可采用现有技术常用的人脸框检测装置和人脸特征点检测装置,本发明在此不做具体限定。
具体的,在步骤S2中,按照适当比例将进行完预处理后的所述待检测人脸图像分为测试集和训练集。
具体的,在步骤S3中,在训练阶段,构建基于双路注意力机制的深度可分离卷积神经网络,然后使用训练集进行分类训练,在训练过程中所用的分类损失函数可以是但不限于SoftmaxLoss、L-SoftmaxLoss、A-SoftmaxLoss、CosineFaceLoss、ArcFaceLoss中的一种或多种,经过充分训练得到人脸识别模型。其中,所述人脸识别模型包括特征层和分类层,且所述特征层和分类层位于神经网络的最后两层。
优选的,所述深度可分离卷积神经网络包括深度可分离卷积结构和双路注意力机制结构。
本发明实施例中所述的深度可分离卷积结构的基础模型结构主要采用Mobilenet-V2中的InvertedResidualBlock来实现模型的轻量化,其结构如图2所示,所述深度可分离卷积结构包括第一普通卷积层、第二普通卷积层、深度可分离卷积层和相加层;其中,输入到所述深度可分离卷积结构的特征图依次经过所述第一普通卷积层、所述深度可分离卷积层和所述第二普通卷积层后,输入到所述相加层;所述相加层将所述第二普通卷积层输出的特征图与输入到所述深度可分离卷积结构的特征图相加,以得到下一级网络的特征图输入。
所述深度可分离卷积结构主要由三个卷积层组成的残差网络构成。首先经过一个1*1的第一普通卷积层提升通道数,获取更多的特征信息,然后经过3*3的深度可分离卷积层,再经过1*1的第二普通卷积层降低通道数,减少运算量,最后在相加层Add中和输入支路进行相加得到输出。激活函数方面,原始的Mobilenet-V2在前两个卷积层之后采用的是ReLU6,为了不破环提取的特征,所述第二普通卷积层之后采用线性操作,不使用激活函数。本发明实施例中为了更有效地进行人脸特征的提取,将前两层卷积层(即所述第一普通卷积层和所述深度可分离卷积层)之后的激活函数改成PReLU激活函数。
优选的,本发明实施例中在每一个Inverted Residual Block(即所述深度可分离卷积结构)之后都加入了特征通道间的双路注意力机制结构,通过双路注意力机制结构挖掘更加重要的深层特征信息,加强网络的特征提取能力,从而得到更加精确的人脸特征信息,其结构如图3所示。
所述双路注意力机制结构包括一路通道和二路通道,Inverted Residual Block提取的特征图输入到双路注意力机制结构中后分成两路,所述一路通道用于对输入所述双路注意力机制结构的特征做最大值池化,所述二路通道用于对输入所述双路注意力机制结构的特征做平均值池化。示例性的,所述一路通道包括一个最大池化层、两个全连接层以及连接两个全连接层的ReLU激活函数;所述二路通道包括一个平均池化层、两个全连接层以及连接两个全连接层的ReLU激活函数。
由于卷积层的感受野受卷积核大小的限制,因此本发明实施例中采用池化层来得到全局感受野。在每一路池化层之后会连接两个全连接层来建模特征通道间的相关性,为了降低全连接层的参数量和计算量,设置了一个比例系数来调节第一个全连接层的输出通道数,即第一个全连接层的输出通道数=输入通道数*比例系数,本技术方案将比例系数设置为0.25;第二个全连接层的输出通道数等于第一个全连接层的输入通道数,两层全连接层之间采用ReLU激活函数。经过第二个全连接层之后,对两路全连接层的特征进行逐像素(elementwise)的相加操作,其后再通过1+tanh激活函数,加快网络的收敛速度,最后将激活函数的输出作为原始输入特征通道(即Inverted Residual Block的输出通道)的权重,加权到每个通道的特征上,通过加权,重要通道的作用会更加显著,有利于网络自动朝更好的方向学习。这样通过卷积神经网络自动学习的方式可以得到每个特征通道的权重信息,从而实现注意力机制的自动嵌入,实现人脸特征的自适应学习。双路注意力机制模块的优点在于只增加少量的参数和计算量,就能够实现精度的大幅提升,特别适合嵌入到小型网络中,提升模型的表征能力。
进一步的,本发明实施例中所述基于双路注意力机制的深度可分离卷积神经网络结构还包括除上述深度可分离卷积结构和双路注意力机制结构之外的其他卷积层,一共包括十九个卷积模块:
第一个卷积模块是3x3的传统卷积层;
第二个卷积模块是3x3的深度可分离卷积层;
第三个到第十五个卷积模块是深度可分离卷积结构+双路注意力机制结构;
第十六个卷积模块是1x1的传统卷积层;
第十七个卷积模块是7x7的深度可分离卷积层,其后不带激活函数;
第十八个卷积模块是全连接层;
第十九个卷积模块是分类损失层。
具体的,在步骤S4中,在测试阶段,由于人脸识别一般属于Open-set(开集)识别,因此对训练好的人脸分类模型,需要去掉最后的分类层的参数。这种方法适用于开集人脸识别,开集人脸识别与普通的分类任务不同,其测试集的类别与训练集的类别没有交集,因此测试时分类层无法分类,故需使用分类层之前的特征层提取输出作为图像特征向量来进行开集人脸识别。在去掉所述分类层的参数后,从所述特征层提取输出作为所述测试集的特征向量,利用余弦距离或欧氏距离根据所述特征向量计算所述测试集中所述待检测人脸图像的相似值。
具体的,在步骤S5中,所述根据所述相似值输出人脸识别的结果,具体包括:判断所述相似值是否大于预设相似阈值;若是,则判定所述待检测人脸图像为同一用户的人脸图像;若否,则判定所述待检测人脸图像为非同一用户的人脸图像。值得说明的是,所述相似阈值的设定可根据实际情况来限定,本发明对此不作具体限定。
进一步的,所述步骤S1~S5的过程可参考图4。
与现有技术相比,本发明实施例公开的基于双路注意力机制的人脸识别方法,首先,将进行完预处理后的所述待检测人脸图像分为测试集和训练集;然后,在训练阶段中利用所述训练集训练基于双路注意力机制的深度可分离卷积神经网络,以得到人脸识别模型;最后,在测试阶段中去除分类层的参数,并从特征层中提取输入的测试集的特征向量,从而计算待检测人脸图像的相似值,并根据相似值输出人脸识别的结果。
本发明实施例公开的基于双路注意力机制的人脸识别方法,通过双路注意力机制来挖掘更加重要的深层特征信息,提升了网络的特征提取能力和识别准确率,构建了基于双路注意力机制的轻量级人脸识别模型,提升了常规轻量级人脸识别模型的精度,可满足大规模人脸识别场景的应用需求;将Inverted Residual Block中的ReLU6激活函数改为PReLU激活函数,使其更适应人脸分类任务。
本发明实施例公开的基于双路注意力机制的人脸识别方法,通过在深度可分离卷积模块之后加入双路注意力机制模块,更好的建模了特征通道间复杂的相关性,提升了特征提取网络的特征表达能力,从而能够有效地提升人脸识别的精度,能适应大规模人脸分类任务;而且,双路注意力机制模块只增加了少量的参数量,其计算量与常规卷积层相比几乎可以忽略不计,因此,双路注意力机制模块在提升精度的同时,也保证了模型的推理速度,能够很好地应用到嵌入式等移动端设备中。
参见图5,图5是本发明实施例提供的一种基于双路注意力机制的人脸识别装置10的结构示意图;所述基于双路注意力机制的人脸识别装置10,包括:
预处理单元11,用于获取若干张待检测人脸图像,并对所述待检测人脸图像进行预处理;
划分单元12,用于将进行完预处理后的所述待检测人脸图像分为测试集和训练集;
训练单元13,用于利用所述训练集训练基于双路注意力机制的深度可分离卷积神经网络,以得到人脸识别模型;其中,所述人脸识别模型包括特征层和分类层;
测试单元14,用于去除所述分类层的参数,并从所述特征层中提取输入到所述人脸识别模型中的所述测试集的特征向量;还用于根据所述特征向量计算所述测试集中所述待检测人脸图像的相似值,并根据所述相似值输出人脸识别的结果。
优选的,所述预处理单元11具体用于:
利用预设的人脸框检测器获取每一所述待检测人脸图像的人脸框信息;
利用预设的人脸特征点检测器获取每一所述待检测人脸图像的特征点信息;
根据所述人脸框信息和所述特征点信息对所述待检测人脸图像进行人脸对齐处理,并对对齐后的待检测人脸图像进行归一化处理。
优选的,所述测试单元14利用余弦距离或欧氏距离根据所述特征向量计算所述测试集中所述待检测人脸图像的相似值。
优选的,所述根据所述相似值输出人脸识别的结果,具体包括:
判断所述相似值是否大于预设相似阈值;
若是,则判定所述待检测人脸图像为同一用户的人脸图像;若否,则判定所述待检测人脸图像为非同一用户的人脸图像。
优选的,所述基于双路注意力机制的深度可分离卷积神经网络包括深度可分离卷积结构和双路注意力机制结构。
所述深度可分离卷积结构包括第一普通卷积层、第二普通卷积层、深度可分离卷积层和相加层;其中,输入到所述深度可分离卷积结构的特征图依次经过所述第一普通卷积层、所述深度可分离卷积层和所述第二普通卷积层后,输入到所述相加层;所述相加层将所述第二普通卷积层输出的特征图与输入到所述深度可分离卷积结构的特征图相加,以得到下一级网络的特征图输入。
所述双路注意力机制结构用于接收所述深度可分离卷积结构输出的特征图;其中,所述双路注意力机制结构包括一路通道和二路通道,所述一路通道用于对输入所述双路注意力机制结构的特征做最大值池化,所述二路通道用于对输入所述双路注意力机制结构的特征做平均值池化。所述一路通道包括一个最大池化层、两个全连接层以及连接两个全连接层的ReLU激活函数;所述二路通道包括一个平均池化层、两个全连接层以及连接两个全连接层的ReLU激活函数。
具体的所述基于双路注意力机制的人脸识别装置10的工作过程请参考上述实施例中所述基于双路注意力机制的人脸识别方法的工作过程,在此不再赘述。
与现有技术相比,本发明实施例公开的基于双路注意力机制的人脸识别装置10,首先,划分单元12将进行完预处理后的所述待检测人脸图像分为测试集和训练集;然后,在训练阶段中,训练单元13利用所述训练集训练基于双路注意力机制的深度可分离卷积神经网络,以得到人脸识别模型;最后,在测试阶段中,测试单元14去除分类层的参数,并从特征层中提取输入的测试集的特征向量,从而计算待检测人脸图像的相似值,并根据相似值输出人脸识别的结果。
本发明实施例公开的基于双路注意力机制的人脸识别装置10,通过双路注意力机制来挖掘更加重要的深层特征信息,提升了网络的特征提取能力和识别准确率,构建了基于双路注意力机制的轻量级人脸识别模型,提升了常规轻量级人脸识别模型的精度,可满足大规模人脸识别场景的应用需求;将Inverted Residual Block中的ReLU6激活函数改为PReLU激活函数,使其更适应人脸分类任务。
参见图6,图6是本发明实施例提供的一种基于双路注意力机制的人脸识别设备20的结构示意图;该实施例的基于双路注意力机制的人脸识别设备20包括:处理器21、存储器22以及存储在所述存储器22中并可在所述处理器21上运行的计算机程序。所述处理器21执行所述计算机程序时实现上述各个基于双路注意力机制的人脸识别方法实施例中的步骤,例如图1所示的步骤S1。或者,所述处理器21执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能,例如预处理单元11。
示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器22中,并由所述处理器21执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述基于双路注意力机制的人脸识别设备20中的执行过程。例如,所述计算机程序可以被分割成预处理单元11、划分单元12、训练单元13和测试单元14,各模块具体功能请参考上述实施例所述的人脸识别装置10的工作过程,在此不再赘述。
所述基于双路注意力机制的人脸识别设备20可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述基于双路注意力机制的人脸识别设备20可包括,但不仅限于,处理器21、存储器22。本领域技术人员可以理解,所述示意图仅仅是所述基于双路注意力机制的人脸识别设备20的示例,并不构成对所述基于双路注意力机制的人脸识别设备20的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述基于双路注意力机制的人脸识别设备20还可以包括输入输出设备、网络接入设备、总线等。
所述处理器21可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器21是所述基于双路注意力机制的人脸识别设备20的控制中心,利用各种接口和线路连接整个所述基于双路注意力机制的人脸识别设备20的各个部分。
所述存储器22可用于存储所述计算机程序和/或模块,所述处理器21通过运行或执行存储在所述存储器22内的计算机程序和/或模块,以及调用存储在存储器22内的数据,实现所述基于双路注意力机制的人脸识别设备20的各种功能。所述存储器22可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器22可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中,所述基于双路注意力机制的人脸识别设备20集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器21执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本发明提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于双路注意力机制的人脸识别方法,其特征在于,包括:
获取若干张待检测人脸图像,并对所述待检测人脸图像进行预处理;
将进行完预处理后的所述待检测人脸图像分为测试集和训练集;
利用所述训练集训练基于双路注意力机制的深度可分离卷积神经网络,以得到人脸识别模型;其中,所述人脸识别模型包括特征层和分类层;
去除所述分类层的参数,并从所述特征层中提取输入到所述人脸识别模型中的所述测试集的特征向量;
根据所述特征向量计算所述测试集中所述待检测人脸图像的相似值,并根据所述相似值输出人脸识别的结果。
2.如权利要求1所述的基于双路注意力机制的人脸识别方法,其特征在于,所述对所述待检测人脸图像进行预处理,具体包括:
利用预设的人脸框检测器获取每一所述待检测人脸图像的人脸框信息;
利用预设的人脸特征点检测器获取每一所述待检测人脸图像的特征点信息;
根据所述人脸框信息和所述特征点信息对所述待检测人脸图像进行人脸对齐处理,并对对齐后的待检测人脸图像进行归一化处理。
3.如权利要求1所述的基于双路注意力机制的人脸识别方法,其特征在于,所述根据所述特征向量计算所述测试集中所述待检测人脸图像的相似值,具体包括:
利用余弦距离或欧氏距离根据所述特征向量计算所述测试集中所述待检测人脸图像的相似值。
4.如权利要求1所述的基于双路注意力机制的人脸识别方法,其特征在于,所述根据所述相似值输出人脸识别的结果,具体包括:
判断所述相似值是否大于预设相似阈值;
若是,则判定所述待检测人脸图像为同一用户的人脸图像;若否,则判定所述待检测人脸图像为非同一用户的人脸图像。
5.如权利要求1所述的基于双路注意力机制的人脸识别方法,其特征在于,所述基于双路注意力机制的深度可分离卷积神经网络包括深度可分离卷积结构和双路注意力机制结构。
6.如权利要求5所述的基于双路注意力机制的人脸识别方法,其特征在于,所述深度可分离卷积结构包括第一普通卷积层、第二普通卷积层、深度可分离卷积层和相加层;其中,
输入到所述深度可分离卷积结构的特征图依次经过所述第一普通卷积层、所述深度可分离卷积层和所述第二普通卷积层后,输入到所述相加层;
所述相加层将所述第二普通卷积层输出的特征图与输入到所述深度可分离卷积结构的特征图相加,以得到下一级网络的特征图输入。
7.如权利要求6所述的基于双路注意力机制的人脸识别方法,其特征在于,所述双路注意力机制结构用于接收所述深度可分离卷积结构输出的特征图;其中,所述双路注意力机制结构包括一路通道和二路通道,所述一路通道用于对输入所述双路注意力机制结构的特征做最大值池化,所述二路通道用于对输入所述双路注意力机制结构的特征做平均值池化。
8.如权利要求7所述的基于双路注意力机制的人脸识别方法,其特征在于,所述一路通道包括一个最大池化层、两个全连接层以及连接两个全连接层的ReLU激活函数;所述二路通道包括一个平均池化层、两个全连接层以及连接两个全连接层的ReLU激活函数。
9.一种基于双路注意力机制的人脸识别装置,其特征在于,包括:
预处理单元,用于获取若干张待检测人脸图像,并对所述待检测人脸图像进行预处理;
划分单元,用于将进行完预处理后的所述待检测人脸图像分为测试集和训练集;
训练单元,用于利用所述训练集训练基于双路注意力机制的深度可分离卷积神经网络,以得到人脸识别模型;其中,所述人脸识别模型包括特征层和分类层;
测试单元,用于去除所述分类层的参数,并从所述特征层中提取输入到所述人脸识别模型中的所述测试集的特征向量;还用于根据所述特征向量计算所述测试集中所述待检测人脸图像的相似值,并根据所述相似值输出人脸识别的结果。
10.一种基于双路注意力机制的人脸识别设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至8中任意一项所述的基于双路注意力机制的人脸识别方法。
CN201910992938.9A 2019-10-18 2019-10-18 基于双路注意力机制的人脸识别方法、装置及设备 Pending CN110781784A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910992938.9A CN110781784A (zh) 2019-10-18 2019-10-18 基于双路注意力机制的人脸识别方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910992938.9A CN110781784A (zh) 2019-10-18 2019-10-18 基于双路注意力机制的人脸识别方法、装置及设备

Publications (1)

Publication Number Publication Date
CN110781784A true CN110781784A (zh) 2020-02-11

Family

ID=69385893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910992938.9A Pending CN110781784A (zh) 2019-10-18 2019-10-18 基于双路注意力机制的人脸识别方法、装置及设备

Country Status (1)

Country Link
CN (1) CN110781784A (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353430A (zh) * 2020-02-28 2020-06-30 深圳壹账通智能科技有限公司 人脸识别方法和系统
CN111582044A (zh) * 2020-04-15 2020-08-25 华南理工大学 基于卷积神经网络和注意力模型的人脸识别方法
CN111639596A (zh) * 2020-05-29 2020-09-08 上海锘科智能科技有限公司 基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法
CN111652051A (zh) * 2020-04-21 2020-09-11 高新兴科技集团股份有限公司 人脸检测模型生成方法、装置、设备和存储介质
CN111680595A (zh) * 2020-05-29 2020-09-18 新疆爱华盈通信息技术有限公司 一种人脸识别方法、装置及电子设备
CN111783607A (zh) * 2020-06-24 2020-10-16 北京百度网讯科技有限公司 人脸识别模型的训练方法、装置、电子设备及存储介质
CN111860456A (zh) * 2020-08-04 2020-10-30 广州市微智联科技有限公司 一种蒙面人脸识别方法
CN112232236A (zh) * 2020-10-20 2021-01-15 城云科技(中国)有限公司 行人流量的监测方法、系统、计算机设备和存储介质
CN112560828A (zh) * 2021-02-25 2021-03-26 佛山科学技术学院 一种轻量级口罩人脸识别方法、系统、存储介质及设备
CN112766220A (zh) * 2021-02-01 2021-05-07 西南大学 双通道微表情识别方法、系统、存储介质、计算机设备
CN112818832A (zh) * 2021-01-28 2021-05-18 中国科学技术大学 一种基于部件感知的弱监督物体定位装置及方法
CN113177533A (zh) * 2021-05-28 2021-07-27 济南博观智能科技有限公司 一种人脸识别方法、装置及电子设备
CN113361495A (zh) * 2021-07-27 2021-09-07 平安科技(深圳)有限公司 人脸图像相似度的计算方法、装置、设备及存储介质
CN113610164A (zh) * 2021-08-10 2021-11-05 北京邮电大学 一种基于注意力平衡的细粒度图像识别方法及其系统
CN113688714A (zh) * 2021-08-18 2021-11-23 华南师范大学 一种多角度人脸表情识别的方法及装置、设备及存储介质
CN113723377A (zh) * 2021-11-02 2021-11-30 南京信息工程大学 一种基于ld-ssd网络的交通标志检测方法
CN114078268A (zh) * 2020-08-17 2022-02-22 珠海全志科技股份有限公司 一种轻量级人脸识别模型的训练方法及装置
CN114529730A (zh) * 2022-01-17 2022-05-24 北京联合大学 一种基于lbp特征的卷积神经网络地面材质图像分类方法
CN114581645A (zh) * 2022-02-28 2022-06-03 中国人民解放军战略支援部队信息工程大学 基于倒残差结构的孪生卷积网络隐写分析框架
CN114758424A (zh) * 2022-06-14 2022-07-15 众旅联(浙江)生态科技有限公司 基于多重校验机制的智能支付设备及其支付方法
CN114998958A (zh) * 2022-05-11 2022-09-02 华南理工大学 一种基于轻量化卷积神经网络的人脸识别方法
CN115984949A (zh) * 2023-03-21 2023-04-18 威海职业学院(威海市技术学院) 一种带有注意力机制的低质量人脸图像识别方法及设备
CN117095447A (zh) * 2023-10-18 2023-11-21 杭州宇泛智能科技有限公司 一种跨域人脸识别方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063666A (zh) * 2018-08-14 2018-12-21 电子科技大学 基于深度可分离卷积的轻量化人脸识别方法及系统
CN109993100A (zh) * 2019-03-27 2019-07-09 南京邮电大学 基于深层特征聚类的人脸表情识别的实现方法
CN110110642A (zh) * 2019-04-29 2019-08-09 华南理工大学 一种基于多通道注意力特征的行人重识别方法
CN110263603A (zh) * 2018-05-14 2019-09-20 桂林远望智能通信科技有限公司 基于中心损失和残差视觉仿真网络的人脸识别方法及装置
CN110263768A (zh) * 2019-07-19 2019-09-20 深圳市科葩信息技术有限公司 一种基于深度残差网络的人脸识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263603A (zh) * 2018-05-14 2019-09-20 桂林远望智能通信科技有限公司 基于中心损失和残差视觉仿真网络的人脸识别方法及装置
CN109063666A (zh) * 2018-08-14 2018-12-21 电子科技大学 基于深度可分离卷积的轻量化人脸识别方法及系统
CN109993100A (zh) * 2019-03-27 2019-07-09 南京邮电大学 基于深层特征聚类的人脸表情识别的实现方法
CN110110642A (zh) * 2019-04-29 2019-08-09 华南理工大学 一种基于多通道注意力特征的行人重识别方法
CN110263768A (zh) * 2019-07-19 2019-09-20 深圳市科葩信息技术有限公司 一种基于深度残差网络的人脸识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARK SANDLER ET AL.: "MobileNetV2: Inverted Residuals and Linear Bottlenecks", 《ARXIV》 *
SANGHYUN WOO ET AL.: "CBAM: Convolutional Block Attention Module", 《EUROPEAN CONFERENCE ON COMPUTER VISION》 *

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353430A (zh) * 2020-02-28 2020-06-30 深圳壹账通智能科技有限公司 人脸识别方法和系统
WO2021169641A1 (zh) * 2020-02-28 2021-09-02 深圳壹账通智能科技有限公司 人脸识别方法和系统
CN111582044A (zh) * 2020-04-15 2020-08-25 华南理工大学 基于卷积神经网络和注意力模型的人脸识别方法
CN111582044B (zh) * 2020-04-15 2023-06-20 华南理工大学 基于卷积神经网络和注意力模型的人脸识别方法
CN111652051A (zh) * 2020-04-21 2020-09-11 高新兴科技集团股份有限公司 人脸检测模型生成方法、装置、设备和存储介质
CN111680595A (zh) * 2020-05-29 2020-09-18 新疆爱华盈通信息技术有限公司 一种人脸识别方法、装置及电子设备
CN111639596A (zh) * 2020-05-29 2020-09-08 上海锘科智能科技有限公司 基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法
CN111639596B (zh) * 2020-05-29 2023-04-28 上海锘科智能科技有限公司 基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法
CN111783607A (zh) * 2020-06-24 2020-10-16 北京百度网讯科技有限公司 人脸识别模型的训练方法、装置、电子设备及存储介质
CN111783607B (zh) * 2020-06-24 2023-06-27 北京百度网讯科技有限公司 人脸识别模型的训练方法、装置、电子设备及存储介质
CN111860456A (zh) * 2020-08-04 2020-10-30 广州市微智联科技有限公司 一种蒙面人脸识别方法
CN111860456B (zh) * 2020-08-04 2024-02-02 广州市微智联科技有限公司 一种蒙面人脸识别方法
CN114078268A (zh) * 2020-08-17 2022-02-22 珠海全志科技股份有限公司 一种轻量级人脸识别模型的训练方法及装置
CN112232236A (zh) * 2020-10-20 2021-01-15 城云科技(中国)有限公司 行人流量的监测方法、系统、计算机设备和存储介质
CN112232236B (zh) * 2020-10-20 2024-02-06 城云科技(中国)有限公司 行人流量的监测方法、系统、计算机设备和存储介质
CN112818832A (zh) * 2021-01-28 2021-05-18 中国科学技术大学 一种基于部件感知的弱监督物体定位装置及方法
CN112766220A (zh) * 2021-02-01 2021-05-07 西南大学 双通道微表情识别方法、系统、存储介质、计算机设备
CN112766220B (zh) * 2021-02-01 2023-02-24 西南大学 双通道微表情识别方法、系统、存储介质、计算机设备
CN112560828A (zh) * 2021-02-25 2021-03-26 佛山科学技术学院 一种轻量级口罩人脸识别方法、系统、存储介质及设备
CN113177533A (zh) * 2021-05-28 2021-07-27 济南博观智能科技有限公司 一种人脸识别方法、装置及电子设备
CN113177533B (zh) * 2021-05-28 2022-09-06 济南博观智能科技有限公司 一种人脸识别方法、装置及电子设备
CN113361495B (zh) * 2021-07-27 2024-04-09 平安科技(深圳)有限公司 人脸图像相似度的计算方法、装置、设备及存储介质
CN113361495A (zh) * 2021-07-27 2021-09-07 平安科技(深圳)有限公司 人脸图像相似度的计算方法、装置、设备及存储介质
CN113610164B (zh) * 2021-08-10 2023-12-22 北京邮电大学 一种基于注意力平衡的细粒度图像识别方法及其系统
CN113610164A (zh) * 2021-08-10 2021-11-05 北京邮电大学 一种基于注意力平衡的细粒度图像识别方法及其系统
CN113688714A (zh) * 2021-08-18 2021-11-23 华南师范大学 一种多角度人脸表情识别的方法及装置、设备及存储介质
CN113688714B (zh) * 2021-08-18 2023-09-01 华南师范大学 一种多角度人脸表情识别的方法及装置、设备及存储介质
CN113723377A (zh) * 2021-11-02 2021-11-30 南京信息工程大学 一种基于ld-ssd网络的交通标志检测方法
CN114529730A (zh) * 2022-01-17 2022-05-24 北京联合大学 一种基于lbp特征的卷积神经网络地面材质图像分类方法
CN114581645A (zh) * 2022-02-28 2022-06-03 中国人民解放军战略支援部队信息工程大学 基于倒残差结构的孪生卷积网络隐写分析框架
CN114998958A (zh) * 2022-05-11 2022-09-02 华南理工大学 一种基于轻量化卷积神经网络的人脸识别方法
CN114998958B (zh) * 2022-05-11 2024-04-16 华南理工大学 一种基于轻量化卷积神经网络的人脸识别方法
CN114758424B (zh) * 2022-06-14 2022-09-02 众旅联(浙江)生态科技有限公司 基于多重校验机制的智能支付设备及其支付方法
CN114758424A (zh) * 2022-06-14 2022-07-15 众旅联(浙江)生态科技有限公司 基于多重校验机制的智能支付设备及其支付方法
CN115984949A (zh) * 2023-03-21 2023-04-18 威海职业学院(威海市技术学院) 一种带有注意力机制的低质量人脸图像识别方法及设备
CN117095447B (zh) * 2023-10-18 2024-01-12 杭州宇泛智能科技有限公司 一种跨域人脸识别方法、装置、计算机设备及存储介质
CN117095447A (zh) * 2023-10-18 2023-11-21 杭州宇泛智能科技有限公司 一种跨域人脸识别方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN110781784A (zh) 基于双路注意力机制的人脸识别方法、装置及设备
US11151363B2 (en) Expression recognition method, apparatus, electronic device, and storage medium
CN112966697B (zh) 基于场景语义的目标检测方法、装置、设备及存储介质
CN109871780B (zh) 一种人脸质量判决方法、系统及人脸识别方法、系统
US11126882B2 (en) Method and device for license plate positioning
CN107633207A (zh) Au特征识别方法、装置及存储介质
CN112381104B (zh) 一种图像识别方法、装置、计算机设备及存储介质
CN105160318A (zh) 基于面部表情的测谎方法及系统
CN111695453B (zh) 绘本识别方法、装置及机器人
CN113015022A (zh) 行为识别方法、装置、终端设备及计算机可读存储介质
CN111914668A (zh) 一种基于图像增强技术的行人重识别方法、装置及系统
CN110659631B (zh) 车牌识别方法和终端设备
CN112488054B (zh) 一种人脸识别方法、装置、终端设备及存储介质
CN116580063B (zh) 目标追踪方法、装置、电子设备及存储介质
CN115700845B (zh) 人脸识别模型训练方法、人脸识别方法、装置及相关设备
CN116246303A (zh) 用于模型跨域训练的样本构建方法、装置、设备及介质
CN114863442A (zh) 基于深度学习的文字识别方法、系统、装置和存储介质
CN112989869B (zh) 人脸质量检测模型的优化方法、装置、设备及存储介质
CN114359572A (zh) 多任务检测模型的训练方法、装置及终端设备
CN114283087A (zh) 一种图像去噪方法及相关设备
CN112489687A (zh) 一种基于序列卷积的语音情感识别方法及装置
CN115147434A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
CN111797922A (zh) 文本图像分类方法及装置
CN111652051A (zh) 人脸检测模型生成方法、装置、设备和存储介质
CN112419249A (zh) 一种特殊服饰图片转化方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200211