CN111680600A - 人脸识别模型处理方法、装置、设备和存储介质 - Google Patents

人脸识别模型处理方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111680600A
CN111680600A CN202010479868.XA CN202010479868A CN111680600A CN 111680600 A CN111680600 A CN 111680600A CN 202010479868 A CN202010479868 A CN 202010479868A CN 111680600 A CN111680600 A CN 111680600A
Authority
CN
China
Prior art keywords
face recognition
network
occlusion
shielding
recognition model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010479868.XA
Other languages
English (en)
Other versions
CN111680600B (zh
Inventor
希滕
张刚
温圣召
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010479868.XA priority Critical patent/CN111680600B/zh
Publication of CN111680600A publication Critical patent/CN111680600A/zh
Application granted granted Critical
Publication of CN111680600B publication Critical patent/CN111680600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人脸识别模型处理方法、装置、设备和存储介质,涉及人工智能深度学习技术领域,尤其涉及计算机视觉技术应用。具体实现方案为:采用第一遮挡样本数据,对非遮挡人脸识别模型进行训练,得到遮挡人脸识别模型;根据遮挡场景下人脸识别模型的搜索空间,构建遮挡人脸识别超网络;采用知识蒸馏算法,在所述遮挡人脸识别模型的监督下对所述遮挡人脸识别超网络进行训练,以更新所述遮挡人脸识别超网络。本申请提供了适用于遮挡场景的遮挡人脸识别超网络。

Description

人脸识别模型处理方法、装置、设备和存储介质
技术领域
本申请涉及人工智能深度学习技术领域,尤其涉及计算机视觉技术应用,具体涉及一种人脸识别模型处理方法、装置、设备和存储介质。
背景技术
人脸识别是指基于人的脸部特征信息进行身份识别,用处十分广泛。
随着疫情的发展,对戴口罩等遮挡场景下人脸识别模型的需求日益增长。
传统的人脸识别模型无法解决遮挡场景的人脸识别,即使采用带口罩等遮挡场景的样本数据对非遮挡场景下的人脸识别模型进行训练,由于模型对于遮挡场景缺乏针对性,对于遮挡场景的人脸识别能力受限。
为了提升模型对于遮挡场景的人脸识别能力需要特别大的模型结构,而超大的模型很难满足人脸识别的实时性需求。
发明内容
本公开提供了一种用于人脸识别模型处理的方法、装置、设备以及存储介质。
根据第一方面,提供了一种人脸识别模型处理方法,包括:
采用第一遮挡样本数据,对非遮挡人脸识别模型进行训练,得到遮挡人脸识别模型;
根据遮挡场景下人脸识别模型的搜索空间,构建遮挡人脸识别超网络;
采用知识蒸馏算法,在所述遮挡人脸识别模型的监督下对所述遮挡人脸识别超网络进行训练,以更新所述遮挡人脸识别超网络。
根据第二方面,提供了一种人脸识别模型处理装置,包括:
遮挡模型构建模块,用于采用第一遮挡样本数据,对非遮挡人脸识别模型进行训练,得到遮挡人脸识别模型;
超网络构建模块,用于根据遮挡场景下人脸识别模型的搜索空间,构建遮挡人脸识别超网络;
超网络蒸馏模块,用于采用知识蒸馏算法,在所述遮挡人脸识别模型的监督下对所述遮挡人脸识别超网络进行训练,以更新所述遮挡人脸识别超网络。
根据第三方面,提供了一种电子设备,该电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如本申请实施例中任一项所述的人脸识别模型处理方法。
根据第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行如本申请实施例中任一项所述的人脸识别模型处理方法。
根据本申请的技术提供了适用于遮挡场景的遮挡人脸识别超网络。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是根据本申请实施例提供的人脸识别模型处理方法的流程示意图;
图2是根据本申请实施例提供的人脸识别模型处理方法的流程示意图;
图3是根据本申请实施例提供的人脸识别模型处理方法的流程示意图;
图4是根据本申请实施例提供的人脸识别模型处理装置的结构示意图;
图5是用来实现本申请实施例的人脸识别模型处理方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1是根据本申请实施例提供的人脸识别模型处理方法的流程示意图。本实施例可适用于在戴口罩等遮挡场景下进行人脸识别的情况。本实施例公开的人脸识别模型处理方法可以由电子设备执行,具体可以由人脸识别模型处理装置来执行,该装置可以由软件和/或硬件的方式实现,配置于电子设备中。参见图1,本实施例提供的人脸识别模型处理方法包括:
S110、采用第一遮挡样本数据,对非遮挡人脸识别模型进行训练,得到遮挡人脸识别模型。
在本申请实施例中,非遮挡人脸识别模型通过采用非遮挡样本数据对人脸识别网络进行训练得到。遮挡样本数据是指包括口罩等遮挡物品的样本人脸图像和样本标签。非遮挡样本数据是指不包括遮挡物品的样本人脸图像和样本标签。
具体的,预先采用非遮挡样本数据对人脸识别网络进行训练得到非遮挡人脸识别模型,再采用第一遮挡样本数据对非遮挡人脸识别模型进行训练得到遮挡人脸识别模型。
为了使遮挡人脸识别模型满足性能要求,网络结构的层数一般大于预设数值,即遮挡人脸识别模型为超大深度网络。由于模型太大,很难满足遮挡场景下人脸识别的实时性需求。
S120、根据遮挡场景下人脸识别模型的搜索空间,构建遮挡人脸识别超网络。
在本申请实施例中,搜索空间是指网络结构的全集,包括各种候选网络结构供选择,根据遮挡场景下人脸识别模型的搜索空间定义确定。需要说明的是,遮挡场景下搜索空间包括的候选网络结构与非遮挡人脸识别模型中的网络结构不同。
具体的,根据搜索空间的候选结构,构建遮挡人脸识别超网络,例如遮挡人脸识别超网络可以包括N层,根据搜索空间每层可以有M种候选结构。其中,遮挡人脸识别超网络的层数可以根据人脸识别的执行方确定,例如执行方是服务端的层数大于执行方是客户端的层数。
S130、采用知识蒸馏算法,在所述遮挡人脸识别模型的监督下对所述遮挡人脸识别超网络进行训练,以更新所述遮挡人脸识别超网络。
具体的,通过将遮挡人脸识别模型作为教师网络,将遮挡人脸识别超网络作为学生网络,对遮挡人脸识别超网络进行蒸馏。需要说明的是,本申请实施例通过对能够采样出各种子网络的遮挡人脸识别超网络直接进行蒸馏,超网络中各层的候选结构被更新即可,无需对候选结构组合的所有子网络均蒸馏。
通过将适用于遮挡场景的大型遮挡人脸识别模型作为监督,使遮挡人脸识别超网络的蒸馏结果同样适用于遮挡场景,即更新后的遮挡人脸识别超网络在遮挡场景下具有良好性能,能够满足遮挡场景人脸识别的精度要求。因此后续通过模型搜索,能够从更新后的遮挡人脸识别超网络中采样足够小且精度满足要求的遮挡人脸识别模型。
本申请实施例的技术方案,通过将超大的遮挡人脸识别模型作为监督,对遮挡人脸识别超网络进行蒸馏,使更新后的遮挡人脸识别超网络在遮挡场景下具有良好性能,能够提供足够小且精度满足要求的遮挡人脸识别模型,从而满足遮挡场景下人脸识别的速度和性能需求。
图2是根据本申请实施例提供的一种人脸识别模型处理方法的流程示意图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图2,本实施例提供的人脸识别模型处理方法包括:
S210、采用第一遮挡样本数据,对非遮挡人脸识别模型进行训练,得到遮挡人脸识别模型。
S220、根据遮挡场景下人脸识别模型的搜索空间,构建遮挡人脸识别超网络。
S230、对所述遮挡人脸识别超网络进行采样,得到遮挡人脸识别子网络。
具体的,针对遮挡人脸识别超网络中的每一层,从搜索空间的各候选网络结构中选择该层的结构,得到遮挡人脸识别子网络。以遮挡人脸识别超网络包括N层,每层级有M种候选结构为例,遮挡人脸识别子网络有N层,每层的网络结构确定。另外,在对遮挡人脸识别超网络进行采样之前,还对超网络进行初始化,可以随机初始化。
可选的,根据正交比例经验值或正交比例超参数的取值,从所述遮挡人脸识别超网络中采样满足正交关系的遮挡人脸识别子网络。
其中,正交比例的取值由子网络中不同层的节点重合数确定,不同层之间节点重合数越少,正交比例的取值越大,不同层的共存性越大;反之,节点重合数越大,正交比例的取值越小,不同层的互斥性越大。正交比例为1是完全正交,不同层之间没有重复节点。其中,节点是指搜索空间中的候选网络结构。通过将正交比例作为超参数,通过网络搜索确定正交比例的取值,从而使子网络不同层能够在互斥性和共存性之间寻求平衡。
S240、将第二遮挡样本数据分别输入所述遮挡人脸识别子网络和所述遮挡人脸识别模型,并根据所述遮挡人脸识别子网络和所述遮挡人脸识别模型的输出结果构建所述遮挡人脸识别超网络的损失函数。
其中,第二遮挡样本数据与第一遮挡样本数据可以相同,也可以不同。第二遮挡样本数据中包括遮挡样本图像和人脸样本标签。需要说明的是,本申请实施例中由于遮挡人脸识别模型在遮挡场景下具有良好性能,该模型的参数固定,无需再训练;而遮挡人脸识别子网络和遮挡人脸识别超网络需要训练,以在遮挡场景下具有良好性能。
具体的,采用第二遮挡样本数据对遮挡人脸识别子网络进行训练,将第二遮挡样本数据作为遮挡人脸识别模型输入,得到第二遮挡样本的软标签数据,从而根据子网络的训练数据和第二遮挡样本的软标签数据构建超网络的损失函数。
在一种可选实施方式中,S240包括:将所述第二遮挡样本数据输入所述遮挡人脸识别子网络,得到所述遮挡人脸识别子网络的损失函数和第一输出特征;将所述第二遮挡样本数据输入所述遮挡人脸识别模型,得到第二输出特征;根据所述遮挡人脸识别子网络的损失函数、所述第一输出特征和所述第二输出特征,确定所述遮挡人脸识别超网络的损失函数。其中,遮挡人脸识别子网络的损失函数根据第一输出特征和第二遮挡样本的人脸样本标签确定。
在一种可选实施方式中,根据所述遮挡人脸识别子网络的损失函数、所述第一输出特征和所述第二输出特征,确定所述遮挡人脸识别超网络的损失函数包括:将所述第二输出特征与所述第一输出特征之间的距离,作为第二损失函数;叠加所述第一损失函数和所述第二损失函数,得到所述遮挡人脸识别超网络的损失函数。
S250、根据所述遮挡人脸识别超网络的损失函数更新所述遮挡人脸识别超网络中的参数。
本申请实施例的技术方案,通过采用第二遮挡样本数据对所述遮挡人脸识别子网络进行训练,将第二遮挡样本数据输入遮挡人脸识别模型得到第二遮挡样本的软标签数据,根据遮挡人脸识别子网络的输出特征、软标签数据和样本人脸标签构建超网络的损失函数,根据超网络的损失函数更新超网络中的参数,使超网络提供足够小且精度满足要求的遮挡人脸识别模型。
图3是根据本申请实施例提供的一种人脸识别模型处理方法的流程示意图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图3,本实施例提供的人脸识别模型处理方法包括:
S310、采用第一遮挡样本数据,对非遮挡人脸识别模型进行训练,得到遮挡人脸识别模型。
S320、根据遮挡场景下人脸识别模型的搜索空间,构建遮挡人脸识别超网络。
在一种可选实施方式中,所述搜索空间还包括至少两个候选卷积核尺寸,即在搜索空间中引入对于是否加入对至少两个候选卷积核尺寸的搜索。超网络中部分层的卷积核尺寸增加虽然影响模型速度,但是对模型性能带来明显改善,部分层的卷积核尺寸增加只能降低模型速度,而对模型性能改善较小,通过对卷积核尺寸的搜索,确定超网络中各层的卷积核尺寸,使得兼顾模型兼顾效率和性能要求。本申请实施例对候选卷积核尺寸不作具体限定,例如可以包括3×3,5×5和7×7。
在一种可选实施方式中,所述搜索空间还包括候选组卷积,即搜索空间不仅包括普通卷积还包括组卷积,引入了对不同卷积类型的搜索。其中,普通卷积是指对输入数据的整体一起做卷积操作,组卷积是指将输入数据分成至少两组,每组一起做卷积操作。由于搜索空间中非局域模块导致模型速度明显降低,通过引入组卷积能够加快模型的效率,但是组卷积相比于普通卷积缺少不同层之间关联关系,引入组卷积也可能导致模型性能降低。通过对超网络中各层分别进行卷积类型的搜索,能够使模型兼顾效率和性能要求。
在一种可选实施方式中,所述搜索空间还包括至少两个候选膨胀系数(ExpansionRate)。通过在卷积操作的基础上增加膨胀系数,尤其在组卷积操作上增加膨胀系数,将卷积核扩张到膨胀系数所约束的尺度中,快速扩大感受野,使得卷积输出包含较大范围的信息,尤其是能够补偿因引入非局域模块导致模型效率较低。本申请实施例对候选膨胀系数不作具体限定,例如可以包括1,2,3,4,5和6。
在一种可选实施方式中,所述搜索空间还包括候选挤压激励(Squeeze-and-Excitation,SE)操作,即在搜索空间中引入对于是否加入SE操作的搜索。SE操作通过对卷积得到的特征图进行处理,得到和通道数一样的一维向量作为每个通道的评价分数,然后将该评价分数分别施加到对应的通道上,即SE操作考虑模型中不同层之间的关联性。SE操作能够补偿组卷积导致的不同层之间缺少关联性,即对组卷积性能进行补充。
另外,为了进一步提升超网络性能,搜索空间加入候选空洞卷积(Dilatedconvolutions),即引入对于是否加入空洞卷积的搜索。其中,空洞卷积通过在卷积过程中,在卷积核元素之间塞入空格能够增加感受野,也就是增加卷积神经网络每一层输出的特征图上像素点在输入图片上映射的区域大小。
需要说明的是,本申请实施例中搜索空间的不同候选网络结构相互配合,可以通过空调卷积提高模型性能,通过引入卷积核尺寸、碰撞系数、组卷积来对模型加速;以及,组卷积缺失层间关系,可以通过引入SE操作补偿缺失的层级关系。通过在搜索空间提供针对遮挡场景的各种候选结构,后续通过模型搜索在速度和性能收益之间权衡,从而生成在遮挡场景下兼顾效率和性能要求的模型。
S330、采用知识蒸馏算法,在所述遮挡人脸识别模型的监督下对所述遮挡人脸识别超网络进行训练,以更新所述遮挡人脸识别超网络。
S340、通过模型搜索,根据更新后的遮挡人脸识别超网络,确定遮挡人脸识别模型。
具体的,通过NAS(Neural Architecture Search,神经网络架构搜索)技术,利用搜索策略从训练好的遮挡人脸识别超网络中采样,并基于评估机制对采样结果进行性能评估,选择性能评估结果较好的采样结果作为遮挡人脸识别模型。
在一种可选实施方式中,S340包括:从更新后的遮挡人脸识别超网络中采样延时小于时长阈值的候选模型结构;从所述候选模型结构中选择遮挡人脸识别模型。
考虑到人脸识别的时效性要求,从训练好的超网络中选择延时小于时长阈值的候选模型结构。其中,时长阈值可以为预设值,例如为10ms。具体的,根据候选模型结构包括的节点,确定候选模型结构的延时。节点与延时之间关联关系可以预先确定。
在一种可选实施方式中,从所述候选模型结构中选择遮挡人脸识别模型,包括:评估所述候选模型结构的性能;根据所述候选模型结构的性能,从所述候选模型结构中选择遮挡人脸识别模型。具体的,可以将性能最优的候选模型结构作为遮挡人脸识别模型。
本申请实施例的技术方案,基于超网络蒸馏的人脸识别模型,能够得到性能足够好且足够小的模型结构,从而使得疫情期间或者其他戴口罩等遮挡场景下,人脸识别模型同样具有较好的识别能力。
图4是根据本申请实施例提供的人脸识别模型处理装置的结构示意图。参见图4,本申请实施例公开了人脸识别模型处理装置400,该装置400包括:
遮挡模型构建模块401,用于采用第一遮挡样本数据,对非遮挡人脸识别模型进行训练,得到遮挡人脸识别模型;
超网络构建模块402,用于根据遮挡场景下人脸识别模型的搜索空间,构建遮挡人脸识别超网络;
超网络蒸馏模块403,用于采用知识蒸馏算法,在所述遮挡人脸识别模型的监督下对所述遮挡人脸识别超网络进行训练,以更新所述遮挡人脸识别超网络。
可选的,所述超网络蒸馏模块403包括:
子网络采样单元,用于对所述遮挡人脸识别超网络进行采样,得到遮挡人脸识别子网络;
损失构建单元,用于将第二遮挡样本数据分别输入所述遮挡人脸识别子网络和所述遮挡人脸识别模型,并根据所述遮挡人脸识别子网络和所述遮挡人脸识别模型的输出结果构建所述遮挡人脸识别超网络的损失函数;
超网络更新单元,用于根据所述遮挡人脸识别超网络的损失函数更新所述遮挡人脸识别超网络中的参数。
可选的,所述损失构建单元包括:
第一输入子单元,用于将所述第二遮挡样本数据输入所述遮挡人脸识别子网络,得到所述遮挡人脸识别子网络的损失函数和第一输出特征;
第二输入子单元,用于将所述第二遮挡样本数据输入所述遮挡人脸识别模型,得到第二输出特征;
损失构建子单元,用于根据所述遮挡人脸识别子网络的损失函数、所述第一输出特征和所述第二输出特征,确定所述遮挡人脸识别超网络的损失函数。
可选的,所述损失构建子单元具体用于:
将所述第二输出特征与所述第一输出特征之间的距离,作为第二损失函数;
叠加所述第一损失函数和所述第二损失函数,得到所述遮挡人脸识别超网络的损失函数。
可选的,所述装置400还包括:
模型搜索模块,用于通过模型搜索,根据更新后的遮挡人脸识别超网络,确定遮挡人脸识别模型。
可选的,所述搜索空间包括如下至少一项:至少两个候选卷积核尺寸、候选组卷积、至少两个候选膨胀系数和候选挤压激励操作。
本申请实施例的技术方案,基于超网络蒸馏的人脸识别模型,能够得到性能足够好且足够小的模型结构,从而使得疫情期间或者其他戴口罩等遮挡场景下,人脸识别模型同样具有较好的识别能力。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图5所示,是根据本申请实施例的人脸识别模型处理的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示,该电子设备包括:一个或多个处理器501、存储器502,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的人脸识别模型处理的方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的人脸识别模型处理的方法。
存储器502作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的人脸识别模型处理的方法对应的程序指令/模块(例如,附图4所示的遮挡模型构建模块401、超网络构建模块402和超网络蒸馏模块403)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的人脸识别模型处理的方法。
存储器502可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据人脸识别模型处理的电子设备的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器502可选包括相对于处理器501远程设置的存储器,这些远程存储器可以通过网络连接至人脸识别模型处理的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
人脸识别模型处理的方法的电子设备还可以包括:输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接,图5中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息,以及产生与人脸识别模型处理的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案,通过在搜索空间中引入相互配合的不同候选结构,通过自动化的方式快速搜索得到最适合遮挡场景下的人脸识别模型结构,从而使得遮挡场景下人脸识别模型同样具有较好的识别能力。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

Claims (14)

1.一种人脸识别模型处理方法,包括:
采用第一遮挡样本数据,对非遮挡人脸识别模型进行训练,得到遮挡人脸识别模型;
根据遮挡场景下人脸识别模型的搜索空间,构建遮挡人脸识别超网络;
采用知识蒸馏算法,在所述遮挡人脸识别模型的监督下对所述遮挡人脸识别超网络进行训练,以更新所述遮挡人脸识别超网络。
2.根据权利要求1所述的方法,其中,所述采用知识蒸馏算法,在所述遮挡人脸识别模型的监督下对所述遮挡人脸识别超网络进行训练,以更新所述遮挡人脸识别超网络,包括:
对所述遮挡人脸识别超网络进行采样,得到遮挡人脸识别子网络;
将第二遮挡样本数据分别输入所述遮挡人脸识别子网络和所述遮挡人脸识别模型,并根据所述遮挡人脸识别子网络和所述遮挡人脸识别模型的输出结果构建所述遮挡人脸识别超网络的损失函数;
根据所述遮挡人脸识别超网络的损失函数更新所述遮挡人脸识别超网络中的参数。
3.根据权利要求2所述的方法,其中,所述将所述第二遮挡样本数据分别输入所述遮挡人脸识别子网络和所述遮挡人脸识别模型,并根据所述遮挡人脸识别子网络和所述遮挡人脸识别模型的输出结果构建所述遮挡人脸识别超网络的损失函数,包括:
将所述第二遮挡样本数据输入所述遮挡人脸识别子网络,得到所述遮挡人脸识别子网络的损失函数和第一输出特征;
将所述第二遮挡样本数据输入所述遮挡人脸识别模型,得到第二输出特征;
根据所述遮挡人脸识别子网络的损失函数、所述第一输出特征和所述第二输出特征,确定所述遮挡人脸识别超网络的损失函数。
4.根据权利要求2所述的方法,其中,所述根据所述遮挡人脸识别子网络的损失函数、所述第一输出特征和所述第二输出特征,确定所述遮挡人脸识别超网络的损失函数,包括:
将所述第二输出特征与所述第一输出特征之间的距离,作为第二损失函数;
叠加所述第一损失函数和所述第二损失函数,得到所述遮挡人脸识别超网络的损失函数。
5.根据权利要求1-4任一项所述的方法,所述方法还包括:
通过模型搜索,根据更新后的遮挡人脸识别超网络,确定遮挡人脸识别模型。
6.根据权利要求1-4任一项所述的方法,其中,所述搜索空间包括如下至少一项:至少两个候选卷积核尺寸、候选组卷积、至少两个候选膨胀系数和候选挤压激励操作。
7.一种人脸识别模型处理装置,包括:
遮挡模型构建模块,用于采用第一遮挡样本数据,对非遮挡人脸识别模型进行训练,得到遮挡人脸识别模型;
超网络构建模块,用于根据遮挡场景下人脸识别模型的搜索空间,构建遮挡人脸识别超网络;
超网络蒸馏模块,用于采用知识蒸馏算法,在所述遮挡人脸识别模型的监督下对所述遮挡人脸识别超网络进行训练,以更新所述遮挡人脸识别超网络。
8.根据权利要求7所述的装置,其中,所述超网络蒸馏模块包括:
子网络采样单元,用于对所述遮挡人脸识别超网络进行采样,得到遮挡人脸识别子网络;
损失构建单元,用于将第二遮挡样本数据分别输入所述遮挡人脸识别子网络和所述遮挡人脸识别模型,并根据所述遮挡人脸识别子网络和所述遮挡人脸识别模型的输出结果构建所述遮挡人脸识别超网络的损失函数;
超网络更新单元,用于根据所述遮挡人脸识别超网络的损失函数更新所述遮挡人脸识别超网络中的参数。
9.根据权利要求8所述的装置,其中,所述损失构建单元包括:
第一输入子单元,用于将所述第二遮挡样本数据输入所述遮挡人脸识别子网络,得到所述遮挡人脸识别子网络的损失函数和第一输出特征;
第二输入子单元,用于将所述第二遮挡样本数据输入所述遮挡人脸识别模型,得到第二输出特征;
损失构建子单元,用于根据所述遮挡人脸识别子网络的损失函数、所述第一输出特征和所述第二输出特征,确定所述遮挡人脸识别超网络的损失函数。
10.根据权利要求8所述的装置,其中,所述损失构建子单元具体用于:
将所述第二输出特征与所述第一输出特征之间的距离,作为第二损失函数;
叠加所述第一损失函数和所述第二损失函数,得到所述遮挡人脸识别超网络的损失函数。
11.根据权利要求7-10任一项所述的装置,所述装置还包括:
模型搜索模块,用于通过模型搜索,根据更新后的遮挡人脸识别超网络,确定遮挡人脸识别模型。
12.根据权利要求7-10任一项所述的装置,其中,所述搜索空间包括如下至少一项:至少两个候选卷积核尺寸、候选组卷积、至少两个候选膨胀系数和候选挤压激励操作。
13.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。
CN202010479868.XA 2020-05-29 2020-05-29 人脸识别模型处理方法、装置、设备和存储介质 Active CN111680600B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010479868.XA CN111680600B (zh) 2020-05-29 2020-05-29 人脸识别模型处理方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010479868.XA CN111680600B (zh) 2020-05-29 2020-05-29 人脸识别模型处理方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111680600A true CN111680600A (zh) 2020-09-18
CN111680600B CN111680600B (zh) 2023-09-01

Family

ID=72434459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010479868.XA Active CN111680600B (zh) 2020-05-29 2020-05-29 人脸识别模型处理方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111680600B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529178A (zh) * 2020-12-09 2021-03-19 中国科学院国家空间科学中心 一种适用于无预选框检测模型的知识蒸馏方法及系统
CN112801215A (zh) * 2021-03-17 2021-05-14 腾讯科技(深圳)有限公司 图像处理模型搜索、图像处理方法、装置和存储介质
CN113343898A (zh) * 2021-06-25 2021-09-03 江苏大学 基于知识蒸馏网络的口罩遮挡人脸识别方法、装置及设备
CN113435585A (zh) * 2021-07-15 2021-09-24 支付宝(杭州)信息技术有限公司 一种业务处理方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850470A (en) * 1995-08-30 1998-12-15 Siemens Corporate Research, Inc. Neural network for locating and recognizing a deformable object
CN103258147A (zh) * 2013-05-24 2013-08-21 重庆邮电大学 一种基于gpu的并行演化超网络dna微阵列基因数据分类系统及方法
US20180225822A1 (en) * 2017-02-08 2018-08-09 Siemens Healthcare Gmbh Hierarchical Learning of Weights of a Neural Network for Performing Multiple Analyses
US20190130257A1 (en) * 2017-10-27 2019-05-02 Sentient Technologies (Barbados) Limited Beyond Shared Hierarchies: Deep Multitask Learning Through Soft Layer Ordering
CN110231360A (zh) * 2019-05-31 2019-09-13 华南农业大学 电镜像差的确定方法、消除方法及装置
CN110569972A (zh) * 2019-09-11 2019-12-13 北京百度网讯科技有限公司 超网络的搜索空间构建方法、装置以及电子设备
US20200034356A1 (en) * 2018-07-26 2020-01-30 Baidu Online Network Technology (Beijing) Co., Ltd. Method, apparatus, device and storage medium for implementing application based on blockchain network

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850470A (en) * 1995-08-30 1998-12-15 Siemens Corporate Research, Inc. Neural network for locating and recognizing a deformable object
CN103258147A (zh) * 2013-05-24 2013-08-21 重庆邮电大学 一种基于gpu的并行演化超网络dna微阵列基因数据分类系统及方法
US20180225822A1 (en) * 2017-02-08 2018-08-09 Siemens Healthcare Gmbh Hierarchical Learning of Weights of a Neural Network for Performing Multiple Analyses
US20190130257A1 (en) * 2017-10-27 2019-05-02 Sentient Technologies (Barbados) Limited Beyond Shared Hierarchies: Deep Multitask Learning Through Soft Layer Ordering
US20200034356A1 (en) * 2018-07-26 2020-01-30 Baidu Online Network Technology (Beijing) Co., Ltd. Method, apparatus, device and storage medium for implementing application based on blockchain network
CN110231360A (zh) * 2019-05-31 2019-09-13 华南农业大学 电镜像差的确定方法、消除方法及装置
CN110569972A (zh) * 2019-09-11 2019-12-13 北京百度网讯科技有限公司 超网络的搜索空间构建方法、装置以及电子设备

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
CHANGLIN LI 等: "Blockwisely Supervised Neural Architecture Search with Knowledge Distillation" *
JOHANNES VON OSWALD 等: "Continual learning with hypernetworks" *
JON C. HAMMER 等: "Learning Resolution-independent Image Representations" *
SYLWESTER KLOCEK 等: "Hypernetwork Functional Image Representation" *
康娟 等: "基于超网络的基因和脑影像关联分析" *
王进 等: "基于演化学习超网络的微阵列数据分类" *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529178A (zh) * 2020-12-09 2021-03-19 中国科学院国家空间科学中心 一种适用于无预选框检测模型的知识蒸馏方法及系统
CN112529178B (zh) * 2020-12-09 2024-04-09 中国科学院国家空间科学中心 一种适用于无预选框检测模型的知识蒸馏方法及系统
CN112801215A (zh) * 2021-03-17 2021-05-14 腾讯科技(深圳)有限公司 图像处理模型搜索、图像处理方法、装置和存储介质
CN112801215B (zh) * 2021-03-17 2021-07-02 腾讯科技(深圳)有限公司 图像处理模型搜索、图像处理方法、装置和存储介质
CN113343898A (zh) * 2021-06-25 2021-09-03 江苏大学 基于知识蒸馏网络的口罩遮挡人脸识别方法、装置及设备
CN113343898B (zh) * 2021-06-25 2022-02-11 江苏大学 基于知识蒸馏网络的口罩遮挡人脸识别方法、装置及设备
CN113435585A (zh) * 2021-07-15 2021-09-24 支付宝(杭州)信息技术有限公司 一种业务处理方法、装置及设备

Also Published As

Publication number Publication date
CN111680600B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN111680600B (zh) 人脸识别模型处理方法、装置、设备和存储介质
US11928432B2 (en) Multi-modal pre-training model acquisition method, electronic device and storage medium
KR102528748B1 (ko) 지식 그래프를 구축하는 방법, 장치, 기기 및 저장 매체
CN112241764B (zh) 图像识别方法、装置、电子设备及存储介质
CN111625635A (zh) 问答处理、语言模型的训练方法、装置、设备及存储介质
JP7262571B2 (ja) 知識グラフのベクトル表現生成方法、装置及び電子機器
CN111488740B (zh) 一种因果关系的判别方法、装置、电子设备及存储介质
CN112102448B (zh) 虚拟对象图像显示方法、装置、电子设备和存储介质
CN113094550A (zh) 视频检索方法、装置、设备和介质
CN111582454A (zh) 生成神经网络模型的方法和装置
CN111680597B (zh) 人脸识别模型处理方法、装置、设备和存储介质
CN111950293B (zh) 语义表示模型的生成方法、装置、电子设备及存储介质
CN111783948A (zh) 模型训练方法、装置、电子设备以及存储介质
CN111695519B (zh) 关键点定位方法、装置、设备以及存储介质
CN111241234B (zh) 文本分类方法及装置
US11423650B2 (en) Visual positioning method and apparatus, and computer-readable storage medium
CN111666751A (zh) 训练文本扩充方法、装置、设备以及存储介质
CN110543558A (zh) 问题匹配方法、装置、设备和介质
CN110766089A (zh) 超网络的模型结构采样方法、装置以及电子设备
CN111241838B (zh) 文本实体的语义关系处理方法、装置及设备
KR20220014865A (ko) 비디오 이벤트 인식 방법, 장치, 전자 기기 및 기록 매체
CN111680599B (zh) 人脸识别模型处理方法、装置、设备和存储介质
CN111950272B (zh) 文本相似度的生成方法、装置及电子设备
CN111488972B (zh) 数据迁移方法、装置、电子设备和存储介质
CN111160552B (zh) 新闻信息的推荐处理方法、装置、设备和计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant