CN110633689B - 基于半监督注意力网络的人脸识别模型 - Google Patents

基于半监督注意力网络的人脸识别模型 Download PDF

Info

Publication number
CN110633689B
CN110633689B CN201910900181.6A CN201910900181A CN110633689B CN 110633689 B CN110633689 B CN 110633689B CN 201910900181 A CN201910900181 A CN 201910900181A CN 110633689 B CN110633689 B CN 110633689B
Authority
CN
China
Prior art keywords
face
neural network
module
loss function
semi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910900181.6A
Other languages
English (en)
Other versions
CN110633689A (zh
Inventor
朱健立
李庆新
王汝杰
王志保
姜伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Tiandy Information Systems Integration Co ltd
Tiandy Technologies Co Ltd
Original Assignee
Tianjin Tiandy Information Systems Integration Co ltd
Tiandy Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Tiandy Information Systems Integration Co ltd, Tiandy Technologies Co Ltd filed Critical Tianjin Tiandy Information Systems Integration Co ltd
Priority to CN201910900181.6A priority Critical patent/CN110633689B/zh
Publication of CN110633689A publication Critical patent/CN110633689A/zh
Application granted granted Critical
Publication of CN110633689B publication Critical patent/CN110633689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明提供了一种基于半监督注意力网络的人脸识别模型，包括卷积神经网络模块和人脸模块；所述卷积神经网络模块通过目标损失函数自动学习人脸特征；所述人脸模块用于有目的学习人脸相关特征。本发明所述的一种基于半监督注意力网络的人脸识别模型，在不显著增加运算时间的情况下，有效的让神经网络模型学习到人脸关键部位的特征提高人脸识别的准确性。

Description

基于半监督注意力网络的人脸识别模型
技术领域
本发明属于视频监控领域领域，尤其是涉及一种基于半监督注意力网络的人脸识别模型。
背景技术
随着近年来的深度学习快速发展以及人工智能芯片算力的提升，目前先进的人脸识别基本上都是基于深度学习。深度学习有两个关键因素，其一是人脸数据，其二是模型的结构。现有的模型都是基于卷积神经网络，而普通的卷积神经网络学习能力很强的依赖于人脸数据，而无法按照人们的需要进行有目的学习。
发明内容
有鉴于此，本发明旨在提出一种基于半监督注意力网络的人脸识别模型，在不显著增加运算时间的情况下，有效的让神经网络模型学习到人脸关键部位的特征提高人脸识别的准确性。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于半监督注意力网络的人脸识别模型，包括卷积神经网络模块和人脸模块，所述卷积神经网络模型通过目标损失函数自动学习人脸特征，所述人脸模块用于在卷积神经网络模型提取的人脸特征的基础上，进一步有目的学习人脸相关特征；
还包括训练单元和推理单元，所述训练单元通过卷积神经网络计算出来的人脸特征图，对人脸模板做乘法；所述人脸模板为需要提取的人脸相关特征；
所述推理单元用于在模型部署时通过神经网络将模型输入至分类器，训练好的人脸模型在去除分类器后以特征作为输出，根据人脸识别特征判断两张人脸是否匹配。
进一步的，所述目标损失函数通过对每一个像素做二分类，用于判断该位置像素是否在人脸区域内。
进一步的，所述目标损失函数为分类损失函数Lcls和人脸模块损失函数Lmask之和。
进一步的，所述人脸模块的注意力机制为二维数组，人脸特征信息在向前传播过程中，卷积神经网络通过学习到的注意力机制的二维数组对每个特征图元素做乘法。
相对于现有技术，本发明所述的一种基于半监督注意力网络的人脸识别模型具有以下优势：
本发明所述的一种基于半监督注意力网络的人脸识别模型，在不显著增加运算时间的情况下，有效的让神经网络模型学习到人脸关键部位的特征提高人脸识别的准确性
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的半监督注意力卷积神经网络示意图；
图2为本发明实施例所述的注意力机制模块细节示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
如图1所示，一种基于半监督注意力网络的人脸识别模型，包括卷积神经网络模块和人脸模块，所述卷积神经网络模型通过目标损失函数自动学习人脸特征，所述人脸模块用于在卷积神经网络模型提取的人脸特征的基础上，进一步有目的学习人脸相关特征；本实施例添加了人脸模块，让神经网络模型有目的学习相关特征，比如五官，而不去关注无关特征，比如发型等。
基于半监督的注意力网络让模型学习到关键部位特征，增加人脸识别准确性，基于半监督注意力卷积神经网络(CNN)的结构如图1所示。
还包括训练单元和推理单元，所述训练单元通过卷积神经网络计算出来的人脸特征图，对人脸模板mask做乘法；所述人脸模板mask为需要提取的人脸相关特征；训练单元训练的时候包含图1的所有组分，卷积神经网络计算出来的人脸特征图(图1左上角)，在分类的主干网络对人脸模板mask做乘法，并且损失函数也分为两部分，是分类的损失函数和人脸模板损失函数之和，即：L＝Lcls+Lmask,由图1的实线加虚线构成；所述目标损失函数通过对每一个像素做二分类，用于判断该位置像素是否在人脸区域内。
所述推理单元用于在模型部署时通过神经网络将模型输入至分类器，训练好的人脸模型在去除分类器后以特征作为输出，根据人脸识别特征判断两张人脸是否匹配；推理单元的推理部分在模型部署的时候使用，直接由神经网络进入分类器即可，即图1中的实线部分。
所述人脸模块的注意力机制为二维数组，人脸特征信息在向前传播过程中，卷积神经网络通过学习到的注意力机制的二维数组对每个特征图元素做乘法。
半监督注意力卷积神经网络是在普通卷积神经网络上面添加了人脸模板(mask)修改而成的。半监督注意力卷积神经网络分为训练单元和推理单元：
训练好的人脸模型在实际应用的时候会去掉分类器，直接以特征作为输出(图1的实线部分)，通过比较两个人脸的特征就知道是否是一个人。
图2为改进后的半监督注意力卷积神经网络细节图，注意力机制为一个二维数组，在向前传播过程中，网络用学习到的注意力机制的二维数组对每个特征图元素做乘法，由于人脸相关区域的模板(mask)数值较大，而非人脸部分模板(mask)数值很小，趋近于0，所以人脸识别相关区域会得到增强，而无关区域会被抑制。
半监督注意力网络训练时，除了分类损失函数还要再加上一个注意力损失函数，并且数据集也要做一些改变。
修改后的神经网络数据集以及训练方法为训练半监督注意力网络的时候，数据集除了人脸，还需要分割出人脸啊关键部位区域。训练的时候，每一个人脸对应一个人脸模板(mask)，该人脸模板是一个二值化的二维数组，人脸区域为1，非人脸区域为0。该人脸模板作为训练注意力模块的标签(ground truth)。训练采用常见的minibatch方法一次性读取一个批次的图片(batch)，真正的人脸图片按照常规方法做分类训练，人脸模板作为训练注意力模块的标签(人脸区域内为1，人脸区域外为0)，特征图经过注意力机制模块后(图1下半部分)，进入注意力机制的损失函数对每一个像素做二分类(用sigmoid函数做激活函数)，即判断该位置像素是否在人脸区域内，这样就实现了对每个像素做预测分割的模板。用梯度下降法更新权重，这样人脸区域的特征会得到增强，而无关区域的特征会被抑制。
修改后的损失函数：半监督注意力神经网络相比普通神经网络添加了一个人脸模板的损失函数，修改后的损失函数为：
L＝Lcls+Lmask
当训练模型的时候最小化总体损失函数L会同时最小化分类损失函数Lcls和人脸模板损失函数Lmask。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于半监督注意力网络的人脸识别模型，其特征在于：包括卷积神经网络模块和人脸模块，所述卷积神经网络模块通过目标损失函数自动学习人脸特征，所述人脸模块用于在卷积神经网络模块提取的人脸特征的基础上，进一步有目的学习人脸相关特征；
还包括训练单元和推理单元，所述训练单元通过神经网络计算出来的人脸特征图，对人脸模板做乘法；所述人脸模板为需要提取的人脸相关特征；
半监督注意力神经网络相比普通神经网络添加了一个人脸模板的损失函数；
所述目标损失函数为分类损失函数Lcls和人脸模块损失函数Lmask之和；所述人脸模块的注意力机制为二维数组，人脸特征信息在向前传播过程中，神经网络通过学习到的注意力机制的二维数组对每个特征图元素做乘法；
所述推理单元用于在模型部署时通过神经网络将模型输入至分类器，通过训练单元训练好的人脸模型在去除分类器后以特征作为输出，根据人脸识别特征判断两张人脸是否匹配。
2.根据权利要求1所述的基于半监督注意力网络的人脸识别模型，其特征在于：
所述目标损失函数通过对每一个像素做二分类，用于判断该位置像素是否在人脸区域内。
CN201910900181.6A 2019-09-23 2019-09-23 基于半监督注意力网络的人脸识别模型 Active CN110633689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910900181.6A CN110633689B (zh) 2019-09-23 2019-09-23 基于半监督注意力网络的人脸识别模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910900181.6A CN110633689B (zh) 2019-09-23 2019-09-23 基于半监督注意力网络的人脸识别模型

Publications (2)

Publication Number Publication Date
CN110633689A CN110633689A (zh) 2019-12-31
CN110633689B true CN110633689B (zh) 2023-08-04

Family

ID=68973927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910900181.6A Active CN110633689B (zh) 2019-09-23 2019-09-23 基于半监督注意力网络的人脸识别模型

Country Status (1)

Country Link
CN (1) CN110633689B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898413A (zh) * 2020-06-16 2020-11-06 深圳市雄帝科技股份有限公司 人脸识别方法、装置、电子设备和介质
CN112149605B (zh) * 2020-09-30 2023-04-18 济南博观智能科技有限公司 一种人脸识别方法、装置、设备及存储介质
CN112329735B (zh) * 2020-11-30 2022-05-10 深圳市海洋网络科技有限公司 人脸识别模型的训练方法及在线教育系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038474B (zh) * 2017-12-28 2020-04-14 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN109285562B (zh) * 2018-09-28 2022-09-23 东南大学 基于注意力机制的语音情感识别方法
CN109543606B (zh) * 2018-11-22 2022-09-27 中山大学 一种加入注意力机制的人脸识别方法

Also Published As

Publication number Publication date
CN110633689A (zh) 2019-12-31

Similar Documents

Publication Publication Date Title
CN109949317B (zh) 基于逐步对抗学习的半监督图像实例分割方法
CN108764207B (zh) 一种基于多任务卷积神经网络的人脸表情识别方法
CN111652066B (zh) 基于多自注意力机制深度学习的医疗行为识别方法
CN109063565B (zh) 一种低分辨率人脸识别方法及装置
US20210133932A1 (en) Color restoration method and apparatus
CN109783666B (zh) 一种基于迭代精细化的图像场景图谱生成方法
CN110633689B (zh) 基于半监督注意力网络的人脸识别模型
CN111008639B (zh) 一种基于注意力机制的车牌字符识别方法
Mishra et al. The understanding of deep learning: A comprehensive review
CN110222718B (zh) 图像处理的方法及装置
CN109711356B (zh) 一种表情识别方法和系统
CN111860193B (zh) 一种基于文本的行人检索自监督视觉表示学习系统及方法
CN106611156B (zh) 一种自适应深度空间特征的行人识别方法和系统
CN109446897B (zh) 基于图像上下文信息的场景识别方法及装置
KR20210067815A (ko) 사용자의 건강 상태를 측정하기 위한 방법 및 이를 위한 장치
CN113947702A (zh) 一种基于情境感知的多模态情感识别方法和系统
CN105893941B (zh) 一种基于区域图像的人脸表情识别方法
CN116051388A (zh) 经由语言请求的自动照片编辑
CN111126155A (zh) 一种基于语义约束生成对抗网络的行人再识别方法
KR20230088714A (ko) 개인화된 뉴럴 네트워크 프루닝
CN112712099B (zh) 一种基于双层知识蒸馏说话人模型压缩系统和方法
CN110751005A (zh) 融合深度感知特征和核极限学习机的行人检测方法
CN111242114B (zh) 文字识别方法及装置
CN116977725A (zh) 一种基于改进卷积神经网络的异常行为识别方法及装置
CN111898473B (zh) 一种基于深度学习的司机状态实时监测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230713

Address after: 300392 Room A310, Building 4, No. 8, Haitai Huake Second Road, Huayuan Industrial Zone (outside the ring), Xiqing District, Tianjin

Applicant after: TIANJIN TIANDY INFORMATION SYSTEMS INTEGRATION Co.,Ltd.

Applicant after: TIANDY TECHNOLOGIES Co.,Ltd.

Address before: Room a220, complex building, No.8, Haitai Huake 2nd Road, Huayuan Industrial Zone, Binhai New Area, Tianjin, 300384

Applicant before: TIANJIN TIANDI JIYE TECHNOLOGY CO.,LTD.

GR01 Patent grant
GR01 Patent grant