CN113239876B - 大角度人脸识别模型训练方法 - Google Patents
大角度人脸识别模型训练方法 Download PDFInfo
- Publication number
- CN113239876B CN113239876B CN202110610457.4A CN202110610457A CN113239876B CN 113239876 B CN113239876 B CN 113239876B CN 202110610457 A CN202110610457 A CN 202110610457A CN 113239876 B CN113239876 B CN 113239876B
- Authority
- CN
- China
- Prior art keywords
- face
- feature vector
- loss function
- angle
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000012545 processing Methods 0.000 claims abstract description 20
- 239000013598 vector Substances 0.000 claims description 218
- 230000006870 function Effects 0.000 claims description 202
- 230000004913 activation Effects 0.000 claims description 19
- 238000000926 separation method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 18
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及数据处理领域，提供一种大角度人脸识别模型训练方法，包括获取人脸数据作为训练集；对所输入的正面人脸数据和大角度人脸数据通过N个下采样层分别进行N次下采样，构建每个下采样层的均方误差损失函数mse作为N个损失函数值；并继续获取另外3个损失函数值；利用所述N+3个损失函数值loss1～loss(N+3)确定最终损失函数；将上述最终损失函数进行迭代更新，完成对人脸识别模型的训练；本发明达到了提高大角度人脸识别效率的技术效果。
Description
技术领域
本发明涉及数据处理领域，涉及一种人脸识别方法，尤其涉及一种大角度人脸识别模型训练方法、装置、电子设备及计算机可读存储介质。
背景技术
随着人工智能技术的飞速发展，人脸识别已经成为一种重要的人机交互方式，被广泛地应用于安防监控、智能支付、社交媒体、医疗等领域。然而，当现有的人脸识别系统遇到大角度人脸的时候，由于正面人脸和大角度人脸的特征差别较大，导致现有的人脸识别系统匹配效果不理想，进而降低了人脸识别精度。
因此，亟需一种对于大角度人脸识别精度高的人脸识别方法。
发明内容
本发明提供一种大角度人脸识别模型训练方法、装置、电子设备及计算机可读存储介质，其主要目的在于能够在人脸识别模型训练过程中，约束大角度人脸和正面人脸的特征，并在特征提取的不同阶段分别进行拉近，使得各阶段的大角度人脸的特征和正面人脸的特征拉近，以达到大角度人脸和正面人脸的最终特征向量趋近的目标。
为实现上述目的，本发明提供的一种大角度人脸识别模型训练方法，方法包括，获取人脸数据作为训练集；其中，对同一个人脸的正面人脸数据和大角度人脸数据进行分开标识；
通过N个下采样层分别对所述正面人脸数据和大角度人脸数据进行N次下采样，获取每次下采样的正面人脸特征向量fo和大角度人脸特征向量fs，构建每个所述下采样层的均方误差损失函数mse，并将得到的N个所述均方误差损失函数mse作为N个损失函数值loss1～lossN；其中，N≥3；
将第N层下采样层获取的正面人脸特征向量fo和大角度人脸特征向量fs作为输入，传到第一全连接层并输出正面人脸特征向量fi和大角度人脸特征向量fj，构建第一全连接层的均方误差损失函数mse以获得第N+1个损失函数值loss(N+1)；
根据所述正面人脸特征向量fi和大角度人脸特征向量fj，获得正面人脸平均向量fvo、正面人脸方差δo、人脸平均向量fvs和人脸方差δs，构建均方误差损失函数mse作为第N+2个损失函数值loss(N+2)；
利用第N层下采样层获得的人脸平均向量fvs和人脸方差δs获得加权特征t；其中，所述加权特征t与大角度人脸特征向量fs维度相同；将所述加权特征t与大角度人脸特征向量fs进行点乘处理，获得人脸特征向量fsn；将人脸特征向量fsn和正面人脸特征向量fo输入包括第二全连接层和softmax激活函数的分类网络，获得第N+3损失函数值loss(N+3)；
利用所述N+3个损失函数值loss1～loss(N+3)确定最终损失函数；
将所述最终损失函数进行迭代更新，直至更新后的最终损失函数满足预设迭代条件，利用满足满足预设迭代条件的所述最终损失函数训练人脸识别模型，直至训练完成。
可选的，对同一个人脸的正面人脸数据和大角度人脸数据进行分开标识的方法包括：
将所述人脸数据进行唯一的姓名ID标注、角度模型标注以及序号标注；
将姓名ID相同的人脸数据作为一个分类；
将同一个分类的人脸数据按照角度模型标注分为正面人脸数据和大角度人脸数据；其中，将所述角度模型标注为0度的人脸数据作为正面人脸数据，将所述角度模型标注为90度、180度和270度的人脸数据作为大角度人脸数据。
可选的，利用所述N+3个损失函数值loss1～loss(N+3)通过以下公式确定最终损失函数：
loss＝a1*[loss1+loss2+……+lossN+loss(N+1)]+a2*loss(N+2)+a3*loss(N+3)，其中，a1，a2，a3为超参数。
可选的，在所述步骤构建每个下采样层的均方误差损失函数mse，并将得到的N个所述均方误差损失函数mse作为N个损失函数值loss1～lossN中，所述均方误差损失函数mse通过以下公式获得：
p为进行下采样的样本个数，oi为正面人脸数据，si为侧面人脸数据。
可选的，根据正面人脸特征向量fi和大角度人脸特征向量fj，通过以下公式获得正面人脸平均向量fvo、正面人脸方差δo、人脸平均向量fvs和人脸方差δs：
其中，n为每个分类正面人脸的图片个数，m为每个分类的全部图片数量。
可选的，将人脸特征向量fsn和正面人脸特征向量fo输入包括第二全连接层和softmax激活函数的分类网络，获得第N+3损失函数值loss(N+3)的方法包括，
将人脸特征向量fsn和正面人脸特征向量fo输入包括第二全连接层和softmax激活函数的分类网络；
所述分类网络输出各分类的label，以及所述label对应的图像的特征向量的获取概率；
利用所述各分类的label，以及所述label对应的图像的特征向量的获取概率通过以下公式获取第N+3损失函数值loss(N+3)；
其中，n为分类个数，labeli为第i个分类的label，vi为第i个分类的图像的特征向量的获取概率。
可选的，所述人脸数据来自asian_celebrity数据集、VGGFace2数据集和Multi-PIE人脸数据集中的一个或多个数据集。
为了解决上述问题，本发明还提供一种大角度人脸识别模型训练装置，所述装置包括：
人脸数据获取单元，用于获取人脸数据作为训练集；其中，对同一个人脸的正面人脸数据和大角度人脸数据进行分开标识；
多个损失函数值获取单元，用于通过N个下采样层对所述正面人脸数据和大角度人脸数据分别进行N次下采样，获取每次下采样的正面人脸特征向量fo和大角度人脸特征向量fs，构建每个所述下采样层的均方误差损失函数mse；并将得到的N个所述均方误差损失函数mse作为N个损失函数值loss1～lossN；其中，N≥3；将第N层下采样层获取的正面人脸特征向量fo和大角度人脸特征向量fs作为输入，传到第一全连接层并输出正面人脸特征向量fi和大角度人脸特征向量fj，构建第一全连接层的均方误差损失函数mse以获得第N+1个损失函数值loss(N+1)；根据所述正面人脸特征向量fi和大角度人脸特征向量fj，获得正面人脸平均向量fvo、正面人脸方差δo、人脸平均向量fvs和人脸方差δs，构建均方误差损失函数mse作为第N+2个损失函数值loss(N+2)；利用第N层下采样层获得的人脸平均向量fvs和人脸方差δs获得加权特征t；其中，所述加权特征t与大角度人脸特征向量fs维度相同；将所述加权特征t与大角度人脸特征向量fs进行点乘处理，获得人脸特征向量fsn；将人脸特征向量fsn和正面人脸特征向量fo输入包括第二全连接层和softmax激活函数的分类网络，获得第N+3损失函数值loss(N+3)；
最终损失函数获取单元，用于利用所述N+3个损失函数值loss1～loss(N+3)确定最终损失函数；
人脸识别模型训练单元，用于将所述最终损失函数进行迭代更新，直至更新后的最终损失函数满足预设迭代条件，利用满足预设迭代条件的所述最终损失函数训练人脸识别模型，直至训练完成。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现上述所述的大角度人脸识别模型训练方法中的步骤。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的大角度人脸识别模型训练方法。
本发明实施例首先获取人脸数据作为训练集；其中，对同一个人脸的正面人脸数据和大角度人脸数据进行分开标识；通过N个下采样层分别对所述正面人脸数据和大角度人脸数据进行N次下采样，获取每次下采样的正面人脸特征向量fo和大角度人脸特征向量fs，构建每个下采样层的均方误差损失函数mse；并将得到的N个所述均方误差损失函数mse作为N个损失函数值loss1～lossN；其中，N≥3；将第N层下采样层获取的正面人脸特征向量fo和大角度人脸特征向量fs作为输入，传到第一全连接层并输出正面人脸特征向量fi和大角度人脸特征向量fj，构建第一全连接层的均方误差损失函数mse以获得第N+1个损失函数值loss(N+1)；根据所述正面人脸特征向量fi和大角度人脸特征向量fj，获得正面人脸平均向量fvo、正面人脸方差δo、人脸平均向量fvs和人脸方差δs，构建均方误差损失函数mse作为第N+2个损失函数值loss(N+2)；利用第N层下采样层获得的人脸平均向量fvs和人脸方差δs获得加权特征t；其中，所述加权特征t与大角度人脸特征向量fs维度相同；将加权特征t与大角度人脸特征向量fs进行点乘处理，获得人脸特征向量fsn；将人脸特征向量fsn和正面人脸特征向量fo输入包括第二全连接层和softmax激活函数的分类网络，获得第N+3损失函数值loss(N+3)；利用所述N+3个损失函数值loss1～loss(N+3)确定最终损失函数；将上述最终损失函数进行迭代更新，直至更新后的最终损失函数满足预设迭代条件，利用所述满足预设迭代条件的最终损失函数训练人脸识别模型，直至训练完成。利用了人脸特征值的分布可以直观反应人脸质量的原理，通过在特征提取的不同阶段进行两者特征的拉近，也就是通过约束训练过程，使两者的特征值尽量拉近，最终达到最终特征向量趋近的目标；最终达到更好的人脸识别效果。
附图说明
图1为本发明一实施例提供的大角度人脸识别模型训练方法的流程示意图；
图2为本发明一实施例提供的大角度人脸识别模型训练方法的原理示意图；
图3本发明一实施例提供的大角度人脸识别模型训练装置的模块示意图；
图4为本发明一实施例提供的实现大角度人脸识别模型训练方法的电子设备的内部结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了解决现有技术中，人脸识别过程中，大角度人脸对人脸识别精度的影响；本发明提供一种大角度人脸识别模型训练方法。参照图1所示，为本发明一实施例提供的大角度人脸识别模型训练方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，大角度人脸识别模型训练方法包括S1～S4：
S1、获取人脸数据作为训练集；其中，对同一个人脸的正面人脸数据和大角度人脸数据进行分开标识；
S2、通过N个下采样层分别对所述正面人脸数据和大角度人脸数据进行N次下采样，获取每次下采样的正面人脸特征向量fo和大角度人脸特征向量fs，构建每个下采样层的均方误差损失函数mse；并将得到的N个所述均方误差损失函数mse作为N个损失函数值loss1～lossN；其中，N≥3；将第N层下采样层获取的正面人脸特征向量fo和大角度人脸特征向量fs作为输入，传到第一全连接层并输出正面人脸特征向量fi和大角度人脸特征向量fj，构建第一全连接层的均方误差损失函数mse以获得第N+1个损失函数值loss(N+1)；根据所述正面人脸特征向量fi和大角度人脸特征向量fj，获得正面人脸平均向量fvo、正面人脸方差δo、人脸平均向量fvs和人脸方差δs，构建均方误差损失函数mse作为第N+2个损失函数值loss(N+2)；利用第N层下采样层获得的人脸平均向量fvs和人脸方差δs获得加权特征t；其中，所述加权特征t与大角度人脸特征向量fs维度相同；将加权特征t与大角度人脸特征向量fs进行点乘处理，获得人脸特征向量fsn；将人脸特征向量fsn和正面人脸特征向量fo输入包括第二全连接层和softmax激活函数的分类网络，获得第N+3损失函数值loss(N+3)；
S3、利用所述N+3个损失函数值loss1～loss(N+3)确定最终损失函数；
S4、将所述最终损失函数进行迭代更新，直至更新后的最终损失函数满足预设迭代条件，利用所述满足预设迭代条件的最终损失函数训练人脸识别模型，直至训练完成。
需要说明的是，本发明通过将输入的训练数据进行角度区分，通过控制训练过程，达到获得相近的最终特征值的目的。本方法应用于计算机视觉技术中，在完成对训练图像的标注后，将训练图像输入到神经网络中，对神经网络进行训练，获得人脸识别模型的过程中。
其中，神经网络模型的参数，在神经网络模型的训练过程中自动更新或自行学习所获得的参数，包括有特征权重、偏置等。计算机视觉技术(CV，Computer Vision)；其中，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
本发明通过在模型训练过程中，约束大角度人脸和正面人脸的特征，并在特征提取的不同阶段分别进行拉近，使得各阶段的大角度人脸的特征和正面人脸的特征拉近，以达到大角度人脸和正面人脸的最终特征向量趋近的目标。
在图1所示的实施例中，在步骤S1中，获取人脸数据作为训练集；其中，对同一个人脸的正面人脸数据和大角度人脸数据进行分开标识。
现有技术中，在训练人脸识别模型的时候，数据都是随机输入的，对输入的数据不进行角度区分，本申请通过将训练的数据集区分为正脸和大角度，以更好地控制训练过程。
其中，样本图像，或称训练样本、训练数据，是经过预处理后，有相对稳妥、精确的特征描述的数据集，以“样本”形式参与神经网络模型的训练过程；在一个具体的实施例中，所述人脸数据来自asian_celebrity数据集、VGGFace2数据集和Multi-PIE人脸数据集中的一个或多个数据集。也可以为自己采集的训练数据，可以从互联网中爬取多样化的人脸照片或者拍摄真实人员的多种侧脸角度的人脸图片，或者拍摄真实人员的各种动作视频，从视频中剪辑得到多种侧脸角度的人脸图片。也就是说，可以从视频文件中获取同一目标对象的多个帧图像，可以从视频的帧图像中选取多个包含同一个目标对象连续动作的图像，构成图像集合。
需要说明的是，卷积神经网络(Convolutional Neural Network，简称CNN)是一种人工神经网络。卷积神经网络包括卷积层(Convolutional Layer)。本实施例所采用卷积神经网络可直接构建，也可将已有的卷积神经网络进行改造得到，可以是公开发布的resnet，shufflenet，mobilenet等网络结构。正面人脸特征向量fo和大角度人脸特征向量fs即该下采样层的特征；即积的运算结果，通常是以矩阵或向量的形式存在。
在一个具体的实施中，对同一个人脸的正面人脸数据和大角度人脸数据进行分开标识的方法包括，
S11：获取人脸数据；
S12：将所述人脸数据进行唯一的姓名ID标注、角度模型标注以及序号标注；
S13：将姓名ID相同的人脸数据作为一个分类；
S14：将同一个分类的人脸数据按照角度模型标注分为正面人脸数据和大角度人脸数据；其中，将所述角度模型标注为0度的人脸数据作为正面人脸数据，将所述角度模型标注为90度、180度和270度的人脸数据作为大角度人脸数据。
具体地说，其中每张人脸图片都标注有唯一的姓名ID和序号。同一个人的人脸数据的ID相同，也就是说通过标注即可实现同一个人的人脸数据作为一个分类。对于正面人脸数据和大角度人脸数据分开标识可以采用角度模型标注，或者其他人工标注的方式以区分正面人脸数据和大角度人脸数据。可以通过现有的人脸角度检测模型对待检测图像中人脸图像相对于正脸图像的旋转角度进行判定。具体的角度可以为0度、90度、180度和270度，通过人脸角度检测模型至少能够预测出上述四种角度的概率，并将最大概率作为待检测图像的旋转角度。然后，对待检测图像进行角度标注，进而将标注为0度的人脸图像作为正面人脸数据，而标注为90度、180度和270度的人脸图像作为大角度人脸数据。
需要说明的是，将所采集的图像或者数据集中的图像作为训练集时，需要对每张样本图像进行规范化预处理，模型输入的图片尺寸统一为224×224×3，因此，模型训练之前需要将训练样本进行预处理，具体包括：把图片缩放成长和宽都是224个像素，并进行归一化处理(即将图片中的每个像素值除以255，转换成0到1之间的数值)，这样相较于不进行归一化处理来说更容易训练。另外，图片拥有红、绿、蓝共3个通道的图片数据，所以最终得到m张224×224×3的尺寸统一的图片数据，其中，m是训练数据集中每个分类的训练样本的数量。
在具体地实施过程中，正面人脸数据和大角度人脸数据为图片格式，'.jpg','.jpeg'，'.png'，'.ppm'，'.bmp'，'.GIF'，'.GIFf'均可。输入时要成对输入，每一对图片格式的人脸数据中，既包括正面人脸数据也包括大角度人脸数据。
在一个具体的实施例中，预先已经按每人的姓名ID进行了分类，然后将同一个分类中的大角度和正面人脸区分开，和分类一起写入训练的输入列表如下：
比如共有n分类，每一个分类中，有m张图片。每个分类里面再随机选择1张正面照，随机选择1张大角度照片，组成一组输入；然后不同分类有不同的多组输入，就可以组成一个batch的输入。
参照图2所示，为本发明一实施例提供的大角度人脸识别模型训练方法的原理示意图。
在现有技术中，当遇到大角度人脸时，会出现识别精度过低的状况。因为，大角度人脸和正面人脸的特征差别较大，现有的人脸识别模型不能进行很好的匹配。本发明的大角度人脸识别模型训练方法通过在提取特征的四次下采样过程、特征向量、特征分布分别提取loss进行约束，使正面人脸和大角度人脸的特征不断拉近，在识别时，达到正面人脸和大角度人脸更好的匹配效果。
步骤S2中包括S21～S24：
S21：通过N个下采样层分别对正面人脸数据和大角度人脸数据进行N次下采样，获取每次下采样的正面人脸特征向量fo和大角度人脸特征向量fs，构建每个下采样层的均方误差损失函数mse；并将得到的N个所述均方误差损失函数mse作为N个损失函数值loss1～lossN；
为了进一步保证大角度人脸模型的训练精度，设定为N≥3。需要说明的是，在本实施例中，N＝4，也就是说，包括4个下采样层；分别获得4个损失函数值loss1～loss4。目前人脸的特征向量是一组256或者512维度的浮点数，如[0.01，0.0002，0.0045,……]。
在本实施中通过下采样对每个图像特征进行降维处理，并对得到的降维图像特征进行融合处理，以获得对应每个图像的融合特征。具体地说，下采样(subsampled)对于一幅图像I尺寸为M*N，对其进行s倍下采样，即得到(M/s)*(N/s)尺寸的得分辨率图像，当然s应该是M和N的公约数才行，如果考虑的是矩阵形式的图像，就是把原始图像s*s窗口内的图像变成一个像素，这个像素点的值就是窗口内所有像素的均值；最近邻插值，双线性插值，均值插值，中值插值等方法。
所述卷积层与下采样层间隔分布，所述卷积层对所述正面人脸数据和大角度人脸数据进行特征提取，其对应的下采样层对所述卷积层输出的图像执行下采样操作。下采样层通过对输入的图像进行特征提取的方式，提取输入图像的特征。也就是说多次下采样，每次是在上一次的结果上进行下采样。
下采样层通过对输入的图像进行特征提取的方式，提取输入图像的特征。为了加快分割网络的训练速度，还可以在卷积层后面还设置有池化层，池化层采用最大池化的方式对卷积层的输出结果进行处理，能够更好的提取输入图像的不变性特征。对每个下采样层进行特征提取处理的过程和上述提取图像特征的过程类似，在此将不再进行赘述。
其中，在所述步骤构建每个下采样层的均方误差损失函数mse，并将得到的N个所述均方误差损失函数mse作为N个损失函数值loss1～lossN中，所述均方误差损失函数mse通过以下公式获得：
p为进行下采样的样本个数，oi为正面人脸数据，si为侧面人脸数据。
需要说明的是p为输入的样本个数，即一个batch的样本数量，是一个设定值，但p需要小于总样本个数，比如为200。
也就是说，通过构建均方误差损失函数获得loss1～loss4。
S22：将第N层下采样层获取的正面人脸特征向量fo和大角度人脸特征向量fs作为输入，传到第一全连接层并输出正面人脸特征向量fi和大角度人脸特征向量fj，构建第一全连接层的均方误差损失函数mse以获得第N+1个损失函数值loss(N+1)；在本实施例中，N＝4，即通过步骤S22获得loss5。
其中，需要说明的是，全连接层将经过多个卷积层和池化层的图像特征图中的特征进行整合，获取输入图像特征具有的分类特征，以用于图像分类。在分割网络的神经网络模型中，全连接层将卷积层产生的特征图映射成一个固定长度的特征向量。该正面人脸特征向量fi和大角度人脸特征向量fj包含了输入图像所有特征的组合信息，该正面人脸特征向量fi和大角度人脸特征向量fj将图像中含有最具有特点的图像特征保留了下来以完成图像分类任务。
S23：根据所述正面人脸特征向量fi和大角度人脸特征向量fj，获得正面人脸平均向量fvo、正面人脸方差δo、人脸平均向量fvs和人脸方差δs，构建均方误差损失函数mse作为第N+2个损失函数值loss(N+1)；在本实施例中，N＝4，即通过步骤S23获得loss6。
根据所述正面人脸特征向量fi和大角度人脸特征向量fj，通过以下公式获得正面人脸平均向量fvo、正面人脸方差δo、人脸平均向量fvs和人脸方差δs：
其中，n为每个分类正面人脸的图片个数，m为每个分类的全部图片数量。
根据fvo，δo，fvs，δs可以获得全部样本和正面人脸样本的分布；通过上述均方误差损失函数得到训练模型每一次输出结果与模型输出期望(即均值)之间的偏离程度，从而反应了模型的稳定性。
S24：利用第N层下采样层获得的人脸平均向量fvs和人脸方差δs获得加权特征t；其中，所述加权特征t与大角度人脸特征向量fs维度相同；将加权特征t与大角度人脸特征向量fs进行点乘处理，获得人脸特征向量fsn；将人脸特征向量fsn和正面人脸特征向量fo输入包括第二全连接层和softmax激活函数的分类网络，获得第N+3损失函数值loss(N+3)；在本实施例中，N＝4，即通过步骤S24获得loss7。
人脸特征向量fsn＝t·fs；其中，大角度人脸特征向量fs；t为特征值。
其中，需要说明的是，第二全连接层的原理和结构与第一全连接层相同，其中的“第一”和“第二”仅用于区分两个全连接层，并没有顺序以及重要性区别的含义。
对于包括第二全连接层和softmax激活函数的分类网络，具体地说，如输出的特征向量是256维，分类数是1000，则对特征向量和分类数中间全连接连接，然后取softmax即可，全连接的连接方式，抽象为数据公式公式y＝wx+b，其中x为输入，即特征向量，y为输出，即分类数，w，b为网络参数。
将人脸特征向量fsn和正面人脸特征向量fo输入包括第二全连接层和softmax激活函数的分类网络，获得第N+3损失函数值loss(N+3)的方法包括，
S241：将人脸特征向量fsn和正面人脸特征向量fo输入包括第二全连接层和softmax激活函数的分类网络；
S242：所述分类网络输出各分类的label，以及所述label对应的图像的特征向量的获取概率；
S243：利用所述各分类的label，以及所述label对应的图像的特征向量的获取概率通过以下公式获取第N+3损失函数值loss(N+3)；
其中，n为分类个数，labeli为第i个分类的label，vi为第i个分类的图像的特征向量的获取概率。
激活函数(Activation Function)，就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端，激活函数可以增加神经网络模型的非线性。
在本实施中，当N＝4时，人脸特征向量fsn和正脸的特征向量fo最终都需要进行分类操作，获取各个分类的概率值，根据概率值，然后将此输入的label值带入交叉熵公式，获取最终的loss7。
在步骤S3中，利用所述N+3个损失函数值loss1～loss(N+3)确定最终损失函数；具体地说，利用所述N+3个损失函数值loss1～loss(N+3)通过以下公式确定最终损失函数：
loss＝a1*[loss1+loss2+……+lossN+loss(N+1)]+a2*loss(N+2)+a3*loss(N+3)，其中，a1，a2，a3为超参数。
当下采样层的N＝4时，构建最终损失函数的公式为：
loss＝a1*(loss1+loss2+loss3+loss4+loss5)+a2*loss6+a3*loss7；
其中，a1，a2，a3为超参数。需要说明的是，在模型训练过程中，利用优化引擎进行参数自动调优评估，其超参数的调整优化需要基于随机搜索、网格搜索、贝叶斯优化等方法，建立一套用于目标模型的超参数自动调优功能模块，通过对模型的不断迭代训练自动评估得到目标函数的最优超参数配置。对于本领域技术人员而言，通过建立超参数自动调优功能模块，对模型的不断迭代训练自动评估得到目标函数的最优超参数配置是较为成熟的现有技术，在此不再赘述。
训练过程使用7个二分类的交叉熵损失函数之和作为整个神经网络的损失函数。在一个具体地监控场景中，可以取a1＝0.5，a2＝0.3，a3＝0.2。
总之，在提取特征的四次下采样过程、特征向量、特征分布分别提取loss进行约束，使正面人脸和大角度人脸的特征不断拉近，在识别时，达到正面人脸和大角度人脸更好的匹配效果。
在步骤S4中，将上述最终损失函数进行迭代更新，直至更新后的最终损失函数满足预设迭代条件，利用满足预设迭代条件的所述最终损失函数训练人脸识别模型，直至训练完成。
在提取特征的四次下采样过程、特征向量、特征分布分别提取loss，将上述多个损失函数值之和作为最终损失函数值；并将最终损失函数值反馈至神经网络中，对神经网络中的参数进行优化，获得优化后的神经网络，此时，完成了一次训练。再重新获取一张训练图像，将新获取的训练图像再次输入到优化后的神经网络中，再按照与上述方式进行下一次的优化。当满足训练结束条件后(或者预设的迭代条件后)，即可停止训练，最终得到联合模型。进而，利用上述训练得到的大角度人脸识别模型进行人脸识别，对于大角度的人脸识别效果较好。
综上，本申请利用了人脸特征值的分布可以直观反应人脸质量的原理，通过在特征提取的不同阶段进行两者特征的拉近，也就是通过约束训练过程，使两者的特征值尽量拉近，最终达到最终特征向量趋近的目标。将正面人脸的特征向量分布，经过卷积网络操作后，作用于大角度人脸的特征向量，使大角度人脸的特征分布，趋向于正面人脸的特征分布，约束大角度人脸的特征分布。多个loss约束同时添加，通过超参数控制，达到更好的训练效果和更好的识别效果。
如图3所示，本发明提供一种大角度人脸识别模型训练装置300，本发明可以安装于电子设备中。根据实现的功能，该大角度人脸识别模型训练装置300可以包括人脸数据获取单元301、多个损失函数值获取单元302、最终损失函数获取单元303、人脸识别模型训练单元304。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
人脸数据获取单元301，用于获取人脸数据作为训练集；其中，对同一个人脸的正面人脸数据和大角度人脸数据进行分开标识；
多个损失函数值获取单元302，用于通过N个下采样层分别对正面人脸数据和大角度人脸数据进行N次下采样，获取每次下采样的正面人脸特征向量fo和大角度人脸特征向量fs，构建每个下采样层的均方误差损失函数mse；并将得到的N个所述均方误差损失函数mse作为N个损失函数值loss1～lossN；其中，N≥3；将第N层下采样层获取的正面人脸特征向量fo和大角度人脸特征向量fs作为输入，传到第一全连接层并输出正面人脸特征向量fi和大角度人脸特征向量fj，构建第一全连接层的均方误差损失函数mse以获得第N+1个损失函数值loss(N+1)；根据所述正面人脸特征向量fi和大角度人脸特征向量fj，获得正面人脸平均向量fvo、正面人脸方差δo、人脸平均向量fvs和人脸方差δs，构建均方误差损失函数mse作为第N+2个损失函数值loss(N+2)；利用第N层下采样层获得的人脸平均向量fvs和人脸方差δs获得加权特征t；其中，所述加权特征t与大角度人脸特征向量fs维度相同；将加权特征t与大角度人脸特征向量fs进行点乘处理，获得人脸特征向量fsn；将人脸特征向量fsn和正面人脸特征向量fo输入包括第二全连接层和softmax激活函数的分类网络，获得第N+3损失函数值loss(N+3)；
最终损失函数获取单元303，用于利用所述N+3个损失函数值loss1～loss(N+3)确定最终损失函数；
人脸识别模型训练单元304，用于将上述最终损失函数进行迭代更新，直至更新后的最终损失函数满足预设迭代条件，利用满足预设迭代条件的所述最终损失函数训练人脸识别模型，直至训练完成。
如图4所示，本发明提供一种大角度人脸识别模型训练方法的电子设备4。
该电子设备4可以包括处理器40、存储器41和总线，还可以包括存储在存储器41中并可在所述处理器40上运行的计算机程序，如大角度人脸识别模型训练程序42。
其中，所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器41在一些实施例中可以是电子设备4的内部存储单元，例如该电子设备4的移动硬盘。所述存储器41在另一些实施例中也可以是电子设备4的外部存储设备，例如电子设备4上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括电子设备4的内部存储单元也包括外部存储设备。所述存储器41不仅可以用于存储安装于电子设备4的应用软件及各类数据，例如大角度人脸识别模型训练程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器40在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器40是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器41内的程序或者模块(例如大角度人脸识别模型训练程序等)，以及调用存储在所述存储器41内的数据，以执行电子设备4的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器41以及至少一个处理器40等之间的连接通信。
图4仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图4示出的结构并不构成对所述电子设备4的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备4还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备4还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备4还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备4与其他电子设备之间建立通信连接。
可选地，该电子设备4还可以包括用户接口，用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备4中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备4中的所述存储器41存储的大角度人脸识别模型训练程序42是多个指令的组合，在所述处理器40中运行时，可以实现：获取人脸数据作为训练集；其中，对同一个人脸的正面人脸数据和大角度人脸数据进行分开标识；用于通过N个下采样层分别对正面人脸数据和大角度人脸数据进行N次下采样，获取每次下采样的正面人脸特征向量fo和大角度人脸特征向量fs，构建每个下采样层的均方误差损失函数mse；并将得到的N个所述均方误差损失函数mse作为N个损失函数值loss1～lossN；其中，N≥3；将第N层下采样层获取的正面人脸特征向量fo和大角度人脸特征向量fs作为输入，传到第一全连接层并输出正面人脸特征向量fi和大角度人脸特征向量fj，构建第一全连接层的均方误差损失函数mse以获得第N+1个损失函数值loss(N+1)；根据所述正面人脸特征向量fi和大角度人脸特征向量fj，获得正面人脸平均向量fvo、正面人脸方差δo、人脸平均向量fvs和人脸方差δs，构建均方误差损失函数mse作为第N+2个损失函数值loss(N+2)；利用第N层下采样层获得的人脸平均向量fvs和人脸方差δs获得加权特征t；其中，所述加权特征t与大角度人脸特征向量fs维度相同；将加权特征t与大角度人脸特征向量fs进行点乘处理，获得人脸特征向量fsn；将人脸特征向量fsn和正面人脸特征向量fo输入包括第二全连接层和softmax激活函数的分类网络，获得第N+3损失函数值loss(N+3)利用所述N+3个损失函数值loss1～loss(N+3)确定最终损失函数；将上述最终损失函数进行迭代更新，直至更新后的最终损失函数满足预设迭代条件，利用满足预设迭代条件的所述最终损失函数训练人脸识别模型，直至训练完成。
具体地，所述处理器40对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。需要强调的是，为进一步保证上述大角度人脸识别的私密和安全性，上述大角度人脸识别数据存储于本服务器集群所处区块链的节点中。
进一步地，所述电子设备4集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本发明实施例还提供一种计算机可读存储介质，所述存储介质可以是非易失性的，也可以是易失性的，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现：
获取人脸数据作为训练集；其中，对同一个人脸的正面人脸数据和大角度人脸数据进行分开标识；用于通过N个下采样层分别对正面人脸数据和大角度人脸数据进行N次下采样，获取每次下采样的正面人脸特征向量fo和大角度人脸特征向量fs，构建每个下采样层的均方误差损失函数mse；并将得到的N个所述均方误差损失函数mse作为N个损失函数值loss1～lossN；其中，N≥3；将第N层下采样层获取的正面人脸特征向量fo和大角度人脸特征向量fs作为输入，传到第一全连接层并输出正面人脸特征向量fi和大角度人脸特征向量fj，构建第一全连接层的均方误差损失函数mse以获得第N+1个损失函数值loss(N+1)；根据所述正面人脸特征向量fi和大角度人脸特征向量fj，获得正面人脸平均向量fvo、正面人脸方差δo、人脸平均向量fvs和人脸方差δs，构建均方误差损失函数mse作为第N+2个损失函数值loss(N+2)；利用第N层下采样层获得的人脸平均向量fvs和人脸方差δs获得加权特征t；其中，所述加权特征t与大角度人脸特征向量fs维度相同；将加权特征t与大角度人脸特征向量fs进行点乘处理，获得人脸特征向量fsn；将人脸特征向量fsn和正面人脸特征向量fo输入包括第二全连接层和softmax激活函数的分类网络，获得第N+3损失函数值loss(N+3)利用所述N+3个损失函数值loss1～loss(N+3)确定最终损失函数；将上述最终损失函数进行迭代更新，直至更新后的最终损失函数满足预设迭代条件，利用满足预设迭代条件的所述最终损失函数训练人脸识别模型，直至训练完成。具体地，所述计算机程序被处理器执行时具体实现方法可参考实施例大角度人脸识别模型训练方法中相关步骤的描述，在此不赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种大角度人脸识别模型训练方法，其特征在于，包括：
获取人脸数据作为训练集；其中，对同一个人脸的正面人脸数据和大角度人脸数据进行分开标识；
通过N个下采样层对所述正面人脸数据和大角度人脸数据分别进行N次下采样，获取每次下采样的正面人脸特征向量fo和大角度人脸特征向量fs，构建每个所述下采样层的均方误差损失函数mse，并将得到的N个所述均方误差损失函数mse作为N个损失函数值loss1～lossN；其中，N≥3；
将第N层下采样层获取的正面人脸特征向量fo和大角度人脸特征向量fs作为输入，传到第一全连接层并输出正面人脸特征向量fi和大角度人脸特征向量fj，构建第一全连接层的均方误差损失函数mse以获得第N+1个损失函数值loss(N+1)；
根据所述正面人脸特征向量fi和大角度人脸特征向量fj，获得正面人脸平均向量fvo、正面人脸方差δo、人脸平均向量fvs和人脸方差δs，构建均方误差损失函数mse作为第N+2个损失函数值loss(N+2)；
利用第N层下采样层获得的人脸平均向量fvs和人脸方差δs获得加权特征t；其中，所述加权特征t与大角度人脸特征向量fs维度相同；将所述加权特征t与大角度人脸特征向量fs进行点乘处理，获得人脸特征向量fsn；将人脸特征向量fsn和正面人脸特征向量fo输入包括第二全连接层和softmax激活函数的分类网络，获得第N+3损失函数值loss(N+3)；
利用所述N+3个损失函数值loss1～loss(N+3)确定最终损失函数；
将所述最终损失函数进行迭代更新，直至更新后的最终损失函数满足预设迭代条件，利用满足预设迭代条件的最终损失函数训练人脸识别模型，直至训练完成。
2.如权利要求1所述的大角度人脸识别模型训练方法，其特征在于，对同一个人脸的正面人脸数据和大角度人脸数据进行分开标识的方法包括：
将所述人脸数据进行唯一的姓名ID标注、角度模型标注以及序号标注；
将姓名ID相同的人脸数据作为一个分类；
将同一个分类的人脸数据按照所述角度模型标注分为正面人脸数据和大角度人脸数据；其中，将所述角度模型标注为0度的人脸数据作为正面人脸数据，将所述角度模型标注为90度、180度和270度的人脸数据作为大角度人脸数据。
3.如权利要求1所述的大角度人脸识别模型训练方法，其特征在于，利用所述N+3个损失函数值loss1～loss(N+3)通过以下公式确定最终损失函数：
loss＝a1*[loss1+loss2+……+lossN+loss(N+1)]+a2*loss(N+2)+a3*loss(N+3)，其中，a1，a2，a3为超参数。
4.如权利要求1所述的大角度人脸识别模型训练方法，其特征在于，在所述步骤构建每个下采样层的均方误差损失函数mse，并将得到的N个所述均方误差损失函数mse作为N个损失函数值loss1～lossN中，所述均方误差损失函数mse通过以下公式获得：
p为进行下采样的样本个数，oi为正面人脸数据，si为侧面人脸数据。
5.如权利要求1所述的大角度人脸识别模型训练方法，其特征在于，根据所述正面人脸特征向量fi和大角度人脸特征向量fj，通过以下公式获得正面人脸平均向量fvo、正面人脸方差δo、人脸平均向量fvs和人脸方差δs：
其中，n为每个分类正面人脸的图片个数，m为每个分类的全部图片数量。
6.如权利要求1所述的大角度人脸识别模型训练方法，其特征在于，将人脸特征向量fsn和正面人脸特征向量fo输入包括第二全连接层和softmax激活函数的分类网络，获得第N+3损失函数值loss(N+3)的方法包括，
将人脸特征向量fsn和正面人脸特征向量fo输入包括第二全连接层和softmax激活函数的分类网络；
所述分类网络输出各分类的label，以及所述label对应的图像的特征向量的获取概率；
利用所述各分类的label，以及所述label对应的图像的特征向量的获取概率通过以下公式获取第N+3损失函数值loss(N+3)；
其中，n为分类个数，labeli为第i个分类的label，vi为第i个分类的图像的特征向量的获取概率。
7.如权利要求6所述的大角度人脸识别模型训练方法，其特征在于，所述人脸数据来自asian_celebrity数据集、VGGFace2数据集和Multi-PIE人脸数据集中的一个或多个数据集。
8.一种大角度人脸识别模型训练装置，其特征在于，所述装置包括：
人脸数据获取单元，用于获取人脸数据作为训练集；其中，对同一个人脸的正面人脸数据和大角度人脸数据进行分开标识；
多个损失函数值获取单元，用于通过N个下采样层对所述正面人脸数据和大角度人脸数据分别进行N次下采样，获取每次下采样的正面人脸特征向量fo和大角度人脸特征向量fs，构建每个所述下采样层的均方误差损失函数mse，并将得到的N个所述均方误差损失函数mse作为N个损失函数值loss1～lossN；其中，N≥3；将第N层下采样层获取的正面人脸特征向量fo和大角度人脸特征向量fs作为输入，传到第一全连接层并输出正面人脸特征向量fi和大角度人脸特征向量fj，构建第一全连接层的均方误差损失函数mse以获得第N+1个损失函数值loss(N+1)；根据所述正面人脸特征向量fi和大角度人脸特征向量fj，获得正面人脸平均向量fvo、正面人脸方差δo、人脸平均向量fvs和人脸方差δs，构建均方误差损失函数mse作为第N+2个损失函数值loss(N+2)；利用第N层下采样层获得的人脸平均向量fvs和人脸方差δs获加权特征t；其中，所述加权特征t与大角度人脸特征向量fs维度相同；将所述加权特征t与大角度人脸特征向量fs进行点乘处理，获得人脸特征向量fsn；将人脸特征向量fsn和正面人脸特征向量fo输入包括第二全连接层和softmax激活函数的分类网络，获得第N+3损失函数值loss(N+3)；
最终损失函数获取单元，用于利用所述N+3个损失函数值loss1～loss(N+3)确定最终损失函数；
人脸识别模型训练单元，用于将所述最终损失函数进行迭代更新，直至更新后的最终损失函数满足预设迭代条件，利用满足预设迭代条件的所述最终损失函数训练人脸识别模型，直至训练完成。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的大角度人脸识别模型训练方法中的步骤。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一所述的大角度人脸识别模型训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110610457.4A CN113239876B (zh) | 2021-06-01 | 2021-06-01 | 大角度人脸识别模型训练方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110610457.4A CN113239876B (zh) | 2021-06-01 | 2021-06-01 | 大角度人脸识别模型训练方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113239876A CN113239876A (zh) | 2021-08-10 |
| CN113239876B true CN113239876B (zh) | 2023-06-02 |
Family
ID=77136171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110610457.4A Active CN113239876B (zh) | 2021-06-01 | 2021-06-01 | 大角度人脸识别模型训练方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113239876B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109033938A (zh) * | 2018-06-01 | 2018-12-18 | 上海阅面网络科技有限公司 | 一种基于可区分性特征融合的人脸识别方法 |
| CN110084216A (zh) * | 2019-05-06 | 2019-08-02 | 苏州科达科技股份有限公司 | 人脸识别模型训练和人脸识别方法、系统、设备及介质 |
| WO2020134478A1 (zh) * | 2018-12-29 | 2020-07-02 | 北京灵汐科技有限公司 | 一种人脸识别方法、特征提取模型的训练方法及其装置 |
| CN111898547A (zh) * | 2020-07-31 | 2020-11-06 | 平安科技（深圳）有限公司 | 人脸识别模型的训练方法、装置、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9269012B2 (en) * | 2013-08-22 | 2016-02-23 | Amazon Technologies, Inc. | Multi-tracker object tracking |
-
2021
- 2021-06-01 CN CN202110610457.4A patent/CN113239876B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109033938A (zh) * | 2018-06-01 | 2018-12-18 | 上海阅面网络科技有限公司 | 一种基于可区分性特征融合的人脸识别方法 |
| WO2020134478A1 (zh) * | 2018-12-29 | 2020-07-02 | 北京灵汐科技有限公司 | 一种人脸识别方法、特征提取模型的训练方法及其装置 |
| CN110084216A (zh) * | 2019-05-06 | 2019-08-02 | 苏州科达科技股份有限公司 | 人脸识别模型训练和人脸识别方法、系统、设备及介质 |
| CN111898547A (zh) * | 2020-07-31 | 2020-11-06 | 平安科技（深圳）有限公司 | 人脸识别模型的训练方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于稀疏表示的人脸识别系统设计与实现;廖延娜;马超;;电子设计工程(17);第159-161页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113239876A (zh) | 2021-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112446919B (zh) | 物体位姿估计方法、装置、电子设备及计算机存储介质 | |
| CN105138998B (zh) | 基于视角自适应子空间学习算法的行人重识别方法及系统 | |
| CN110689043A (zh) | 一种基于多重注意力机制的车辆细粒度识别方法及装置 | |
| CN113128271A (zh) | 脸部图像的伪造检测 | |
| WO2023005091A1 (en) | Systems and methods for object detection | |
| CN112597324A (zh) | 一种基于相关滤波的图像哈希索引构建方法、系统及设备 | |
| CN116778527A (zh) | 人体模型构建方法、装置、设备及存储介质 | |
| CN116385850A (zh) | 多目标检测方法、装置、电子设备及存储介质 | |
| CN113157739B (zh) | 跨模态检索方法、装置、电子设备及存储介质 | |
| CN114943937A (zh) | 行人重识别方法、装置、存储介质及电子设备 | |
| CN112528903B (zh) | 人脸图像获取方法、装置、电子设备及介质 | |
| CN112651782B (zh) | 基于缩放点积注意力的行为预测方法、装置、设备及介质 | |
| CN111401122B (zh) | 一种基于知识分类的复杂目标渐近识别方法及装置 | |
| CN116797864B (zh) | 基于智能镜子的辅助化妆方法、装置、设备及存储介质 | |
| CN113239876B (zh) | 大角度人脸识别模型训练方法 | |
| Kajabad et al. | YOLOv4 for urban object detection: Case of electronic inventory in St. Petersburg | |
| Cao et al. | Ancient mural classification methods based on a multichannel separable network | |
| CN115984588A (zh) | 图像背景相似度分析方法、装置、电子设备及存储介质 | |
| WO2023178798A1 (zh) | 图像分类方法、装置、设备及介质 | |
| CN113095235B (zh) | 一种基于弱监督判别机制的图像目标检测方法、系统及装置 | |
| CN112580505B (zh) | 网点开关门状态识别方法、装置、电子设备及存储介质 | |
| CN114842559A (zh) | 基于多模态时间感知和注意力的视频交互动作检测方法 | |
| CN117036658A (zh) | 一种图像处理方法及相关设备 | |
| CN114463685A (zh) | 行为识别方法、装置、电子设备及存储介质 | |
| CN114049676A (zh) | 疲劳状态检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |