CN111783601A - 人脸识别模型的训练方法、装置、电子设备及存储介质 - Google Patents
人脸识别模型的训练方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111783601A CN111783601A CN202010591964.3A CN202010591964A CN111783601A CN 111783601 A CN111783601 A CN 111783601A CN 202010591964 A CN202010591964 A CN 202010591964A CN 111783601 A CN111783601 A CN 111783601A
- Authority
- CN
- China
- Prior art keywords
- mask
- image
- trained
- face
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000001914 filtration Methods 0.000 claims abstract description 186
- 238000013145 classification model Methods 0.000 claims abstract description 56
- 230000001815 facial effect Effects 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种人脸识别模型的训练方法、装置、电子设备及存储介质,涉及人工智能中深度学习、云计算以及计算机视觉领域,具体涉及戴口罩人脸识别方面。具体方案为:当待训练的人脸识别模型不满足第一收敛条件时,在当前用户的人脸图像中提取出与其对应的原始图像特征;其中,人脸图像包括:戴口罩和不戴口罩的人脸图像;通过口罩分类模型基于人脸图像的原始图像特征对人脸图像进行分类;通过口罩过滤模型确定出人脸图像的类型对应的掩码,并使用人脸图像的类型对应的掩码对原始图像特征进行过滤处理;根据过滤处理后的图像特征对待训练的人脸识别网络进行训练。本申请实施例可以有效地提高人脸识别模型对戴口罩的人脸进行识别的准确度。
Description
技术领域
本申请涉及计算机应用技术领域,进一步涉及人工智能中深度学习、云计算以及计算机视觉领域,具体涉及戴口罩人脸识别方面,尤其是一种人脸识别模型的训练方法、装置、电子设备及存储介质。
背景技术
随着计算机技术的发展,图像处理技术应用到了越来越多的领域。通常,可以使用机器学习方法训练人脸识别模型,利用人脸识别模型对图像中的人脸进行识别。在人脸戴口罩的情况下,对戴口罩的人脸进行识别的难点在于:人脸识别模型既要解决戴口罩情况下的人脸识别,又要解决不戴口罩情况下的人脸识别。戴口罩情况下与不戴带口罩情况下相比,缺少嘴部、鼻子等相关信息,如果在训练模型的过程中不加以修改,则会导致人脸识别模型对戴口罩的人脸进行识别的效果降低。
在现有的人脸识别模型的训练方法中,将口罩数据和非口罩数据同等对待,直接用ID分类的方法进行训练。由于在人脸戴口罩的情况下,人脸识别模型未做特别处理,导致人脸识别模型对戴口罩的人脸进行识别的准确度不高。
发明内容
有鉴于此,本申请提出实施例提供一种人脸识别模型的训练方法、装置、电子设备及存储介质,可以有效地提高人脸识别模型对戴口罩的人脸进行识别的准确度。
第一方面,本申请实施例提供了一种人脸识别模型的训练方法,所述方法包括:
当待训练的人脸识别模型不满足第一收敛条件时,在当前用户的人脸图像中提取出与其对应的原始图像特征;其中,所述人脸图像包括:戴口罩的人脸图像和不戴口罩的人脸图像;
通过预先训练的口罩分类模型基于所述人脸图像的原始图像特征对所述人脸图像进行分类,得到所述人脸图像的类型;
通过预先训练的口罩过滤模型确定出所述人脸图像的类型对应的掩码,并使用所述人脸图像的类型对应的掩码对所述人脸图像的原始图像特征进行过滤处理,得到过滤处理后的图像特征;
根据所述过滤处理后的图像特征对所述待训练的人脸识别网络进行训练,将下一个用户的人脸图像作为所述当前用户的人脸图像,重复执行上述操作,直到所述待训练的人脸识别模型满足所述第一收敛条件。
第二方面,本申请还提供了一种人脸识别模型的训练装置,所述装置包括:提取模块、分类模块、过滤模块和训练模块;其中,
所述提取模块,用于当待训练的人脸识别模型不满足第一收敛条件时,在当前用户的人脸图像中提取出与其对应的原始图像特征;其中,所述人脸图像包括:戴口罩的人脸图像和不戴口罩的人脸图像;
所述分类模块,用于通过预先训练的口罩分类模型基于所述人脸图像的原始图像特征对所述人脸图像进行分类,得到所述人脸图像的类型;
所述过滤模块,用于通过预先训练的口罩过滤模型确定出所述人脸图像的类型对应的掩码,并使用所述人脸图像的类型对应的掩码对所述人脸图像的原始图像特征进行过滤处理,得到过滤处理后的图像特征;
所述训练模块,用于根据所述过滤处理后的图像特征对所述待训练的人脸识别网络进行训练,将下一个用户的人脸图像作为所述当前用户的人脸图像,重复执行上述操作,直到所述待训练的人脸识别模型满足所述第一收敛条件。
第三方面,本申请实施例提供了一种电子设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本申请任意实施例所述的人脸识别模型的训练方法。
第四方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现本申请任意实施例所述的人脸识别模型的训练方法。
本申请解决了现有技术中在人脸戴口罩的情况下,人脸识别模型对戴口罩的人脸进行识别的准确度不高的技术问题,本申请提供的技术方案,可以有效地提高人脸识别模型对戴口罩的人脸进行识别的准确度。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是本申请实施例一提供的人脸识别模型的训练方法的流程示意图;
图2是本申请实施例二提供的人脸识别模型的训练方法的流程示意图;
图3是本申请实施例二提供的口罩过滤模型的结构示意图;
图4是本申请实施例二提供的口罩分类模型的结构示意图;
图5是本申请实施例二提供的人脸识别模型的结构示意图;
图6是本申请实施例三提供的人脸识别模型的训练装置的结构示意图;
图7是用来实现本申请实施例的人脸识别模型的训练方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
实施例一
图1是本申请实施例一提供的人脸识别模型的训练方法的流程示意图,该方法可以由人脸识别模型的训练装置或者电子设备来执行,该装置或者电子设备可以由软件和/或硬件的方式实现,该装置或者电子设备可以集成在任何具有网络通信功能的智能设备中。如图1所示,人脸识别模型的训练方法可以包括以下步骤:
S101、当待训练的人脸识别模型不满足第一收敛条件时,在当前用户的人脸图像中提取出与其对应的原始图像特征;其中,人脸图像包括:戴口罩的人脸图像和不戴口罩的人脸图像。
在本申请的具体实施例中,当待训练的人脸识别模型不满足第一收敛条件时,电子设备可以在当前用户的人脸图像中提取出与其对应的原始图像特征;其中,人脸图像包括:戴口罩的人脸图像和不戴口罩的人脸图像。具体地,电子设备可以先将当前用户的人脸图像输入至现有的人脸识别模型,通过该人脸识别模型输出人脸图像的原始图像特征。这里的人脸识别模型是针对不戴口罩的人脸图像已经训练好的人脸识别模型,例如,现有的人脸识别模型可以是主流的神经网络,如Backbone、Resnet等。
S102、通过预先训练的口罩分类模型基于人脸图像的原始图像特征对人脸图像进行分类,得到人脸图像的类型。
在本申请的具体实施例中,电子设备可以通过预先训练的口罩分类模型基于人脸图像的原始图像特征对人脸图像进行分类,得到人脸图像的类型;其中,人脸图像的类型包括:第一图像类型和第二图像类型;其中,第一图像类型表示人脸图像为戴口罩的人脸图像;第二图像类型表示人脸图像为不戴口罩的人脸图像。具体地,电子设备可以先将人脸图像的原始图像特征输入至预先训练的口罩分类模型中的卷积层,得到卷积层输出的图像特征;然后将卷积层输出的图像特征输入至预先训练的口罩分类模型中的全连接层,得到全连接层输出的分类结果;将全连接层输出的分类结果作为人脸图像的类型。例如,若全连接层输出的分类结果为0,表示人脸图像的类型为第一图像类型;若全连接层输出的分类结果为1,表示人脸图像的类型为第二图像类型。通过对人脸图像进行分类,可以使用人脸图像的类型对应的掩码对人脸图像的原始图像特征进行过滤处理,从而可以把人脸口罩区域的特征剔除掉,有效地提高人脸识别模型对戴口罩的人脸进行识别的准确度。
S103、通过预先训练的口罩过滤模型确定出人脸图像的类型对应的掩码,并使用人脸图像的类型对应的掩码对人脸图像的原始图像特征进行过滤处理,得到过滤处理后的图像特征。
在本申请的具体实施例中,电子设备可以通过预先训练的口罩过滤模型确定出人脸图像的类型对应的掩码,并使用人脸图像的类型对应的掩码对人脸图像的原始图像特征进行过滤处理,得到过滤处理后的图像特征。具体地,电子设备可以先将人脸图像的原始图像特征输入至预先训练的口罩过滤模型,得到预先训练的口罩过滤模型输出的掩码;然后将预先训练的口罩过滤模型输出的掩码作为戴口罩的人脸图像对应的掩码;再根据人脸图像的类型在戴口罩的人脸图像对应的掩码和预先确定的不戴口罩的人脸图像对应的掩码中选择其中一个作为人脸图像的类型对应的掩码,这样可以把人脸口罩区域的特征剔除掉,从而可以有效地提高人脸识别模型对戴口罩的人脸进行识别的准确度。
进一步的,电子设备可以将人脸图像的原始图像特征和人脸图像的类型对应的目标掩码进行逐元素相乘,得到逐元素相乘后的图像特征;将逐元素相乘后的图像特征作为过滤处理后的图像特征。具体地,若人脸图像的类型表示人脸图像为戴口罩的人脸图像,则电子设备可以使用戴口罩的人脸图像对应的掩码对人脸图像的原始图像特征进行逐元素相乘,得到逐元素相乘后的图像特征;将逐元素相乘后的图像特征作为过滤处理后的图像特征;若人脸图像的类型表示人脸图像为不戴口罩的人脸图像,则电子设备可以使用不戴口罩的人脸图像对应的掩码对人脸图像的原始图像特征进行逐元素相乘,得到逐元素相乘后的图像特征;将逐元素相乘后的图像特征作为过滤处理后的图像特征。
S104、根据过滤处理后的图像特征对待训练的人脸识别网络进行训练,将下一个用户的人脸图像作为当前用户的人脸图像,重复执行上述操作,直到待训练的人脸识别模型满足第一收敛条件。
在本申请的具体实施例中,电子设备可以根据过滤处理后的图像特征对待训练的人脸识别网络进行训练,将下一个用户的人脸图像作为当前用户的人脸图像,重复执行上述操作,直到待训练的人脸识别模型满足第一收敛条件。由于戴口罩的人脸图像和不戴口罩的人脸图像是同一个人的人脸图像,而将戴口罩的人脸图像输入至待训练的人脸识别模型得到的图像特征与将不戴口罩的人脸图像输入至待训练的人脸识别模型得到的图像特征存在一定的差距,因此需要通过损失函数Additive Angular Margin Loss计算两者的差距,根据这两个图像特征的差距对待训练的人脸识别模型的参数进行调整。
本申请实施例提出的人脸识别模型的训练方法,当待训练的人脸识别模型不满足第一收敛条件时,先在当前用户的人脸图像中提取出与其对应的原始图像特征;然后通过预先训练的口罩分类模型基于人脸图像的原始图像特征对人脸图像进行分类,得到人脸图像的类型;接着通过预先训练的口罩过滤模型确定出人脸图像的类型对应的掩码,并使用人脸图像的类型对应的掩码对人脸图像的原始图像特征进行过滤处理,得到过滤处理后的图像特征;再根据过滤处理后的图像特征对待训练的人脸识别网络进行训练,将下一个用户的人脸图像作为当前用户的人脸图像,重复执行上述操作,直到待训练的人脸识别模型满足第一收敛条件。也就是说,本申请可以基于人脸图像的类型对原始图像特征进行过滤处理,在用户戴口罩的情况下,将人脸口罩区域的特征剔除掉,以减小该区域对人脸识别的准确度的影响,从而可以有效地提高人脸识别模型对戴口罩的人脸进行识别的准确度。而在现有的人脸识别模型的训练方法中,在人脸戴口罩的情况下,人脸识别模型未做特别处理,导致人脸识别模型对戴口罩的人脸进行识别的准确度不高。因为本申请采用了基于人脸图像的类型对原始图像特征进行过滤处理的技术手段,克服了现有技术中人脸识别模型对戴口罩的人脸进行识别的准确度不高的技术问题,本申请提供的技术方案,可以有效地提高人脸识别模型对戴口罩的人脸进行识别的准确度;并且,本申请实施例的技术方案实现简单方便、便于普及,适用范围更广。
实施例二
图2是本申请实施例二提供的人脸识别模型的训练方法的流程示意图。如图2所示,人脸识别模型的训练方法可以包括以下步骤:
S201、当待训练的人脸识别模型不满足第一收敛条件时,在当前用户的人脸图像中提取出与其对应的原始图像特征;其中,人脸图像包括:戴口罩的人脸图像和不戴口罩的人脸图像。
S202、将人脸图像的原始图像特征输入至预先训练的口罩分类模型中的卷积层,得到卷积层输出的图像特征。
在本申请的具体实施例中,电子设备可以将人脸图像的原始图像特征输入至预先训练的口罩分类模型中的卷积层,得到卷积层输出的图像特征。卷积神经网络中的每层卷积层(Convolutional Layer)由若干卷积单元组成,每个卷积单元的参数都是通过反向传播算法最佳化得到的,卷积运算的目的是提取输入的不同特征,第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级,更多层的网路能从低级特征中迭代提取更复杂的特征。本申请中新增的卷积层的卷积核的大小和深度均由人工指定,而权重参数则在初始化的时候由程序随机生成,并在后期训练过程中不断优化这些权重值,以达到最好的分类效果。
S203、将卷积层输出的图像特征输入至预先训练的口罩分类模型中的全连接层,得到全连接层输出的分类结果;将全连接层输出的分类结果作为人脸图像的类型。
在本申请的具体实施例中,电子设备可以将卷积层输出的图像特征输入至预先训练的口罩分类模型中的全连接层,得到全连接层输出的分类结果;将全连接层输出的分类结果作为人脸图像的类型。例如,若全连接层输出的分类结果为0,表示人脸图像的类型为第一图像类型;若全连接层输出的分类结果为1,表示人脸图像的类型为第二图像类型。
全连接层在整个卷积神经网络中起到“分类器”的作用。在实际使用中,全连接层可由卷积操作实现:对前层是全连接的全连接层可以转化为卷积核为1x1的卷积;而前层是卷积层的全连接层可以转化为卷积核为h×w的全局卷积,h和w分别为前层卷积结果的高和宽。在卷积神经网络(Convolutional Neural Network,简称CNN)结构中,经多个卷积层和池化层后,连接着1个或1个以上的全连接层;与MLP类似,全连接层中的每个神经元与其前一层的所有神经元进行全连接,全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息。
S204、将人脸图像的原始图像特征输入至预先训练的口罩过滤模型,得到预先训练的口罩过滤模型输出的掩码;将预先训练的口罩过滤模型输出的掩码作为戴口罩的人脸图像对应的掩码。
在本申请的具体实施例中,在当前用户的人脸图像中提取出与其对应的原始图像特征之前,还可以先对待训练的口罩过滤模型进行训练,得到预先训练的口罩过滤模型。具体包括以下步骤:当待训练的口罩过滤模型不满足第二收敛条件时,电子设备可以先在当前用户的人脸图像中提取出与其对应的原始图像特征;通过待训练的口罩过滤模型对人脸图像的原始图像特征进行过滤处理,得到过滤处理后的图像特征;然后根据人脸图像的原始图像特征和过滤处理后的图像特征对待训练的口罩过滤模型进行训练,将下一个用户的人脸图像作为当前用户的人脸图像,重复执行上述操作,直到待训练的口罩过滤模型满足第二收敛条件;此时将待训练的口罩过滤模型作为预先训练的口罩过滤模型。
具体地,在通过待训练的口罩过滤模型对人脸图像的原始图像特征进行过滤处理时,电子设备可以先将人脸图像的原始图像特征输入至待训练的口罩过滤模型中的多层感知机,得到多层感知机输出的图像特征;然后将多层感知机输出的图像特征输入至待训练的口罩过滤模型中的掩码计算单元,得到掩码计算单元输出的掩码;再使用掩码计算单元输出的掩码对人脸图像的原始图像特征进行过滤处理,得到过滤处理后的图像特征。本实施例通过多层感知机可以得到准确的图像特征,再通过掩码计算单元得到准确的掩码。
具体地,在根据人脸图像的原始图像特征和过滤处理后的图像特征对待训练的口罩过滤模型进行训练时,电子设备可以先在人脸图像的原始图像特征中提取出不戴口罩的人脸图像对应的原始图像特征;在过滤处理后的图像特征中分别提取出戴口罩的人脸图像对应的过滤处理后的图像特征和不戴口罩的人脸图像对应的过滤处理后的图像特征;然后根据戴口罩的人脸图像对应的过滤处理后的图像特征和不戴口罩的人脸图像对应的过滤处理后的图像特征,计算待训练的口罩过滤模型的快速收敛损失函数;再根据戴口罩的人脸图像对应的过滤处理后的图像特征和不戴口罩的人脸图像对应的原始图像特征,或者,根据不戴口罩的人脸图像对应的过滤处理后的图像特征和不戴口罩的人脸图像对应的原始图像特征,计算待训练的口罩过滤模型的普通收敛损失函数;最后使用快速收敛损失函数和普通收敛损失函数对待训练的口罩过滤模型进行训练。
图3是本申请实施例二提供的口罩过滤模型的结构示意图。如图3所示,口罩过滤模型可以包括:人脸识别网络、多层感知机、掩码计算单元和过滤单元。具体地,当待训练的口罩过滤模型不满足第二收敛条件时,先将人脸图像输入至一个预先训练的人脸识别网络,得到该人脸识别网络输出的图像特征;再将人脸识别网络输出的图像特征输入至多层感知机,得到多层感知机输出的图像特征;将多层感知机输出的图像特征输入至掩码计算单元,得到掩码计算单元输出的掩码;将掩码计算单元输出的掩码输入至过滤单元;另外,人脸识别网络还可以将其输出的图像特征输入至过滤模块;过滤模块将人脸识别网络输出的图像特征和掩码计算单元输出的掩码进行逐元素相乘,得到逐元素相乘后的图像特征(图3中将其表示为图像特征1);此外,人脸识别网络还可以将其输出的图像特征直接输出(图3中将其表示为图像特征2)。在得到图像特征1和图像特征2之后,可以根据图像特征1和图像特征2对待训练的口罩过滤模型进行训练,将下一个用户的人脸图像作为当前用户的人脸图像,重复执行上述操作,直到待训练的口罩过滤模型满足第二收敛条件;此时将待训练的口罩过滤模型作为预先训练的口罩过滤模型。由于掩码计算单元输出的掩码与戴口罩的人脸图像的图像特征相乘得到人脸特征,与掩码计算单元输出的掩码与不戴口罩的人脸图像的图像特征相乘得到人脸特征,两者应该很近似,所以两者做L2 Loss;过滤后的人脸图像的图像特征和不戴口罩的人脸图像的图像特征应该判断为同一人,所以使用AdditiveAngular Margin Loss做监督。
在本申请的具体实施例中,在当前用户的人脸图像中提取出与其对应的原始图像特征之前,还可以先对待训练的口罩分类模型进行训练,得到预先训练的口罩分类模型。具体包括以下步骤:当待训练的口罩分类模型不满足第三收敛条件时,先在当前用户的人脸图像中提取出与其对应的原始图像特征;然后通过待训练的口罩过滤分类基于人脸图像的原始图像特征对人脸图像进行分类,得到人脸图像的类型;再根据人脸图像的类型对待训练的口罩分类模型进行训练,将下一个用户的人脸图像作为当前用户的人脸图像,重复执行上述操作,直到待训练的口罩分类模型满足第三收敛条件;此时将待训练的口罩分类模型作为预先训练的口罩分类模型。
图4是本申请实施例二提供的口罩分类模型的结构示意图。如图4所示,口罩分类模型可以包括:人脸识别网络、卷积层和全连接层。具体地,当待训练的口罩分类模型不满足第三收敛条件时,当待训练的口罩分类模型不满足第三收敛条件时,先将人脸图像输入至一个预先训练的人脸识别网络,得到该人脸识别网络输出的图像特征;再将人脸识别网络输出的图像特征输入至卷积层,得到卷积层输出的图像特征;将卷积层输出的图像特征输入至全连接层,得到全连接层输出的分类结果;将全连接层输出的分类结果作为人脸图像的类型;根据人脸图像的类型对待训练的口罩分类模型进行训练,将下一个用户的人脸图像作为当前用户的人脸图像,重复执行上述操作,直到待训练的口罩分类模型满足第三收敛条件;此时将待训练的口罩分类模型作为预先训练的口罩分类模型。
图5是本申请实施例二提供的人脸识别模型的结构示意图。如图5所示,人脸识别模型包括:人脸识别网络、卷积层、全连接层、多层感知机、掩码计算单元、第一过滤单元和第二过滤单元。具体地,当待训练的人脸识别模型不满足第一收敛条件时,先将人脸图像输入至一个预先训练的人脸识别网络,得到该人脸识别网络输出的图像特征;再将人脸识别网络输出的图像特征输入至卷积层,得到卷积层输出的图像特征;将卷积层输出的图像特征输入至全连接层,得到全连接层输出的分类结果;将全连接层输出的分类结果作为人脸图像的类型;将人脸图像的类型输入至第一过滤单元;另外,人脸识别网络还可以将其输出的图像特征输入至多层感知机,得到多层感知机输出的图像特征;将多层感知机输出的图像特征输入至掩码计算单元,得到掩码计算单元输出的掩码;将掩码计算单元输出的掩码输入至第一过滤单元;第一过滤单元可以根据人脸图像的类型在戴口罩的人脸图像对应的掩码和预先确定的不戴口罩的人脸图像对应的掩码中选择其中一个作为人脸图像的类型对应的掩码;将人脸图像的类型对应的掩码输入至第二过滤单元;此外,人脸识别网络还可以将其输出的图像特征输入至第二过滤单元,因此,第二过滤单元可以将使用人脸图像的类型对应的掩码对人脸图像的原始图像特征进行过滤处理,得到过滤处理后的图像特征;根据过滤处理后的图像特征对待训练的人脸识别网络进行训练,将下一个用户的人脸图像作为当前用户的人脸图像,重复执行上述操作,直到待训练的人脸识别模型满足第一收敛条件。
S205、根据人脸图像的类型在戴口罩的人脸图像对应的掩码和预先确定的不戴口罩的人脸图像对应的掩码中选择其中一个作为人脸图像的类型对应的掩码;并使用人脸图像的类型对应的掩码对人脸图像的原始图像特征进行过滤处理,得到过滤处理后的图像特征。
在本申请的具体实施例中,电子设备可以根据人脸图像的类型在戴口罩的人脸图像对应的掩码和预先确定的不戴口罩的人脸图像对应的掩码中选择其中一个作为人脸图像的类型对应的掩码;并使用人脸图像的类型对应的掩码对人脸图像的原始图像特征进行过滤处理,得到过滤处理后的图像特征。具体地,电子设备可以将人脸图像的原始图像特征与人脸图像的类型对应的掩码进行逐元素相乘,得到逐元素相乘后的图像特征;将逐元素相乘后的图像特征作为过滤处理后的图像特征。具体地,人脸图像的类型对应的掩码可以是由图像特征中的每一个特征对应的权重值所构成的矩阵。人脸图像原始图像特征可以包括:特征1-特征M;其中,M为大于等于1的自然数;因此,人脸图像的类型对应的掩码可以包括:权重值1-权重值M。例如,假设人脸图像的原始图像特征可以包括:特征1-特征9;因此,人脸图像的类型对应的掩码可以包括:权重值1-权重值9。在本步骤中,将特征1乘以空间权重值1,得到特征1经修正后的图像特征;将特征2乘以空间权重值2,得到特征2经修正后的图像特征;以此类推,直到将特征9乘以空间权重值9,得到特征9修改后的图像特征。
在本申请的具体实施例中,若人脸图像的类型表示人脸图像为戴口罩的人脸图像,则电子设备可以将人脸图像的原始图像特征与至少一个权重值小于1的掩码进行逐元素相乘,得到逐元素相乘后的图像特征;将逐元素相乘后的图像特征作为过滤处理后的图像特征;若人脸图像的类型表示人脸图像为不戴口罩的人脸图像,则电子设备可以将人脸图像的原始图像特征与各个权重值均为1的掩码进行逐元素相乘,得到逐元素相乘后的图像特征;将逐元素相乘后的图像特征作为过滤处理后的图像特征。
S206、根据过滤处理后的图像特征对待训练的人脸识别网络进行训练,将下一个用户的人脸图像作为当前用户的人脸图像,重复执行上述操作,直到待训练的人脸识别模型满足第一收敛条件。
在本申请的具体实施例中,MLP为三层卷积网络,中间一层的特征维度降低一半,第三层的特征维度恢复通道数;具体地,多层感知机可以包括:第一层卷积网络、第二层卷积网络和第三层卷积网络;其中,第一层卷积网络输出的图像特征的维度为:(1,C,1,1);第二层卷积网络输出的图像特征的维度为:(1,C/2,1,1);第三层卷积网络输出的图像特征的维度为:(1,C,1,1);其中,C表示人脸图像的通道数。
本申请实施例提出的人脸识别模型的训练方法,当待训练的人脸识别模型不满足第一收敛条件时,先在当前用户的人脸图像中提取出与其对应的原始图像特征;然后通过预先训练的口罩分类模型基于人脸图像的原始图像特征对人脸图像进行分类,得到人脸图像的类型;接着通过预先训练的口罩过滤模型确定出人脸图像的类型对应的掩码,并使用人脸图像的类型对应的掩码对人脸图像的原始图像特征进行过滤处理,得到过滤处理后的图像特征;再根据过滤处理后的图像特征对待训练的人脸识别网络进行训练,将下一个用户的人脸图像作为当前用户的人脸图像,重复执行上述操作,直到待训练的人脸识别模型满足第一收敛条件。也就是说,本申请可以基于人脸图像的类型对原始图像特征进行过滤处理,在用户戴口罩的情况下,将人脸口罩区域的特征剔除掉,以减小该区域对人脸识别的准确度的影响,从而可以有效地提高人脸识别模型对戴口罩的人脸进行识别的准确度。而在现有的人脸识别模型的训练方法中,在人脸戴口罩的情况下,人脸识别模型未做特别处理,导致人脸识别模型对戴口罩的人脸进行识别的准确度不高。因为本申请采用了基于人脸图像的类型对原始图像特征进行过滤处理的技术手段,克服了现有技术中人脸识别模型对戴口罩的人脸进行识别的准确度不高的技术问题,本申请提供的技术方案,可以有效地提高人脸识别模型对戴口罩的人脸进行识别的准确度;并且,本申请实施例的技术方案实现简单方便、便于普及,适用范围更广。
实施例三
图6是本申请实施例三提供的人脸识别模型的训练装置的结构示意图。如图6所示,所述装置600包括:提取模块601、分类模块602、过滤模块603和训练模块604;其中,
所述提取模块601,用于当待训练的人脸识别模型不满足第一收敛条件时,在当前用户的人脸图像中提取出与其对应的原始图像特征;其中,所述人脸图像包括:戴口罩的人脸图像和不戴口罩的人脸图像;
所述分类模块602,用于通过预先训练的口罩分类模型基于所述人脸图像的原始图像特征对所述人脸图像进行分类,得到所述人脸图像的类型;
所述过滤模块603,用于通过预先训练的口罩过滤模型确定出所述人脸图像的类型对应的掩码,并使用所述人脸图像的类型对应的掩码对所述人脸图像的原始图像特征进行过滤处理,得到过滤处理后的图像特征;
所述训练模块604,用于根据所述过滤处理后的图像特征对所述待训练的人脸识别网络进行训练,将下一个用户的人脸图像作为所述当前用户的人脸图像,重复执行上述操作,直到所述待训练的人脸识别模型满足所述第一收敛条件。
进一步的,所述分类模块602,具体用于将所述人脸图像的原始图像特征输入至所述预先训练的口罩分类模型中的卷积层,得到所述卷积层输出的图像特征;将所述卷积层输出的图像特征输入至所述预先训练的口罩分类模型中的全连接层,得到所述全连接层输出的分类结果;将所述全连接层输出的分类结果作为所述人脸图像的类型。
进一步的,所述过滤模块603,具体用于将所述人脸图像的原始图像特征输入至所述预先训练的口罩过滤模型,得到所述预先训练的口罩过滤模型输出的掩码;将所述预先训练的口罩过滤模型输出的掩码作为所述戴口罩的人脸图像对应的掩码;根据所述人脸图像的类型在所述戴口罩的人脸图像对应的掩码和预先确定的所述不戴口罩的人脸图像对应的掩码中选择其中一个作为所述人脸图像的类型对应的掩码。
进一步的,所述过滤模块603,具体用于将所述人脸图像的原始图像特征输入至所述预先训练的口罩过滤模型中的多层感知机,得到所述多层感知机输出的图像特征;将所述多层感知机输出的图像特征输入至所述预先训练的口罩过滤模型中的掩码计算单元,得到所述掩码计算单元输出的掩码;将所述掩码计算单元输出的掩码作为所述预先训练的口罩过滤模型输出的掩码。
进一步的,所述过滤模块603,具体用于将所述人脸图像的原始图像特征和所述人脸图像的类型对应的目标掩码进行逐元素相乘,得到逐元素相乘后的图像特征;将所述逐元素相乘后的图像特征作为所述过滤处理后的图像特征。
进一步的,所述提取模块601,还用于当待训练的口罩过滤模型不满足第二收敛条件时,在所述当前用户的人脸图像中提取出与其对应的原始图像特征;
所述过滤模块603,还用于通过所述待训练的口罩过滤模型对所述人脸图像的原始图像特征进行过滤处理,得到过滤处理后的图像特征;
所述训练模块604,还用于根据所述人脸图像的原始图像特征和所述过滤处理后的图像特征对所述待训练的口罩过滤模型进行训练,将下一个用户的人脸图像作为所述当前用户的人脸图像,重复执行上述操作,直到所述待训练的口罩过滤模型满足所述第二收敛条件;将所述待训练的口罩过滤模型作为所述预先训练的口罩过滤模型。
进一步的,所述过滤模块603,具体用于将所述人脸图像的原始图像特征输入至所述待训练的口罩过滤模型中的多层感知机,得到所述多层感知机输出的图像特征;将所述多层感知机输出的图像特征输入至所述待训练的口罩过滤模型中的掩码计算单元,得到所述掩码计算单元输出的掩码;使用所述掩码计算单元输出的掩码对所述人脸图像的原始图像特征进行过滤处理,得到所述过滤处理后的图像特征。
进一步的,所述训练模块604,具体用于在所述人脸图像的原始图像特征中提取出所述不戴口罩的人脸图像对应的原始图像特征;在所述过滤处理后的图像特征中分别提取出所述戴口罩的人脸图像对应的过滤处理后的图像特征和所述不戴口罩的人脸图像对应的过滤处理后的图像特征;根据所述戴口罩的人脸图像对应的过滤处理后的图像特征和所述不戴口罩的人脸图像对应的过滤处理后的图像特征,计算所述待训练的口罩过滤模型的快速收敛损失函数;根据所述戴口罩的人脸图像对应的过滤处理后的图像特征和所述不戴口罩的人脸图像对应的原始图像特征,或者,根据所述不戴口罩的人脸图像对应的过滤处理后的图像特征和所述不戴口罩的人脸图像对应的原始图像特征,计算所述待训练的口罩过滤模型的普通收敛损失函数;使用所述快速收敛损失函数和所述普通收敛损失函数对所述待训练的口罩过滤模型进行训练。
进一步的,所述多层感知机为三层卷积网络,包括:第一层卷积网络、第二层卷积网络和第三层卷积网络;其中,所述第一层卷积网络输出的图像特征的维度为:(1,C,1,1);所述第二层卷积网络输出的图像特征的维度为:(1,C/2,1,1);所述第三层卷积网络输出的图像特征的维度为:(1,C,1,1);其中,C表示所述人脸图像的通道数。
进一步的,所述提取模块601,还用于当待训练的口罩分类模型不满足第三收敛条件时,在所述当前用户的人脸图像中提取出与其对应的原始图像特征;
所述分类模块602,还用于通过所述待训练的口罩过滤分类基于所述人脸图像的原始图像特征对所述人脸图像进行分类,得到所述人脸图像的类型;
所述训练模块604,还用于根据所述人脸图像的类型对所述待训练的口罩分类模型进行训练,将下一个用户的人脸图像作为所述当前用户的人脸图像,重复执行上述操作,直到所述待训练的口罩分类模型满足所述第三收敛条件;将所述待训练的口罩分类模型作为所述预先训练的口罩分类模型。
上述人脸识别模型的训练装置可执行本申请任意实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请任意实施例提供的人脸识别模型的训练方法。
实施例四
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图7所示,是根据本申请实施例的人脸识别模型的训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示,该电子设备包括:一个或多个处理器701、存储器702,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。
存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的人脸识别模型的训练方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的人脸识别模型的训练方法。
存储器702作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的人脸识别模型的训练方法对应的程序指令/模块(例如,附图6所示的提取模块601、分类模块602、过滤模块603和训练模块604)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的人脸识别模型的训练方法。
存储器702可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据人脸识别模型的训练方法的电子设备的使用所创建的数据等。此外,存储器702可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器702可选包括相对于处理器701远程设置的存储器,这些远程存储器可以通过网络连接至人脸识别模型的训练方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
人脸识别模型的训练方法的电子设备还可以包括:输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接,图7中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息,以及产生与人脸识别模型的训练方法的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案,当待训练的人脸识别模型不满足第一收敛条件时,先在当前用户的人脸图像中提取出与其对应的原始图像特征;然后通过预先训练的口罩分类模型基于人脸图像的原始图像特征对人脸图像进行分类,得到人脸图像的类型;接着通过预先训练的口罩过滤模型确定出人脸图像的类型对应的掩码,并使用人脸图像的类型对应的掩码对人脸图像的原始图像特征进行过滤处理,得到过滤处理后的图像特征;再根据过滤处理后的图像特征对待训练的人脸识别网络进行训练,将下一个用户的人脸图像作为当前用户的人脸图像,重复执行上述操作,直到待训练的人脸识别模型满足第一收敛条件。也就是说,本申请可以基于人脸图像的类型对原始图像特征进行过滤处理,在用户戴口罩的情况下,将人脸口罩区域的特征剔除掉,以减小该区域对人脸识别的准确度的影响,从而可以有效地提高人脸识别模型对戴口罩的人脸进行识别的准确度。而在现有的人脸识别模型的训练方法中,在人脸戴口罩的情况下,人脸识别模型未做特别处理,导致人脸识别模型对戴口罩的人脸进行识别的准确度不高。因为本申请采用了基于人脸图像的类型对原始图像特征进行过滤处理的技术手段,克服了现有技术中人脸识别模型对戴口罩的人脸进行识别的准确度不高的技术问题,本申请提供的技术方案,可以有效地提高人脸识别模型对戴口罩的人脸进行识别的准确度;并且,本申请实施例的技术方案实现简单方便、便于普及,适用范围更广。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (22)
1.一种人脸识别模型的训练方法,其特征在于,所述方法包括:
当待训练的人脸识别模型不满足第一收敛条件时,在当前用户的人脸图像中提取出与其对应的原始图像特征;其中,所述人脸图像包括:戴口罩的人脸图像和不戴口罩的人脸图像;
通过预先训练的口罩分类模型基于所述人脸图像的原始图像特征对所述人脸图像进行分类,得到所述人脸图像的类型;
通过预先训练的口罩过滤模型确定出所述人脸图像的类型对应的掩码,并使用所述人脸图像的类型对应的掩码对所述人脸图像的原始图像特征进行过滤处理,得到过滤处理后的图像特征;
根据所述过滤处理后的图像特征对所述待训练的人脸识别网络进行训练,将下一个用户的人脸图像作为所述当前用户的人脸图像,重复执行上述操作,直到所述待训练的人脸识别模型满足所述第一收敛条件。
2.根据权利要求1所述的方法,其特征在于,所述通过预先训练的口罩分类模型基于所述人脸图像的原始图像特征对所述人脸图像进行分类,得到所述人脸图像的类型,包括:
将所述人脸图像的原始图像特征输入至所述预先训练的口罩分类模型中的卷积层,得到所述卷积层输出的图像特征;
将所述卷积层输出的图像特征输入至所述预先训练的口罩分类模型中的全连接层,得到所述全连接层输出的分类结果;将所述全连接层输出的分类结果作为所述人脸图像的类型。
3.根据权利要求1所述的方法,其特征在于,所述通过预先训练的口罩过滤模型确定出所述人脸图像的类型对应的掩码,包括:
将所述人脸图像的原始图像特征输入至所述预先训练的口罩过滤模型,得到所述预先训练的口罩过滤模型输出的掩码;将所述预先训练的口罩过滤模型输出的掩码作为所述戴口罩的人脸图像对应的掩码;
根据所述人脸图像的类型在所述戴口罩的人脸图像对应的掩码和预先确定的所述不戴口罩的人脸图像对应的掩码中选择其中一个作为所述人脸图像的类型对应的掩码。
4.根据权利要求3所述的方法,其特征在于,所述将所述人脸图像的原始图像特征输入至所述预先训练的口罩过滤模型,得到所述预先训练的口罩过滤模型输出的掩码,包括:
将所述人脸图像的原始图像特征输入至所述预先训练的口罩过滤模型中的多层感知机,得到所述多层感知机输出的图像特征;
将所述多层感知机输出的图像特征输入至所述预先训练的口罩过滤模型中的掩码计算单元,得到所述掩码计算单元输出的掩码;将所述掩码计算单元输出的掩码作为所述预先训练的口罩过滤模型输出的掩码。
5.根据权利要求1所述的方法,其特征在于,所述使用所述人脸图像的类型对应的掩码对所述人脸图像的原始图像特征进行过滤处理,得到过滤处理后的图像特征,包括:
将所述人脸图像的原始图像特征和所述人脸图像的类型对应的目标掩码进行逐元素相乘,得到逐元素相乘后的图像特征;将所述逐元素相乘后的图像特征作为所述过滤处理后的图像特征。
6.根据权利要求1所述的方法,其特征在于,在所述在当前用户的人脸图像中提取出与其对应的原始图像特征之前,所述方法还包括:
当待训练的口罩过滤模型不满足第二收敛条件时,在所述当前用户的人脸图像中提取出与其对应的原始图像特征;
通过所述待训练的口罩过滤模型对所述人脸图像的原始图像特征进行过滤处理,得到过滤处理后的图像特征;
根据所述人脸图像的原始图像特征和所述过滤处理后的图像特征对所述待训练的口罩过滤模型进行训练,将下一个用户的人脸图像作为所述当前用户的人脸图像,重复执行上述操作,直到所述待训练的口罩过滤模型满足所述第二收敛条件;将所述待训练的口罩过滤模型作为所述预先训练的口罩过滤模型。
7.根据权利要求6所述的方法,其特征在于,所述通过所述待训练的口罩过滤模型对所述人脸图像的原始图像特征进行过滤处理,得到过滤处理后的图像特征,包括:
将所述人脸图像的原始图像特征输入至所述待训练的口罩过滤模型中的多层感知机,得到所述多层感知机输出的图像特征;
将所述多层感知机输出的图像特征输入至所述待训练的口罩过滤模型中的掩码计算单元,得到所述掩码计算单元输出的掩码;
使用所述掩码计算单元输出的掩码对所述人脸图像的原始图像特征进行过滤处理,得到所述过滤处理后的图像特征。
8.根据权利要求6所述的方法,其特征在于,所述根据所述人脸图像的原始图像特征和所述过滤处理后的图像特征对所述待训练的口罩过滤模型进行训练,包括:
在所述人脸图像的原始图像特征中提取出所述不戴口罩的人脸图像对应的原始图像特征;在所述过滤处理后的图像特征中分别提取出所述戴口罩的人脸图像对应的过滤处理后的图像特征和所述不戴口罩的人脸图像对应的过滤处理后的图像特征;
根据所述戴口罩的人脸图像对应的过滤处理后的图像特征和所述不戴口罩的人脸图像对应的过滤处理后的图像特征,计算所述待训练的口罩过滤模型的快速收敛损失函数;
根据所述戴口罩的人脸图像对应的过滤处理后的图像特征和所述不戴口罩的人脸图像对应的原始图像特征,或者,根据所述不戴口罩的人脸图像对应的过滤处理后的图像特征和所述不戴口罩的人脸图像对应的原始图像特征,计算所述待训练的口罩过滤模型的普通收敛损失函数;
使用所述快速收敛损失函数和所述普通收敛损失函数对所述待训练的口罩过滤模型进行训练。
9.根据权利要求7所述的方法,其特征在于,所述多层感知机为三层卷积网络,包括:第一层卷积网络、第二层卷积网络和第三层卷积网络;其中,所述第一层卷积网络输出的图像特征的维度为:(1,C,1,1);所述第二层卷积网络输出的图像特征的维度为:(1,C/2,1,1);所述第三层卷积网络输出的图像特征的维度为:(1,C,1,1);其中,C表示所述人脸图像的通道数。
10.根据权利要求1所述的方法,其特征在于,在所述在当前用户的人脸图像中提取出与其对应的原始图像特征之前,所述方法还包括:
当待训练的口罩分类模型不满足第三收敛条件时,在所述当前用户的人脸图像中提取出与其对应的原始图像特征;
通过所述待训练的口罩过滤分类基于所述人脸图像的原始图像特征对所述人脸图像进行分类,得到所述人脸图像的类型;
根据所述人脸图像的类型对所述待训练的口罩分类模型进行训练,将下一个用户的人脸图像作为所述当前用户的人脸图像,重复执行上述操作,直到所述待训练的口罩分类模型满足所述第三收敛条件;将所述待训练的口罩分类模型作为所述预先训练的口罩分类模型。
11.一种人脸识别模型的训练装置,其特征在于,所述装置包括:提取模块、分类模块、过滤模块和训练模块;其中,
所述提取模块,用于当待训练的人脸识别模型不满足第一收敛条件时,在当前用户的人脸图像中提取出与其对应的原始图像特征;其中,所述人脸图像包括:戴口罩的人脸图像和不戴口罩的人脸图像;
所述分类模块,用于通过预先训练的口罩分类模型基于所述人脸图像的原始图像特征对所述人脸图像进行分类,得到所述人脸图像的类型;
所述过滤模块,用于通过预先训练的口罩过滤模型确定出所述人脸图像的类型对应的掩码,并使用所述人脸图像的类型对应的掩码对所述人脸图像的原始图像特征进行过滤处理,得到过滤处理后的图像特征;
所述训练模块,用于根据所述过滤处理后的图像特征对所述待训练的人脸识别网络进行训练,将下一个用户的人脸图像作为所述当前用户的人脸图像,重复执行上述操作,直到所述待训练的人脸识别模型满足所述第一收敛条件。
12.根据权利要求11所述的装置,其特征在于:
所述分类模块,具体用于将所述人脸图像的原始图像特征输入至所述预先训练的口罩分类模型中的卷积层,得到所述卷积层输出的图像特征;将所述卷积层输出的图像特征输入至所述预先训练的口罩分类模型中的全连接层,得到所述全连接层输出的分类结果;将所述全连接层输出的分类结果作为所述人脸图像的类型。
13.根据权利要求11所述的装置,其特征在于:
所述过滤模块,具体用于将所述人脸图像的原始图像特征输入至所述预先训练的口罩过滤模型,得到所述预先训练的口罩过滤模型输出的掩码;将所述预先训练的口罩过滤模型输出的掩码作为所述戴口罩的人脸图像对应的掩码;根据所述人脸图像的类型在所述戴口罩的人脸图像对应的掩码和预先确定的所述不戴口罩的人脸图像对应的掩码中选择其中一个作为所述人脸图像的类型对应的掩码。
14.根据权利要求13所述的装置,其特征在于:
所述过滤模块,具体用于将所述人脸图像的原始图像特征输入至所述预先训练的口罩过滤模型中的多层感知机,得到所述多层感知机输出的图像特征;将所述多层感知机输出的图像特征输入至所述预先训练的口罩过滤模型中的掩码计算单元,得到所述掩码计算单元输出的掩码;将所述掩码计算单元输出的掩码作为所述预先训练的口罩过滤模型输出的掩码。
15.根据权利要求11所述的装置,其特征在于:
所述过滤模块,具体用于将所述人脸图像的原始图像特征和所述人脸图像的类型对应的目标掩码进行逐元素相乘,得到逐元素相乘后的图像特征;将所述逐元素相乘后的图像特征作为所述过滤处理后的图像特征。
16.根据权利要求11所述的装置,其特征在于:
所述提取模块,还用于当待训练的口罩过滤模型不满足第二收敛条件时,在所述当前用户的人脸图像中提取出与其对应的原始图像特征;
所述过滤模块,还用于通过所述待训练的口罩过滤模型对所述人脸图像的原始图像特征进行过滤处理,得到过滤处理后的图像特征;
所述训练模块,还用于根据所述人脸图像的原始图像特征和所述过滤处理后的图像特征对所述待训练的口罩过滤模型进行训练,将下一个用户的人脸图像作为所述当前用户的人脸图像,重复执行上述操作,直到所述待训练的口罩过滤模型满足所述第二收敛条件;将所述待训练的口罩过滤模型作为所述预先训练的口罩过滤模型。
17.根据权利要求16所述的装置,其特征在于:
所述过滤模块,具体用于将所述人脸图像的原始图像特征输入至所述待训练的口罩过滤模型中的多层感知机,得到所述多层感知机输出的图像特征;将所述多层感知机输出的图像特征输入至所述待训练的口罩过滤模型中的掩码计算单元,得到所述掩码计算单元输出的掩码;使用所述掩码计算单元输出的掩码对所述人脸图像的原始图像特征进行过滤处理,得到所述过滤处理后的图像特征。
18.根据权利要求16所述的装置,其特征在于:
所述训练模块,具体用于在所述人脸图像的原始图像特征中提取出所述不戴口罩的人脸图像对应的原始图像特征;在所述过滤处理后的图像特征中分别提取出所述戴口罩的人脸图像对应的过滤处理后的图像特征和所述不戴口罩的人脸图像对应的过滤处理后的图像特征;根据所述戴口罩的人脸图像对应的过滤处理后的图像特征和所述不戴口罩的人脸图像对应的过滤处理后的图像特征,计算所述待训练的口罩过滤模型的快速收敛损失函数;根据所述戴口罩的人脸图像对应的过滤处理后的图像特征和所述不戴口罩的人脸图像对应的原始图像特征,或者,根据所述不戴口罩的人脸图像对应的过滤处理后的图像特征和所述不戴口罩的人脸图像对应的原始图像特征,计算所述待训练的口罩过滤模型的普通收敛损失函数;使用所述快速收敛损失函数和所述普通收敛损失函数对所述待训练的口罩过滤模型进行训练。
19.根据权利要求17所述的装置,其特征在于,所述多层感知机为三层卷积网络,包括:第一层卷积网络、第二层卷积网络和第三层卷积网络;其中,所述第一层卷积网络输出的图像特征的维度为:(1,C,1,1);所述第二层卷积网络输出的图像特征的维度为:(1,C/2,1,1);所述第三层卷积网络输出的图像特征的维度为:(1,C,1,1);其中,C表示所述人脸图像的通道数。
20.根据权利要求11所述的装置,其特征在于:
所述提取模块,还用于当待训练的口罩分类模型不满足第三收敛条件时,在所述当前用户的人脸图像中提取出与其对应的原始图像特征;
所述分类模块,还用于通过所述待训练的口罩过滤分类基于所述人脸图像的原始图像特征对所述人脸图像进行分类,得到所述人脸图像的类型;
所述训练模块,还用于根据所述人脸图像的类型对所述待训练的口罩分类模型进行训练,将下一个用户的人脸图像作为所述当前用户的人脸图像,重复执行上述操作,直到所述待训练的口罩分类模型满足所述第三收敛条件;将所述待训练的口罩分类模型作为所述预先训练的口罩分类模型。
21.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010591964.3A CN111783601B (zh) | 2020-06-24 | 2020-06-24 | 人脸识别模型的训练方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010591964.3A CN111783601B (zh) | 2020-06-24 | 2020-06-24 | 人脸识别模型的训练方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111783601A true CN111783601A (zh) | 2020-10-16 |
CN111783601B CN111783601B (zh) | 2024-04-26 |
Family
ID=72760616
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010591964.3A Active CN111783601B (zh) | 2020-06-24 | 2020-06-24 | 人脸识别模型的训练方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111783601B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112912893A (zh) * | 2021-01-28 | 2021-06-04 | 深圳市锐明技术股份有限公司 | 佩戴口罩的检测方法、装置、终端设备及可读存储介质 |
CN114359993A (zh) * | 2021-09-29 | 2022-04-15 | 北京百度网讯科技有限公司 | 模型训练方法、人脸识别方法、装置、设备、介质及产品 |
CN115527254A (zh) * | 2022-09-21 | 2022-12-27 | 北京的卢深视科技有限公司 | 人脸识别、模型训练方法、装置、电子设备及存储介质 |
CN115641637A (zh) * | 2022-11-11 | 2023-01-24 | 杭州海量信息技术有限公司 | 一种戴口罩人脸识别方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018188453A1 (zh) * | 2017-04-11 | 2018-10-18 | 腾讯科技(深圳)有限公司 | 人脸区域的确定方法、存储介质、计算机设备 |
WO2019114036A1 (zh) * | 2017-12-12 | 2019-06-20 | 深圳云天励飞技术有限公司 | 人脸检测方法及装置、计算机装置和计算机可读存储介质 |
CN110084216A (zh) * | 2019-05-06 | 2019-08-02 | 苏州科达科技股份有限公司 | 人脸识别模型训练和人脸识别方法、系统、设备及介质 |
CN110197099A (zh) * | 2018-02-26 | 2019-09-03 | 腾讯科技(深圳)有限公司 | 跨年龄人脸识别及其模型训练的方法和装置 |
CN110543815A (zh) * | 2019-07-22 | 2019-12-06 | 平安科技(深圳)有限公司 | 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质 |
KR20200010993A (ko) * | 2018-07-11 | 2020-01-31 | 삼성전자주식회사 | 보완된 cnn을 통해 이미지 속 얼굴의 속성 및 신원을 인식하는 전자 장치. |
CN110795975A (zh) * | 2018-08-03 | 2020-02-14 | 浙江宇视科技有限公司 | 人脸误检优化方法及装置 |
WO2020037937A1 (zh) * | 2018-08-20 | 2020-02-27 | 深圳壹账通智能科技有限公司 | 人脸识别的方法、装置、终端及计算机可读存储介质 |
CN111274916A (zh) * | 2020-01-16 | 2020-06-12 | 华为技术有限公司 | 人脸识别方法和人脸识别装置 |
-
2020
- 2020-06-24 CN CN202010591964.3A patent/CN111783601B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018188453A1 (zh) * | 2017-04-11 | 2018-10-18 | 腾讯科技(深圳)有限公司 | 人脸区域的确定方法、存储介质、计算机设备 |
WO2019114036A1 (zh) * | 2017-12-12 | 2019-06-20 | 深圳云天励飞技术有限公司 | 人脸检测方法及装置、计算机装置和计算机可读存储介质 |
CN110197099A (zh) * | 2018-02-26 | 2019-09-03 | 腾讯科技(深圳)有限公司 | 跨年龄人脸识别及其模型训练的方法和装置 |
KR20200010993A (ko) * | 2018-07-11 | 2020-01-31 | 삼성전자주식회사 | 보완된 cnn을 통해 이미지 속 얼굴의 속성 및 신원을 인식하는 전자 장치. |
CN110795975A (zh) * | 2018-08-03 | 2020-02-14 | 浙江宇视科技有限公司 | 人脸误检优化方法及装置 |
WO2020037937A1 (zh) * | 2018-08-20 | 2020-02-27 | 深圳壹账通智能科技有限公司 | 人脸识别的方法、装置、终端及计算机可读存储介质 |
CN110084216A (zh) * | 2019-05-06 | 2019-08-02 | 苏州科达科技股份有限公司 | 人脸识别模型训练和人脸识别方法、系统、设备及介质 |
CN110543815A (zh) * | 2019-07-22 | 2019-12-06 | 平安科技(深圳)有限公司 | 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质 |
CN111274916A (zh) * | 2020-01-16 | 2020-06-12 | 华为技术有限公司 | 人脸识别方法和人脸识别装置 |
Non-Patent Citations (2)
Title |
---|
李辉;石波;: "基于卷积神经网络的人脸识别算法", 软件导刊, no. 03 * |
王大伟;陈章玲;: "基于LBP与卷积神经网络的人脸识别", 天津理工大学学报, no. 06 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112912893A (zh) * | 2021-01-28 | 2021-06-04 | 深圳市锐明技术股份有限公司 | 佩戴口罩的检测方法、装置、终端设备及可读存储介质 |
CN114359993A (zh) * | 2021-09-29 | 2022-04-15 | 北京百度网讯科技有限公司 | 模型训练方法、人脸识别方法、装置、设备、介质及产品 |
CN115527254A (zh) * | 2022-09-21 | 2022-12-27 | 北京的卢深视科技有限公司 | 人脸识别、模型训练方法、装置、电子设备及存储介质 |
CN115641637A (zh) * | 2022-11-11 | 2023-01-24 | 杭州海量信息技术有限公司 | 一种戴口罩人脸识别方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111783601B (zh) | 2024-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111783601A (zh) | 人脸识别模型的训练方法、装置、电子设备及存储介质 | |
Mariappan et al. | Real-time recognition of Indian sign language | |
CN111914628B (zh) | 人脸识别模型的训练方法和装置 | |
CN111783596B (zh) | 人脸识别模型的训练方法、装置、电子设备及存储介质 | |
EP3872763A1 (en) | Point cloud data processing method, apparatus, electronic device and computer readable storage medium | |
CN112528850A (zh) | 人体识别方法、装置、设备和存储介质 | |
CN112001180A (zh) | 多模态预训练模型获取方法、装置、电子设备及存储介质 | |
CN111291643B (zh) | 视频的多标签分类方法、装置、电子设备与存储介质 | |
CN108052884A (zh) | 一种基于改进残差神经网络的手势识别方法 | |
CN111709288B (zh) | 人脸关键点检测方法、装置以及电子设备 | |
CN112561053A (zh) | 图像处理方法、预训练模型的训练方法、装置和电子设备 | |
Sultan et al. | Sign language identification and recognition: A comparative study | |
CN112215243A (zh) | 图像特征提取方法、装置、设备及存储介质 | |
CN111862031A (zh) | 一种人脸合成图检测方法、装置、电子设备及存储介质 | |
Ariesta et al. | Sentence level Indonesian sign language recognition using 3D convolutional neural network and bidirectional recurrent neural network | |
CN114386503A (zh) | 用于训练模型的方法和装置 | |
CN112308145A (zh) | 一种分类网络训练方法、分类方法、装置以及电子设备 | |
CN112241704A (zh) | 一种判定肖像侵权的方法、装置、电子设备及存储介质 | |
CN111783607A (zh) | 人脸识别模型的训练方法、装置、电子设备及存储介质 | |
Agrawal et al. | Redundancy removal for isolated gesture in Indian sign language and recognition using multi-class support vector machine | |
CN111783600B (zh) | 一种人脸识别模型训练方法、装置、设备及介质 | |
CN110738261B (zh) | 图像分类和模型训练方法、装置、电子设备及存储介质 | |
CN112270303A (zh) | 图像识别方法、装置以及电子设备 | |
CN111862030A (zh) | 一种人脸合成图检测方法、装置、电子设备及存储介质 | |
CN111738325A (zh) | 图像识别方法、装置、设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |