CN113255617B - 图像识别方法、装置、电子设备和计算机可读存储介质 - Google Patents
图像识别方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN113255617B CN113255617B CN202110765240.0A CN202110765240A CN113255617B CN 113255617 B CN113255617 B CN 113255617B CN 202110765240 A CN202110765240 A CN 202110765240A CN 113255617 B CN113255617 B CN 113255617B
- Authority
- CN
- China
- Prior art keywords
- face
- recognition model
- image
- trained
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Abstract
本发明实施例公开了一种图像识别方法、装置、电子设备和计算机可读存储介质；本发明实施例在获取人脸图像样本后，对人脸图像样本进行空间特征提取，并基于提取出的图像特征和人脸标签信息对预设人脸识别模型进行训练，得到训练后人脸识别模型，然后，对图像特征进行域特征提取，得到人脸图像样本的类别特征，然后，基于类别特征和类别标签信息确定人脸图像样本的特征分类结果，然后，根据特征分类结果与训练后人脸识别模型进行修正，并采用修正后人脸识别模型对待识别人脸图像进行识别；该方案可以提升图像识别的效率。
Description
技术领域
本发明涉及通信技术领域，具体涉及一种图像识别方法、装置、电子设备和计算机可读存储介质。
背景技术
随着新冠病毒（COVID-19）在全球的爆发，出行戴口罩已经成为日常生活中一个必不可少的方式。由于口罩对面部的遮挡，导致采集到的人脸图像可能存在面部遮挡。针对这一类存在面部遮挡的人脸图像进行识别时，往往通过加权或者几何变换的形式实现面部遮挡图像和正常图像的特征匹配的方式来训练人脸识别模型，以完成人脸图像的识别。
在对现有技术的研究和实践过程中，本发明的发明人发现，对于加权的方式来说，权重的最优值往往随着数据分布的变化而变化，使得无法保证稳定提升人脸识别模型针对面部遮挡的人脸图像识别的准确性，对于几何变换的方式来说，需要在面部遮挡图像和正常图像中标注两个类中心，不仅会大量占据显存，而且在大规模数据训练中，还大大增加人脸识别模型的训练耗时，因此，导致图像识别的效率大大降低。
发明内容
本发明实施例提供一种图像识别方法、装置、电子设备和计算机可读存储介质，可以提高图像识别的效率。
一种图像识别方法，包括：
获取人脸图像样本，所述人脸图像样本包括人脸标签信息和类别标签信息；
对所述人脸图像样本进行空间特征提取，并基于提取出的图像特征和人脸标签信息对预设人脸识别模型进行训练，得到训练后人脸识别模型；
对所述图像特征进行域特征提取，得到所述人脸图像样本的类别特征；
基于所述类别特征和类别标签信息确定所述人脸图像样本的特征分类结果；
根据所述特征分类结果对所述训练后人脸识别模型进行修正，并采用修正后人脸识别模型对待识别人脸图像进行识别。
相应的，本发明实施例提供一种图像识别装置，包括：
获取单元，用于获取人脸图像样本，所述人脸图像样本包括人脸标签信息和类别标签信息；
训练单元，用于对所述人脸图像样本进行空间特征提取，并基于提取出的图像特征和人脸标签信息对预设人脸识别模型进行训练，得到训练后人脸识别模型；
提取单元，用于对所述图像特征进行域特征提取，得到所述人脸图像样本的类别特征；
确定单元，用于基于所述类别特征和类别标签信息确定所述人脸图像样本的特征分类结果；
修正单元，用于根据所述特征分类结果对所述训练后人脸识别模型进行修正，并采用修正后人脸识别模型对待识别人脸图像进行识别。
可选的，在一些实施例中，所述确定单元，具体可以用于基于所述类别特征和类别标签信息，对预设类别识别模型进行训练，得到训练后类别识别模型；采用所述训练后类别识别模型对所述人脸图像样本的图像特征进行分类，得到所述人脸图像样本的特征分类结果。
可选的，在一些实施例中，所述修正单元，具体可以用于基于所述特征分类结果，在所述图像特征中识别出域信息，所述域信息用于指示区分域的信息；在所述图像特征中删除所述域信息，得到目标图像特征；根据所述目标图像特征，将所述训练后类别识别模型和训练后人脸识别模型进行对抗训练，以修正所述训练后人脸识别模型。
可选的，在一些实施例中，所述修正单元，具体可以用于根据所述目标图像特征和人脸标签信息，确定所述训练后人脸识别模型对应的人脸损失信息；基于所述图像特征和类别标签信息，确定所述训练后类别识别模型对应的类别损失信息；将所述人脸损失信息和类别损失信息进行融合，并基于融合后损失信息修正所述训练后人脸识别模型，得到所述修正后人脸识别模型。
可选的，在一些实施例中，所述修正单元，具体可以用于根据对抗训练中的人脸识别模型的损失函数和对抗训练中的类别识别模型的损失函数，确定所述训练后人脸识别模型的修正停止条件；当所述融合后损失信息不满足所述修正停止条件时，基于所述融合后损失信息对所述训练后人脸识别模型的梯度进行更新，以得到所述修正后人脸识别模型。
可选的，在一些实施例中，所述修正单元，具体可以用于基于所述融合后损失信息，计算所述训练后人脸识别模型中网络层的梯度；根据当前梯度的更新次数，对所述梯度进行调整，得到调整后梯度；基于所述调整后梯度，对所述训练后人脸识别模型的网络参数进行更新，以得到修正后人脸识别模型。
可选的，在一些实施例中，所述修正单元，具体可以用于在所述网络层的梯度中筛选出用于对抗训练的网络层的梯度，得到目标梯度；根据所述更新次数，确定所述目标梯度的梯度调整参数；将所述梯度调整参数与所述目标梯度进行融合，得到所述调整后梯度。
可选的，在一些实施例中，所述修正单元，具体可以用于计算所述更新次数与预设更新参数的比值，得到第一次数比值；当所述第一次数比值为预设次数比值时，计算所述更新次数与预设更新总次数的比值，得到第二次数比值；将第二次数比值转换为所述目标梯度的梯度调整参数。
可选的，在一些实施例中，所述修正单元，具体可以用于基于调整后梯度，分别对所述训练后人脸识别模型的网络参数和训练后类别识别模型的网络参数进行更新，得到更新后人脸识别模型和更新后类别识别模型；将所述更新后类别识别模型和更新后人脸识别模型进行对抗训练，得到目标损失信息；基于所述目标损失信息，对所述更新后人脸识别模型进行修正，以得到所述修正后人脸识别模型。
可选的，在一些实施例中，所述修正单元，具体可以用于当所述目标损失信息满足所述修正停止条件时，将所述更新后人脸识别模型作为所述修正后人脸识别模型；当所述目标损失信息不满足所述修正停止条件时，将所述目标损失信息作为融合后损失信息，将更新后人脸识别模型作为训练后人脸识别模型，并返回执行所述基于所述融合后损失信息对所述训练后人脸识别模型的梯度进行更新的步骤，直至所述目标损失信息满足所述修正停止条件时为止，得到所述修正后人脸识别模型。
可选的，在一些实施例中，所述修正单元，具体可以用于获取待识别人脸图像，并采用所述修正后人脸识别模型对所述待识别人脸图像进行特征提取，得到多种类型的初始人脸特征；将所述初始人脸特征进行融合，得到所述待识别人脸图像的全局人脸特征；根据所述全局人脸特征，确定所述待识别人脸图像的身份信息。
此外，本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序实现本发明实施例提供的图像识别方法。
此外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种图像识别方法中的步骤。
本发明实施例在获取人脸图像样本后，对人脸图像样本进行空间特征提取，并基于提取出的图像特征和人脸标签信息对预设人脸识别模型进行训练，得到训练后人脸识别模型，然后，对图像特征进行域特征提取，得到人脸图像样本的类别特征，然后，基于类别特征和类别标签信息确定人脸图像样本的特征分类结果，然后，根据特征分类结果与训练后人脸识别模型进行修正，并采用修正后人脸识别模型对待识别人脸图像进行识别；由于该方案采用空间特征提取得到的图像特征对预设人脸识别模型进行训练，得到训练后人脸识别模型，并基于域特征提取得到类别特征确定图像样本的特征分类结果，进而通过特征分类结果对训练后人脸识别模型进行修正，使得人脸识别模型学习到了不同域类型的人脸图像之间的共同分布，无需进行加权或者几何变换操作，因此，可以提升图像识别的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的图像识别方法的场景示意图；
图2是本发明实施例提供的图像识别方法的流程示意图；
图3是本发明实施例提供的预设人脸识别模型的训练示意图；
图4是本发明实施例提供的预设类别识别模型的训练示意图；
图5是本发明实施例提供的训练后人脸识别模型和训练类别识别模型的对抗训练的示意图；
图6是本发明实施例提供的图像识别方法的总体流程示意图；
图7是本发明实施例提供的图像识别方法的另一流程示意图；
图8是本发明实施例提供的图像识别装置的结构示意图；
图9是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种图像识别方法、装置和计算机可读存储介质。其中，该图像识别装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。
其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务（Content Delivery Network，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
例如，参见图1，以图像识别装置集成在电子设备中为例，电子设备在获取人脸图像样本后，对人脸图像样本进行空间特征提取，并基于提取出的图像特征和人脸标签信息对预设人脸识别模型进行训练，得到训练后人脸识别模型，然后，对图像特征进行域特征提取，得到人脸图像样本的类别特征，然后，基于类别特征和类别标签信息确定人脸图像样本的特征分类结果，然后，根据特征分类结果与训练后人脸识别模型进行修正，并采用修正后人脸识别模型对待识别人脸图像进行识别，进而提升图像识别的效率。
以下分别进行详细说明。需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从图像识别装置的角度进行描述，该图像识别装置具体可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备；其中，该终端可以包括平板电脑、笔记本电脑、以及个人计算机（PC，Personal Computer）、可穿戴设备、虚拟现实设备或其他可以进行图像识别的智能设备等设备。
一种图像识别方法，包括：
获取人脸图像样本，该人脸图像样本包括人脸标签信息和类别标签信息，对人脸图像样本进行空间特征提取，并基于提取出的图像特征和人脸标签信息对预设人脸识别模型进行训练，得到训练后人脸识别模型，对图像特征进行域特征提取，得到人脸图像样本的类别特征，基于类别特征和类别标签信息确定人脸图像样本的特征分类结果，根据特征分类结果与训练后人脸识别模型进行修正，并采用修正后人脸识别模型对待识别人脸图像进行识别。
如图2所示，该图像识别方法的具体流程如下：
101、获取人脸图像样本。
其中，人脸图像样本包括人脸标签信息和类别标签信息，所谓人脸标签信息可以为人脸图像样本中标注的该人脸图像样本对应的身份标签的信息，用于指示该人脸图像样本中对象的身份。所谓类别标签信息可以为人脸图像样本中标注该人脸图像的类型标签的信息，用于指示该人脸图像的类型，该类型可以为人脸图像样本中对象的面部类型，该面部类型可以包含多种类型，比如，未戴口罩的正常人脸图像和戴口罩的遮挡人脸图像，等等。
其中，获取人脸图像样本的方式可以有多种，比如，可以直接获取人脸图像样本，或者，当人脸图像样本的数量较多或者内存较大时，还可以间接获取人脸图像样本，具体可以如下：
（1）直接获取人脸图像样本。
例如，可以直接接收用户通过终端上传的人脸图像样本，或者，可以从网络或者图像数据库中获取原始人脸图像，将获取到的原始人脸图像发送至标注服务器，使得标注服务器对原始人脸图像标注人脸标签信息和类型标签信息，接收标注服务器返回的携带人脸标签信息和类型标签信息的原始人脸图像，从而得到人脸图像样本。
（2）间接获取人脸图像样本。
例如，可以接收终端发送的图像识别模型的训练请求，该图像识别模型的训练请求携带人脸图像样本的存储地址，根据该存储地址，在终端的内存、缓存或者第三方数据库中获取人脸图像样本。
可选的，还可以对获取得到的人脸图像样本进行预处理，预处理的方式可以有多种，比如，可以将人脸图像样本的尺寸调整为预设尺寸，或者，还可以在人脸图像识别中识别出人脸区域，在人脸图像样本中裁剪出人脸区域对应的图像，得到目标人脸图像样本，等等。
102、对人脸图像样本进行空间特征提取，并基于提取出的图像特征和人脸标签信息对预设人脸识别模型进行训练，得到训练后人脸识别模型。
其中，空间特征提取是用于提取出人脸图像在空间结构信息的特征，因此，提取出的图像特征用于识别人脸图像。
其中，对预设人脸识别模型的方式可以有多种，具体可以如下：
例如，可以采用预设人脸图像识别模型对人脸图像样本进行特征提取，得到人脸图像样本的图像特征，基于图像特征，确定该人脸图像样本预测人脸信息，根据预测人脸信息和人脸标签信息对预设人脸识别模型进行收敛，得到训练后人脸识别模型。
其中，对人脸图像样本进行特征提取的方式可以有多种，比如，可以采用预设人脸图像识别模型的特征提取网络中的卷积层对人脸图像样本进行卷积处理，得到初始图像特征，然后，采用非线性激活函数（Relu）和池化层对初始图像特征进行计算等操作，从而得到保留人脸图像的空间结构信息的图像特征。
在提取出图像特征之后，便可以基于图像特征确定人脸图像样本的预测人脸信息，确定预测人脸信息的方式可以有多种，比如，可以将图像特征通过全连接层进行映射，从而得到候选人脸信息集合对应的预测概率，基于该预测概率，在候选人脸信息集合中筛选出人脸图像样本的预测人脸信息。
在确定出人脸图像样本的预测人脸信息之后，便可以对预设人脸识别模型进行收敛，收敛的方式有多种，比如，可以根据预测人脸信息和人脸标签信息，确定人脸图像样本的损失信息，基于损失信息对预设人脸识别模型进行收敛，从而得到训练后人脸识别模型。
其中，确定人脸图像样本的损失信息的方式可以有多种，比如，可以采用人脸识别目标函数计算模块中目标函数将预测人脸信息和人脸标签信息进行对比，从而得到目标函数值，将目标函数值作为损失信息，其中，目标函数可以采用分类函数，比如，可以为softmax（一种分类函数）函数、各类加margin类型的softmax函数，也可以采用其他类型的目标函数。
在确定出人脸图像样本的损失信息之后，便可以基于该损失信息对预设人脸识别模型进行收敛，收敛的方式可以有多种，比如，可以采用人脸识别目标函数优化模块基于损失信息对预设人脸识别模型中各个模块（网络层）的参数进行更新，更新的方式可以采用梯度下降的方式，譬如，可以包括随机梯度下降、带动量项的随机梯度下降、adam（一种梯度下降更新算法）和adagard（一种梯度下降更新算法）等方式。
其中，对预设人脸识别模型进行训练的过程中需要重复上述提取图像特征、确定预测人脸信息、确定损失信息和基于损失信息进行梯度更新的步骤，直至训练的结果满足预设训练终止条件。终止模型训练的条件一般设置迭代次数满足设定的值，或者人脸识别目标函数计算的损失信息小与设定的值即可完成预设人脸识别模型的训练，预设人脸识别模型的训练过程可以如图3所示。
103、对图像特征进行域特征提取，得到人脸图像样本的类别特征。
其中，域特征提取是用于基于人脸图像的特定特征（如口罩）对人脸图像进行分类，因此，类别特征主要用于对人脸图像样本进行分类的特征，这里的类型可以为人脸图像样本中对象的面部类型，比如，带口罩的人脸图像样本和正常人脸图像样本，等等。
其中，域特征的提取方式可以有多种，具体可以如下：
例如，可以采用预设类别识别模型的特征提取网络对图像特征进行域特征提取，得到人脸图像样本的类别特征。
其中，图像特征的来源可以有多种，比如，可以为预设人脸识别模型或者训练后人脸识别模型对人脸图像样本进行空间特征提取，得到网络中间层输出的图像特征，或者，还可以为预设人脸识别模型或者训练后人脸识别模型对人脸图像样本进行空间特征提取，得到的最后输出的图像特征。
其中，进行域特征的提取也可以理解为预设类别识别网络对图像特征中的各种特征进行分类，在分类结果中筛选出包含域信息的特征，从而得到的人脸图像样本的类别特征，根据特征提取网络的结构不同，具体的提取过程也可以有多种，比如，当特征提取网络为卷积神经网络时，就可以对图像进行特征卷积（convolution）计算、非线性激活函数（Relu）计算、池化（Pooling）计算等操作，从而得到类别特征，或者，当特征提取网络为全连接网络时，就可以根据其输入进行调整，从而得到人脸图像样本的类别特征。
104、基于类别特征和类别标签信息确定人脸图像样本的特征分类结果。
其中，特征分类结果可以理解为人脸图像样本的图像样本中各个特征的分类结果，由于图像特征为人脸图像样本中的空间结构特征，可以包含空间内的多种特征，这里的特征分类结果就是对空间结构中存在的特征进行分类后的分类结果。
其中，确定特征分类结果的方式可以有多种，具体可以如下：
例如，可以基于类别特征和类别标签信息，对预设类别识别模型进行训练，得到训练后类别识别模型，采用训练后类别识别模型对人脸图像样本的图像特征进行分类，得到人脸图像样本的特征分类结果。
其中，对预设类别识别模型进行训练的方式可以有多种，比如，可以根据类别特征，确定人脸图像样本的预测类别信息，根据预测类别信息和类别损失信息，确定人脸图像样本的损失信息，基于该损失信息对预设类型识别模型进行收敛，以得到训练后类别识别模型。
其中，确定人脸图像样本的损失信息的方式可以有多种，比如，采用交叉嫡损失函数将预测类别信息和类别标签信息进行对比，从而计算出损失函数值，将计算出损失函数值作为该人脸图像样本的损失信息。
在确定出损失信息之后，便可以基于该损失信息，对预设类别识别模型进行收敛，比如，可以采用梯度下降的方式基于该损失信息，对预设类别识别模型的网络参数进行更新，更新算法可以有多种，譬如，可以为随机梯度下降，带动量项的随机梯度下降，adam或adagard等。
其中，对预设类别识别模型进行训练的方式需要重复上述提取类别特征，确定预测类别信息、确定损失信息和基于损失信息进行梯度更新的步骤，直至训练的结果满足预设训练终止条件。终止模型训练的条件一般设置迭代次数满足设定的值，或者交叉嫡目标函数计算的损失信息小与设定的值即可完成预设类别识别模型的训练，预设类别识别模型的训练过程可以如图4所示。
在得到训练后类别识别模型之后，便可以采用训练后类别识别模型对人脸图像样本的图像特征进行分类，得到人脸图像样本的特征分类结果，具体的分类方式可以有多种，比如，可以采用训练后类别识别模型在图像特征中进行域特征提取，得到目标类别特征，将图像特征中与目标类别特征相关的特征分为一类，将图像特征中的其他特征分为一类，从而得到人脸图像样本的图像特征的特征分类结果。
105、根据特征分类结果对训练后人脸识别模型进行修正，并采用修正后人脸识别模型对待识别图像进行识别。
例如，可以根据特征分类结果，对图像特征进行调整，得到目标图像特征，根据目标图像特征，将训练后类别识别模型和训练后人脸识别模型进行对抗训练，以修正训练后人脸识别模型，采用修正后人脸识别模型对待识别图像进行识别，具体可以如下：
S1、根据特征分类结果，对图像特征进行调整，得到目标图像特征。
其中，这里的调整可以看作是在图像特征中剔除域信息，使得训练后识别模型可以学到不同域之间的共同信息，因此，目标图像特征可以理解为不同面部类别（类别）的人脸图像样本之间的共同存在的空间结构特征。
其中，调整的方式可以有多种，比如，可以基于特征分类结果，在图像特征中识别出域信息，在图像特征中删除域信息，得到目标图像特征，这里的域信息用于指示区域的信息，也可以理解为指示人脸图像样本的类别的信息。
其中，基于特征分类结果，在图像特征中识别出域信息的方式可以有多种，比如，可以根据特征分类结果，在图像特征中筛选出与目标类别特征相关的特征，得到候选图像特征，在候选图像特征中识别出用于区别域的信息，从而得到域信息。
S2、根据目标图像特征，将训练后类别识别模型和训练后人脸识别模型进行对抗训练，以修正训练后人脸识别模型。
其中，对抗训练（adversarial training）是增强神经网络鲁棒性的重要方式。在对抗训练的过程中，样本会被混合一些微小的扰动（改变很小，但是很可能造成误分类），然后使神经网络适应这种改变，从而对对抗样本具有鲁棒性。在这里的对抗训练可以理解为将训练后人脸识别模型和训练后类别识别模型进行联合微调训练，核心在于训练后人脸识别模型和训练后类别识别模型之前添加对抗训练网络层，对训练后人脸识别模型所提取的图像特征进行调整，使其学习到口罩人脸图像和正常人脸图像的共同分布信息。
其中，对抗训练的方式可以有多种，比如，根据目标图像特征和人脸标签信息，确定训练后人脸识别模型对应的人脸损失信息，基于图像特征和类别标签信息，确定训练后类别识别模型对应的类别损失信息，将人脸损失信息和类别损失信息进行融合，并基于融合后损失信息修正训练后人脸识别模型，得到修正后人脸识别模型，具体可以如下：
（1）根据目标图像特征和人脸标签信息，确定训练后人脸识别模型对应的人脸损失信息。
例如，可以根据目标图像特征，采用训练后人脸识别模型预测人脸图像样本的人脸信息，得到预测人脸信息，采用人脸识别的损失函数将预测人脸信息与人脸标签信息进行对比，从而确定人脸识别模型对应的人脸损失信息。
其中，人脸识别的损失函数可以为分类函数，比如，可以包括softmax函数、各类加margin类型的softmax函数，也可以采用其他类型的目标函数。
（2）基于图像特征和类别标签信息，确定训练后类别识别模型对应的类别损失信息。
例如，可以采用训练后类别识别模型对图像特征进行分类，得到基础类别特征，采用训练后类别识别模型基于基础类别特征预测人脸图像样本的类别信息，得到预测类别信息，采用类别识别的损失函数将预测类别信息和类别标签信息进行对比，从而得到训练后类别识别模型对应的类别损失信息。
其中，类别识别的损失函数可以交叉嫡损失函数或者其他损失类型的损失函数。
（3）将人脸损失信息和类别损失信息进行融合，并基于融合后损失信息修正训练后人脸识别模型，得到修正后人脸识别模型。
例如，可以将人脸损失信息和类别损失信息进行融合，得到融合后损失信息，基于融合后损失信息修正训练后人脸识别模型，得到修正后人脸识别结果。
其中，人脸损失信息和类别损失信息融合的方式可以有多种，比如，可以直接将人脸损失信息和类别损失进行累加，或者，还可以获取人脸损失信息和类别损失信息的加权参数，基于该加权参数，分别对人脸损失信息和类别损失信息进行加权，并将加权后的人脸损失信息和类别损失信息进行融合，得到融合后损失信息。
在得到融合后损失信息之后，便可以基于融合后损失信息修正训练后人脸识别模型，修正的方式可以有多种，比如，可以根据对抗训练中的人脸识别模型的损失函数和对抗训练中的类别识别模型的损失函数，确定训练后人脸识别模型的修正停止条件，当融合后损失信息不满足修正停止条件时，基于融合后损失信息对训练后人脸识别模型的梯度进行更新，以得到修正后人脸识别模型，当融合后损失信息满足修正停止条件时，就可以将训练后人脸识别模型作为修正后人脸识别模型。
其中，修正停止条件可以理解为训练后人脸识别模型和训练后类别识别模型进行对抗训练的训练停止条件，训练停止条件可以为融合后损失信息对应的迭代次数满足设定的值，或者，融合后损失信息小于预设的损失阈值。
其中，当融合后损失信息不满足修正停止条件时，修正人脸识别模型的方式可以有多种，比如，可以基于融合后损失信息，计算训练后人脸识别模型中网络层的梯度，根据当前梯度的更新次数，对梯度进行调整，得到调整后梯度，基于调整后梯度，对训练后人脸识别模型的网络参数进行更新，以修正人脸识别模型。
其中，对梯度进行调整的方式可以有多种，比如，可以在网络层的梯度中筛选出用于对抗训练的网络层的梯度，得到目标梯度，根据更新次数，确定目标梯度的梯度调整参数，将梯度调整参数与目标梯度进行融合，得到调整后梯度，如公式（1）所示：
其中，
为调整后梯度，I为目标梯度，γ为梯度调整参数。
其中，梯度调整参数由更新次数进行确定，确定的方式可以有多种，比如，可以计算更新次数与预设更新参数的比值，得到第一次数比值，当第一次数比值为预设次数比值时，计算更新次数与预设更新总次数的比值，得到第二此时比值，如公式（2）所示：
其中，γ为梯度调整参数，p为当前梯度的更新次数，这里的更新次数也可以理解为对抗训练中的迭代次数，k为预设更新总次数，也可以理解为总迭代步数。
在得到调整后梯度之后，便可以基于调整后梯度，对训练后人脸识别模型的网络参数进行更新，更新的方式可以有多种，比如，可以基于调整后梯度，分别对训练后人脸识别模型的网络参数和训练后类别识别模型的网络参数进行更新，得到更新后人脸识别模型和更新后类别识别模型，将更新后类别识别模型和更新后人脸识别模型进行对抗训练，得到目标损失信息，基于目标损失信息，对更新后人脸识别模型进行修正，以得到修正后人脸识别模型。
其中，将更新后类别识别模型和更新后人脸识别模型进行对抗训练的方式可以有多种，比如，可以采用更新后人脸识别模型对人脸图像样本进行特征提取，得到更新后图像特征，采用更新后类别识别模型对更新后图像特征进行调整，得到目标更新后图像特征，根据目标更新后图像特征和人脸标签信息，确定更新后人脸识别模型对应的更新后人脸损失信息，根据更新后图像特征和类别标签信息，确定更新后类别识别模型对应的更新后类别损失信息，将更新后人脸损失信息和更新后类别损失信息进行融合，得到目标损失信息，具体的确定和融合过程可以参见上文，在此就不再一一赘述。
在得到目标损失信息之后，便可以基于目标损失信息，对更新后人脸识别模型进行修正，以得到修正后损失信息，具体的修正方式可以有多种，比如，可以当目标损失信息满足修正停止条件时，将更新后人脸识别模型作为修正后人脸识别模型，当目标损失信息未满足修正停止条件时，将目标损失信息作为融合后损失信息，将更新后人脸识别模型作为训练后人脸识别模型，并返回执行基于融合后损失信息对训练后人脸识别模型的梯度进行更新的步骤，直至目标损失信息满足修正停止条件时为止，得到修正后人脸识别模型。
其中，需要说明的是，训练后人脸识别模型和训练后类别识别模型在进行对抗训练（联合微调训练）时，需要对人脸识别模型和类别识别模型的参数都要进行更新，在对抗训练过程中，核心就是对抗训练层，如图5所示，对抗训练层连接训练后人脸识别模型和类别识别模型，该对抗训练层在做前向时，其输入与输出一致，即训练后类别识别模型直接获取训练后人脸识别模型提取出的图像特征，对图像特征进行分类。该对抗训练层在进行梯度更新时，经过该层的梯度会经过调整，该对抗训练层的数学表示可以如公式（3）所示：
其中，X前向操作的输入信息和输出信息，γ梯度调整参数，I为梯度。
其中，在对抗训练中，训练后类别识别模型也可以理解为一个域分类器，通过域分类器对人脸识别模型提取出的图像特征进行分类，而其分类的结果以反向作用叠加在训练后人脸识别模型中，使得训练后人脸识别模型所提取出的图像特征中不包含用于区分域的信息，以达到其学习到不同域之间的共同信息，从而提升戴口罩人脸图像识别的准确率。
S3、采用修正后人脸识别模型对待识别人脸图像进行识别。
例如，可以获取待识别人脸图像，并采用修正后人脸识别模型对待识别人脸图像进行特征提取，得到多种类型的初始人脸特征，将初始人脸特征进行融合，得到待识别人脸图像的全局人脸特征，根据全局人脸特征，确定待识别人脸图像的身份信息。
其中，获取待识别人脸图像的方式可以有多种，比如，可以接收用户通过终端发送的待识别人脸图像，或者，可以从网络或者图像数据库中获取待识别人脸图像，或者，可以在视频内容中获取包含人脸的视频帧，从而得到待识别人脸图像，或者，还可以接收终端发送的人脸图像识别请求，该人脸图像识别请求携带待识别人脸图像的存储地址，根据存储地址，在终端的内存、缓存或者第三方数据库中获取待识别人脸图像。
其中，根据全局人脸特征，确定待识别人脸图像的身份信息的方式可以有多种，比如，可以分别计算全局人脸特征与预设人脸集合中每一预设人脸图像的人脸特征之间的人脸相似度，基于该人脸相似度，在预设人脸集合中筛选出与待识别人脸图像匹配的目标人脸图像，然后，将目标人脸图像中对应的身份信息作为待识别人脸图像的身份信息。
可选的，在一实施例中，该图像识别装置还包括将待识别人脸图像的身份信息存储至区块链上。
其中，需要说明的是，图像识别的整体流程分为训练结果和部署阶段，在训练阶段，在训练阶段，主要采用图像特征对预设人脸识别模型进行训练，然后，利用人脸识别模型提取出的图像特征对预设类别识别模型进行训练，最后，联合人脸识别模型和类别识别模型采用对抗学习的方式进行微调训练，使其学习到二者之间的共同学习。在部署和使用阶段，只需要导出修正后人脸识别网络进行部署即可，无需对原有的网络进行改动，只需要对训练方法进行改动，如图6所示，可提升戴口罩人脸识别的准确率和识别效率。
由以上可知，本申请实施例在获取人脸图像样本后，对人脸图像样本进行空间特征提取，并基于提取出的图像特征和人脸标签信息对预设人脸识别模型进行训练，得到训练后人脸识别模型，然后，对图像特征进行域特征提取，得到人脸图像样本的类别特征，然后，基于类别特征和类别标签信息确定人脸图像样本的特征分类结果，然后，根据特征分类结果与训练后人脸识别模型进行修正，并采用修正后人脸识别模型对待识别人脸图像进行识别；由于该方案采用空间特征提取得到的图像特征对预设人脸识别模型进行训练，得到训练后人脸识别模型，并基于域特征提取得到类别特征确定图像样本的特征分类结果，进而通过特征分类结果对训练后人脸识别模型进行修正，使得人脸识别模型学习到了不同域类型的人脸图像之间的共同分布，无需进行加权或者几何变换操作，因此，可以提升图像识别的效率。
根据上面实施例所描述的方法，以下将举例作进一步详细说明。
在本实施例中，将以该图像识别装置具体集成在电子设备，电子设备为服务器，人脸图像样本可以包括正常人脸图像和戴口罩人脸图像为例进行说明。
如图7所示，一种图像识别方法，具体流程如下：
201、服务器获取人脸图像样本。
例如，服务器可以直接接收用户通过终端上传的人脸图像样本，或者，可以从网络或者图像数据库中获取原始人脸图像，将获取到的原始人脸图像发送至标注服务器，使得标注服务器对原始人脸图像标注人脸标签信息和类型标签信息，接收标注服务器返回的携带人脸标签信息和类型标签信息的原始人脸图像，从而得到人脸图像样本。
服务器还可以接收终端发送的图像识别模型的训练请求，该图像识别模型的训练请求携带人脸图像样本的存储地址，根据该存储地址，在终端的内存、缓存或者第三方数据库中获取人脸图像样本。
可选的，服务器在获取到人脸图像样本之后，还可以将人脸图像样本的尺寸调整为预设尺寸，或者，还可以在人脸图像识别中识别出人脸区域，在人脸图像样本中裁剪出人脸区域对应的图像，得到目标人脸图像样本，等等。
其中，需要说明的是在人脸图像样本中戴口罩的人脸图像样本和正常图像样本这两种类型的数量可以保持一致。
202、服务器对人脸图像样本进行空间特征提取，并基于提取出的图像特征和人脸标签信息对预设人脸识别模型进行训练，得到训练后人脸识别模型。
例如，服务器可以采用预设人脸图像识别模型的特征提取网络中的卷积层对人脸图像样本进行卷积处理，得到初始图像特征，然后，采用非线性激活函数（Relu）和池化层对初始图像特征进行计算等操作，从而得到保留人脸图像的空间结构信息的图像特征。
服务器将图像特征通过全连接层进行映射，从而得到候选人脸信息集合对应的预测概率，基于该预测概率，在候选人脸信息集合中筛选出人脸图像样本的预测人脸信息。
服务器可以采用softmax函数、各类加margin类型的softmax函数将预测人脸信息和人脸标签信息进行对比，从而得到目标函数值，将目标函数值作为损失信息。
服务器可以采用人脸识别目标函数优化模块基于损失信息对预设人脸识别模型中各个模块（网络层）的参数进行更新，更新的方式可以采用梯度下降的方式，譬如，可以包括随机梯度下降、带动量项的随机梯度下降、adam和adagard等方式。然后，再重复上述步骤，直至训练的结果满足预设训练终止条件，就可以得到训练后人脸识别模型。
203、服务器对图像特征进行域特征提取，得到人脸图像样本的类别特征。
其中，这里的类别特征用于指示人脸图像是否为戴口罩的人脸图像。
其中，特征提取的方式可以有多种，具体可以如下：
例如，服务器可以获取预设人脸识别模型或者训练后人脸识别模型的中间网络层的图像特征或者输出的最后的图像特征，采用预设类别识别模型的特征提取网络对图像特征进行提取，比如，当特征提取网络为卷积神经网络时，就可以对图像进行特征卷积（convolution）计算、非线性激活函数（Relu）计算、池化（Pooling）计算等操作，从而得到类别特征，或者，当特征提取网络为全连接网络时，就可以根据其输入进行调整，从而得到人脸图像样本的类别特征。
204、服务器基于类别特征和类别标签信息确定人脸图像样本的特征分类结果。
例如，服务器可以根据类别特征，确定人脸图像样本的预测类别信息，采用交叉嫡损失函数将预测类别信息和类别标签信息进行对比，从而计算出损失函数值，将计算出损失函数值作为该人脸图像样本的损失信息。采用梯度下降的方式基于该损失信息，对预设类别识别模型的网络参数进行更新，更新算法可以有多种，譬如，可以为随机梯度下降，带动量项的随机梯度下降，adam或adagard等。然后，再重复上述步骤，直至训练的结果满足预设训练终止条件，就可以得到训练后类别识别模型。该类别识别模型用于识别人脸图像样本是否为戴口罩的人脸图像。
服务器可以采用训练后类别识别模型在图像特征中进行域特征提取，得到目标类别特征，将图像特征中与目标类别特征相关的特征分为一类，将图像特征中的其他特征分为一类，从而得到人脸图像样本的图像特征的特征分类结果。
205、服务器根据特征分类结果，对图像特征进行调整，得到目标图像特征。
例如，服务器根据特征分类结果，在图像特征中筛选出与目标类别特征相关的特征，得到候选图像特征，在候选图像特征中识别出用于区别域的信息，从而得到域信息。在图像特征中删除域信息，得到目标图像特征。这里的域信息是用于区分人脸图像样本是否为戴口罩的人脸图像。
206、服务器根据目标图像特征，将训练后类别识别模型和训练后人脸识别模型进行对抗训练，以修正训练后人脸识别模型。
例如，服务器根据目标图像特征和人脸标签信息，确定训练后人脸识别模型对应的人脸损失信息，基于图像特征和类别标签信息，确定训练后类别识别模型对应的类别损失信息，将人脸损失信息和类别损失信息进行融合，并基于融合后损失信息修正训练后人脸识别模型，得到修正后人脸识别模型，具体可以如下：
（1）服务器根据目标图像特征和人脸标签信息，确定训练后人脸识别模型对应的人脸损失信息。
例如，服务器可以根据目标图像特征，采用训练后人脸识别模型预测人脸图像样本的人脸信息，得到预测人脸信息，采用人脸识别的损失函数将预测人脸信息与人脸标签信息进行对比，从而确定人脸识别模型对应的人脸损失信息。
其中，人脸识别的损失函数可以为分类函数，比如，可以包括softmax函数、各类加margin类型的softmax函数，也可以采用其他类型的目标函数。
（2）服务器基于图像特征和类别标签信息，确定训练后类别识别模型对应的类别损失信息。
例如，服务器可以采用训练后类别识别模型对图像特征进行分类，得到基础类别特征，采用训练后类别识别模型基于基础类别特征预测人脸图像样本的类别信息，得到预测类别信息，采用类别识别的损失函数将预测类别信息和类别标签信息进行对比，从而得到训练后类别识别模型对应的类别损失信息。
其中，类别识别的损失函数可以交叉嫡损失函数或者其他损失类型的损失函数。
（3）服务器将人脸损失信息和类别损失信息进行融合，并基于融合后损失信息修正训练后人脸识别模型，得到修正后人脸识别模型。
例如，服务器可以直接将人脸损失信息和类别损失进行累加，或者，还可以获取人脸损失信息和类别损失信息的加权参数，基于该加权参数，分别对人脸损失信息和类别损失信息进行加权，并将加权后的人脸损失信息和类别损失信息进行融合，得到融合后损失信息。
服务器可以根据对抗训练中的人脸识别模型的损失函数和对抗训练中的类别识别模型的损失函数，确定训练后人脸识别模型的修正停止条件，当融合后损失信息满足修正停止条件时，就可以将训练后人脸识别模型作为修正后人脸识别模型。
当融合后损失信息不满足修正停止条件时，服务器可以基于融合后损失信息，计算训练后人脸识别模型中网络层的梯度，在网络层的梯度中筛选出用于对抗训练的网络层的梯度，得到目标梯度，根据更新次数，确定目标梯度的梯度调整参数，将梯度调整参数与目标梯度进行融合，得到调整后梯度，如公式（1）所示。
其中，梯度调整参数由更新次数进行确定，确定的方式可以有多种，比如，服务器可以计算更新次数与预设更新参数的比值，得到第一次数比值，当第一次数比值为预设次数比值时，计算更新次数与预设更新总次数的比值，得到第二此时比值，如公式（2）所示：
服务器基于调整后梯度，分别对训练后人脸识别模型的网络参数和训练后类别识别模型的网络参数进行更新，得到更新后人脸识别模型和更新后类别识别模型。服务器采用更新后人脸识别模型对人脸图像样本进行特征提取，得到更新后图像特征，采用更新后类别识别模型对更新后图像特征进行调整，得到目标更新后图像特征，根据目标更新后图像特征和人脸标签信息，确定更新后人脸识别模型对应的更新后人脸损失信息，根据更新后图像特征和类别标签信息，确定更新后类别识别模型对应的更新后类别损失信息，将更新后人脸损失信息和更新后类别损失信息进行融合，得到目标损失信息。
当目标损失信息满足修正停止条件时，服务器将更新后人脸识别模型作为修正后人脸识别模型，当目标损失信息未满足修正停止条件时，服务器将目标损失信息作为融合后损失信息，将更新后人脸识别模型作为训练后人脸识别模型，并返回执行基于融合后损失信息对训练后人脸识别模型的梯度进行更新的步骤，直至目标损失信息满足修正停止条件时为止，得到修正后人脸识别模型。
207、服务器采用修正后人脸识别模型对待识别人脸图像进行识别。
例如，服务器接收用户通过终端发送的待识别人脸图像，或者，可以从网络或者图像数据库中获取待识别人脸图像，或者，可以在视频内容中获取包含人脸的视频帧，从而得到待识别人脸图像，或者，还可以接收终端发送的人脸图像识别请求，该人脸图像识别请求携带待识别人脸图像的存储地址，根据存储地址，在终端的内存、缓存或者第三方数据库中获取待识别人脸图像。
服务器采用修正后人脸识别模型对待识别人脸图像进行特征提取，得到多种类型的初始人脸特征，将初始人脸特征进行融合，得到待识别人脸图像的全局人脸特征。分别计算全局人脸特征与预设人脸集合中每一预设人脸图像的人脸特征之间的人脸相似度，基于该人脸相似度，在预设人脸集合中筛选出与待识别人脸图像匹配的目标人脸图像，然后，将目标人脸图像中对应的身份信息作为待识别人脸图像的身份信息。
由以上可知，本实施例服务器在获取人脸图像样本后，对人脸图像样本进行空间特征提取，并基于提取出的图像特征和人脸标签信息对预设人脸识别模型进行训练，得到训练后人脸识别模型，然后，对图像特征进行域特征提取，得到人脸图像样本的类别特征，然后，基于类别特征和类别标签信息确定人脸图像样本的特征分类结果，然后，根据特征分类结果与训练后人脸识别模型进行修正，并采用修正后人脸识别模型对待识别人脸图像进行识别；由于该方案采用空间特征提取得到的图像特征对预设人脸识别模型进行训练，得到训练后人脸识别模型，并基于域特征提取得到类别特征确定图像样本的特征分类结果，进而通过特征分类结果对训练后人脸识别模型进行修正，使得人脸识别模型学习到了不同域类型的人脸图像之间的共同分布，无需进行加权或者几何变换操作，因此，可以提升图像识别的效率。
为了更好地实施以上方法，本发明实施例还提供一种图像识别装置，该图像识别装置可以集成在电子设备，比如服务器或终端等设备中，该终端可以包括平板电脑、笔记本电脑和/或个人计算机等。
例如，如图8所示，该图像识别装置可以包括获取单元301、训练单元302、提取单元303、确定单元304和修正单元305，如下：
（1）获取单元301；
获取单元301，用于获取人脸图像样本，该人脸图像样本包括人脸标签信息和类别标签信息。
例如，获取单元301，具体可以用于直接获取人脸图像样本，或者，当人脸图像样本的数量较多或者内存较大时，还可以间接获取人脸图像样本。
（2）训练单元302；
训练单元302，用于对人脸图像样本进行空间特征提取，并基于提取出的图像特征和人脸标签信息对预设人脸识别模型进行训练，得到训练后人脸识别模型。
例如，训练单元302，具体可以用于采用预设人脸图像识别模型对人脸图像样本进行特征提取，得到人脸图像样本的图像特征，基于图像特征，确定该人脸图像样本预测人脸信息，根据预测人脸信息和人脸标签信息对预设人脸识别模型进行收敛，得到训练后人脸识别模型。
（3）提取单元303；
提取单元303，用于对图像特征进行域特征提取，得到人脸图像样本的类别特征。
例如，提取单元303，具体可以用于采用预设类别识别网络对图像特征中的各种特征进行分类，在分类结果中筛选出包含域信息的特征，从而得到的人脸图像样本的类别特征。
（4）确定单元304；
确定单元304，用于基于类别特征和类别标签信息确定人脸图像样本的特征分类结果。
例如，确定单元304，具体可以用于基于类别特征和类别标签信息，对预设类别识别模型进行训练，得到训练后类别识别模型，采用训练后类别识别模型对人脸图像样本的图像特征进行分类，得到人脸图像样本的特征分类结果。
（5）修正单元305；
修正单元305，用于根据特征分类结果对训练后人脸识别模型进行修正，并采用修正后人脸识别模型对待识别人脸图像进行识别。
例如，修正单元305，具体可以用于基于特征分类结果，在图像特征中识别出域信息，在图像特征中删除域信息，得到目标图像特征，根据目标图像特征和人脸标签信息，确定训练后人脸识别模型对应的人脸损失信息，基于图像特征和类别标签信息，确定训练后类别识别模型对应的类别损失信息，将人脸损失信息和类别损失信息进行融合，并基于融合后损失信息修正训练后人脸识别模型，得到修正后人脸识别模型。获取待识别人脸图像，并采用修正后人脸识别模型对待识别人脸图像进行特征提取，得到多种类型的初始人脸特征，将初始人脸特征进行融合，得到待识别人脸图像的全局人脸特征，根据全局人脸特征，确定待识别人脸图像的身份信息。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由以上可知，本实施例在获取单元301获取人脸图像样本后，训练单元302对人脸图像样本进行空间特征提取，并基于提取出的图像特征和人脸标签信息对预设人脸识别模型进行训练，得到训练后人脸识别模型，然后，提取单元303对图像特征进行域特征提取，得到人脸图像样本的类别特征，然后，确定单元304基于类别特征和类别标签信息确定人脸图像样本的特征分类结果，然后，修正单元305根据特征分类结果与训练后人脸识别模型进行修正，并采用修正后人脸识别模型对待识别人脸图像进行识别；由于该方案采用空间特征提取得到的图像特征对预设人脸识别模型进行训练，得到训练后人脸识别模型，并基于域特征提取得到类别特征确定图像样本的特征分类结果，进而通过特征分类结果对训练后人脸识别模型进行修正，使得人脸识别模型学习到了不同域类型的人脸图像之间的共同分布，无需进行加权或者几何变换操作，因此，可以提升图像识别的效率。
本发明实施例还提供一种电子设备，如图9所示，其示出了本发明实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图9中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
获取人脸图像样本，该人脸图像样本包括人脸标签信息和类别标签信息，对人脸图像样本进行空间特征提取，并基于提取出的图像特征和人脸标签信息对预设人脸识别模型进行训练，得到训练后人脸识别模型，对图像特征进行域特征提取，得到人脸图像样本的类别特征，基于类别特征和类别标签信息确定人脸图像样本的特征分类结果，根据特征分类结果与训练后人脸识别模型进行修正，并采用修正后人脸识别模型对待识别人脸图像进行识别。
例如，电子设备直接获取人脸图像样本，或者，当人脸图像样本的数量较多或者内存较大时，间接获取人脸图像样本。用于采用预设人脸图像识别模型对人脸图像样本进行特征提取，得到人脸图像样本的图像特征，基于图像特征，确定该人脸图像样本预测人脸信息，根据预测人脸信息和人脸标签信息对预设人脸识别模型进行收敛，得到训练后人脸识别模型。采用预设类别识别网络对图像特征中的各种特征进行分类，在分类结果中筛选出包含域信息的特征，从而得到的人脸图像样本的类别特征。基于类别特征和类别标签信息，对预设类别识别模型进行训练，得到训练后类别识别模型，采用训练后类别识别模型对人脸图像样本的图像特征进行分类，得到人脸图像样本的特征分类结果。基于特征分类结果，在图像特征中识别出域信息，在图像特征中删除域信息，得到目标图像特征，根据目标图像特征和人脸标签信息，确定训练后人脸识别模型对应的人脸损失信息，基于图像特征和类别标签信息，确定训练后类别识别模型对应的类别损失信息，将人脸损失信息和类别损失信息进行融合，并基于融合后损失信息修正训练后人脸识别模型，得到修正后人脸识别模型。获取待识别人脸图像，并采用修正后人脸识别模型对待识别人脸图像进行特征提取，得到多种类型的初始人脸特征，将初始人脸特征进行融合，得到待识别人脸图像的全局人脸特征，根据全局人脸特征，确定待识别人脸图像的身份信息。
以上各个操作的具体实施可参见前面的实施例，在此不作赘述。
由以上可知，本发明实施例在获取人脸图像样本后，对人脸图像样本进行空间特征提取，并基于提取出的图像特征和人脸标签信息对预设人脸识别模型进行训练，得到训练后人脸识别模型，然后，对图像特征进行域特征提取，得到人脸图像样本的类别特征，然后，基于类别特征和类别标签信息确定人脸图像样本的特征分类结果，然后，根据特征分类结果与训练后人脸识别模型进行修正，并采用修正后人脸识别模型对待识别人脸图像进行识别；由于该方案采用空间特征提取得到的图像特征对预设人脸识别模型进行训练，得到训练后人脸识别模型，并基于域特征提取得到类别特征确定图像样本的特征分类结果，进而通过特征分类结果对训练后人脸识别模型进行修正，使得人脸识别模型学习到了不同域类型的人脸图像之间的共同分布，无需进行加权或者几何变换操作，因此，可以提升图像识别的效率。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种图像识别方法中的步骤。例如，该指令可以执行如下步骤：
获取人脸图像样本，该人脸图像样本包括人脸标签信息和类别标签信息，对人脸图像样本进行空间特征提取，并基于提取出的图像特征和人脸标签信息对预设人脸识别模型进行训练，得到训练后人脸识别模型，对图像特征进行域特征提取，得到人脸图像样本的类别特征，基于类别特征和类别标签信息确定人脸图像样本的特征分类结果，根据特征分类结果与训练后人脸识别模型进行修正，并采用修正后人脸识别模型对待识别人脸图像进行识别。
例如，电子设备直接获取人脸图像样本，或者，当人脸图像样本的数量较多或者内存较大时，间接获取人脸图像样本。用于采用预设人脸图像识别模型对人脸图像样本进行特征提取，得到人脸图像样本的图像特征，基于图像特征，确定该人脸图像样本预测人脸信息，根据预测人脸信息和人脸标签信息对预设人脸识别模型进行收敛，得到训练后人脸识别模型。采用预设类别识别网络对图像特征中的各种特征进行分类，在分类结果中筛选出包含域信息的特征，从而得到的人脸图像样本的类别特征。基于类别特征和类别标签信息，对预设类别识别模型进行训练，得到训练后类别识别模型，采用训练后类别识别模型对人脸图像样本的图像特征进行分类，得到人脸图像样本的特征分类结果。基于特征分类结果，在图像特征中识别出域信息，在图像特征中删除域信息，得到目标图像特征，根据目标图像特征和人脸标签信息，确定训练后人脸识别模型对应的人脸损失信息，基于图像特征和类别标签信息，确定训练后类别识别模型对应的类别损失信息，将人脸损失信息和类别损失信息进行融合，并基于融合后损失信息修正训练后人脸识别模型，得到修正后人脸识别模型。获取待识别人脸图像，并采用修正后人脸识别模型对待识别人脸图像进行特征提取，得到多种类型的初始人脸特征，将初始人脸特征进行融合，得到待识别人脸图像的全局人脸特征，根据全局人脸特征，确定待识别人脸图像的身份信息。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本发明实施例所提供的任一种图像识别方法中的步骤，因此，可以实现本发明实施例所提供的任一种图像识别方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
其中，根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像识别方面或者戴口罩的人脸图像识别方面的各种可选实现方式中提供的方法。
以上对本发明实施例所提供的一种图像识别方法、装置、电子设备和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (12)
1.一种图像识别方法，其特征在于，包括：
获取人脸图像样本，所述人脸图像样本包括人脸标签信息和类别标签信息；
对所述人脸图像样本进行空间特征提取，并基于提取出的图像特征和人脸标签信息对预设人脸识别模型进行训练，得到训练后人脸识别模型；
对所述图像特征进行域特征提取，得到所述人脸图像样本的类别特征；
基于所述类别特征和类别标签信息，对预设类别识别模型进行训练，得到训练后类别识别模型；
采用所述训练后类别识别模型对所述人脸图像样本的图像特征进行分类，得到所述人脸图像样本的特征分类结果；
基于所述特征分类结果，在所述图像特征中识别出域信息，所述域信息用于指示区分域的信息；
在所述图像特征中删除所述域信息，得到目标图像特征；
根据所述目标图像特征，将所述训练后类别识别模型和训练后人脸识别模型进行对抗训练，以修正所述训练后人脸识别模型，并采用修正后人脸识别模型对待识别人脸图像进行识别。
2.根据权利要求1所述的图像识别方法，其特征在于，所述根据所述目标图像特征，将所述训练后类别识别模型和训练后人脸识别模型进行对抗训练，以修正所述训练后人脸识别模型，包括：
根据所述目标图像特征和人脸标签信息，确定所述训练后人脸识别模型对应的人脸损失信息；
基于所述图像特征和类别标签信息，确定所述训练后类别识别模型对应的类别损失信息；
将所述人脸损失信息和类别损失信息进行融合，并基于融合后损失信息修正所述训练后人脸识别模型，得到所述修正后人脸识别模型。
3.根据权利要求2所述的图像识别方法，其特征在于，所述基于融合后损失信息修正所述训练后人脸识别模型，得到所述修正后人脸识别模型，包括：
根据对抗训练中的人脸识别模型的损失函数和对抗训练中的类别识别模型的损失函数，确定所述训练后人脸识别模型的修正停止条件；
当所述融合后损失信息不满足所述修正停止条件时，基于所述融合后损失信息对所述训练后人脸识别模型的梯度进行更新，以得到所述修正后人脸识别模型。
4.根据权利要求3所述的图像识别方法，其特征在于，所述基于所述融合后损失信息对所述训练后人脸识别模型的梯度进行更新，以得到所述修正后人脸识别模型，包括：
基于所述融合后损失信息，计算所述训练后人脸识别模型中网络层的梯度；
根据当前梯度的更新次数，对所述梯度进行调整，得到调整后梯度；
基于所述调整后梯度，对所述训练后人脸识别模型的网络参数进行更新，以得到修正后人脸识别模型。
5.根据权利要求4所述的图像识别方法，其特征在于，所述根据当前梯度的更新次数，对所述梯度进行调整，得到调整后梯度，包括：
在所述网络层的梯度中筛选出用于对抗训练的网络层的梯度，得到目标梯度；
根据所述更新次数，确定所述目标梯度的梯度调整参数；
将所述梯度调整参数与所述目标梯度进行融合，得到所述调整后梯度。
6.根据权利要求5所述的图像识别方法，其特征在于，所述根据所述更新次数，确定所述目标梯度的梯度调整参数，包括：
计算所述更新次数与预设更新参数的比值，得到第一次数比值；
当所述第一次数比值为预设次数比值时，计算所述更新次数与预设更新总次数的比值，得到第二次数比值；
将第二次数比值转换为所述目标梯度的梯度调整参数。
7.根据权利要求4所述的图像识别方法，其特征在于，所述基于所述调整后梯度，对所述训练后人脸识别模型的网络参数进行更新，以得到修正后人脸识别模型，包括：
基于调整后梯度，分别对所述训练后人脸识别模型的网络参数和训练后类别识别模型的网络参数进行更新，得到更新后人脸识别模型和更新后类别识别模型；
将所述更新后类别识别模型和更新后人脸识别模型进行对抗训练，得到目标损失信息；
基于所述目标损失信息，对所述更新后人脸识别模型进行修正，以得到所述修正后人脸识别模型。
8.根据权利要求7所述的图像识别方法，其特征在于，所述基于所述目标损失信息，对所述更新后人脸识别模型进行修正，以得到所述修正后人脸识别模型，包括：
当所述目标损失信息满足所述修正停止条件时，将所述更新后人脸识别模型作为所述修正后人脸识别模型；
当所述目标损失信息不满足所述修正停止条件时，将所述目标损失信息作为融合后损失信息，将更新后人脸识别模型作为训练后人脸识别模型，并返回执行所述基于所述融合后损失信息对所述训练后人脸识别模型的梯度进行更新的步骤，直至所述目标损失信息满足所述修正停止条件时为止，得到所述修正后人脸识别模型。
9.根据权利要求1至8任一项所述的图像识别方法，其特征在于，所述采用修正后人脸识别模型对待识别人脸图像进行识别，包括：
获取待识别人脸图像，并采用所述修正后人脸识别模型对所述待识别人脸图像进行特征提取，得到多种类型的初始人脸特征；
将所述初始人脸特征进行融合，得到所述待识别人脸图像的全局人脸特征；
根据所述全局人脸特征，确定所述待识别人脸图像的身份信息。
10.一种图像识别装置，其特征在于，包括：
获取单元，用于获取人脸图像样本，所述人脸图像样本包括人脸标签信息和类别标签信息；
训练单元，用于对所述人脸图像样本进行空间特征提取，并基于提取出的图像特征和人脸标签信息对预设人脸识别模型进行训练，得到训练后人脸识别模型；
提取单元，用于对所述图像特征进行域特征提取，得到所述人脸图像样本的类别特征；
确定单元，用于基于所述类别特征和类别标签信息，对预设类别识别模型进行训练，得到训练后类别识别模型，采用所述训练后类别识别模型对所述人脸图像样本的图像特征进行分类，得到所述人脸图像样本的特征分类结果；
修正单元，用于基于所述特征分类结果，在所述图像特征中识别出域信息，所述域信息用于指示区分域的信息，在所述图像特征中删除所述域信息，得到目标图像特征，根据所述目标图像特征，将所述训练后类别识别模型和训练后人脸识别模型进行对抗训练，以修正所述训练后人脸识别模型，并采用修正后人脸识别模型对待识别人脸图像进行识别。
11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行权利要求1至9任一项所述的图像识别方法中的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至9任一项所述的图像识别方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110765240.0A CN113255617B (zh) | 2021-07-07 | 2021-07-07 | 图像识别方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110765240.0A CN113255617B (zh) | 2021-07-07 | 2021-07-07 | 图像识别方法、装置、电子设备和计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113255617A CN113255617A (zh) | 2021-08-13 |
| CN113255617B true CN113255617B (zh) | 2021-09-21 |
Family
ID=77190924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110765240.0A Active CN113255617B (zh) | 2021-07-07 | 2021-07-07 | 图像识别方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113255617B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113762118B (zh) * | 2021-08-27 | 2022-08-26 | 合肥的卢深视科技有限公司 | 人脸识别的方法、电子设备及存储介质 |
| CN114519378B (zh) * | 2021-12-24 | 2023-05-30 | 浙江大华技术股份有限公司 | 特征提取单元的训练方法、人脸识别方法及装置 |
| CN117437684B (zh) * | 2023-12-14 | 2024-04-16 | 深圳须弥云图空间科技有限公司 | 一种基于修正注意力的图像识别方法和装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110728319A (zh) * | 2019-09-30 | 2020-01-24 | 中国科学院深圳先进技术研究院 | 一种图像生成方法、装置以及计算机存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11314967B2 (en) * | 2016-06-01 | 2022-04-26 | Ohio State Innovation Foundation | System and method for recognition and annotation of facial expressions |
| US10706577B2 (en) * | 2018-03-06 | 2020-07-07 | Fotonation Limited | Facial features tracker with advanced training for natural rendering of human faces in real-time |
| CN109886167B (zh) * | 2019-02-01 | 2020-11-20 | 中国科学院信息工程研究所 | 一种遮挡人脸识别方法及装置 |
| KR102039138B1 (ko) * | 2019-04-02 | 2019-10-31 | 주식회사 루닛 | 적대적 학습에 기반한 도메인 어댑테이션 방법 및 그 장치 |
| CN111931628B (zh) * | 2020-08-04 | 2023-10-24 | 腾讯科技（深圳）有限公司 | 人脸识别模型的训练方法、装置及相关设备 |
| CN112036266A (zh) * | 2020-08-13 | 2020-12-04 | 北京迈格威科技有限公司 | 人脸识别方法、装置、设备及介质 |
| CN112052781A (zh) * | 2020-09-01 | 2020-12-08 | 平安科技（深圳）有限公司 | 特征提取模型训练方法、人脸识别方法、装置、设备及介质 |
| CN112364827B (zh) * | 2020-11-30 | 2023-11-10 | 腾讯科技（深圳）有限公司 | 人脸识别方法、装置、计算机设备和存储介质 |
-
2021
- 2021-07-07 CN CN202110765240.0A patent/CN113255617B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110728319A (zh) * | 2019-09-30 | 2020-01-24 | 中国科学院深圳先进技术研究院 | 一种图像生成方法、装置以及计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113255617A (zh) | 2021-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113255617B (zh) | 图像识别方法、装置、电子设备和计算机可读存储介质 | |
| KR102641116B1 (ko) | 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치 | |
| CN112131978B (zh) | 一种视频分类方法、装置、电子设备和存储介质 | |
| CN112734775B (zh) | 图像标注、图像语义分割、模型训练方法及装置 | |
| CN109145766A (zh) | 模型训练方法、装置、识别方法、电子设备及存储介质 | |
| JP2007128195A (ja) | 画像処理システム | |
| CN109472193A (zh) | 人脸检测方法及装置 | |
| JP2017062778A (ja) | 画像のオブジェクトを分類するための方法およびデバイスならびに対応するコンピュータプログラム製品およびコンピュータ可読媒体 | |
| CN110929617A (zh) | 一种换脸合成视频检测方法、装置、电子设备及存储介质 | |
| CN112052759B (zh) | 一种活体检测方法和装置 | |
| WO2023284465A1 (zh) | 图像检测方法、装置、计算机可读存储介质及计算机设备 | |
| CN113052150B (zh) | 活体检测方法、装置、电子设备和计算机可读存储介质 | |
| CN111898675B (zh) | 信贷风控模型生成方法、装置、评分卡生成方法、机器可读介质及设备 | |
| CN113128526B (zh) | 图像识别方法、装置、电子设备和计算机可读存储介质 | |
| CN112418302A (zh) | 一种任务预测方法及装置 | |
| Zhang et al. | Application of gesture recognition based on simulated annealing bp neural network | |
| CN115705706A (zh) | 视频处理方法、装置、计算机设备和存储介质 | |
| CN113762041A (zh) | 视频分类方法、装置、计算机设备和存储介质 | |
| CN113076963B (zh) | 一种图像识别方法、装置和计算机可读存储介质 | |
| CN113065379A (zh) | 融合图像质量的图像检测方法、装置、电子设备 | |
| CN116630736A (zh) | 一种用户表情捕捉模型的训练方法及系统 | |
| CN113824989B (zh) | 一种视频处理方法、装置和计算机可读存储介质 | |
| CN115731620A (zh) | 检测对抗攻击的方法和训练对抗攻击检测模型的方法 | |
| CN114462526A (zh) | 一种分类模型训练方法、装置、计算机设备及存储介质 | |
| CN113392867A (zh) | 一种图像识别方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40050079 Country of ref document: HK |