CN112464741B - 人脸分类方法、模型训练方法、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种人脸分类方法、模型训练方法、电子设备及存储介质。该人脸人分类方法包括：获取目标人脸的RGB图像；利用预设的生成模型根据RGB图像生成对应的目标人脸的第一图像，其中，第一图像包括IR图像；将RGB图像和第一图像输入预设的分类模型进行分类，得到目标人脸的第一人脸分类结果。通过上述方式，能够以较低的硬件成本提高第一人脸分类结果的准确度。

Description

人脸分类方法、模型训练方法、电子设备及存储介质

技术领域

本申请涉及图像处理领域，特别是涉及一种人脸分类方法、模型训练方法、电子设备及存储介质。

背景技术

目前，用户通过线上办理业务的频率越来越高。通常在办理需求的业务之前，需要对用户的身份进行验证。身份验证的方式可以包括账号密码验证、指纹验证和人脸验证等。以人脸验证为例进行说明，通过摄像头获取用户的人脸图像，对人脸图像进行识别以确定当前用户是否为预设的用户，如果是才可以继续办理其需求的业务。但这种方法存在一个弊端，那就是摄像头获取到的人脸图像不一定是真人脸的图像，可能是假人脸的图像(如照片、电子屏幕、面具和头模等的图像)，误导后续对人脸图像的识别。

因此，在对人脸识别之前，需要对摄像头获取到的人脸图像进行活体检测，也即对人脸图像进行分类，以确定该人脸图像是否为真的人脸图像。然而，现有技术中，对人脸图像进行分类得到的结果不够准确；而且，受限于手机等终端的硬件条件或者设备成本，难以额外设置一些专用摄像头进行人脸拍摄，也就难以通过额外的视频/图像分析技术进行辅助的活体检测。

发明内容

本申请提供一种人脸分类方法、模型训练方法、电子设备及存储介质，能够解决现有技术中对人脸图像进行分类得到的结果不够准确的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种人脸分类方法。该方法包括：获取目标人脸的RGB图像；利用预设的生成模型根据RGB图像生成对应的目标人脸的第一图像，其中，第一图像包括IR图像；将RGB图像和第一图像输入预设的分类模型进行分类，得到目标人脸的第一人脸分类结果。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种模型训练方法，所述训练方法包括：获取包括测试人脸的第一训练集，其中，所述第一训练集中包括所述测试人脸的RGB图像和与所述RGB图像对应的IR图像；利用预构造的基础生成模型根据所述第一训练图像生成对应的IR生成图像；利用所述IR生成图像和所述IR图像对预设的第一损失函数进行迭代求解，并根据求解的损失值处理所述预构造的基础生成模型的参数，在所述第一损失函数的损失值满足第一预设阈值时得到目标生成模型。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，该电子设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。

通过上述方式，本申请获取目标人脸的RGB图像，利用预设的生成模型生成根据RGB图像生成对应的目标人脸的第一图像，使得预设的分类模型能够基于目标人脸的RGB图像和第一图像对目标人脸分类。首先，相较于仅利用第一图像对目标人脸分类的方式，得到的第一人脸分类结果更加准确。其次，相较于需要利用不同的摄像头来获取到人脸的不同类型的图像进行分类的方式，不需要额外设置专用摄像头等相关硬件，能够通过低设备成本即可实现较高的人脸分类准确率。并且，本方法应用广泛，既可以应用于APP场景，也可以应用于H5场景，也可以使用到其他安防监控的人脸识别、智能驾驶的人脸识别等需要进行活体检测的应用场景。

附图说明

图1是本申请人脸分类方法第一实施例的流程示意图；

图2是本申请人脸分类第一结构示意图；

图3是本申请人脸分类方法第二实施例的流程示意图；

图4是本申请人脸分类方法第三实施例的流程示意图；

图5是本申请人脸分类方法第四实施例的流程示意图；

图6是本申请人脸分类第二结构示意图；

图7是本申请人脸分类方法第五实施例的流程示意图；

图8是本申请人脸分类第三结构示意图；

图9是本申请人脸分类方法第六实施例的流程示意图；

图10是本申请人脸分类第四结构示意图；

图11是本申请人脸分类方法第七实施例的流程示意图；

图12是本申请人脸分类方法第八实施例的流程示意图；

图13是本申请生成模型和分类模型训练一结构示意图；

图14是本申请生成模型和分类模型训练另一结构示意图；

图15是本申请电子设备一实施例的结构示意图；

图16是本申请存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。

本申请提供的方法可以应用于所有对人脸验证的场景，包括通过应用(APP)对用户进行身份验证的场景、通过移动网站(HTML5，H5)对用户进行身份验证的场景等。下面以一个例子的形式对本申请的应用场景进行说明：

用户需要在其持有的移动终端APP上办理贷款业务，那么在办理贷款业务之前，APP需要对用户的身份进行验证。通过移动终端的摄像头进行人脸检测，获取到用户的人脸图像；利用本申请提供的方法对人脸图像进行分类，得到第一人脸分类结果；根据第一人脸分类结果确定该人脸图像是否来自真人，也即该人脸图像是真人脸的图像还是假人脸的图像。如果是真人脸的图像，则继续对人脸图像进行识别，否则不继续对人脸图像进行识别。

或者，在一些智能驾驶应用场景中，需要对当前驾驶员进行人脸识别，以确定其是否具备驾驶操作、车机设备操作等的权限，此时，采用本申请人脸分类方法，也可以通过车载的RGB摄像头等获取人脸，然后生成相应的其他类型图像进行人脸识别或活体检测。

下面实施例将以手机等移动终端为例进行举例说明。

请参阅图1，图1是本申请人脸分类方法第一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例可以包括：

S11：获取目标人脸的RGB图像。

可以理解的是，对用户进行身份验证需要利用其持有的移动终端获取用户的人脸图像，但是一般来说，用户持有的移动终端所包含的摄像头为RGB摄像头，仅能获取到RGB图像。

本步骤中所指目标人脸的RGB图像可以为通过用户终端的RGB摄像头获取到的RGB图像，也可以为通过用户终端的RGB摄像头获取到的RGB图像中目标人脸对应的区域。

S12：利用预设的生成模型根据RGB图像生成对应的目标人脸的第一图像。

其中，第一图像包括IR图像(Infrared Radiation，近红外图像)。

可以理解的是，如果仅利用获取到的RGB图像对目标人脸分类，得到的分类结果不够准确。为提高后续对目标人脸分类的准确度，可以利用预设的生成模型根据RGB图像生成对应的目标人脸的第一图像，以使得后续可以结合RGB图像和第一图像对目标人脸进行分类。

其中，RGB图像对应的目标人脸的第一图像可以为一张，也可以为多张，每张第一图像的类型不同。换句话说，在第一图像为一张的情况下，第一图像可以为IR图像。在第一图像为多张的情况下，第一图像除了可以包括IR图像之外，还可以包括其他类型的图像，例如Depth(深度)图像等等。本申请后文以第一图像包括IR图像和Depth图像进行说明。

生成模型可以为GAN(生成式对抗网络)模型，当然也可以为其他具有图像生成能力的模型，在此不作具体限定。

需要特别说明的是，本实施例采用生成模型进行不同类型图像生成的方式，由于生成模型预先采用了真实的IR图像和Depth图像作为监督进行训练，与通过人工等方式将RGB图像进行贴图或颜色处理等一系列复杂手段而合成得到IR合成图像或Depth合成图像的效果相比，本实施例生成模型生成的IR图像和Depth图像更加接近真实的IR图像和Depth图像，进一步地，有利于提高后续进行人脸分类时的分类准确率。

S13：将RGB图像和第一图像输入预设的分类模型进行分类，得到目标人脸的第一人脸分类结果。

第一人脸分类结果可以表明目标人脸为真人脸还是为假人脸。具体而言，第一人脸分类结果可以是RGB图像和/或第一图像为真人脸的图像的概率和为假人脸的图像的概率。若为真人脸的图像的概率大于为假人脸的图像的概率，则表明该目标人脸为真人脸(Real)，否则表明该目标人脸为假人脸(Fake)。

下面结合图2对本实施例提供的方法进行举例说明。如图2所示，预设的生成模型利用RGB图像(Real Face)生成与Real Face对应的Depth图像(Depth-PRED)和IR图像(IR-PRED)，将Real Face、Depth-PRED和IR-PRED输入预设的分类模型进行分类，得到第一人脸分类结果Pred(Real or Fake)。

通过本实施例的实施，本申请获取目标人脸的RGB图像，利用预设的生成模型生成根据RGB图像生成对应的目标人脸的第一图像，使得预设的分类模型能够基于目标人脸的RGB图像和第一图像对目标人脸分类。首先，相较于仅利用第一图像对目标人脸分类的方式，得到的第一人脸分类结果更加准确。其次，相较于需要利用不同的摄像头来获取到人脸的不同类型的图像进行分类的方式，不需要额外设置专用摄像头等相关硬件，能够通过低设备成本即可实现较高的人脸分类准确率。并且，本方法应用广泛，既可以应用于APP场景，也可以应用于H5场景，也可以使用到其他安防监控的人脸识别、智能驾驶的人脸识别等需要进行活体检测的应用场景。

图3是本申请人脸分类方法第二实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图3所示的流程顺序为限。本实施例是对S13的进一步扩展。本实施例中，分类模型包括特征提取网络和分类网络。如图3所示，本实施例可以包括：

S21：利用特征提取网络提取RGB图像的第一特征和第一图像的第二特征。

第二特征包括IR图像特征。

本步骤中，可以利用同一特征提取网络提取RGB图像的第一特征和第一图像的第二特征。在第一图像仅包括IR图像的情况下，第一图像的第二特征包括IR图像特征。在第一图像还包括Depth图像的情况下，第一图像的第二特征还可以包括Depth图像特征，即第二特征同时包括IR图像特征和Depth图像特征。当然，在第一图像同时包括IR图像和Depth图像的情况下，还可以根据实际使用场景对人脸分类的准确度要求或者实际场景的光照/温度等综合因素，而选择以IR图像特征、或Depth图像特征、或IR图像特征与Depth图像特征的组合进行人脸分类，在此不作限定。

S22：将第一特征和第二特征输入分类网络进行分类，得到第一人脸分类结果。

本实施例可以利用同一分类网络对RGB图像和第一图像的特征进行分类，也可以利用不同的分类网络对RGB图像和第一图像的特征分别进行分类。

图4是本申请人脸分类方法第三实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图4所示的流程顺序为限。本实施例是对S13的进一步扩展。本实施例中，分类模型包括第一特征提取网络、第二特征提取网络和分类网络。如图4所示，本实施例可以包括：

S31：利用第一特征提取网络提取RGB图像的第一特征，并利用第二特征提取网络提取第一图像的第二特征。

第二特征包括IR图像特征。

本步骤中，可以利用不同的特征提取网络提取不同图像的特征。其中，在第一图像仅包括IR图像的情况下，第二特征包括IR图像特征；在第一图像还包括Depth图像的情况下，第一图像的第二特征还可以包括Depth图像特征。

需要特别说明的是，在第一图像包括IR图像和Depth图像时，本实施例可以利用第二特征提取网络提取IR图像特征和Depth图像特征，以控制模型开发成本和模型运行资源；而在其他实施例中，可以通过两个不同的第二特征提取网络分别提取IR图像特征和Depth图像特征，通过针对性地训练不同的特征提取网络分别进行IR图像特征的提取和Depth图像特征的提取，可以针对性地提高特征提取的提取能力。

S32：将第一特征和第二特征输入分类网络进行分类，得到第一人脸分类结果。

图5是本申请人脸分类方法第四实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图5所示的流程顺序为限。本实施例是对S13的进一步扩展。本实施例中，分类模型包括特征提取网络和分类网络。如图5所示，本实施例可以包括：

S41：将RGB图像和第一图像进行图像融合得到融合图像。

可以理解的是，在第一图像只包括IR图像时，可以将RGB图像和IR图像融合得到融合图像；而在第一图像包括IR图像和Depth图像的情况下，则可以将RGB图像、IR图像和Depth图像一并进行融合而得到具备三种类型图像的特征的融合图像。

S42：利用特征提取网络提取融合图像的第三特征。

S43：将第三特征输入分类网络进行分类，得到第一人脸分类结果。

其中，本实施例对融合图像做特征提取操作得到能够实现更高维度的图像表达的所述第三特征。

本实施例其他详细描述请参见其他实施例，在此不再重复。

下面结合图6对本实施例提供的方法进行举例说明。如图4所示，可以将RGB图像、IR图像、Depth图像融合成五维的融合图像，其中RGB图像为三维、IR图像为一维、Depth图像为一维，利用特征提取网络提取该融合图像的第三特征，并将融合图像的第三特征输入分类网络进行分类，得到第一人脸分类结果。

图7是本申请人脸分类方法第五实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图7所示的流程顺序为限。本实施例是对S22/S32的进一步扩展。如图7所示，本实施例可以包括：

S51：将第一特征和第二特征进行特征融合，得到融合特征。

S52：将融合特征输入分类网络进行分类，得到第一人脸分类结果。

下面结合图8对本实施例提供的方法进行举例说明。如图8所示，本实施例包括两个第二特征提取网络，第一个第二特征提取网络的参数和第二个特征提取网络的参数可以相同，也可以不同。其中，利用第一特征提取网络提取RGB图像特征，利用第一个第二特征提取网络提取IR图像特征，利用第二个第二特征提取网络提取Depth图像特征；将RGB图像特征、IR图像特征和Depth图像特征进行融合，得到融合特征；将融合特征输入分类网络进行分类，得到第一人脸分类结果。

图9是本申请人脸分类方法第六实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图9所示的流程顺序为限。本实施例是对第二/三实施例的进一步扩展。并且本实施例中，分类网络包括第一分类网络和第二分类网络。如图9所示，本实施例可以包括：

S61：将第一特征输入第一分类网络进行分类，得到第一分类结果，将第二特征输入第二分类网络进行分类，得到第二分类结果。

本步骤中，可以利用不同的分类网络对不同图像的特征进行分类。

S62：根据第一分类结果和第二分类结果，得到第一人脸分类结果。

在一具体实施方式中，可以将第一分类结果和第二分类结果进行级联，得到第一人脸分类结果。

具体而言，在通过级联得到第一人脸分类结果的方式下，可以先提取第一特征，对第一特征进行分类，得到第一分类结果。在第一分类结果表明目标人脸为假人脸的情况下，直接将该第一分类结果作为第一人脸分类结果；而在第一分类结果表明目标人脸为真人脸的情况下，需要进一步提取第二特征，对第二特征进行分类，得到第二分类结果，并将第二分类结果作为最终的第一人脸分类结果。

结合图10以第一图像同时包括IR图像和Depth图像为例进行说明。其中，先提取RGB图像特征，对RGB图像特征进行分类，得到第一分类结果。若第一分类结果表明目标人脸为假人脸(Fake)，则直接将第一分类结果作为第一人脸分类结果；若第一分类结果表明目标人脸为真人脸(Real)，则进一步提取IR图像特征，对IR图像特征进行分类，得到第一个第二分类结果。若第一个第二分类结果表明目标人脸为假人脸(Fake)，则直接将第二分类结果作为第一人脸分类结果；若第一个第二分类结果表明目标人脸为真人脸(Real)，则进一步提取Depth图像特征，对Depth图像特征进行分类，得到第二个第二分类结果，并将第二个第二分类结果作为第一人脸分类结果。通过这种方式，可以节省计算量，节省运算资源。

或者，在通过级联得到第一人脸分类结果的方式下，可以同时提取第一特征和第二特征，对第一特征进行分类得到第一分类结果，以及对第二特征进行分类得到第二分类结果。在第一分类结果和第二分类结果均表明目标人脸为真人脸的情况下，第一人脸分类结果表明目标人脸为真人脸；在第一分类结果和第二分类结果的其中一个表示目标人脸为假人脸的情况下，第一人脸分类结果表明目标人脸为假人脸。通过这种方式，可以确保得到最终的第一人脸分类结果的效率，在一些要求快速得到人脸分类结果的应用场景，例如金融领域或者安全监控领域等，可以充分利用设备运算能力进行快速的人脸分类，以便进行风险及时防范和管控，避免发生延误的情况。

在另一具体实施方式中，可以将第一分类结果和第二分类结果进行加权再求和的结果作为第一人脸分类结果。

在又一具体实施方式中，可以对第一分类结果和第二分类结果进行投票，将投票结果作为第一人脸分类结果。即基于少数服从多数的原则，利用第一分类结果和第二分类结果确定第一人脸分类结果。举例说明，若预设的分类模型对RGB图像对应的第一分类结果、IR图像对应的第一个第二分类结果和Depth图像对应的第二个第二分类结果，若这三个分类结果中有两个或者两个以上表明目标人脸为真人脸，则投票结果表明目标人脸为假人脸。

此外，在上述任一实施例中使用预设的生成模型之前，需要先对预构造的基础生成模型进行训练，得到预设的生成模型。具体可以如下：

图11是本申请人脸分类方法第七实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图11所示的流程顺序为限。如图11所示，本实施例可以包括：

S71：获取包括测试人脸的第一训练集。

其中，第一训练集中包括测试人脸的RGB图像和与RGB图像对应的IR图像。

测试人脸可能为真人脸，也可能为假人脸(如照片、电子屏幕、面具、头模中的人脸)。测试人脸的RGB图像的获取方式与上述实施例目标人脸的RGB图像的获取方式可以相同，另外，与测试人脸的RGB图像对应的测试人脸的IR图像可以由对应的IR摄像头或者专用IR摄像设备获取得到。

进一步而言，在目标人脸的与RGB图像对应的第一图像包括IR图像和Depth图像的情况下，第一训练集中除了包括测试人脸的与RGB图像对应的IR图像之外，还包括测试人脸的与RGB图像对应的Depth图像。其中，测试人脸的与RGB图像对应的IR图像可以通过IR摄像头获取得到，测试人脸的与RGB图像对应的Depth图像可以通过Depth摄像头获取得到。

本实施例仅以第一训练集中包括测试人脸的RGB图像和与RGB图像对应的IR图像进行说明。

S72：利用预构造的基础生成模型根据第一训练图像生成对应的IR生成图像。

S73：利用IR生成图像和IR图像对预设的第一损失函数进行迭代求解，并根据求解的损失值处理预构造的基础生成模型的参数，在第一损失函数的损失值满足第一预设阈值时得到目标生成模型。

也即是说，本实施例将与RGB图像对应的IR图像作为预构造的基础生成模型得到生成IR图像过程的监督信号。其中，本实施例的第一损失函数可以使用L1范数损失函数(或称为最小绝对值偏差(LAD)，最小绝对值误差(LAE))。

在上述实施例中使用分类模型之前，还可以对预构造的基础分类模型进行训练，得到预设的分类模型。具体可以包括：

图12是本申请人脸分类方法第八实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图12所示的流程顺序为限。如图12所示，本实施例可以包括：

S81：获取包括测试人脸的第二训练集。

其中，第二训练集中包括RGB图像和第三训练图像，RGB图像带有分类标签，第三训练图像包括IR图像，IR图像是利用预设的IR图像生成模型根据RGB图像生成的。

需要说明的是，测试人脸的第一训练集中包括的图像类型与目标人脸对应的图像类型相同。换句话说，分类模型在训练过程需要分类的图像类型与在后续使用过程需要分类的图像类型相同，以提高后续分类模型的使用效果。例如，前面实施例中目标人脸对应的图像为RGB图像，以及根据测试人脸的RGB图像生成的IR图像和Depth图像，则测试人脸的第一训练集中包括测试人脸的RGB图像，以及第三训练图像(根据测试人脸的RGB图像生成的IR图像和Depth图像)。

本实施例中仅以测试人脸的第二训练集包括RGB图像和IR图像为例进行说明。

RGB图像带有的分类标签用于表示RGB图像的真实类别，其可以作为预构造的基础分类模型分类过程的监督信号。

S82：利用预构造的基础分类模型根据RGB图像和第三训练图像进行分类，得到第二人脸分类结果。

本步骤详细描述请参见前面的实施例，在此不再重复。

S83：利用第二人脸分类结果和分类标签对预设的第二损失函数进行迭代求解，并根据求解的损失值处理预构造的基础分类模型的参数，在第二损失函数的损失值满足第二预设阈值时得到目标分类模型。

其中，所述第二损失函数可以采用交叉熵损失函数。

在一个实施例中，本实施例预构造的基础分类模型可以只包括一个特征提取网络和分类网络，对应地，在训练过程中，利用同一个特征提取网络对RGB图像和第三训练图像进行特征提取，并利用同一个分类网络对提取的特征进行分类。

在又一个实施例中，本实施例预构造的基础分类模型可以包括第一特征提取网络、第二特征提取网络和分类网络，对应地，在训练过程中，利用第一特征提取网络对RGB图像进行特征提取、利用第二特征提取网络对第三训练图像进行特征提取，并利用同一个分类网络对提取的特征进行分类。

在又一个实施例中，在训练过程中，可以将RGB图像和第三训练图像进行融合而得到融合图像，进而利用同一个特征提取网络对融合图像提取第三特征，再利用同一个分类网络对提取的特征进行分类。

相应地，本实施例在训练过程中，所采用的分类网络可以为一个或者多个，其可以根据设备的运算能力或者应用场景对人脸分类准确度的要求而进行设置，在此不做限定。

上述实施例中生成模型和分类模型的训练过程可以一起进行，也可以单独进行。

下面结合图13和图14对生成模型和和分类模型的训练一起进行举例说明。

图13中，模型的输入为真人脸的RGB图像Real Face，经生成模型得到Depth图像Depth-PRED和IR图像IR-PRED，Depth-GT为真人脸的Depth图像，IR-GT为分类模型对真人脸的IR图像，Pred为对Real Face、Depth-PRED、IR-PRED的分类结果。

图14中模型的输入为假人脸的RGB图像Photo Face，经生成模型得到Depth图像Depth-PRED和IR图像IR-PRED，Depth-GT为假人脸的Depth图像，IR-GT为分类模型对假人脸的IR图像，Pred为对Real Face、Depth-PRED、IR-PRED的分类结果。

其中，L1为Depth-PRED和Depth-GT之间的损失函数，L2为IR-PRED和IR-GT之间的损失函数，L2损失函数可以为交叉熵损失函数。可以根据对应训练过程中的L1、L2和L3来调整模型的参数，以实现逐步优化模型。

图15是本申请电子设备一实施例的结构示意图。如图15所示，该电子设备包括处理器91、与处理器耦接的存储器92。

其中，存储器92存储有用于实现上述任一实施例的方法的程序指令；处理器91用于执行存储器92存储的程序指令以实现上述方法实施例的步骤。其中，处理器91还可以称为CPU(Central Processing Unit，中央处理单元)。处理器91可能是一种集成电路芯片，具有信号的处理能力。处理器91还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

图16是本申请存储介质一实施例的结构示意图。如图16所示，本申请实施例的计算机可读存储介质100存储有程序指令101，该程序指令101被执行时实现本申请上述实施例提供的方法。其中，该程序指令101可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质100中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质100包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种人脸分类方法，其特征在于，包括：

获取目标人脸的RGB图像；

利用预设的生成模型根据所述RGB图像生成对应的所述目标人脸的第一图像，其中，所述第一图像包括IR图像；

将所述RGB图像和所述第一图像输入预设的分类模型进行分类，得到所述目标人脸的第一人脸分类结果；

所述将所述RGB图像和所述第一图像输入预设的分类模型进行分类，得到所述目标人脸的第一人脸分类结果，包括：

利用第一分类结果和第二分类结果，获得所述第一人脸分类结果，其中，所述第一分类结果是对所述RGB图像的第一特征进行分类得到，所述第二分类结果是对所述第一图像的第二特征进行分类得到；或者，将所述RGB图像和所述第一图像进行图像融合得到融合图像；提取所述融合图像的第三特征；对所述第三特征进行分类，得到所述第一人脸分类结果；

所述利用第一分类结果和第二分类结果，获得所述第一人脸分类结果，包括：

将第一分类结果和第二分类结果进行级联，得到所述第一人脸分类结果；或，将所述第一分类结果和所述第二分类结果进行加权再求和的结果作为所述第一人脸分类结果；或，对所述第一分类结果和所述第二分类结果进行投票，将投票结果作为所述第一人脸分类结果；

其中，所述第一分类结果是所述RGB图像为真实人脸的图像的概率和为假人脸的图像的概率，所述第二分类结果是所述第一图像为所述真实人脸的图像的概率和为所述假人脸的图像的概率，所述第一人脸分类结果是所述RGB图像和/或所述第一图像为所述真实人脸的图像的概率和为所述假人脸的图像的概率。

2.根据权利要求1所述的方法，其特征在于，所述分类模型包括特征提取网络，所述RGB图像的第一特征和所述第一图像的第二特征均是利用所述特征提取网络提取得到的。

3.根据权利要求1所述的方法，其特征在于，所述分类模型包括第一特征提取网络、第二特征提取网络，所述RGB图像的第一特征是利用所述第一特征提取网络提取得到的，所述第一图像的第二特征是利用所述第二特征提取网络提取得到的。

4.根据权利要求1所述的方法，其特征在于，所述分类模型包括特征提取网络和分类网络，所述提取所述融合图像的第三特征，包括：

利用所述特征提取网络提取所述融合图像的第三特征；

所述对所述第三特征进行分类，得到所述第一人脸分类结果，包括：

将所述第三特征输入所述分类网络进行分类，得到所述第一人脸分类结果。

5.根据权利要求1所述的方法，其特征在于，所述分类模型包括第一分类网络和第二分类网络，所述第一分类结果是利用所述第一分类网络对所述第一特征分类得到的，所述第二分类结果是利用所述第二分类网络对所述第二特征分类得到的。

6.根据权利要求1所述的方法，其特征在于，所述利用第一分类结果和第二分类结果，获得所述第一人脸分类结果，包括：

提取所述RGB图像的第一特征和所述第一图像的第二特征；

对所述第一特征进行分类，得到第一分类结果，对所述第二特征进行分类，得到第二分类结果；

根据所述第一分类结果和所述第二分类结果，得到所述第一人脸分类结果。

7.根据权利要求1所述的方法，其特征在于，所述将所述第一分类结果和所述第二分类结果进行级联，得到所述第一人脸分类结果，包括：

提取所述RGB图像的第一特征，并对所述第一特征进行分类，得到第一分类结果；

若所述第一分类结果表明所述目标人脸为假人脸，则将所述第一分类结果作为所述第一人脸分类结果；

若所述第一分类结果表明所述目标人脸为真人脸，则提取所述第一图像的第二特征，并对所述第二特征进行分类，得到第二分类结果，利用所述第二分类结果得到所述第一人脸分类结果。

8.根据权利要求7所述的方法，其特征在于，所述第一图像还包括Depth图像，所述第二分类结果包括所述IR图像的第二分类结果和所述Depth图像的第二分类结果，所述提取所述第一图像的第二特征，并对所述第二特征进行分类，得到第二分类结果；利用所述第二分类结果得到所述第一人脸分类结果，包括：

提取所述IR图像的第二特征，并对所述IR图像的第二特征进行分类，得到所述IR图像的第二分类结果；

若所述IR图像的第二分类结果表明所述目标人脸为假人脸，则将所述IR图像的第二分类结果作为所述第一人脸分类结果；

若所述IR图像的第二分类结果表明所述目标人脸为真人脸，则提取所述Depth图像的第二特征，并对所述Depth图像的第二特征进行分类，得到所述Depth图像的第二分类结果，将所述Depth图像的第二分类结果作为所述第一人脸分类结果。

9.一种模型训练方法，其特征在于，所述训练方法包括：

获取包括测试人脸的第一训练集，其中，所述第一训练集中包括所述测试人脸的第一RGB图像和与所述第一RGB图像对应的IR图像；

利用预构造的基础生成模型根据所述第一RGB图像生成对应的IR生成图像；

利用所述IR生成图像和所述IR图像对预设的第一损失函数进行迭代求解，并根据求解的损失值处理所述预构造的基础生成模型的参数，在所述第一损失函数的损失值满足第一预设阈值时得到目标生成模型；

以及所述训练方法还包括：

获取包括所述测试人脸的第二训练集，其中，第二训练集包括所述测试人脸的第二RGB图像和第三训练图像，所述第三训练图像是根据所述第二RGB图像生成的，所述第二RGB图像带有分类标签；

利用预构造的基础分类模型根据所述第二RGB图像和所述第三训练图像进行分类，得到第二人脸分类结果；

利用所述第二人脸分类结果和所述分类标签对预设的第二损失函数进行迭代求解，并根据求解的损失值处理所述预构造的基础分类模型的参数，在所述第二损失函数的损失值满足第二预设阈值时得到目标分类模型；

其中，所述利用预构造的基础分类模型根据所述第二RGB图像和所述第三训练图像进行分类，得到第二人脸分类结果，包括：

利用第三分类结果和第四分类结果，获得所述第二人脸分类结果，其中，所述第三分类结果是对所述第二RGB图像的第四特征进行分类得到，所述第四分类结果是对所述第三训练图像的第五特征进行分类得到；或者，将所述第二RGB图像和所述第三训练图像进行图像融合得到融合图像；提取所述融合图像的第六特征；对所述第六特征进行分类，得到所述第二人脸分类结果；

所述利用第三分类结果和第四分类结果，获得所述第二人脸分类结果，包括：

将第三分类结果和第四分类结果进行级联，得到所述第二人脸分类结果；或，将所述第三分类结果和所述第四分类结果进行加权再求和的结果作为所述第二人脸分类结果；或，对所述第三分类结果和所述第四分类结果进行投票，将投票结果作为所述第二人脸分类结果；

其中，所述第三分类结果是所述第二RGB图像为真实人脸的图像的概率和为假人脸的图像的概率，所述第四分类结果是所述第三训练图像为所述真实人脸的图像的概率和为所述假人脸的图像的概率，所述第二人脸分类结果是所述第二RGB图像和/或所述第三训练图像为所述真实人脸的图像的概率和为所述假人脸的图像的概率。

10.一种电子设备，其特征在于，包括处理器、与所述处理器连接的存储器，其中，

所述存储器存储有程序指令；

所述处理器用于执行所述存储器存储的所述程序指令以实现包括如权利要求1-8中任一项所述的人脸分类方法的步骤和/或如权利要求9所述的模型训练方法的步骤。

11.一种存储介质，其特征在于，所述存储介质存储程序指令，所述程序指令被执行时实现包括如权利要求1-8中任一项所述的人脸分类方法的步骤和/或如权利要求9所述的模型训练方法的步骤。

Images