CN115187822A - 人脸图像数据集分析方法、直播人脸图像处理方法及装置 - Google Patents

Abstract

本申请涉及网络直播及图像处理技术领域，提供一种人脸图像数据集分析方法、直播人脸图像处理方法、装置、设备和介质。本申请能够兼顾人脸图像数据集分析的准确性及效率。方法包括：获取待分析的人脸图像数据集，根据数据集中每张人脸图像上各人脸关键点的第一位置得到各人脸关键点的平均位置，基于该平均位置对第一位置进行相似变换得到每张人脸图像上各人脸关键点的第二位置，根据该每张人脸图像上各人脸关键点的第二位置进行主成分分析得到主成分集合，然后用每张人脸图像上各人脸关键点的第二位置拟合该主成分集合，得到每张人脸图像在各主成分对应的拟合系数，根据每张人脸图像在各主成分对应的拟合系数分析数据集在形态变化维度的分布情况。

Description

人脸图像数据集分析方法、直播人脸图像处理方法及装置

技术领域

本申请涉及网络直播及图像处理技术领域，特别是涉及一种人脸图像数据集的分析方法、网络直播的人脸图像处理方法、人脸图像数据集的分析装置、网络直播的人脸图像处理装置、电子设备和计算机可读存储介质。

背景技术

随着网络直播技术的发展，图像处理技术被应用于网络直播当中，如在网络直播的人脸图像上施加美颜、美妆和整形等特效以提高网络直播中分享的优质内容的传播效果。其中，人脸关键点检测算法是这些特效的基础算法。随着深度学习的蓬勃发展，人脸关键点检测的定位精度也将越来越高。

基于深度学习的人脸关键点检测算法需要在大量有人工标注的人脸图像数据集上进行训练，人脸图像数据集的质量优劣在一定程度上决定了人脸关键点检测算法的准确性与泛化性的上限。但目前技术中对人脸图像数据集的分析主要依赖于人工分析的方式进行，其存在难以兼顾对人脸图像数据集分析的准确性及效率的技术问题。

发明内容

基于此，有必要针对上述技术问题，提供一种人脸图像数据集的分析方法、网络直播的人脸图像处理方法、人脸图像数据集的分析装置、网络直播的人脸图像处理装置、电子设备和计算机可读存储介质。

第一方面，本申请提供了一种人脸图像数据集的分析方法。所述方法包括：

获取待分析的人脸图像数据集；所述人脸图像数据集包含对所述人脸图像数据集中每张人脸图像上各人脸关键点标注的第一位置；

根据所述每张人脸图像上各人脸关键点的第一位置，得到各人脸关键点的平均位置；

基于所述各人脸关键点的平均位置对所述每张人脸图像上各人脸关键点的第一位置进行相似变换，得到所述每张人脸图像上各人脸关键点的第二位置；

根据所述每张人脸图像上各人脸关键点的第二位置进行主成分分析，得到主成分集合；所述主成分集合中不同主成分分别对应人脸的不同形态变化维度；

利用所述每张人脸图像上各人脸关键点的第二位置拟合所述主成分集合，得到所述每张人脸图像在各主成分对应的拟合系数；

根据所述每张人脸图像在各主成分对应的拟合系数，分析所述人脸图像数据集在一个或多个形态变化维度的分布情况。

在其中一个实施例中，所述基于所述各人脸关键点的平均位置对所述每张人脸图像上各人脸关键点的第一位置进行相似变换，得到所述每张人脸图像上各人脸关键点的第二位置，包括：

基于所述各人脸关键点的平均位置对所述每张人脸图像上各人脸关键点的第一位置进行相似变换，得到所述每张人脸图像上各人脸关键点的相似变换后的第一位置；对所述每张人脸图像上各人脸关键点的相似变换后的第一位置进行相对于人脸图像中心的归一化处理，得到所述每张人脸图像上各人脸关键点的第二位置。

在其中一个实施例中，所述根据所述每张人脸图像在各主成分对应的拟合系数，分析所述人脸图像数据集在一个或多个形态变化维度的分布情况，包括：

对于所述各主成分中目标主成分，根据所述每张人脸图像在所述目标主成分对应的拟合系数，确定拟合系数落入所述目标主成分对应的第一拟合系数范围的第一人脸图像数量和落入所述目标主成分对应的第二拟合系数范围的第二人脸图像数量；根据所述第一人脸图像数量和第二人脸图像数量，分析所述人脸图像数据集在所述目标主成分对应的形态变化维度的分布情况。

在其中一个实施例中，所述根据所述每张人脸图像在所述目标主成分对应的拟合系数，确定拟合系数落入所述目标主成分对应的第一拟合系数范围的第一人脸图像数量和落入所述目标主成分对应的第二拟合系数范围的第二人脸图像数量，包括：

针对所述每张人脸图像，将在所述目标主成分对应的拟合系数大于第一系数阈值的人脸图像计入所述第一人脸图像数量，将在所述目标主成分对应的拟合系数小于第二系数阈值的人脸图像计入所述第二人脸图像数量。

在其中一个实施例中，所述根据所述第一人脸图像数量和第二人脸图像数量，分析所述人脸图像数据集在所述目标主成分对应的形态变化维度的分布情况，包括：

根据所述第一人脸图像数量、第二人脸图像数量以及所述人脸图像数据集的人脸图像总数，得到第一人脸图像数量占比和第二人脸图像数量占比；

根据所述第一人脸图像数量占比和第二人脸图像数量占比，确定所述人脸图像数据集在所述目标主成分对应的形态变化维度的均衡分析结果。

在其中一个实施例中，所述方法还包括：

若所述均衡分析结果为分布均衡，则将该分布均衡的人脸图像数据集应用于训练人脸关键点检测模型；若所述均衡分析结果为分布不均衡，则获取调整后的人脸图像数据集并对所述调整后的人脸图像数据集进行分析，直至所述均衡分析结果为分布均衡。

第二方面，本申请提供了一种网络直播的人脸图像处理方法。所述方法包括：

获取网络直播中待处理的人脸图像；

通过经训练的人脸关键点检测模型检测得到所述待处理的人脸图像上各人脸关键点；所述人脸关键点检测模型利用经分析的人脸图像数据集训练得到；所述经分析的人脸图像数据集根据如上任一实施例所述的方法分析确定；

基于所述待处理的人脸图像上各人脸关键点，对所述待处理的人脸图像施加特效。

第三方面，本申请提供了一种人脸图像数据集的分析装置。所述装置包括：

数据集获取模块，用于获取待分析的人脸图像数据集；所述人脸图像数据集包含对所述人脸图像数据集中每张人脸图像上各人脸关键点标注的第一位置；

平均位置获取模块，用于根据所述每张人脸图像上各人脸关键点的第一位置，得到各人脸关键点的平均位置；

相似变换模块，用于基于所述各人脸关键点的平均位置对所述每张人脸图像上各人脸关键点的第一位置进行相似变换，得到所述每张人脸图像上各人脸关键点的第二位置；

主成分分析模块，用于根据所述每张人脸图像上各人脸关键点的第二位置进行主成分分析，得到主成分集合；所述主成分集合中不同主成分分别对应人脸的不同形态变化维度；

系数拟合模块，用于利用所述每张人脸图像上各人脸关键点的第二位置拟合所述主成分集合，得到所述每张人脸图像在各主成分对应的拟合系数；

分布分析模块，用于根据所述每张人脸图像在各主成分对应的拟合系数，分析所述人脸图像数据集在一个或多个形态变化维度的分布情况。

第四方面，本申请提供了一种网络直播的人脸图像处理装置。所述装置包括：

图像获取模块，用于获取网络直播中待处理的人脸图像；

关键点检测模块，用于通过经训练的人脸关键点检测模型检测得到所述待处理的人脸图像上各人脸关键点；其中，所述人脸关键点检测模型利用经分析的人脸图像数据集训练得到；所述经分析的人脸图像数据集根据如上任一实施例所述的方法分析确定；

图像处理模块，用于基于所述待处理的人脸图像上各人脸关键点，对所述待处理的人脸图像施加特效。

第五方面，本申请提供了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待分析的人脸图像数据集；所述人脸图像数据集包含对所述人脸图像数据集中每张人脸图像上各人脸关键点标注的第一位置；根据所述每张人脸图像上各人脸关键点的第一位置，得到各人脸关键点的平均位置；基于所述各人脸关键点的平均位置对所述每张人脸图像上各人脸关键点的第一位置进行相似变换，得到所述每张人脸图像上各人脸关键点的第二位置；根据所述每张人脸图像上各人脸关键点的第二位置进行主成分分析，得到主成分集合；所述主成分集合中不同主成分分别对应人脸的不同形态变化维度；利用所述每张人脸图像上各人脸关键点的第二位置拟合所述主成分集合，得到所述每张人脸图像在各主成分对应的拟合系数；根据所述每张人脸图像在各主成分对应的拟合系数，分析所述人脸图像数据集在一个或多个形态变化维度的分布情况。

第六方面，本申请提供了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取网络直播中待处理的人脸图像；通过经训练的人脸关键点检测模型检测得到所述待处理的人脸图像上各人脸关键点；所述人脸关键点检测模型利用经分析的人脸图像数据集训练得到；所述经分析的人脸图像数据集根据如上任一实施例所述的方法分析确定；基于所述待处理的人脸图像上各人脸关键点，对所述待处理的人脸图像施加特效。

第七方面，本申请提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取待分析的人脸图像数据集；所述人脸图像数据集包含对所述人脸图像数据集中每张人脸图像上各人脸关键点标注的第一位置；根据所述每张人脸图像上各人脸关键点的第一位置，得到各人脸关键点的平均位置；基于所述各人脸关键点的平均位置对所述每张人脸图像上各人脸关键点的第一位置进行相似变换，得到所述每张人脸图像上各人脸关键点的第二位置；根据所述每张人脸图像上各人脸关键点的第二位置进行主成分分析，得到主成分集合；所述主成分集合中不同主成分分别对应人脸的不同形态变化维度；利用所述每张人脸图像上各人脸关键点的第二位置拟合所述主成分集合，得到所述每张人脸图像在各主成分对应的拟合系数；根据所述每张人脸图像在各主成分对应的拟合系数，分析所述人脸图像数据集在一个或多个形态变化维度的分布情况。

第八方面，本申请提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取网络直播中待处理的人脸图像；通过经训练的人脸关键点检测模型检测得到所述待处理的人脸图像上各人脸关键点；所述人脸关键点检测模型利用经分析的人脸图像数据集训练得到；所述经分析的人脸图像数据集根据如上任一实施例所述的方法分析确定；基于所述待处理的人脸图像上各人脸关键点，对所述待处理的人脸图像施加特效。

上述人脸图像数据集分析方法、直播人脸图像处理方法、装置、电子设备和存储介质，获取待分析的人脸图像数据集，根据数据集中每张人脸图像上各人脸关键点的第一位置得到各人脸关键点的平均位置，基于该平均位置对第一位置进行相似变换得到每张人脸图像上各人脸关键点的第二位置，根据该每张人脸图像上各人脸关键点的第二位置进行主成分分析得到主成分集合，然后用每张人脸图像上各人脸关键点的第二位置拟合该主成分集合，得到每张人脸图像在各主成分对应的拟合系数，根据每张人脸图像在各主成分对应的拟合系数分析数据集在形态变化维度的分布情况。该方案对数据集中每张人脸图像上各人脸关键点的第一位置求平均获得平均位置，进而根据平均位置进行相似变换获得每张人脸图像上各人脸关键点的第二位置，根据该些人脸关键点的第二位置提取主成分集合，主成分集合中不同主成分分别对应人脸的不同形态变化维度，由此利用每张人脸图像上各人脸关键点的第二位置去拟合主成分集合得到每张人脸图像在各主成分对应的拟合系数，该相应主成分对应的拟合系数可作为量化信息以反映每张人脸图像在该主成分对应的形态变化维度的形态变化程度，故综合数据集中每张人脸图像对应的拟合系数便可精确分析得到人脸图像数据集在一个或多个形态变化维度的分布情况，能够兼顾对人脸图像数据集分析的准确性及效率，进而有利于提高检测人脸关键点的精度及处理人脸图像的效果。

附图说明

图1为本申请实施例中相关方法的应用场景图；

图2为本申请实施例中人脸图像数据集的分析方法的流程示意图；

图3为本申请实施例中各人脸关键点的平均位置的示意图；

图4为本申请实施例中相似变换的示意图；

图5为本申请实施例中主成分与人脸关键点的关系示意图；

图6为本申请实施例中分析人脸图像数据集的分布情况的流程示意图；

图7为本申请实施例中网络直播的人脸图像处理方法的流程示意图；

图8为本申请实施例中人脸图像数据集的分析装置的结构框图；

图9为本申请实施例中网络直播的人脸图像处理装置的结构框图；

图10为本申请实施例中一种电子设备的内部结构图；

图11为本申请实施例中另一种电子设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的人脸图像数据集的分析方法、网络直播的人脸图像处理方法可应用于如图1所示的应用场景中。该应用场景可以包括终端110和服务器120，终端110通过网络与服务器120进行通信。其中，终端110可以但不限于是各种个人计算机，服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

以下部分在图1所示应用场景的基础上结合各实施例及相关附图，对本申请的人脸图像数据集的分析方法及网络直播的人脸图像处理方法依次说明。

在一个实施例中，如图2所示，本申请提供了一种人脸图像数据集的分析方法，该方法可由服务器120执行，该方法包括以下步骤：

步骤S201，获取待分析的人脸图像数据集。

本步骤中，待分析的人脸图像数据集中可以包括多张人脸图像，以及对该多张人脸图像上各人脸关键点标注的位置，该位置记为第一位置。其中，多张人脸图像为包含有人脸的图像；该些人脸图像上各人脸关键点的第一位置的标注可由人工进行，即可通过人工的方式对该多张人脸图像上各人脸关键点的第一位置进行标注，标注完成后得到待分析的人脸图像数据集，具体的，待分析的人脸图像数据集中每张人脸图像上各人脸关键点标注的第一位置可通过在人脸图像上的位置坐标表示。对于本步骤，在实际场景中，相关人员可在终端110上完成第一位置的标注，终端110形成待分析的人脸图像数据集，然后终端110将待分析的人脸图像数据集通过网络传输至服务器120，服务器120获取该待分析的人脸图像数据集。

步骤S202，根据每张人脸图像上各人脸关键点的第一位置，得到各人脸关键点的平均位置。

其中，人脸图像数据集中每张人脸图像上均具有相同数量的人脸关键点，记人脸图像数据集中包含的人脸图像的总数为N，每张人脸图像上均具有L个人脸关键点，L为人脸所应有的关键点的总数目。本步骤是基于每张人脸图像上各人脸关键点的第一位置，对该L个人脸关键点的每一个人脸关键点求取其各自的平均位置。

本步骤，具体的，记包含L个人脸关键点的平均位置的集合为M，将该集合M以点的形式标识在空白图像上的效果如图3所示，也即集合M也包含有L个人脸关键点的位置信息，该集合M中，第i个人脸关键点的平均位置M_i可表达为：

其中，

表示第j张人脸图像上的第i个人脸关键点的第一位置。

步骤S203，基于各人脸关键点的平均位置对每张人脸图像上各人脸关键点的第一位置进行相似变换，得到每张人脸图像上各人脸关键点的第二位置。

本步骤是基于各人脸关键点的平均位置对人脸图像数据集中每张人脸图像上各人脸关键点的第一位置进行相似变换，得到每张人脸图像上各人脸关键点的第二位置。在具体实现中，对于人脸图像数据集中的所有人脸图像，可根据其人工标注的各人脸关键点的位置即各人脸关键点的第一位置与上述各人脸关键点的平均位置的集合M计算相似变换矩阵，如图4所示，可根据该相似变换矩阵将人脸图像数据集中每张人脸图像进行摆正，根据该相似变换矩阵也可将每张人脸图像上各人脸关键点(第一位置)进行摆正，获得每张人脸图像上各人脸关键点的第二位置。

进一步的，在一些实施例中，步骤S203具体包括：基于各人脸关键点的平均位置对每张人脸图像上各人脸关键点的第一位置进行相似变换，得到每张人脸图像上各人脸关键点的相似变换后的第一位置；对每张人脸图像上各人脸关键点的相似变换后的第一位置进行相对于人脸图像中心的归一化处理，得到每张人脸图像上各人脸关键点的第二位置。

本实施例中，依据上述相似变换的方式对每张人脸图像上各人脸关键点的第一位置进行相似变换后，获得每张人脸图像上各人脸关键点的相似变换后的第一位置，在此基础上对每张人脸图像上各人脸关键点的相似变换后的第一位置进行归一化处理。具体的，对每张人脸图像上各人脸关键点的相似变换后的第一位置进行相对于人脸图像中心的归一化处理，使之位置坐标范围为-1至1，得到每张人脸图像上各人脸关键点的第二位置。示例性的，如人脸图像的宽高分别为100和200，设其上人脸关键点的相似变换后的第一位置的坐标为(50，200)，则将其进行相对于人脸图像中心的归一化处理得到的第二位置的坐标为(0，1)。本实施例在获得各人脸关键点的相似变换后的第一位置后对其进行相对于人脸图像中心的归一化处理得到各人脸关键点的第二位置，提高后续主成分分析及应用的准确性和可靠性。

步骤S204，根据每张人脸图像上各人脸关键点的第二位置进行主成分分析，得到主成分集合。

本步骤可以根据进行上述归一化处理后获得的每张人脸图像上各人脸关键点的第二位置的坐标进行主成分分析(PCA，Principal Component Analysis)，得到主成分集合。其中，该主成分集合中包含多个主成分，不同主成分分别对应人脸的不同形态变化维度。本步骤中，若人脸关键点的总数为L，每个人脸关键点的第二位置表示为两个坐标值(x，y)，那么进行主成分分析得到的每个主成分是个2*L维的向量，提取出的主成分集合中主成分总数最多为2*L个，每个主成分分别对应人脸的不同形态变化维度，或称为每个主成分分别控制人脸不同的形态变化属性。对此，结合图5进行说明，如图5中示出了主成分集合中前五个主成分在给定不同系数(+0.5、-0.5)的时候，各人脸关键点的位置变化(整体体现为人脸的形态变化)，其中，第一主成分对应人脸的左右旋转这一形态变化维度，第二主成分对应人脸的仰头低头这一形态变化维度，第三主成分对应人脸的胖瘦这一形态变化维度等等，可见每一主成分可分别用于控制人脸不同的形态变化属性。

步骤S205，利用每张人脸图像上各人脸关键点的第二位置拟合主成分集合，得到每张人脸图像在各主成分对应的拟合系数。

本步骤可利用进行上述归一化处理后获得的每张人脸图像上各人脸关键点的第二位置的坐标去拟合步骤S204中获得的主成分集合，得到人脸图像数据集中每张人脸图像在各主成分对应的拟合系数。具体实现中，可通过标准的PCA过程利用一人脸图像上各人脸关键点的第二位置的坐标拟合主成分集合得到该张人脸图像在主成分集合的各主成分分别对应的拟合系数。其中，记人脸图像数据集中人脸图像的总数为N，步骤S204中获得的主成分集合中主成分数量为P，则可以拟合得到PCA系数矩阵，PCA系数矩阵的矩阵维度为NxP(N行P列)，PCA系数矩阵中的矩阵元素为相应主成分对应的拟合系数。

步骤S206，根据每张人脸图像在各主成分对应的拟合系数，分析人脸图像数据集在一个或多个形态变化维度的分布情况。

具体的，在获得人脸图像数据集中每张人脸图像在各主成分对应的拟合系数后，便可获知每张人脸图像在每一形态变化维度对应的形态变化程度，该形态变化程度可由相应主成分对应的拟合系数的大小表征，服务器120可对人脸图像数据集在一个或多个主成分上的拟合系数进行统计，分析人脸图像数据集在一个或多个形态变化维度的分布情况，如可以分析该人脸图像数据集是否在各形态变化维度都存在丰富且均衡的变化等。

本实施例的人脸图像数据集分析方法，对数据集中每张人脸图像上各人脸关键点的第一位置求平均获得平均位置，进而根据平均位置进行相似变换获得每张人脸图像上各人脸关键点的第二位置，根据该些人脸关键点的第二位置提取主成分集合，主成分集合中不同主成分分别对应人脸的不同形态变化维度，由此利用每张人脸图像上各人脸关键点的第二位置去拟合主成分集合得到每张人脸图像在各主成分对应的拟合系数，该相应主成分对应的拟合系数可作为量化信息以反映每张人脸图像在该主成分对应的形态变化维度的形态变化程度，故综合数据集中每张人脸图像对应的拟合系数便可精确分析得到人脸图像数据集在一个或多个形态变化维度的分布情况，兼顾对人脸图像数据集分析的准确性及效率，进而有利于提高检测人脸关键点的精度及处理人脸图像的效果。

在其中一些实施例中，如图6所示，上述步骤S206中的根据每张人脸图像在各主成分对应的拟合系数，分析人脸图像数据集在一个或多个形态变化维度的分布情况，可以包括：

步骤S601，对于各主成分中目标主成分，根据每张人脸图像在目标主成分对应的拟合系数，确定拟合系数落入目标主成分对应的第一拟合系数范围的第一人脸图像数量和落入目标主成分对应的第二拟合系数范围的第二人脸图像数量。

本步骤中，可以从主成分集合包含的多个主成分中选择一个主成分作为目标主成分，不失一般性，以选择如图5中所示的第一主成分作为目标主成分为例进行说明，该目标主成分对应人脸的左右旋转这一形态变化维度。对于该第一主成分，可以设置第一拟合系数范围和第二拟合系数范围，并统计人脸图像数据集所包含的所有人脸图像中落入该第一拟合系数范围和第二拟合系数范围的人脸图像数量，其中，拟合系数落入第一拟合系数范围的人脸图像数量记为第一人脸图像数量，落入第二拟合系数范围的人脸图像数量记为第二人脸图像数量。

在实际应用中，第一拟合系数范围和第二拟合系数范围可基于对一形态变化维度的均衡性等分析需求来设置，结合图5的第一主成分，可定义系数(拟合系数)大于+0.5表示人脸右转，系数(拟合系数)小于-0.5表示人脸左转，那么如果需要分析人脸图像数据集在右转和左转上的均衡性，则可以设置第一拟合系数范围为大于第一系数阈值(+0.5)，设置第二拟合系数范围为小于第二系数阈值(-0.5)。

基于此，在其中一个实施例中，步骤S601中的根据每张人脸图像在目标主成分对应的拟合系数，确定拟合系数落入目标主成分对应的第一拟合系数范围的第一人脸图像数量和落入目标主成分对应的第二拟合系数范围的第二人脸图像数量，具体可以包括：

针对每张人脸图像，将在目标主成分对应的拟合系数大于第一系数阈值的人脸图像计入第一人脸图像数量，将在目标主成分对应的拟合系数小于第二系数阈值的人脸图像计入第二人脸图像数量。

也即，针对每张人脸图像，将在第一主成分对应的拟合系数大于+0.5的人脸图像计入第一人脸图像数量，将在第一主成分对应的拟合系数小于-0.5的人脸图像计入第二人脸图像数量，由此完成对第一人脸图像数量和第二人脸图像数量的统计，可用于分析人脸图像数据集中人脸右转的图像数量与人脸左转的图像数量。

步骤S602，根据第一人脸图像数量和第二人脸图像数量，分析人脸图像数据集在目标主成分对应的形态变化维度的分布情况。

本步骤中，可以根据第一人脸图像数量和第二人脸图像数量分析人脸图像数据集在如左右旋转这一形态变化维度的分布情况，例如可以根据第一人脸图像数量和第二人脸图像数量的相对大小，分析人脸图像数据集在左右旋转这一形态变化维度是否均衡分布。

本实施例的方案可供用户根据分析需求灵活设置相应的拟合系数范围以分析人脸图像数据集在相应形态变化维度上的分布情况。

进一步的，在一些实施例中，步骤S602可以包括：

根据第一人脸图像数量、第二人脸图像数量以及人脸图像数据集的人脸图像总数，得到第一人脸图像数量占比和第二人脸图像数量占比；根据第一人脸图像数量占比和第二人脸图像数量占比，确定人脸图像数据集在目标主成分对应的形态变化维度的均衡分析结果。

本实施例中，根据第一人脸图像数量以及人脸图像数据集的人脸图像总数可以得到第一人脸图像数量占比，根据第二人脸图像数量以及人脸图像数据集的人脸图像总数可以得到第二人脸图像数量占比，根据第一人脸图像数量占比和第二人脸图像数量占比的相对大小可以确定人脸图像数据集在目标主成分对应的形态变化维度上的均衡分析结果。具体的，可以统计如图5所示的第一主成分中，拟合系数大于+0.5的第一人脸图像数量占比和小于-0.5的第二人脸图像数量占比，若第一人脸图像数量占比与第二人脸图像数量占比的差值大于设定的差值阈值，则说明人脸图像数据集中人脸右转的图像明显多于人脸左转的图像，可确定人脸图像数据集在左右旋转这一形态变化维度的均衡分析结果为分布不均衡；若第一人脸图像数量占比与第二人脸图像数量占比的差值小于设定的差值阈值，则可确定人脸图像数据集在左右旋转这一形态变化维度的均衡分析结果为分布均衡。由此，本实施例的方案可基于对第一、第二人脸图像数量占比的对比，分析获得人脸图像数据集在目标主成分对应的形态变化维度的均衡分析结果。

进一步的，在一些实施例中，在确定人脸图像数据集在目标主成分对应的形态变化维度的均衡分析结果后，还可以包括以下步骤：

若均衡分析结果为分布均衡，则将该分布均衡的人脸图像数据集应用于训练人脸关键点检测模型；若均衡分析结果为分布不均衡，则获取调整后的人脸图像数据集并对调整后的人脸图像数据集进行分析，直至均衡分析结果为分布均衡。

本实施例主要是根据均衡分析结果，将人脸图像数据集应用于训练人脸关键点检测模型或者指引相关用户重新调整人脸图像数据集以构建更高质量的人脸图像数据集。具体的，对于均衡分析结果为分布均衡的人脸图像数据集，服务器120可将其应用于训练人脸关键点检测模型，提高人脸关键点检测模型的训练效果使之对人脸关键点具有更高的定位精度。对于均衡分析结果为分布不均衡，如需要减少人脸图像数据集中右转图像的数量或者增加左转图像的数量，则指引相关用户做出相应调整，然后获取调整后的人脸图像数据集对调整后的人脸图像数据集进行分析，直至其均衡分析结果为分布均衡以构建出质量满足需求的人脸图像数据集用于训练人脸关键点检测模型。

在一个实施例中，如图7所示，提供了一种网络直播的人脸图像处理方法，该方法可以应用于如图1所示的终端110或者服务器120，该方法包括以下步骤：

步骤S701，获取网络直播中待处理的人脸图像。

步骤S702，通过经训练的人脸关键点检测模型检测得到待处理的人脸图像上各人脸关键点。

步骤S703，基于待处理的人脸图像上各人脸关键点，对待处理的人脸图像施加特效。

具体的，对于步骤S702中的经训练的人脸关键点检测模型利用经分析的人脸图像数据集训练得到，该经分析的人脸图像数据集根据如上任一实施例所述的人脸图像数据集的分析方法分析确定的。例如，一人脸图像数据集经该分析方法分析其在一个或多个形态变化维度的分布情况满足设定的分布需求如分布均衡，则将该人脸图像数据集作为经分析的人脸图像数据集，然后利用该经分析的人脸图像数据集训练人脸关键点检测模型，得到经训练的人脸关键点检测模型，提高人脸关键点检测模型对人脸关键点检测模型的定位精度。

以本实施例提供的方法应用于如图1所示的终端110进行说明，其中，人脸图像数据集的分析以及人脸关键点检测模型的训练可在服务器120进行，服务器120获得经训练的人脸关键点检测模型后可发送至终端110。在网络直播中，终端110可获取主播的人脸图像作为待处理的人脸图像，然后通过经训练的人脸关键点检测模型检测得到该待处理的人脸图像上各人脸关键点，基于待处理的人脸图像上各人脸关键点，对待处理的人脸图像施加如美颜、美妆等特效，可将施加特效后的人脸图像呈现至主播和观众。

以本实施例提供的方法应用于如图1所示的服务器120进行说明。在网络直播中，终端110可获取主播的人脸图像并发送至服务器120，服务器120将接收的主播的人脸图像作为待处理的人脸图像，然后通过经训练的人脸关键点检测模型检测得到该待处理的人脸图像上各人脸关键点，并基于此施加如美颜、美妆等特效得到施加特效后的人脸图像，该施加特效后的人脸图像也可呈现至主播和观众。

本实施例的方法，可将经如上所述的人脸图像数据集的分析方法分析的人脸图像数据集应用于网络直播业务的美颜、美妆等特效技术场景中，提高网络直播中对人脸图像的特效处理效果。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的人脸图像数据集的分析方法的人脸图像数据集的分析装置、用于实现上述所涉及的网络直播的人脸图像处理方法的网络直播的人脸图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个装置实施例中的具体限定可以参见上文中对于方法的限定，在此不再赘述。

在一个实施例中，如图8所示，提供了一种网络直播的人脸图像处理装置，该装置800包括：

数据集获取模块801，用于获取待分析的人脸图像数据集；所述人脸图像数据集包含对所述人脸图像数据集中每张人脸图像上各人脸关键点标注的第一位置；

平均位置获取模块802，用于根据所述每张人脸图像上各人脸关键点的第一位置，得到各人脸关键点的平均位置；

相似变换模块803，用于基于所述各人脸关键点的平均位置对所述每张人脸图像上各人脸关键点的第一位置进行相似变换，得到所述每张人脸图像上各人脸关键点的第二位置；

主成分分析模块804，用于根据所述每张人脸图像上各人脸关键点的第二位置进行主成分分析，得到主成分集合；所述主成分集合中不同主成分分别对应人脸的不同形态变化维度；

系数拟合模块805，用于利用所述每张人脸图像上各人脸关键点的第二位置拟合所述主成分集合，得到所述每张人脸图像在各主成分对应的拟合系数；

分布分析模块806，用于根据所述每张人脸图像在各主成分对应的拟合系数，分析所述人脸图像数据集在一个或多个形态变化维度的分布情况。

在一个实施例中，相似变换模块803，用于基于所述各人脸关键点的平均位置对所述每张人脸图像上各人脸关键点的第一位置进行相似变换，得到所述每张人脸图像上各人脸关键点的相似变换后的第一位置；对所述每张人脸图像上各人脸关键点的相似变换后的第一位置进行相对于人脸图像中心的归一化处理，得到所述每张人脸图像上各人脸关键点的第二位置。

在一个实施例中，分布分析模块806，用于对于所述各主成分中目标主成分，根据所述每张人脸图像在所述目标主成分对应的拟合系数，确定拟合系数落入所述目标主成分对应的第一拟合系数范围的第一人脸图像数量和落入所述目标主成分对应的第二拟合系数范围的第二人脸图像数量；根据所述第一人脸图像数量和第二人脸图像数量，分析所述人脸图像数据集在所述目标主成分对应的形态变化维度的分布情况。

在一个实施例中，分布分析模块806，用于针对所述每张人脸图像，将在所述目标主成分对应的拟合系数大于第一系数阈值的人脸图像计入所述第一人脸图像数量，将在所述目标主成分对应的拟合系数小于第二系数阈值的人脸图像计入所述第二人脸图像数量。

在一个实施例中，分布分析模块806，用于根据所述第一人脸图像数量、第二人脸图像数量以及所述人脸图像数据集的人脸图像总数，得到第一人脸图像数量占比和第二人脸图像数量占比；根据所述第一人脸图像数量占比和第二人脸图像数量占比，确定所述人脸图像数据集在所述目标主成分对应的形态变化维度的均衡分析结果。

在一个实施例中，分布分析模块806，还用于若所述均衡分析结果为分布均衡，则将该分布均衡的人脸图像数据集应用于训练人脸关键点检测模型；若所述均衡分析结果为分布不均衡，则获取调整后的人脸图像数据集并对所述调整后的人脸图像数据集进行分析，直至所述均衡分析结果为分布均衡。

在一个实施例中，如图9所示，提供了一种人脸图像数据集的分析装置，该装置900包括：

图像获取模块901，用于获取网络直播中待处理的人脸图像；

关键点检测模块902，用于通过经训练的人脸关键点检测模型检测得到所述待处理的人脸图像上各人脸关键点；其中，所述人脸关键点检测模型利用经分析的人脸图像数据集训练得到；所述经分析的人脸图像数据集根据如上任一实施例所述的方法分析确定；

图像处理模块903，用于基于所述待处理的人脸图像上各人脸关键点，对所述待处理的人脸图像施加特效。

上述人脸图像数据集的分析装置、网络直播的人脸图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图10所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的数据库用于存储人脸图像数据集等数据。该电子设备的网络接口用于与外部的设备通过网络连接通信。该计算机程序被处理器执行时以实现一种人脸图像数据集的分析方法或网络直播的人脸图像处理方法。

在一个实施例中，提供了一种电子设备，该电子设备可以是终端，其内部结构图可以如图11所示。该电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种人脸图像数据集的分析方法或网络直播的人脸图像处理方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图10和图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase ChangeMemory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random AccessMemory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(DynamicRandom Access Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (11)

1.一种人脸图像数据集的分析方法，其特征在于，所述方法包括：

获取待分析的人脸图像数据集；所述人脸图像数据集包含对所述人脸图像数据集中每张人脸图像上各人脸关键点标注的第一位置；

根据所述每张人脸图像上各人脸关键点的第一位置，得到各人脸关键点的平均位置；

基于所述各人脸关键点的平均位置对所述每张人脸图像上各人脸关键点的第一位置进行相似变换，得到所述每张人脸图像上各人脸关键点的第二位置；

根据所述每张人脸图像上各人脸关键点的第二位置进行主成分分析，得到主成分集合；所述主成分集合中不同主成分分别对应人脸的不同形态变化维度；

利用所述每张人脸图像上各人脸关键点的第二位置拟合所述主成分集合，得到所述每张人脸图像在各主成分对应的拟合系数；

根据所述每张人脸图像在各主成分对应的拟合系数，分析所述人脸图像数据集在一个或多个形态变化维度的分布情况。

2.根据权利要求1所述的方法，其特征在于，所述基于所述各人脸关键点的平均位置对所述每张人脸图像上各人脸关键点的第一位置进行相似变换，得到所述每张人脸图像上各人脸关键点的第二位置，包括：

基于所述各人脸关键点的平均位置对所述每张人脸图像上各人脸关键点的第一位置进行相似变换，得到所述每张人脸图像上各人脸关键点的相似变换后的第一位置；

对所述每张人脸图像上各人脸关键点的相似变换后的第一位置进行相对于人脸图像中心的归一化处理，得到所述每张人脸图像上各人脸关键点的第二位置。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述每张人脸图像在各主成分对应的拟合系数，分析所述人脸图像数据集在一个或多个形态变化维度的分布情况，包括：

对于所述各主成分中目标主成分，根据所述每张人脸图像在所述目标主成分对应的拟合系数，确定拟合系数落入所述目标主成分对应的第一拟合系数范围的第一人脸图像数量和落入所述目标主成分对应的第二拟合系数范围的第二人脸图像数量；

根据所述第一人脸图像数量和第二人脸图像数量，分析所述人脸图像数据集在所述目标主成分对应的形态变化维度的分布情况。

4.根据权利要求3所述的方法，其特征在于，所述根据所述每张人脸图像在所述目标主成分对应的拟合系数，确定拟合系数落入所述目标主成分对应的第一拟合系数范围的第一人脸图像数量和落入所述目标主成分对应的第二拟合系数范围的第二人脸图像数量，包括：

针对所述每张人脸图像，将在所述目标主成分对应的拟合系数大于第一系数阈值的人脸图像计入所述第一人脸图像数量，将在所述目标主成分对应的拟合系数小于第二系数阈值的人脸图像计入所述第二人脸图像数量。

5.根据权利要求3所述的方法，其特征在于，所述根据所述第一人脸图像数量和第二人脸图像数量，分析所述人脸图像数据集在所述目标主成分对应的形态变化维度的分布情况，包括：

根据所述第一人脸图像数量、第二人脸图像数量以及所述人脸图像数据集的人脸图像总数，得到第一人脸图像数量占比和第二人脸图像数量占比；

根据所述第一人脸图像数量占比和第二人脸图像数量占比，确定所述人脸图像数据集在所述目标主成分对应的形态变化维度的均衡分析结果。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

若所述均衡分析结果为分布均衡，则将该分布均衡的人脸图像数据集应用于训练人脸关键点检测模型；

若所述均衡分析结果为分布不均衡，则获取调整后的人脸图像数据集并对所述调整后的人脸图像数据集进行分析，直至所述均衡分析结果为分布均衡。

7.一种网络直播的人脸图像处理方法，其特征在于，所述方法包括：

获取网络直播中待处理的人脸图像；

通过经训练的人脸关键点检测模型检测得到所述待处理的人脸图像上各人脸关键点；所述人脸关键点检测模型利用经分析的人脸图像数据集训练得到；所述经分析的人脸图像数据集根据权利要求1至6任一项所述的方法分析确定；

基于所述待处理的人脸图像上各人脸关键点，对所述待处理的人脸图像施加特效。

8.一种人脸图像数据集的分析装置，其特征在于，所述装置包括：

数据集获取模块，用于获取待分析的人脸图像数据集；所述人脸图像数据集包含对所述人脸图像数据集中每张人脸图像上各人脸关键点标注的第一位置；

平均位置获取模块，用于根据所述每张人脸图像上各人脸关键点的第一位置，得到各人脸关键点的平均位置；

相似变换模块，用于基于所述各人脸关键点的平均位置对所述每张人脸图像上各人脸关键点的第一位置进行相似变换，得到所述每张人脸图像上各人脸关键点的第二位置；

主成分分析模块，用于根据所述每张人脸图像上各人脸关键点的第二位置进行主成分分析，得到主成分集合；所述主成分集合中不同主成分分别对应人脸的不同形态变化维度；

系数拟合模块，用于利用所述每张人脸图像上各人脸关键点的第二位置拟合所述主成分集合，得到所述每张人脸图像在各主成分对应的拟合系数；

分布分析模块，用于根据所述每张人脸图像在各主成分对应的拟合系数，分析所述人脸图像数据集在一个或多个形态变化维度的分布情况。

9.一种网络直播的人脸图像处理装置，其特征在于，所述装置包括：

图像获取模块，用于获取网络直播中待处理的人脸图像；

关键点检测模块，用于通过经训练的人脸关键点检测模型检测得到所述待处理的人脸图像上各人脸关键点；其中，所述人脸关键点检测模型利用经分析的人脸图像数据集训练得到；所述经分析的人脸图像数据集根据权利要求1至6任一项所述的方法分析确定；

图像处理模块，用于基于所述待处理的人脸图像上各人脸关键点，对所述待处理的人脸图像施加特效。

10.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images