CN114550235B - 姿态角检测方法、系统、电子设备及存储介质 - Google Patents

Abstract

本申请涉及数据处理领域，公开一种姿态角检测方法、系统、电子设备及存储介质。姿态角检测方法包括：获取待检测的人脸图像；根据预设的姿态角检测模型对所述人脸图像进行处理，获取所述人脸图像的特征向量，其中，所述姿态角检测模型通过先根据第一训练数据集和预设的采用第二预训练模型辅助训练的第一训练阶段对第一预训练模型进行训练生成第一训练模型，后根据第二训练数据集和第三训练数据集和预设的采用所述第二预训练模型辅助训练的第二训练阶段对所述第一训练模型进行训练生成所述姿态角检测模型的方法生成的；基于预设的偏转角计算函数和俯仰角计算函数，根据所述特征向量获取所述人脸图像的偏转角和俯仰角。

Description

姿态角检测方法、系统、电子设备及存储介质

技术领域

本申请实施例涉及数据处理领域，特别涉及一种姿态角检测方法、系统、电子设备及存储介质。

背景技术

人脸在图像中的姿态角是影响人脸图像质量的主要因素之一，在日趋成熟的基于深度学习图像处理的人脸识别技术应用中，通常需要将输入中的大姿态人脸图像过滤，以减少误识别、漏识别的事件发生。

检测人脸在二维图像中的姿态角有两种常用方法，一是基于人脸在二维图像中的关键点的相对位置关系估算姿态角，但是这种方法受不同人脸脸型影响大，难以给出准确结果；二是结合深度相机，利用拍摄的三维信息，参考标准人脸，估算人脸在二维图像中的姿态角，这种方法依赖深度相机和标准人脸，且实时计算依赖成本高昂的高算力硬件；也有人利用深度学习技术计算二维图像人脸姿态角，然而人脸在二维图像中的姿态角是连续变化的，属于回归任务，在执行有监督训练时，人脸姿态角的标注是非常困难的，因为没有显著的特征可以参考。

发明内容

本申请实施例的目的在于提供一种姿态角检测方法、系统、电子设备及存储介质，使得姿态角检测方法不受人脸脸型限制，也不依赖于深度相机，从而提高姿态角检测方法的灵活性。

为解决上述技术问题，本申请的实施例提供了一种姿态角检测方法，包括：获取待检测的人脸图像；根据预设的姿态角检测模型对所述人脸图像进行处理，获取所述人脸图像的特征向量，其中，所述姿态角检测模型通过先根据第一训练数据集和预设的采用第二预训练模型辅助训练的第一训练阶段对第一预训练模型进行训练生成第一训练模型，后根据第二训练数据集和第三训练数据集和预设的采用所述第二预训练模型辅助训练的第二训练阶段对所述第一训练模型进行训练生成所述姿态角检测模型的方法生成的，所述第一训练数据集和所述第三训练数据集为无标注训练数据集，所述第二训练数据集为有标注训练数据集；基于预设的偏转角计算函数和俯仰角计算函数，根据所述特征向量获取所述人脸图像的偏转角和俯仰角。

本申请的实施例还提供了一种姿态角检测系统，包括：第一获取模块、第二获取模块和第三获取模块；所述第一获取模块，用于获取待检测的人脸图像；所述第二获取模块，用于根据预设的姿态角检测模型对所述人脸图像进行处理，获取所述人脸图像的特征向量，其中，所述姿态角检测模型通过先根据第一训练数据集和预设的采用第二预训练模型辅助训练的第一训练阶段对第一预训练模型进行训练生成第一训练模型，后根据第二训练数据集和第三训练数据集和预设的采用所述第二预训练模型辅助训练的第二训练阶段对所述第一训练模型进行训练生成所述姿态角检测模型的方法生成的，所述第一训练数据集和所述第三训练数据集为无标注训练数据集，所述第二训练数据集为有标注训练数据集；所述第三获取模块，用于基于预设的偏转角计算函数和俯仰角计算函数，根据所述特征向量获取所述人脸图像的偏转角和俯仰角。

本申请的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述姿态角检测方法。

本申请的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述姿态角检测方法。

本申请实施例中，在姿态角检测过程中，获取待检测的人脸图像；根据预设的姿态角检测模型对所述人脸图像进行处理，获取所述人脸图像的特征向量，其中，所述姿态角检测模型通过先根据第一训练数据集和预设的采用第二预训练模型辅助训练的第一训练阶段对第一预训练模型进行训练生成第一训练模型，后根据第二训练数据集和第三训练数据集和预设的采用所述第二预训练模型辅助训练的第二训练阶段对所述第一训练模型进行训练生成所述姿态角检测模型的方法生成的，所述第一训练数据集和所述第三训练数据集为无标注训练数据集，所述第二训练数据集为有标注训练数据集；基于预设的偏转角计算函数和俯仰角计算函数，根据所述特征向量获取所述人脸图像的偏转角和俯仰角。使得本申请所采用的姿态角检测模型是通过无标注训练数据集和有标注训练数据集对模型进行弱监督训练，且训练过程不依赖于关键点的位置，使得训练完毕的姿态角检测模型不受人脸脸型限制，也不依赖深度相机；从而使得本申请能够在不收脸型和深度相机的限制下实时检测出人脸在二维图像中的姿态角。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。

图1是本申请实施例提供的姿态角检测方法的流程图；

图2是本申请实施例提供的姿态角检测方法中第一训练阶段的流程图；

图3是本申请实施例提供的姿态角检测方法中第二训练阶段的流程图；

图4是本申请实施例提供的姿态角检测方法中获取偏转角计算函数和俯仰角计算函数的流程图；

图5是本申请实施例提供的姿态角检测系统的结构示意图；

图6是本申请实施例提供的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

本申请的实施例涉及一种姿态角检测方法，如图1所示，具体包括以下步骤。

步骤101，获取待检测的人脸图像。

在一示例实施中，待检测的人脸图像的获取方式不受限制，可以是采用拍摄装置拍摄获取的，也可以是通过互联网等方式获取的。人脸图像的类型也不受限制，可以是红外图像、灰度图、RGB图像或者深度图等等。

步骤102，根据预设的姿态角检测模型对人脸图像进行处理，获取人脸图像的特征向量，其中，姿态角检测模型通过先根据第一训练数据集和预设的采用第二预训练模型辅助训练的第一训练阶段对第一预训练模型进行训练生成第一训练模型，后根据第二训练数据集和第三训练数据集和预设的采用第二预训练模型辅助训练的第二训练阶段对第一训练模型进行训练所述姿态角检测模型的方法生成的。

在一示例实施中，姿态角检测模型需要经过第一训练阶段和第二训练阶段两个训练阶段才能够生成，在第一训练阶段中，将无标注的第一训练数据集输入到第一预训练模型中进行处理，生成第一输出向量；对第一输出向量进行采样处理之后输入第二预训练模型中进行处理，生成第二输出向量；之后基于预设第一损失函数和预设第一优化函数，根据第一输出向量、第二输出向量和第二预训练模型的输入对第一预训练模型进行训练，生成第一训练模型；在第二训练阶段中，将有标注的第二训练数据集输入到第一训练模型中，生成第三输出向量，并根据第三输出向量生成第一向量值和第二向量值；将无标注的第三训练数据集输入到第一训练模型中进行处理，生成第四输出向量；对第四输出向量进行采样处理之后输入第二预训练模型中进行处理，生成第五输出向量；基于预设第二损失函数和预设第二优化函数，根据第一向量值、第二向量值、第二预训练模型的输入、第四输出向量和第五输出向量对第一训练模型进行训练，生成姿态角检测模型。

在一示例实施中，将待检测的人脸图像输入到姿态角检测模型进行处理，处理之后便可以获取到人脸图像的特征向量mu_n；此处需要注意的是：通常情况下，姿态角检测模型还会输出人脸图像的另一特征向量var_n，此处对另一特征向量var_n忽略不计，只关注特征向量mu_n即可。

在一示例实施中，在生成姿态角检测模型时，同时还会获取到改姿态角检测模型对应的偏转角计算函数、俯仰角计算函数、第一向量值和第二向量值。

步骤103，基于预设的偏转角计算函数和俯仰角计算函数，根据特征向量获取人脸图像的偏转角和俯仰角。

在一示例实施中，在人脸图像的特征向量mu_n获取到之后，选取人脸图像的特征向量mu_n中n等于第一向量值ny时的特征向量mu_ny，之后结合特征向量mu_ny和偏转角计算函数A_yaw计算人脸图像的偏转角；选取人脸图像的特征向量mu_n中n等于第二向量值np时的特征向量mu_np，之后结合特征向量mu_np和俯仰角计算函数A_pitch计算人脸图像的俯仰角，其中，偏转角yaw＝A_yaw(mu_ny)，俯仰角pitch＝A_pitch(mu_np)。

本实施例，在姿态角检测过程中，获取待检测的人脸图像；根据预设的姿态角检测模型对所述人脸图像进行处理，获取所述人脸图像的特征向量，其中，所述姿态角检测模型通过先根据第一训练数据集和预设的采用第二预训练模型辅助训练的第一训练阶段对第一预训练模型进行训练生成第一训练模型，后根据第二训练数据集和第三训练数据集和预设的采用所述第二预训练模型辅助训练的第二训练阶段对所述第一训练模型进行训练生成所述姿态角检测模型的方法生成的，所述第一训练数据集和所述第三训练数据集为无标注训练数据集，所述第二训练数据集为有标注训练数据集；基于预设的偏转角计算函数和俯仰角计算函数，根据所述特征向量获取所述人脸图像的偏转角和俯仰角。使得本申请所采用的姿态角检测模型是通过无标注训练数据集和有标注训练数据集对模型进行弱监督训练，且训练过程不依赖于关键点的位置，使得训练完毕的姿态角检测模型不受人脸脸型限制，也不依赖深度相机；从而使得本申请能够在不收脸型和深度相机的限制下实时检测出人脸在二维图像中的姿态角。

本申请的实施例涉及一种姿态角检测方法中的第一训练阶段的训练方法，如图2所示，具体包括以下步骤。

步骤201，将第一训练数据集输入到第一预训练模型中进行处理，生成第一输出向量。

在一示例实施中，第一训练数据集中为不同姿态角的人脸图像，不同姿态角的人脸图像的个数为B，每一张人脸图像可记为X⁽ⁱ⁾，i＝1，2，3…，B，B为超参数，可以根据经验设定，如设定B为64，其中，第一训练数据集为无标注训练数据集，无标注是指各人脸图像上并未标注姿态角。

在一示例实施中，第一预训练模型和第二预训练模型为结构不同、网络参数不同的深度学习卷积网络，将第一预训练模型记为E，第二预训练模型记为G；将第一训练数据集中各张人脸图像X⁽ⁱ⁾输入到第一预训练模型E中进行处理，第一预训练模型E输出的第一输出向量为包含第一特征向量MU_n ⁽ⁱ⁾和第二特征向量VAR_n ⁽ⁱ⁾的2个N维特征向量。

步骤202，对第一输出向量进行采样处理之后输入第二预训练模型中进行处理，生成第二输出向量。

在一示例实施中，在获取到第一输出向量之后，对第一输出向量中的第一特征向量MU_n ⁽ⁱ⁾和第二特征向量VAR_n ⁽ⁱ⁾进行标准正态分布采样，生成采样特征向量S_n ⁽ⁱ⁾；之后根据公式

采样处理的输出Z_n ⁽ⁱ⁾，并将采样处理的输出Z_n ⁽ⁱ⁾作为第二预训练模型G的输入，其中，

为逐纬度加法，

为逐纬度乘法。

在一示例实施中，将采用处理的输出Z_n ⁽ⁱ⁾输入到第二预训练模型G中，由第二预训练模型G进行处理，生成第二预训练模型G输出的第二输出向量DX⁽ⁱ⁾为图像形状的张量。

步骤203，基于预设第一损失函数和预设第一优化函数，根据第一输出向量、第二输出向量和第二预训练模型的输入对第一预训练模型和第二预训练模型进行训练，生成第一训练模型和第二训练模型。

在一示例实施中，在第一预训练模型E和第二预训练模型G在获取到各自对应的输出向量之后，便可以根据各自对应的输出向量对第一预训练模型E和第二预训练模型G进行训练，在对模型的训练过程中，首先需要根据第一输出向量(第一特征向量MU_n ⁽ⁱ⁾和第二特征向量VAR_n ⁽ⁱ⁾和第二输出向量DX⁽ⁱ⁾计算出第一预训练模型E的损失值loss⁽ⁱ⁾，loss⁽ⁱ⁾的计算公式如下：

其中，mse(A，B)为A和B的均方误差，KL(A||B)为A和B的Kullback-Leibler散度，p(Z_n ⁽ⁱ⁾)为的Z_n ⁽ⁱ⁾概率密度函数，α和β为大于0的超参数，N为大于2的超参数，依据经验来设定，n＝1，2，3，…，N。

在一示例实施中，在获取到第一预训练模型E的损失值loss⁽ⁱ⁾之后；需要根据第一预训练模型E的第一优化函数来对第一预训练模型E进行参数优化，生成第一训练模型；其中，第一优化函数的表达式为：

在一示例实施中，第二预训练模型的优化函数等同于第一预训练模型的第一优化函数，还可以根据损失值loss⁽ⁱ⁾和第一优化函数对第二预训练模型进行训练，生成第二训练模型；获取到第一训练模型和第二训练模型之后，还需要判断第一训练模型和第二训练模型是否收敛，若第一训练模型和第二训练模型未收敛，则还需对第一训练模型和第二训练模型进行训练，直至第一训练模型和第二训练模型达到收敛；若第一训练模型和第二训练模型收敛，则进行第二训练阶段。

本实施例，在其他实施例的基础还可以采用无标注训练数据集和第二预训练模型辅助训练的方法对第一预训练模型进行无监督训练，使得所生成的检测模型不依赖于深度相机和不受人脸脸型限制。

本申请的实施例涉及一种姿态角检测方法中的第二训练阶段的训练方法，如图3所示，具体包括以下步骤。

步骤301，将第二训练数据集输入到第一训练模型中，生成第三输出向量，并根据第三输出向量生成第一向量值和第二向量值。

在一示例实施中，第二训练数据集包括同俯仰角不同偏转角数据集和同偏转角不同俯仰角数据集，第三输出向量包括偏转角特征向量和俯仰角特征向量；其中，同俯仰角不同偏转角数据集中的各人脸图像是取在同一个场景下，来自同一个人的相同俯仰角，不同偏转角的人脸图像K张，K为大于0的超参数，依据经验设定，例如K设定为256；同偏转角不同俯仰角数据集，第三输出向量包括偏转角特征向量和俯仰角特征向量；其中，同偏转角不同俯仰角数据集中的各人脸图像是取在同一个场景下，来自同一个人的相同偏转角，不同俯仰角的人脸图像K张，K为大于0的超参数，依据经验设定，例如K设定为256，其中，第二训练数据集为有标注训练数据集，有标注是指各人脸图像上并标注有姿态角。

在一示例实施中，将同俯仰角不同偏转角数据集输入到第一训练模型中，生成偏转角特征向量ymu_n ^(k)，k＝1，2，3，…，K，还会生成方差特征向量yvar_n ^(k)，但在生成第一向量值的过程中，并不需要关注所生成的方差特征向量yvar_n ^(k)；将同偏转角不同俯仰角数据集输入到第一训练模型中，生成俯仰角特征向量pmu_n ^(k)，k＝1，2，3，…，K，还会生成方差特征向量pvar_n ^(k)，但在生成第二向量值的过程中，并不需要关注所生成的方差特征向量pvar_n ^(k)。根据向量值函数

根据偏转角特征向量生成第一向量值；根据向量值函数

根据俯仰角特征向量生成第二向量值；其中，ny为第一向量值，np为第二向量值，其中，

为*的k纬度方向的方差，

为*向量最大值对应的脚标，K为大于0的超参数。

步骤302，将第三训练数据集输入到第一训练模型中进行处理，生成第四输出向量。

在一示例实施中，第三训练数据集中为不同姿态角的人脸图像，不同姿态角的人脸图像的个数为B，每一张人脸图像可记为x⁽ⁱ⁾，i＝1，2，3…，B，B为超参数，可以根据经验设定，如设定B为64；其中，第三训练数据集为无标注训练数据集，无标注是指各人脸图像上并未标注姿态角。

步骤303，对第四输出向量进行采样处理之后输入第二预训练模型中进行处理，生成第五输出向量。

在一示例实施中，第一训练模型生成的第四输出向量、第四输出向量的采样处理以及第二训练模型对采样处理之后的第四输出向量的处理过程与本申请步骤202提及的方法大致相同，此处不一一赘述。

在一示例实施中，若在第一训练阶段中，有根据第一优化函数和损失值对第二预训练模型进行训练生成第二训练模型，则本实施例提及的第二预训练模型可以为经历第一训练阶段训练后生成的第二训练模型。

步骤304，基于预设第二损失函数和预设第二优化函数，根据第一向量值、第二向量值、第二预训练模型的输入、第四输出向量和第五输出向量对第一训练模型进行训练，生成姿态角检测模型。

在一示例实施中，第二损失函数包含第一损失项和第二损失项；在对第一训练模型训练的过程中，首先基于第一损失项，根据第二预训练模型的输入z_n ⁽ⁱ⁾、第四输出向量mu_n ⁽ⁱ⁾和var_n ⁽ⁱ⁾和第五输出向量dx⁽ⁱ⁾获取第一训练模型的第一损失值loss₁ ⁽ⁱ⁾；再基于第二损失项，根据第一向量值ny、第二向量值np和第四输出向量mu_n ⁽ⁱ⁾和var_n ⁽ⁱ⁾获取第一训练模型的第二损失值loss₂；之后再基于第二损失函数，根据第一损失值loss₁ ⁽ⁱ⁾和第二损失值loss₂获取第一训练模型的损失值loss；其中，第一损失项的表达式为：

第二损失项的表达式为：

第二损失函数的表达式为：

α、β、μ、τ和γ为大于0的超参数。

在一示例实施中，在获取到第一训练模型的损失值loss之后，基于第二优化函数，根据损失值loss对第一训练模型进行训练，生成姿态角检测模型，重复训练直至姿态角检测模型达到收敛；也可以基于第二优化函数，根据损失值loss对第二预训练模型或第二训练模型进行训练；第在姿态角检测模型收敛时，可以将该姿态角检测模型保存下来，而在保存姿态角检测模型时还需要将该姿态角检测模型对应的第一向量值ny和第二向量值np一同保存，以供后续使用。

本实施例，在其他实施例的基础还可以采用无标注训练数据集、有标注训练数据集和第二预训练模型辅助训练的方法对第一训练模型进行弱监督训练，使得所生成的检测模型不依赖于深度相机和不受人脸脸型限制。

本申请的实施例涉及一种姿态角检测方法中偏转角计算函数和俯仰角计算函数的获取方法，如图4所示，具体包括以下步骤。

步骤401，获取指定偏转角训练数据集和指定俯仰角训练数据集。

在一示例实施中，指定偏转角训练数据集中各人脸图像的偏转角分别为[-90，-90+step，-90+2*step，-90+3*step，…，90]度的人脸图像各H张，其中，H为超参数，可依据经验设置，例如取H＝32，step＝90/S，S为大于0的正整数超参数，可根据经验设置，例如取S＝1，选取人脸偏转角为*度是指根据选取实际应用需求定义的*角度，无特别需求定义的情况下，认为恰好能够正视人右侧脸为偏转角＝-90度，能够正视人脸正面为偏转角＝0度，能够正视人脸左侧脸为偏转角＝90度。

在一示例实施中，指定偏转角训练数据集中各人脸图像的俯仰角分别为[-90，-90+step，-90+2*step，-90+3*step，…，90]度的人脸图像各H张，其中，H为超参数，可依据经验设置，例如取H＝32，step＝90/S，S为大于0的正整数超参数，可根据经验设置，例如取S＝1，选取人脸偏转角为*度是指根据选取实际应用需求定义的*角度，无特别需求定义的情况下，认为恰好能够正视人鼻孔为俯仰角＝-90度，能够正视人脸正面为俯仰角＝0度，能够正视人脸头顶为俯仰角＝90度。

步骤402，分别将指定偏转角训练数据集和指定俯仰角训练数据集输入到姿态角检测模型中进行处理，生成指定偏转角特征向量和指定俯仰角特征向量。

在一示例实施中，将指定偏转角训练数据集输入到姿态角检测模型中进行处理，生成的指定偏转角特征向量为ymu_n ^(s，h)，其中，s＝1，2，3，…，2*S+1，其中h＝1，2，3，…，H。将指定俯仰角训练数据集输入到姿态角检测模型中进行处理，生成的指定俯仰角特征向量为pmu_n ^(s，h)其中，s＝1，2，3，…，2*S+1，其中h＝1，2，3，…，H；其中，将指定偏转角训练数据集输入到姿态角检测模型中进行处理，还会生成方差特征向量yvar_n ^(s，h)，但在生成偏转角计算函数的过程中，并不需要关注所生成的方差特征向量yvar_n ^(s，h)；将指定俯仰角训练数据集输入到姿态角检测模型中进行处理，还会生成方差特征向量pvar_n ^(s，h)，但在生成俯仰角计算函数的过程中，并不需要关注所生成的方差特征向量pvar_n ^(s，h)。

步骤403，基于预设点集构建方法，根据指定偏转角特征向量构建指定偏转角点集，并根据指定俯仰角特征向量构建指定俯仰角点集。

在一示例实施中，在构建指定偏转角点集和指定俯仰角点集时，首先需要根据姿态角检测模型对于的第一向量值ny和第二向量值np，从偏转角特征向量为ymu_n ^(s，h)中挑选出n的值为第一向量值ny偏转角特征向量ymu_ny ^(s，h)；从偏转角特征向量为pmu_n ^(s，h)中挑选出n的值为第二向量值np偏转角特征向量pmu_np ^(s，h)；之后再构建指定偏转角点集{(ymu_ny ^(s，h)，-90+step*s)}和构建指定偏转角点集{(pmu_np ^(s，h)，-90+step*s)}。

步骤404，将指定偏转角点集作为预设指定次数多项函数的输入，对指定次数多项函数进行最小二乘法拟合，生成偏转角计算函数。

在一示例实施中，指定次数多项函数的指定次数的选择与S的值相关，当S取值为1时，指定次数为2；当S取值为2时，指定次数为3；当S取值大于2时，指定次数为5。在指定次数多项函数确定好之后，将指定偏转角点集{(ymu_ny ^(s，h)，-90+step*s)}对指定次数多项函数进行最小二乘法拟合，生成偏转角计算函数A_yaw。

步骤405，将指定俯仰角点集作为指定次数多项函数的输入，对指定次数多项函数进行最小二乘法拟合，生成俯仰角计算函数。

在一示例实施中，指定次数多项函数的指定次数的选择与S的值相关，当S取值为1时，指定次数为2；当S取值为2时，指定次数为3；当S取值大于2时，指定次数为5。在指定次数多项函数确定好之后，将指定俯仰角点集{(pmu_np ^(s，h)，-90+step*s)}对指定次数多项函数进行最小二乘法拟合，生成俯仰角计算函数A_pitch。

在一示例实施中，在保存姿态角检测模型时，还需要将该姿态角检测模型对应的偏转角计算函数A_yaw和俯仰角计算函数A_pitch一同保存下来，以供后续使用。

本实施例，在其他实施例的基础上还可以利用指定偏转角训练数据集和指定俯仰角训练数据集，为所生成的姿态角检测模型进行偏转角计算函数和俯仰角计算函数的生成，每个姿态角检测模型都有其对应的偏转角计算函数和俯仰角计算函数，避免了由于偏转角计算函数和俯仰角计算函数的通用所导致的姿态角检测模型的准确度降低。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本申请的实施例涉及一种姿态角检测系统，其特征在于，下面对本实施例的姿态角检测系统的细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本例的必须，图5是本实施例的姿态角检测系统的示意图，包括：第一获取模块501、第二获取模块502和第三获取模块503；

第一获取模块501，用于获取待检测的人脸图像；

第二获取模块502，用于根据预设的姿态角检测模型对人脸图像进行处理，获取人脸图像的特征向量，其中，姿态角检测模型通过先根据第一训练数据集和预设的采用第二预训练模型辅助训练的第一训练阶段对第一预训练模型进行训练生成第一训练模型，后根据第二训练数据集和第三训练数据集和预设的采用第二预训练模型辅助训练的第二训练阶段对第一训练模型进行训练生成姿态角检测模型的方法生成的，第一训练数据集和第三训练数据集为无标注训练数据集，第二训练数据集为有标注训练数据集；

第三获取模块503，用于基于预设的偏转角计算函数和俯仰角计算函数，根据特征向量获取人脸图像的偏转角和俯仰角。

不难发现，本实施例为与上述方法实施例对应的系统实施例，本实施例可以与上述方法实施例互相配合实施。上述实施例中提到的相关技术细节和技术效果在本实施例中依然有效，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在上述实施例中。

本申请实施例涉及一种电子设备，如图6所示，包括：至少一个处理器601；以及，与所述至少一个处理器601通信连接的存储器602；其中，所述存储器602存储有可被所述至少一个处理器601执行的指令，所述指令被所述至少一个处理器601执行，以使所述至少一个处理器601能够执行上述各实施例中的姿态角检测方法。

其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。

处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。

本申请实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施例是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (8)

1.一种姿态角检测方法，其特征在于，所述方法包括：

获取待检测的人脸图像；

根据预设的姿态角检测模型对所述人脸图像进行处理，获取所述人脸图像的特征向量，其中，所述姿态角检测模型通过先根据第一训练数据集和预设的采用第二预训练模型辅助训练的第一训练阶段对第一预训练模型进行训练生成第一训练模型，后根据第二训练数据集和第三训练数据集和预设的采用所述第二预训练模型辅助训练的第二训练阶段对所述第一训练模型进行训练生成所述姿态角检测模型的方法生成的，所述第一训练数据集和所述第三训练数据集为无标注训练数据集，所述第二训练数据集为有标注训练数据集；

基于预设的偏转角计算函数和俯仰角计算函数，根据所述特征向量获取所述人脸图像的偏转角和俯仰角；

其中，所述根据第一训练数据集和预设的采用第二预训练模型辅助训练的第一训练阶段对第一预训练模型进行训练生成第一训练模型，包括：

将所述第一训练数据集输入到所述第一预训练模型中进行处理，生成第一输出向量；

对所述第一输出向量进行采样处理之后输入所述第二预训练模型中进行处理，生成第二输出向量；

基于预设第一损失函数和预设第一优化函数，根据所述第一输出向量、所述第二输出向量和所述第二预训练模型的输入对所述第一预训练模型进行训练，生成所述第一训练模型；

所述根据第二训练数据集、第三训练数据集和预设的采用所述第二预训练模型辅助训练的第二训练阶段对所述第一训练模型进行训练生成所述姿态角检测模型，包括：

将所述第二训练数据集输入到所述第一训练模型中，生成第三输出向量，并根据所述第三输出向量生成第一向量值和第二向量值；

将所述第三训练数据集输入到所述第一训练模型中进行处理，生成第四输出向量；

对所述第四输出向量进行所述采样处理之后输入所述第二预训练模型中进行处理，生成第五输出向量；

基于预设第二损失函数和预设第二优化函数，根据所述第一向量值、所述第二向量值、所述第二预训练模型的输入、所述第四输出向量和所述第五输出向量对所述第一训练模型进行训练，生成所述姿态角检测模型。

2.根据权利要求1所述的姿态角检测方法，其特征在于，所述基于预设第一损失函数和预设第一优化函数，根据所述第一输出向量、所述第二输出向量和所述第二预训练模型的输入对所述第一预训练模型进行训练，生成第一训练模型，包括：

基于所述第一损失函数，根据所述第一输出向量和所述第二输出向量获取所述第一预训练模型损失值；

基于所述第一优化函数，根据所述损失值对所述第一预训练模型进行训练，生成所述第一训练模型；

其中，所述第一损失函数的表达式为：

loss⁽ⁱ⁾为所述损失值,MU_n ⁽ⁱ⁾和VAR_n ⁽ⁱ⁾为所述第一输出向量，DX⁽ⁱ⁾为所述第二输出向量，X⁽ⁱ⁾为所述第一训练数据集中的第i个训练数据，Z_n ⁽ⁱ⁾为所述第二预训练模型的输入，p(Z_n ⁽ⁱ⁾)为的Z_n ⁽ⁱ⁾概率密度函数，mse(A，B)为A和B的均方误差，KL(A||B)为A和B的Kullback-Leibler散度，α和β为大于0的超参数，N为大于2的超参数，n＝1，2，3，…，N；

所述第一优化函数的表达式为：

3.根据权利要求1所述的姿态角检测方法，其特征在于，所述第二训练数据集包括同俯仰角不同偏转角数据集和同偏转角不同俯仰角数据集，所述第三输出向量包括偏转角特征向量和俯仰角特征向量；

所述将所述第二训练数据集输入到所述第一训练模型中，生成第三输出向量，并根据所述第三输出向量生成第一向量值和第二向量值，包括：

将所述同俯仰角不同偏转角数据集输入到所述第一训练模型中，生成所述偏转角特征向量；

将所述同偏转角不同俯仰角数据集输入到所述第一训练模型中，生成所述俯仰角特征向量；

基于预设向量值函数，根据所述偏转角特征向量生成所述第一向量值，并根据所述俯仰角特征向量生成所述第二向量值；

其中，所述向量值函数的表达式为：

或

ny为所述第一向量值，ymu_n ^(k)为所述偏转角特征向量，np为所述第二向量值，pmu_n ^(k)为所述俯仰角特征向量，其中，

为*的k纬度方向的方差，

为*向量最大值对应的脚标，K为大于0的超参数。

4.根据权利要求1所述的姿态角检测方法，其特征在于，所述第二损失函数包含第一损失项和第二损失项；

所述基于预设第二损失函数和预设第二优化函数，根据所述第一向量值、所述第二向量值、所述第二预训练模型的输入、所述第四输出向量和所述第五输出向量对所述第一训练模型进行训练，生成姿态角检测模型，包括：

基于所述第一损失项，根据所述第二预训练模型的输入、所述第四输出向量和所述第五输出向量获取所述第一训练模型的第一损失值；

基于所述第二损失项，根据所述第一向量值、所述第二向量值和所述第四输出向量和获取所述第一训练模型的第二损失值；

基于所述第二损失函数，根据所述第一损失值和所述第二损失值获取所述第一训练模型的损失值；

基于所述第二优化函数，根据所述损失值对所述第一训练模型进行训练，生成所述姿态角检测模型；

其中，所述第一损失项的表达式为：

所述第二损失项的表达式为：

所述第二损失函数的表达式为：

所述第二优化函数的表达式为：

loss₁ ⁽ⁱ⁾为所述第一损失值,mu_n ⁽ⁱ⁾和var_n ⁽ⁱ⁾为所述第四输出向量，z_n ⁽ⁱ⁾为所述第二预训练模型的输入，dx⁽ⁱ⁾为所述第五输出向量，x⁽ⁱ⁾为所述第三训练数据集中的第i个训练数据，p(z_n ⁽ⁱ⁾)为的z_n ⁽ⁱ⁾概率密度函数，mse(A，B)为A和B的均方误差，KL(A||B)为A和B的Kullback-Leibler散度，loss₂为所述第二损失值，

为求向量最大值对应的脚标，ny为所述第一向量值，np为所述第二向量值，loss为所述损失值，α、β、μ、τ和γ为大于0的超参数。

5.根据权利要求1至权利要求4中任一项所述的姿态角检测方法，其特征在于，所述方法还包括：

获取指定偏转角训练数据集和指定俯仰角训练数据集；

分别将所述指定偏转角训练数据集和所述指定俯仰角训练数据集输入到所述姿态角检测模型中进行处理，生成指定偏转角特征向量和指定俯仰角特征向量；

基于预设点集构建方法，根据所述指定偏转角特征向量构建指定偏转角点集，并根据所述指定俯仰角特征向量构建指定俯仰角点集；

将所述指定偏转角点集作为预设指定次数多项函数的输入，对所述指定次数多项函数进行最小二乘法拟合，生成所述偏转角计算函数；

将所述指定俯仰角点集作为所述指定次数多项函数的输入，对所述指定次数多项函数进行最小二乘法拟合，生成所述俯仰角计算函数。

6.一种姿态角检测系统，其特征在于，所述系统包括：第一获取模块、第二获取模块和第三获取模块；

所述第一获取模块，用于获取待检测的人脸图像；

所述第二获取模块，用于根据预设的姿态角检测模型对所述人脸图像进行处理，获取所述人脸图像的特征向量，其中，所述姿态角检测模型通过先根据第一训练数据集和预设的采用第二预训练模型辅助训练的第一训练阶段对第一预训练模型进行训练生成第一训练模型，后根据第二训练数据集和第三训练数据集和预设的采用所述第二预训练模型辅助训练的第二训练阶段对所述第一训练模型进行训练生成所述姿态角检测模型的方法生成的，所述第一训练数据集和所述第三训练数据集为无标注训练数据集，所述第二训练数据集为有标注训练数据集；

所述第三获取模块，用于基于预设的偏转角计算函数和俯仰角计算函数，根据所述特征向量获取所述人脸图像的偏转角和俯仰角；

其中，所述根据第一训练数据集和预设的采用第二预训练模型辅助训练的第一训练阶段对第一预训练模型进行训练生成第一训练模型，包括：

将所述第一训练数据集输入到所述第一预训练模型中进行处理，生成第一输出向量；

对所述第一输出向量进行采样处理之后输入所述第二预训练模型中进行处理，生成第二输出向量；

基于预设第一损失函数和预设第一优化函数，根据所述第一输出向量、所述第二输出向量和所述第二预训练模型的输入对所述第一预训练模型进行训练，生成所述第一训练模型；

所述根据第二训练数据集、第三训练数据集和预设的采用所述第二预训练模型辅助训练的第二训练阶段对所述第一训练模型进行训练生成所述姿态角检测模型，包括：

将所述第二训练数据集输入到所述第一训练模型中，生成第三输出向量，并根据所述第三输出向量生成第一向量值和第二向量值；

将所述第三训练数据集输入到所述第一训练模型中进行处理，生成第四输出向量；

对所述第四输出向量进行所述采样处理之后输入所述第二预训练模型中进行处理，生成第五输出向量；

基于预设第二损失函数和预设第二优化函数，根据所述第一向量值、所述第二向量值、所述第二预训练模型的输入、所述第四输出向量和所述第五输出向量对所述第一训练模型进行训练，生成所述姿态角检测模型。

7.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中任一项所述的姿态角检测方法。

8.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的姿态角检测方法。

Images