CN112668480A - 头部姿态角检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了头部姿态角检测方法、装置、电子设备及存储介质，获取待检测图像中目标人员的人脸区域；利用预先训练的深度学习模型对人脸区域进行特征提取，得到人脸区域的全局特征及关键点热力图特征；利用深度学习模型将全局特征及关键点热力图特征进行拼接，得到姿态角预测特征；利用深度学习模型对姿态角预测特征进行分析，得到人脸区域对应的头部姿态角。在考虑了人脸关键点的基础上，还考虑了人脸的全局特征，能够提高关键点定位不准确时，头部姿态角的检测精度；在目标人员大幅度转头、低头等时关键点漂移的情况下，提升了头部姿态角的检测精度，并且适用于目标人员佩戴口罩的情况。

Description

头部姿态角检测方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及头部姿态角检测方法、装置、电子设备及存储介质。

背景技术

随着计算机视觉技术的发展，基于监控视频的智能交通成为可能。为了更好的监督和规范驾驶员的行为，减少因驾驶员注意力分散造成的交通意外，驾驶员监控受到越来越广泛的关注。驾驶员监控中一个核心的功能便是对驾驶员分心状态进行检测，即通过对驾驶员头部姿态角进行检测，进而确定驾驶员是否分心。

相关技术中，在对驾驶员的头部姿态角的进行检测时，首先利用计算机视觉技术对包含检测驾驶员人脸的图像进行人脸关键点检测，得到人脸关键点，然后利用预先得到的2D关键点到3D人脸模型，将2D的人脸关键点转换为3D的人脸模型，从而基于3D人脸模型得到驾驶员的头部姿态角。

但是使用上述方法，过于依赖关键点定位精度，例如，在大幅度转头、低头等动作时，关键点容易出现漂移，而关键点检测不准确会严重影响头部姿态角的检测精度，尤其是在驾驶员佩戴口罩时，会存在关键点检测准确度偏低甚至无法检测到关键点的情况，造成头部姿态角检测近乎失效。

发明内容

本申请实施例的目的在于提供一种头部姿态角检测方法、装置、电子设备及存储介质，以实现提高头部姿态角的检测精度。具体技术方案如下：

第一方面，本申请实施例提供了一种头部姿态角检测方法，所述方法包括：

获取待检测图像中目标人员的人脸区域；

利用预先训练的深度学习模型对所述人脸区域进行特征提取，得到所述人脸区域的全局特征及关键点热力图特征；

利用所述深度学习模型将所述全局特征及所述关键点热力图特征进行拼接，得到姿态角预测特征；

利用所述深度学习模型对所述姿态角预测特征进行分析，得到所述人脸区域对应的头部姿态角。

在一种可能的实施方式中，所述方法还包括：

根据所述目标人员的头部姿态角，计算当前帧图像采集时刻之前的第一预设时长内所述目标人员头部变化的最大角度；

在所述头部变化的最大角度大于预设变化角度阈值、且当前帧图像中所述目标人员的头部姿态角大于预设姿态角阈值的情况下，则判定当前帧图像中所述目标人员为分心状态。

在一种可能的实施方式中，所述方法还包括：

若在当前帧图像采集时刻之前的第二预设时长内，所述目标人员为分心状态的图像的百分比大于预设百分比阈值，则生成表示所述目标人员分心的报警信息。

在一种可能的实施方式中，所述利用预先训练的深度学习模型对所述人脸区域进行特征提取，得到所述人脸区域的全局特征及关键点热力图特征，包括：

利用预先训练的深度学习模型的主干卷积网络对所述人脸区域进行特征提取，得到中间层特征及全局特征；

利用预先训练的深度学习模型的关键点热力图卷积网络对所述全局特征进行上采样，得到上采样特征；

利用预先训练的深度学习模型的关键点热力图卷积网络对所述中间特征及所述上采样特征进行融合，得到多尺度融合特征；

利用预先训练的深度学习模型的关键点热力图卷积网络对所述多尺度融合特征进行分析，得到关键点热力图特征。

在一种可能的实施方式中，所述主干卷积网络包括十个卷积层，每两个卷积层为一组，前四组卷积层后面均设置一个池化层，共四个池化层；所述关键点热力图卷积网络包括反卷积层、特征拼接层、卷积层；

所述利用预先训练的深度学习模型的主干卷积网络对所述人脸区域进行特征提取，得到中间层特征及全局特征，包括：

利用预先训练的深度学习模型的主干卷积网络对所述人脸区域进行特征提取，从第四组卷积层后得到中间层特征，从第五组卷积层后全局特征；

所述利用预先训练的深度学习模型的关键点热力图卷积网络对所述全局特征进行上采样，得到上采样特征，包括：

利用所述关键点热力图卷积网络的反卷积层对所述全局特征进行上采样，得到上采样特征；

所述利用预先训练的深度学习模型的关键点热力图卷积网络对所述中间特征及所述上采样特征进行融合，得到多尺度融合特征，包括：

利用所述关键点热力图卷积网络的特征拼接层对所述中间特征及所述上采样特征进行融合，得到多尺度融合特征；

所述利用预先训练的深度学习模型的关键点热力图卷积网络对所述多尺度融合特征进行分析，得到关键点热力图特征，包括：

利用所述关键点热力图卷积网络的卷积层对所述多尺度融合特征进行分析，得到关键点热力图特征。

在一种可能的实施方式中，预先训练所述深度学习模型的步骤包括：

在样本人脸区域集中选取一样本人脸区域，其中，所述样本人脸区域标注有真值关键点热力图特征及真值头部姿态角；

将当前选取的样本人脸区域输入到深度学习模型中进行分析，得到预测关键点热力图特征及预测头部姿态角；

根据当前选取的样本人脸区域的预测关键点热力图特征、真值关键点热力图特征、预测头部姿态角及真值头部姿态角计算深度学习模型的损失；

根据深度学习模型的损失，调整深度学习模型的训练参数，返回执行步骤：在样本人脸区域集中选取一样本人脸区域，直至满足预设训练结束条件，得到训练好的深度学习模型。

第二方面，本申请实施例提供了一种头部姿态角检测装置，所述装置包括：

人脸区域获取模块，用于获取待检测图像中目标人员的人脸区域；

特征提取模块，用于利用预先训练的深度学习模型对所述人脸区域进行特征提取，得到所述人脸区域的全局特征及关键点热力图特征；

特征融合模块，用于利用所述深度学习模型将所述全局特征及所述关键点热力图特征进行拼接，得到姿态角预测特征；

头部姿态角预测模块，用于利用所述深度学习模型对所述姿态角预测特征进行分析，得到所述人脸区域对应的头部姿态角。

在一种可能的实施方式中，所述装置还包括：

最大角度计算模块，用于根据所述目标人员的头部姿态角，计算当前帧图像采集时刻之前的第一预设时长内所述目标人员头部变化的最大角度；

分心状态判断模块，用于在所述头部变化的最大角度大于预设变化角度阈值、且当前帧图像中所述目标人员的头部姿态角大于预设姿态角阈值的情况下，则判定当前帧图像中所述目标人员为分心状态。

在一种可能的实施方式中，所述装置还包括：

报警信息生成模块，用于若在当前帧图像采集时刻之前的第二预设时长内，所述目标人员为分心状态的图像的百分比大于预设百分比阈值，则生成表示所述目标人员分心的报警信息。

在一种可能的实施方式中，所述特征提取模块，具体用于：

利用预先训练的深度学习模型的主干卷积网络对所述人脸区域进行特征提取，得到中间层特征及全局特征；

利用预先训练的深度学习模型的关键点热力图卷积网络对所述全局特征进行上采样，得到上采样特征；

利用预先训练的深度学习模型的关键点热力图卷积网络对所述中间特征及所述上采样特征进行融合，得到多尺度融合特征；

利用预先训练的深度学习模型的关键点热力图卷积网络对所述多尺度融合特征进行分析，得到关键点热力图特征。

在一种可能的实施方式中，所述主干卷积网络包括十个卷积层，每两个卷积层为一组，前四组卷积层后面均设置一个池化层，共四个池化层；所述关键点热力图卷积网络包括反卷积层、特征拼接层、卷积层；

所述特征提取模块，具体用于：

利用预先训练的深度学习模型的主干卷积网络对所述人脸区域进行特征提取，从第四组卷积层后得到中间层特征，从第五组卷积层后全局特征；

利用所述关键点热力图卷积网络的反卷积层对所述全局特征进行上采样，得到上采样特征；

利用所述关键点热力图卷积网络的特征拼接层对所述中间特征及所述上采样特征进行融合，得到多尺度融合特征；

利用所述关键点热力图卷积网络的卷积层对所述多尺度融合特征进行分析，得到关键点热力图特征。

在一种可能的实施方式中，述装置还包括深度学习模型训练模块，用于：

在样本人脸区域集中选取一样本人脸区域，其中，所述样本人脸区域标注有真值关键点热力图特征及真值头部姿态角；

将当前选取的样本人脸区域输入到深度学习模型中进行分析，得到预测关键点热力图特征及预测头部姿态角；

根据当前选取的样本人脸区域的预测关键点热力图特征、真值关键点热力图特征、预测头部姿态角及真值头部姿态角计算深度学习模型的损失；

根据深度学习模型的损失，调整深度学习模型的训练参数，返回执行步骤：在样本人脸区域集中选取一样本人脸区域，直至满足预设训练结束条件，得到训练好的深度学习模型。

第三方面，本申请实施例提供了一种电子设备，包括处理器及存储器；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现本申请中任一所述的头部姿态角检测方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请中任一所述的头部姿态角检测方法。

本申请实施例有益效果：

本申请实施例提供的头部姿态角检测方法、装置、电子设备及存储介质，获取待检测图像中目标人员的人脸区域；利用预先训练的深度学习模型对人脸区域进行特征提取，得到人脸区域的全局特征及关键点热力图特征；利用深度学习模型将全局特征及关键点热力图特征进行拼接，得到姿态角预测特征；利用深度学习模型对姿态角预测特征进行分析，得到人脸区域对应的头部姿态角。结合人脸关键点及人脸的全局特征进行头部姿态角检测，在考虑了人脸关键点的基础上，还考虑了人脸的全局特征，能够提高关键点定位不准确时，头部姿态角的检测精度；在目标人员大幅度转头、低头等时关键点漂移的情况下，提升了头部姿态角的检测精度，并且适用于目标人员佩戴口罩的情况。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的头部姿态角检测方法的第一种示意图；

图2为本申请实施例的头部姿态角检测方法的第二种示意图；

图3为本申请实施例的头部姿态角检测方法的第三种示意图；

图4为本申请实施例中步骤102的一种可能的实现方式的示意图；

图5为本申请实施例的关键点热力图卷积网络的一种示意图；

图6为本申请实施例的深度学习模块的训练方法的一种示意图；

图7为本申请实施例的头部姿态角检测装置的一种示意图；

图8为本申请实施例的电子设备的一种示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

相关的头部姿态角检测技术中，利用计算机视觉技术检测得到2D人脸关键点，然后将2D人脸关键点转换为3D人脸模型，从而基于3D人脸模型得到驾驶员的头部姿态角。但是该方法，过于依赖关键点的定位精度，例如，在大幅度转头、低头等动作时，关键点容易出现漂移，从而严重影响头部姿态角的检测精度，尤其是在驾驶员佩戴口罩时，会存在关键点检测准确度偏低甚至无法检测到关键点的情况，造成头部姿态角检测近乎失效。

有鉴于此，本申请实施例提供了一种头部姿态角检测方法，参见图1，该方法包括：

S101，获取待检测图像中目标人员的人脸区域。

本申请实施例的头部姿态角检测方法可以通过电子设备实现，具体的，该电子设备可以为智能摄像机、硬盘录像机、个人电脑或服务器等。

待检测图像可以为视频中的任一帧图像，针对视频中的任一帧图像均可以执行与待检测图像相同的头部姿态角检测方法。目标人员为需要进行头部姿态角检测的人员。一个例子中，待检测图像为驾驶场景中车载摄像机采集的驾驶员的图像，目标人员为驾驶员。可以利用例如YOLO(You only look once)或SSD(Single Shot MultiBox Detector)等人脸检测算法，对待检测图像进行人脸检测，从而得到待检测图像中目标人员的人脸区域。

S102，利用预先训练的深度学习模型对上述人脸区域进行特征提取，得到上述人脸区域的全局特征及关键点热力图特征。

预先训练的深度学习模型是利用标注有真值关键点热力图特征及真值头部姿态角的样本人脸区域得到的。人脸区域的全局特征即该人脸区域经过卷积处理等操作后得到的图像特征的全局特征，可以通过向量或矩阵的形式进行表示。人脸区域的关键点热力图特征表示人脸区域中的关键点，关键点热力图特征可以通过向量或矩阵的形式进行表示。

S103，利用上述深度学习模型将上述全局特征及上述关键点热力图特征进行拼接，得到姿态角预测特征。

将人脸区域的全局特征及关键点热力图特征进行拼接，得到该人脸区域姿态角预测特征。特征拼接的方式可以参见相关技术中的特征拼接方式，一个例子中，可以利用concat函数直接对人脸区域的全局特征及关键点热力图特征进行连接，例如，全局特征及关键点热力图特征的维数分别为p和q，则姿态角预测特征的维数为p+q。

S104，利用上述深度学习模型对上述姿态角预测特征进行分析，得到上述人脸区域对应的头部姿态角。

利用深度学习模型的池化层及全连接层对姿态角预测特征进行分类，得到对应的头部姿态角。头部姿态角包括头部Pitch(俯仰角)，头部Yaw(偏转角)，头部Roll(旋转角)中的至少一种。

在本申请实施例中，结合人脸关键点及人脸的全局特征进行头部姿态角检测，在考虑了人脸关键点的基础上，还考虑了人脸的全局特征，能够提高关键点定位不准确时，头部姿态角的检测精度；在目标人员大幅度转头、低头等时关键点漂移的情况下，提升了头部姿态角的检测精度，并且适用于目标人员佩戴口罩的情况。

在一种可能的实施方式中，参见图2，上述方法还包括：

S105，根据上述目标人员的头部姿态角，计算当前帧图像采集时刻之前的第一预设时长内上述目标人员头部变化的最大角度。

第一预设时长可以根据实际情况自行设置，例如，可以设置为1秒、2秒5秒或10秒等。可以通过计算两帧图像之间目标人员头部姿态角的差值，得到目标人员头部变化的角度，进而得到目标人员头部变化的最大角度。一个例子中，可以用当前帧图像的头部姿态角减去1s前目标人员的头部姿态角得到当前帧图像中目标人员头部变化的角度，并统计过去2s内目标人员头部变化的角度的最大值。

S106，在上述头部变化的最大角度大于预设变化角度阈值、且当前帧图像中上述目标人员的头部姿态角大于预设姿态角阈值的情况下，则判定当前帧图像中上述目标人员为分心状态。

预设变化角度阈值可以根据实际情况自行设置，例如可以设置为8度、10度或15度等。预设姿态角阈值可以根据实际情况自行设置，以待检测图像的采集设备正对目标人员为例，可以设置为15度、20度或25度等。

一个例子中，头部姿态角包括头部俯仰角及头部偏转角。这是因为头部旋转角对分心状态判断的影响较小，例如，在驾驶员头部旋转角改变的情况下，其双目注视的方向并不会改变，因此不计算头部旋转角，可以节约计算资源，方便应用于嵌入式设备等计算力受限的设备。

在本申请实施例中，结合目标人员头部变化的最大角度及目标人员的头部姿态角两个数据来判断目标人员是否为分心状态，能够增加目标人员分心状态判断的准确性。

在一种可能的实施方式中，参见图3，上述方法还包括：

S107，若在当前帧图像采集时刻之前的第二预设时长内，上述目标人员为分心状态的图像的百分比大于预设百分比阈值，则生成表示上述目标人员分心的报警信息。

第二预设时长可以根据实际情况自行设置，例如，可以设置为1秒、2秒3秒或5秒等。确定当前帧图像采集时刻之前的第二预设时长内目标人员为分心状态的图像的帧数，除以第二预设时长内图像的总帧数便可以得到目标人员为分心状态的图像的百分比。预设百分比阈值可以根据实际情况自行设置，例如设置为60％、70％、80％或90％等。一个例子中，对过去1s内所有判断为分心状态的图像的帧数进行累加计数，并在1s内分心状态图像的累计数量大于0.8×帧率(即1s内的图像的总帧数)时，进行目标人员分心行为报警，从而提醒目标人员专心驾驶或工作。

在本申请实施例中，在目标人员为分心状态的图像的百分比大于预设百分比阈值时进行报警，相比一检测到目标人员为分心状态便进行报警，可以减少误报警的情况。

在一种可能的实施方式中，参见图4，上述利用预先训练的深度学习模型对上述人脸区域进行特征提取，得到上述人脸区域的全局特征及关键点热力图特征，包括：

S1021，利用预先训练的深度学习模型的主干卷积网络对上述人脸区域进行特征提取，得到中间层特征及全局特征。

S1022，利用预先训练的深度学习模型的关键点热力图卷积网络对上述全局特征进行上采样，得到上采样特征。

S1023，利用预先训练的深度学习模型的关键点热力图卷积网络对上述中间特征及上述上采样特征进行融合，得到多尺度融合特征。

S1024，利用预先训练的深度学习模型的关键点热力图卷积网络对上述多尺度融合特征进行分析，得到关键点热力图特征。

一种实施方式中，上述主干卷积网络包括十个卷积层，每两个卷积层为一组，前四组卷积层后面均设置一个池化层，共四个池化层；上述关键点热力图卷积网络包括反卷积层、特征拼接层、卷积层；

上述利用预先训练的深度学习模型的主干卷积网络对上述人脸区域进行特征提取，得到中间层特征及全局特征，包括：利用预先训练的深度学习模型的主干卷积网络对上述人脸区域进行特征提取，从第四组卷积层后得到中间层特征，从第五组卷积层后全局特征；

上述利用预先训练的深度学习模型的关键点热力图卷积网络对上述全局特征进行上采样，得到上采样特征，包括：利用上述关键点热力图卷积网络的反卷积层对上述全局特征进行上采样，得到上采样特征；

上述利用预先训练的深度学习模型的关键点热力图卷积网络对上述中间特征及上述上采样特征进行融合，得到多尺度融合特征，包括：利用上述关键点热力图卷积网络的特征拼接层对上述中间特征及上述上采样特征进行融合，得到多尺度融合特征。

上述利用预先训练的深度学习模型的关键点热力图卷积网络对上述多尺度融合特征进行分析，得到关键点热力图特征，包括：利用上述关键点热力图卷积网络的卷积层对上述多尺度融合特征进行分析，得到关键点热力图特征。

一个例子中，上述深度学习模型还包括全局池化层以及全连接层；上述利用上述深度学习模型对上述姿态角预测特征进行分析，得到上述人脸区域对应的头部姿态角，包括：利用上述深度学习模型的全局池化层以及全连接层对上述姿态角预测特征进行分析，得到上述人脸区域对应的头部姿态角。

一个例子中，深度学习模型输入图像尺寸可以为96×96。主干卷积网络包含10个卷积层共五组，每两个卷积层为一组，前四组卷积层后面紧接一个池化层，共四个池化层。主干卷积网络各卷积层的卷积核大小为3×3，第一组卷积层通道数为16，第二组、第三组卷积层通道数为48，第四组、第五组卷积层通道数为64。主干卷积网络主要用来提取输入图像的全局特征，可以采用高斯分布初始化网络权重。

关键点热力图卷积网络的结构可以如图5所示，关键点热力图卷积网络在主干卷积网络第五组卷积池化后接入一个反卷积层，对特征进行上采样。并与主干卷积网络第四组卷积池化后的特征进行逐元素相加，将多尺度特征融合。同时为了更加关注输入图片中的眼睛、鼻子、嘴巴等局部区域的特征，通过设计关键点热力图卷网络，进行局部特征学习。关键点热力图特征层采用卷积层进行实现，卷积核大小为1×1，卷积通道数为6，从第一通道到第六通道依次对应左眼角，右眼角、鼻尖、左嘴角、右嘴角、下巴留个关键点区域的关键点热力图特征。将关键点热力图特征以及主干卷积网络第五组卷积输入的全局特征拼接在一起，作为最后的姿态角预测特征。通过全局池化层以及全连接层，预测头部姿态角。头部姿态角包括头部Pitch(俯仰角)，头部Yaw(偏转角)，头部Roll(旋转角)中的至少一种。一个例子中，可以预测Pitch及Yaw两个姿态角，全连接层的神经元个数为2，分别对应Pitch，Yaw预测值。

本领域技术人员可以理解的是，上述深度学习模型的结构仅为示意，基于上述深度学习模型的结构，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他结构，都属于本申请保护的范围。

在本申请实施例中，深度学习模型为轻量级网络，模型卷积通道数较少，计算量较低，可以应用于嵌入式设备等计算力受限的设备。不同尺度的卷积特征融合，既有高层语义信息又有浅层细节信息，提升了特征的表达能力，结合不同尺度的深度特征以及利用关键点局部特征与全局图像特征，有效提升了头部姿态角检测的准确度及稳定性。

本申请实施例还提供了一种深度学习模型训练方法，参见图6，包括：

S201，在样本人脸区域集中选取一样本人脸区域，其中，上述样本人脸区域标注有真值关键点热力图特征及真值头部姿态角。

样本人脸区域集中包括多个样本人脸区域，每个样本人脸区域标均注有真值关键点热力图特征及真值头部姿态角。一个例子中，采集真实驾驶场景中摄像头正对驾驶员面部的图像，对采集到的图像中主驾驶位置的驾驶员脸部的关键点进行标注。其中，关键点可以包括左眼角、右眼角、鼻尖、左嘴角、右嘴角、下巴中的至少一个。调用OpenCV计算机视觉算法库中的头部姿态估计函数SolvePnP，将人工标注的各关键点信息，以及图像宽高信息作为输入。计算得到头部姿态角度作为当前司机头部姿态角度的真值。一个例子中，可以仅标注Pitch及Yaw。

根据标注的各关键点得到人脸区域的外接矩形框。以外接矩形框中心点为中心，外接矩形框最长边为边长，扣取正方形人脸区域。将得到的头部姿态角真值以及样本人脸区域的图像。一个例子中，可以按照7:3的比例，将各样本人脸区域的图像分为训练集和测试集。

样本人脸区域的真值关键点热力图特征可以以关键点热力图标签的形式进行表示。一个例子中，关键点热力图标签通过如下公式得到：

其中(i,j)代表人脸区域中第i行，第j列像素点的位置。(p_x,p_y)为关键点在人脸区域中的位置坐标。σ是一个超参数，表示热力图分布的方差，可以设置为σ＝1。基于上述公式可以得到各关键点的热力图标签，按顺序组成关键点热力图标签，用于深度学习模型的训练。

S202，将当前选取的样本人脸区域输入到深度学习模型中进行分析，得到预测关键点热力图特征及预测头部姿态角。

一个例子中，深度学习模型输入图像尺寸可以为96×96。主干卷积网络包含10个卷积层共五组，每两个卷积层为一组，每组卷积层后面紧接一个池化层，共四个池化层。主干卷积网络各卷积层的卷积核大小为3×3，第一组卷积层通道数为16，第二组、第三组卷积层通道数为48，第四组、第五组卷积层通道数为64。主干卷积网络主要用来提取输入图像的全局特征，可以采用高斯分布初始化网络权重。

关键点热力图卷积网络的结构可以如图5所示，关键点热力图卷积网络在主干卷积网络第五组卷积池化后接入一个反卷积层，对特征进行上采样。并与主干卷积网络第四组卷积池化后的特征进行逐元素相加，将多尺度特征融合。同时为了更加关注输入图片中的眼睛、鼻子、嘴巴等局部区域的特征，通过设计关键点热力图卷网络，进行局部特征学习。关键点热力图特征层采用卷积层进行实现，卷积核大小为1×1，卷积通道数为6，从第一通道到第六通道依次对应左眼角，右眼角、鼻尖、左嘴角、右嘴角、下巴留个关键点区域的关键点热力图特征。将关键点热力图特征以及主干卷积网络第五组卷积输入的全局特征拼接在一起，作为最后的姿态角预测特征。通过全局池化层以及全连接层，预测头部姿态角。头部姿态角包括头部Pitch(俯仰角)，头部Yaw(偏转角)，头部Roll(旋转角)中的至少一种。一个例子中，可以预测Pitch及Yaw两个姿态角，全连接层的神经元个数为2，分别对应Pitch，Yaw预测值。

S203，根据当前选取的样本人脸区域的预测关键点热力图特征、真值关键点热力图特征、预测头部姿态角及真值头部姿态角计算深度学习模型的损失。

按照预设的损失函数计算深度学习模型的损失。一个例子中损失函数如下公式所示：

其中N表示头部姿态角预测维度，可以设置为N＝2，分别对应Pitch及Yaw。pⁱ表示第i维的预测头部姿态角，gⁱ表示第i维的真值头部姿态角。x,y对应关键点热力图的位置坐标，gh^x,gh^y表示对应位置的真值关键点热力图特征。在训练阶段可以采用Adam算法优化该损失函数，以更快地收敛。

S204，根据深度学习模型的损失，调整深度学习模型的训练参数，返回执行步骤：在样本人脸区域集中选取一样本人脸区域，直至满足预设训练结束条件，得到训练好的深度学习模型。

预设训练结束条件可以按照实际情况进行设定，例如达到预设的训练次数或经过测试集中样本人脸区域测试后，深度学习模型的损失收敛。

本申请实施例还提供了一种头部姿态角检测装置，参见图7，该装置包括：

人脸区域获取模块11，用于获取待检测图像中目标人员的人脸区域；

特征提取模块12，用于利用预先训练的深度学习模型对上述人脸区域进行特征提取，得到上述人脸区域的全局特征及关键点热力图特征；

特征融合模块13，用于利用上述深度学习模型将上述全局特征及上述关键点热力图特征进行拼接，得到姿态角预测特征；

头部姿态角预测模块14，用于利用上述深度学习模型对上述姿态角预测特征进行分析，得到上述人脸区域对应的头部姿态角。

在一种可能的实施方式中，上述装置还包括：

最大角度计算模块，用于根据上述目标人员的头部姿态角，计算当前帧图像采集时刻之前的第一预设时长内上述目标人员头部变化的最大角度；

分心状态判断模块，用于在上述头部变化的最大角度大于预设变化角度阈值、且当前帧图像中上述目标人员的头部姿态角大于预设姿态角阈值的情况下，则判定当前帧图像中上述目标人员为分心状态。

在一种可能的实施方式中，上述装置还包括：

报警信息生成模块，用于若在当前帧图像采集时刻之前的第二预设时长内，上述目标人员为分心状态的图像的百分比大于预设百分比阈值，则生成表示上述目标人员分心的报警信息。

在一种可能的实施方式中，上述特征提取模块，具体用于：

利用预先训练的深度学习模型的主干卷积网络对上述人脸区域进行特征提取，得到中间层特征及全局特征；

利用预先训练的深度学习模型的关键点热力图卷积网络对上述全局特征进行上采样，得到上采样特征；

利用预先训练的深度学习模型的关键点热力图卷积网络对上述中间特征及上述上采样特征进行融合，得到多尺度融合特征；

利用预先训练的深度学习模型的关键点热力图卷积网络对上述多尺度融合特征进行分析，得到关键点热力图特征。

在一种可能的实施方式中，上述主干卷积网络包括十个卷积层，每两个卷积层为一组，前四组卷积层后面均设置一个池化层，共四个池化层；上述关键点热力图卷积网络包括反卷积层、特征拼接层、卷积层；

上述特征提取模块，具体用于：

利用预先训练的深度学习模型的主干卷积网络对上述人脸区域进行特征提取，从第四组卷积层后得到中间层特征，从第五组卷积层后全局特征；

利用上述关键点热力图卷积网络的反卷积层对上述全局特征进行上采样，得到上采样特征；

利用上述关键点热力图卷积网络的特征拼接层对上述中间特征及上述上采样特征进行融合，得到多尺度融合特征。

利用上述关键点热力图卷积网络的卷积层对上述多尺度融合特征进行分析，得到关键点热力图特征。

在一种可能的实施方式中，上述装置还包括深度学习模型训练模块，用于：

在样本人脸区域集中选取一样本人脸区域，其中，上述样本人脸区域标注有真值关键点热力图特征及真值头部姿态角；

将当前选取的样本人脸区域输入到深度学习模型中进行分析，得到预测关键点热力图特征及预测头部姿态角；

根据当前选取的样本人脸区域的预测关键点热力图特征、真值关键点热力图特征、预测头部姿态角及真值头部姿态角计算深度学习模型的损失；

根据深度学习模型的损失，调整深度学习模型的训练参数，返回执行步骤：在样本人脸区域集中选取一样本人脸区域，直至满足预设训练结束条件，得到训练好的深度学习模型。

本申请实施例还提供了一种电子设备，包括：处理器及存储器；

上述存储器，用于存放计算机程序；

上述处理器用于执行上述存储器存放的计算机程序时，实现本申请中任一头部姿态角检测方法。

可选的，参见图8，除上述处理器21及存储器23外，本申请实施例的电子设备还包括通信接口22和通信总线24，其中，处理器21，通信接口22，存储器23通过通信总线24完成相互间的通信。

上述电子设备提到的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现本申请中任一头部姿态角检测方法。

在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本申请中任一头部姿态角检测方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

需要说明的是，在本文中，各个可选方案中的技术特征只要不矛盾均可组合来形成方案，这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机程序产品及存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (14)

1.一种头部姿态角检测方法，其特征在于，所述方法包括：

获取待检测图像中目标人员的人脸区域；

利用预先训练的深度学习模型对所述人脸区域进行特征提取，得到所述人脸区域的全局特征及关键点热力图特征；

利用所述深度学习模型将所述全局特征及所述关键点热力图特征进行拼接，得到姿态角预测特征；

利用所述深度学习模型对所述姿态角预测特征进行分析，得到所述人脸区域对应的头部姿态角。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述目标人员的头部姿态角，计算当前帧图像采集时刻之前的第一预设时长内所述目标人员头部变化的最大角度；

在所述头部变化的最大角度大于预设变化角度阈值、且当前帧图像中所述目标人员的头部姿态角大于预设姿态角阈值的情况下，则判定当前帧图像中所述目标人员为分心状态。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

若在当前帧图像采集时刻之前的第二预设时长内，所述目标人员为分心状态的图像的百分比大于预设百分比阈值，则生成表示所述目标人员分心的报警信息。

4.根据权利要求1所述的方法，其特征在于，所述利用预先训练的深度学习模型对所述人脸区域进行特征提取，得到所述人脸区域的全局特征及关键点热力图特征，包括：

利用预先训练的深度学习模型的主干卷积网络对所述人脸区域进行特征提取，得到中间层特征及全局特征；

利用预先训练的深度学习模型的关键点热力图卷积网络对所述全局特征进行上采样，得到上采样特征；

利用预先训练的深度学习模型的关键点热力图卷积网络对所述中间特征及所述上采样特征进行融合，得到多尺度融合特征；

利用预先训练的深度学习模型的关键点热力图卷积网络对所述多尺度融合特征进行分析，得到关键点热力图特征。

5.根据权利要求4所述的方法，其特征在于，所述主干卷积网络包括十个卷积层，每两个卷积层为一组，前四组卷积层后面均设置一个池化层，共四个池化层；所述关键点热力图卷积网络包括反卷积层、特征拼接层、卷积层；

所述利用预先训练的深度学习模型的主干卷积网络对所述人脸区域进行特征提取，得到中间层特征及全局特征，包括：

利用预先训练的深度学习模型的主干卷积网络对所述人脸区域进行特征提取，从第四组卷积层后得到中间层特征，从第五组卷积层后全局特征；

所述利用预先训练的深度学习模型的关键点热力图卷积网络对所述全局特征进行上采样，得到上采样特征，包括：

利用所述关键点热力图卷积网络的反卷积层对所述全局特征进行上采样，得到上采样特征；

所述利用预先训练的深度学习模型的关键点热力图卷积网络对所述中间特征及所述上采样特征进行融合，得到多尺度融合特征，包括：

利用所述关键点热力图卷积网络的特征拼接层对所述中间特征及所述上采样特征进行融合，得到多尺度融合特征；

所述利用预先训练的深度学习模型的关键点热力图卷积网络对所述多尺度融合特征进行分析，得到关键点热力图特征，包括：

利用所述关键点热力图卷积网络的卷积层对所述多尺度融合特征进行分析，得到关键点热力图特征。

6.根据权利要求1-5任一所述的方法，其特征在于，预先训练所述深度学习模型的步骤包括：

在样本人脸区域集中选取一样本人脸区域，其中，所述样本人脸区域标注有真值关键点热力图特征及真值头部姿态角；

将当前选取的样本人脸区域输入到深度学习模型中进行分析，得到预测关键点热力图特征及预测头部姿态角；

根据当前选取的样本人脸区域的预测关键点热力图特征、真值关键点热力图特征、预测头部姿态角及真值头部姿态角计算深度学习模型的损失；

根据深度学习模型的损失，调整深度学习模型的训练参数，返回执行步骤：在样本人脸区域集中选取一样本人脸区域，直至满足预设训练结束条件，得到训练好的深度学习模型。

7.一种头部姿态角检测装置，其特征在于，所述装置包括：

人脸区域获取模块，用于获取待检测图像中目标人员的人脸区域；

特征提取模块，用于利用预先训练的深度学习模型对所述人脸区域进行特征提取，得到所述人脸区域的全局特征及关键点热力图特征；

特征融合模块，用于利用所述深度学习模型将所述全局特征及所述关键点热力图特征进行拼接，得到姿态角预测特征；

头部姿态角预测模块，用于利用所述深度学习模型对所述姿态角预测特征进行分析，得到所述人脸区域对应的头部姿态角。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

最大角度计算模块，用于根据所述目标人员的头部姿态角，计算当前帧图像采集时刻之前的第一预设时长内所述目标人员头部变化的最大角度；

分心状态判断模块，用于在所述头部变化的最大角度大于预设变化角度阈值、且当前帧图像中所述目标人员的头部姿态角大于预设姿态角阈值的情况下，则判定当前帧图像中所述目标人员为分心状态。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

报警信息生成模块，用于若在当前帧图像采集时刻之前的第二预设时长内，所述目标人员为分心状态的图像的百分比大于预设百分比阈值，则生成表示所述目标人员分心的报警信息。

10.根据权利要求7所述的装置，其特征在于，所述特征提取模块，具体用于：

利用预先训练的深度学习模型的主干卷积网络对所述人脸区域进行特征提取，得到中间层特征及全局特征；

利用预先训练的深度学习模型的关键点热力图卷积网络对所述全局特征进行上采样，得到上采样特征；

利用预先训练的深度学习模型的关键点热力图卷积网络对所述中间特征及所述上采样特征进行融合，得到多尺度融合特征；

利用预先训练的深度学习模型的关键点热力图卷积网络对所述多尺度融合特征进行分析，得到关键点热力图特征。

11.根据权利要求10所述的装置，其特征在于，所述主干卷积网络包括十个卷积层，每两个卷积层为一组，前四组卷积层后面均设置一个池化层，共四个池化层；所述关键点热力图卷积网络包括反卷积层、特征拼接层、卷积层；

所述特征提取模块，具体用于：

利用预先训练的深度学习模型的主干卷积网络对所述人脸区域进行特征提取，从第四组卷积层后得到中间层特征，从第五组卷积层后全局特征；

利用所述关键点热力图卷积网络的反卷积层对所述全局特征进行上采样，得到上采样特征；

利用所述关键点热力图卷积网络的特征拼接层对所述中间特征及所述上采样特征进行融合，得到多尺度融合特征；

利用所述关键点热力图卷积网络的卷积层对所述多尺度融合特征进行分析，得到关键点热力图特征。

12.根据权利要求7-11任一所述的装置，其特征在于，所述装置还包括深度学习模型训练模块，用于：

在样本人脸区域集中选取一样本人脸区域，其中，所述样本人脸区域标注有真值关键点热力图特征及真值头部姿态角；

将当前选取的样本人脸区域输入到深度学习模型中进行分析，得到预测关键点热力图特征及预测头部姿态角；

根据当前选取的样本人脸区域的预测关键点热力图特征、真值关键点热力图特征、预测头部姿态角及真值头部姿态角计算深度学习模型的损失；

根据深度学习模型的损失，调整深度学习模型的训练参数，返回执行步骤：在样本人脸区域集中选取一样本人脸区域，直至满足预设训练结束条件，得到训练好的深度学习模型。

13.一种电子设备，其特征在于，包括处理器及存储器；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-6任一所述的头部姿态角检测方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的头部姿态角检测方法。

Images