CN108920999A - 一种头部角度预测模型训练方法、预测方法、设备和介质 - Google Patents

Abstract

本发明公开了一种头部角度预测模型训练方法、预测方法、设备和介质，其中模型训练方法包括：获取多个训练样本，所述训练样本包括头部图像和所述头部图像的头部标注角度，以及标注概率分布，所述标注概率分布是根据所述头部标注角度计算的；根据所述训练样本对头部角度预测模型进行训练。通过将头部图像和头部图像的头部标注角度，以及标注概率分布作为训练样本，丰富了训练样本中的信息，可以训练得到准确性更高的头部角度预测模型；而且头部角度预测不需要人脸关键点的计算过程，直接通过头部图像计算头部角度，从而减小了计算耗时，并且减小了误差引入的机会。

Description

一种头部角度预测模型训练方法、预测方法、设备和介质

技术领域

本发明涉及图像识别领域，尤其涉及一种头部角度预测模型训练方法、预测方法、设备和介质。

背景技术

在人脸识别的应用场景中，一般会有一张标准人脸存储在电脑系统中，例如某个人的身份证照片，证件照等。待比对的照片来自于摄像机连续抓拍的人脸图像。例如金融领域的身份验证应用，通过手机摄像头，或设备的摄像头连续摄录，以提取待比对的人脸图像；安防系统通过监控摄像头的视频，检测并抓拍人脸图像。在从视频中提取待检测人脸图像的过程中，一个重要问题就是如何从连续抓拍的人脸图像中选取一张质量好的人脸图像，以用于进行人脸识别。而图像中的人脸角度是判断人脸质量的重要因素之一，甚至在一些应用场景中，人脸的质量只取决于人脸角度；所以人脸角度的计算方法是图像处理领域一个重要方向。

现有的头部角度预测模型训练方法，训练样本中一般只包含人脸图像和人脸的偏转角度，其所包含的信息较少，使得训练后的头部角度预测模型预测的准确率较低。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一头部角度预测模型训练方法，其能解决现有的头部角度预测模型训练方法，训练样本中一般只包含人脸图像和人脸的偏转角度，其所包含的信息较少，使得训练后的头部角度预测模型准确率较低的问题。

本发明的目的之二在于提供一种头部角度预测方法，其能解决现有的头部角度预测模型训练方法，训练样本中一般只包含人脸图像和人脸的偏转角度，其所包含的信息较少，使得训练后的头部角度预测模型准确率较低的问题。

本发明的目的之三在于提供一种电子设备，其能解决现有的头部角度预测模型训练方法，训练样本中一般只包含人脸图像和人脸的偏转角度，其所包含的信息较少，使得训练后的头部角度预测模型准确率较低的问题。

本发明的目的之四在于提供一种存储介质，存储有计算机程序，其能解决现有的头部角度预测模型训练方法，训练样本中一般只包含人脸图像和人脸的偏转角度，其所包含的信息较少，使得训练后的头部角度预测模型准确率较低的问题。

本发明的目的之一采用以下技术方案实现：

一种头部角度预测模型训练方法，包括以下步骤：

获取多个训练样本，所述训练样本包括头部图像和所述头部图像的头部标注角度，以及标注概率分布，所述标注概率分布是根据所述头部标注角度计算的；

根据所述训练样本对头部角度预测模型进行训练。

进一步地，所述头部标注角度包括第一标注角度、第二标注角度和第三标注角度，所述标注概率分布包括第一标注分布、第二标注分布和第三标注分布；所述第一标注分布由所述第一标注角度计算，所述第二标注分布由所述第二标注角度计算，所述第三标注分布由所述第三标注角度计算。

进一步地，所述第一标注分布由所述第一标注角度计算，具体为根据以下算式计算：

其中，x为离散角度，μ为所述第一标注角度，D(x)为所述第一标注分布。

进一步地，所述头部角度预测模型包括处理模块、以及连接于所述处理模块的第一预测支路、第二预测支路和第三预测支路；所述第一预测支路用于预测第一概率分布和第一偏转角度，所述第二预测支路用于预测第二概率分布和第二偏转角度，所述第三预测支路用于预测第三概率分布和第三偏转角度。

进一步地，所述第一预测支路包括第一全连接层、第一计算层、第一输出层以及第一概率损失层和第一角度损失层，且所述第一全连接层、第一计算层、第一输出层依次连接；所述第一全连接层用于预测第一概率分布，所述第一计算层用于根据所述第一概率分布计算第一偏转角度，所述第一输出层用于输出所述第一偏转角度；所述第一概率损失层连接于所述第一全连接层，所述第一角度损失层连接于所述第一输出层。

进一步地，所述第一概率损失层通过以下损失函数实现：

其中，m表示训练时batch的大小，C表示所述第一标注分布的离散角度个数，t表示所述第一标注分布，p表示预测得到的第一概率分布。

进一步地，所述第一角度损失层通过以下损失函数实现：

其中，m表示训练时batch的大小，x₁表示所述第一标注角度，x₂表示预测得到的第一偏转角度。

进一步地，在所述获取多个训练样本之前，还包括以下步骤：

根据所述头部图像获取所述头部图像的头部标注角度。

进一步地，所述根据所述头部图像获取所述头部图像的头部标注角度，具体包括以下步骤：

获取头部坐标系到摄像机坐标系的第一旋转矩阵；

获取头部坐标系当前旋转的方向和角度；

根据所述第一旋转矩阵、以及所述当前旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵；

若收到旋转结束指令，则根据所述第二旋转矩阵计算头部标注角度。

进一步地，若未收到所述旋转结束指令，则执行以下步骤直至收到所述旋转结束指令：

将所述第二旋转矩阵作为第一旋转矩阵；

获取头部坐标系下一旋转的方向和角度；

根据所述第一旋转矩阵、以及所述下一旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵。

进一步地，所述获取头部坐标系到摄像机坐标系的第一旋转矩阵之前，还包括以下步骤：

将头部坐标系置为预设坐标系，所述预设坐标系与所述摄像机坐标系三个方向均平行；

所述获取头部坐标系到摄像机坐标系的第一旋转矩阵，具体为，所述第一旋转矩阵为：

进一步地，所述头部坐标系包括第一轴、第二轴和第三轴三个坐标轴；

所述获取头部坐标系当前旋转的方向和角度，具体为：获取头部坐标系绕第一轴或第二轴或第三轴旋转的角度。

进一步地，所述根据所述第一旋转矩阵、以及所述当前旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵，具体为根据下式计算：

R_n＝R_n-1R_s；

其中，R_n-1为第一旋转矩阵，R_n为第二旋转矩阵，R_s为根据所述当前旋转的方向和角度计算的矩阵。

进一步地，若所述当前旋转的方向和角度为绕第一轴旋转α，则：

若所述当前旋转的方向和角度为绕第二轴旋转β，则：

若所述当前旋转的方向和角度为绕第三轴旋转γ，则：

进一步地，所述第二旋转矩阵为：

所述若收到旋转结束指令，则根据所述第二旋转矩阵计算头部标注角度，具体为：若收到旋转结束指令，则根据下式计算所述头部标注角度：

β_tag＝-arcsinr₇；

其中β_tag、α_tag、γ_tag分别为相对于第二轴、第一轴、第三轴的标注角度。

进一步地，所述若收到旋转结束指令，则根据所述第二旋转矩阵计算头部标注角度之前，还包括以下步骤：

判断所述第二旋转矩阵相应的头部模型与标注头部的偏转角度是否相同，若相同则发出旋转结束指令。

本发明的目的之二采用以下技术方案实现：

一种头部角度预测方法，包括以下步骤：

获取头部图像；

通过上述的头部角度预测模型训练方法训练后的头部角度预测模型对所述头部图像的头部角度进行预测。

本发明的目的之三采用以下技术方案实现：

一种电子设备，包括存储器、处理器以及存储在存储器中的程序，所述程序被配置成由处理器执行，处理器执行所述程序时实现：

如上述的头部角度预测模型训练方法的步骤；和/或

如上述的头部角度预测方法的步骤。

本发明的目的之四采用以下技术方案实现：

一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现：

如上述的头部角度预测模型训练方法的步骤；和/或

如上述的头部角度预测方法的步骤。

相比现有技术，本发明的有益效果在于：通过将头部图像和头部图像的头部标注角度，以及标注概率分布作为训练样本，丰富了训练样本中的信息，可以训练得到准确性更高的头部角度预测模型；而且头部角度预测不需要人脸关键点的计算过程，直接通过头部图像计算头部角度，从而减小了计算耗时，并且减小了误差引入的机会。

附图说明

图1为本发明实施例一的头部角度预测模型训练方法的流程示意图；

图2为头部图像的示意图；

图3为第一标注角度为26.992°时的第一标注分布；

图4为头部角度预测模型的结构示意图；

图5为本发明实施例二的头部角度预测模型训练方法的流程示意图；

图6为相应于预设坐标系的头部模型的示意图；

图7为与标注头部的偏转角度相同的头部模型的示意图；

图8为本发明实施例四的电子设备的结构示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

实施例一

如图1为一种头部角度预测模型训练方法，包括以下步骤：

步骤S110、获取多个训练样本，所述训练样本包括头部图像和所述头部图像的头部标注角度，以及标注概率分布，所述标注概率分布是根据所述头部标注角度计算的。

如图2为一头部图像，其人脸没有正对摄像头，而是相对于摄像头处于偏转状态。偏转的角度即为头部标注角度。头部标注角度可以通过现有技术，如深度学习方法获得。

作为优选的实施方式，头部坐标系包括第一轴、第二轴和第三轴三个坐标轴。其中，第一轴与脖子至头顶的方向平行，第二轴与两耳所在直线平行，第三轴与头部的前后方向平行。当头部绕第一轴旋转时，对应于左右摇头，可以定义为yaw方向的旋转；当头部绕第二轴旋转时，对应于上下摇头，可以定义为pitch方向的旋转；当头部绕第三轴旋转时，对应于左右歪头，可以定义为roll方向的旋转。因此，头部标注角度包括第一标注角度、第二标注角度和第三标注角度，分别为相对于第二轴、第一轴、第三轴的标注角度。

所述标注概率分布包括第一标注分布、第二标注分布和第三标注分布；所述第一标注分布由所述第一标注角度计算，所述第二标注分布由所述第二标注角度计算，所述第三标注分布由所述第三标注角度计算。

作为优选的实施方式，第一标注分布由所述第一标注角度计算，具体为根据以下算式计算：

其中，x为离散角度，μ为所述第一标注角度，D(x)为所述第一标注分布。

第一标注分布是由第一标注角度按照高斯分布展开得到。计算第一标注分布前，首先把角度的取值范围进行离散化处理；例如可以每3度进行分割，则离散后角度的取值为[-99，-96，93…0…93，96，99]，共67个离散值。之后，按照高斯分布将第一标注角度转为第一标注分布，越靠近第一标注角度的离散值所对应的概率越高。

作为优选的实施方式，σ可取为3。如果第一标注角度为26.992°，那么第一标注分布如图3所示。

由第二标注角度、第三标注角度计算第二标注分布、第三标注分布可以参考第一标注分布的计算方法，不再赘述。

步骤S120、根据所述训练样本对头部角度预测模型进行训练。

作为优选的实施方式，如图4所示，所述头部角度预测模型包括处理模块、以及连接于所述处理模块的第一预测支路、第二预测支路和第三预测支路。input为输入层，处理模块包括若干个卷积层conv和池化层pool。

所述第一预测支路用于预测第一概率分布和第一偏转角度，所述第二预测支路用于预测第二概率分布和第二偏转角度，所述第三预测支路用于预测第三概率分布和第三偏转角度。第一偏转角度、第二偏转角度、第三偏转角度分别为预测得到的相对于第二轴、第一轴、第三轴的偏转角度。

作为优选的实施方式，第一预测支路包括第一全连接层fc5-1-pitch/fc5-2-pitch、第一计算层expection、第一输出层pitch output以及第一概率损失层crossentroyloss和第一角度损失层euclidean loss；且所述第一全连接层fc5-1-pitch/fc5-2-pitch、第一计算层expection、第一输出层pitch output依次连接。所述第一全连接层fc5-1-pitch/fc5-2-pitch用于预测第一概率分布，所述第一计算层用于根据所述第一概率分布计算第一偏转角度，所述第一输出层pitchoutput用于输出所述第一偏转角度；所述第一概率损失层crossentroy loss连接于所述第一全连接层fc5-1-pitch，所述第一角度损失层euclidean loss连接于所述第一输出层pitch output。

第二预测支路包括第二全连接层fc5-1-yaw/fc5-2-yaw、第二计算层expection、第二输出层yaw output以及第二概率损失层crossentroy loss和第二角度损失层euclidean loss；第三预测支路包括第三全连接层fc5-1-roll/fc5-2-roll、第三计算层expection、第三输出层roll output以及第三概率损失层crossentroy loss和第三角度损失层euclidean loss。

当对角度的取值范围进行离散化处理时，若每3度进行分割，则离散后角度的取值为[-99，-96，93…0…93，96，99]，共67个离散值，则第一全连接层fc5-1-pitch/fc5-2-pitch、第二全连接层fc5-1-yaw/fc5-2-yaw、第三全连接层fc5-1-roll/fc5-2-roll输出项均为67个，分别对应于第一概率分布、第二概率分布、第三概率分布在各离散值所对应的概率。

第一计算层expection对应的操作是将67个离散角度乘以对应的概率，并将得到的结果相加，最后得出预测的角度，即第一偏转角度：

[-99 -96 … 0 … 96 99]·[p₁ p₂ … p₃₄ … p₆₆ p₆₇]^T

其中p表示离散的角度值对应的概率。

第二预测支路、第三预测支路的结构和原理可以参照第一预测支路实现，在此不再赘述。

头部角度预测模型训练过程中，可以根据第一概率分布与第一标注分布的误差、第二概率分布与第二标注分布的误差、第三概率分布与第三标注分布的误差，分别利用第一、第二、第三概率损失层对头部角度预测模型中的参数进行调整。

作为优选的实施方式，所述第一概率损失层通过以下损失函数，即交叉熵损失函数实现：

其中，m表示训练时batch的大小，C表示所述第一标注分布的离散角度个数，例如可以为67，t表示训练样本中的第一标注分布，p表示预测得到的第一概率分布。

头部角度预测模型训练过程中，还可以根据第一偏转角度与第一标注角度的误差、第二偏转角度与第二标注角度的误差、第三偏转角度与第三标注角度的误差，分别利用第一、第二、第三角度损失层对头部角度预测模型中的参数进行调整。

作为优选的实施方式，所述第一角度损失层通过以下损失函数，即欧几里得损失函数实现：

其中，m表示训练时batch的大小，x₁表示训练样本中的第一标注角度，x₂表示预测得到的第一偏转角度。

本发明实施例提供的头部角度预测模型训练方法，通过将头部图像和头部图像的头部标注角度，以及标注概率分布作为训练样本，丰富了训练样本中的信息，可以训练得到准确性更高的头部角度预测模型；而且头部角度预测不需要人脸关键点的计算过程，直接通过头部图像计算头部角度，从而减小了计算耗时，并且减小了误差引入的机会。

实施例二

如图5所示的头部角度预测模型训练方法，包括以下步骤：

步骤S210、根据所述头部图像获取所述头部图像的头部标注角度。

作为优选的实施方式，所述根据所述头部图像获取所述头部图像的头部标注角度，具体包括以下步骤：

步骤S211、获取头部坐标系到摄像机坐标系的第一旋转矩阵。

作为优选的实施方式，头部坐标系包括第一轴、第二轴和第三轴三个坐标轴。其中，第一轴与脖子至头顶的方向平行，第二轴与两耳所在直线平行，第三轴与头部的前后方向平行。当头部绕第一轴旋转时，对应于左右摇头，可以定义为yaw方向的旋转；当头部绕第二轴旋转时，对应于上下摇头，可以定义为pitch方向的旋转；当头部绕第三轴旋转时，对应于左右歪头，可以定义为roll方向的旋转。

头部坐标系随着头部的转动而转动。当摄像机对准人脸的正前方拍摄，可以得到正脸的图像，那么此时的头部坐标系与摄像机坐标系三个方向均平行，此时头部坐标系称为预设坐标系；当摄像机没有对准人脸正前方拍摄，那么拍摄到的图像就不是正脸，而可能是侧脸等情况，这时头部坐标系与摄像机坐标系之间存在不平行的关系，头部坐标系需要旋转才能与摄像机坐标系平行，该旋转对应于第一旋转矩阵。

第一旋转矩阵既可以通过现有技术，如现有的基于深度学习方法的人脸角度算法获取，也可以通过本发明实施例的方式获取。

作为优选的实施方式，在本实施例中，步骤211获取头部坐标系到摄像机坐标系的第一旋转矩阵之前，还包括以下步骤：

将头部坐标系置为预设坐标系，所述预设坐标系与所述摄像机坐标系三个方向均平行，此时所述第一旋转矩阵为：

如图6所示，可以建立一可三维转动的实体的头部模型，也可以建立一虚拟的可三维转动的头部模型。以对如图2所示的头部图像进行头部角度标注为例；可以先将头部模型转动至与摄像机正对的方向，此时，头部模型相应的头部坐标系，与所述摄像机坐标系三个方向均平行，即为预设坐标系。

步骤S212、获取头部坐标系当前旋转的方向和角度。

如图7所示，可以将实体的头部模型或者虚拟的头部模型转动，同时可以通过检测装置或者算法获取头部模型的转动方向和转动的角度，即获取头部坐标系当前旋转的方向和角度。

作为优选的实施方式，步骤S212获取头部坐标系当前旋转的方向和角度，具体为：获取头部坐标系绕第一轴或第二轴或第三轴旋转的角度。即可以将实体的头部模型或者虚拟的头部模型进行yaw方向或pitch方向或roll方向的旋转。

作为优选的实施方式，旋转头部模型时以其中某一方向进行旋转。

当头部模型所在的头部坐标系相对于摄像机坐标系旋转后，头部坐标系到摄像机坐标系的旋转矩阵也会发生改变。

步骤S213、根据所述第一旋转矩阵、以及所述当前旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵。

作为优选的实施方式，步骤S213根据所述第一旋转矩阵、以及所述当前旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵，具体为根据下式计算：

R_n＝R_n-1R_s；

其中，R_n-1为第一旋转矩阵，R_n为第二旋转矩阵，R_s为根据所述当前旋转的方向和角度计算的矩阵。

第一旋转矩阵可以由现有技术，如人工神经网络识别获取，也可以通过本发明实施例的方式获取。当头部模型所在的头部坐标系相对于摄像机坐标系旋转后，头部坐标系到摄像机坐标系的旋转矩阵也会发生改变，因此，可以通过第一旋转矩阵、以及所述当前旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵。

作为优选的实施方式，若所述当前旋转的方向和角度为绕第一轴旋转α，则：

若所述当前旋转的方向和角度为绕第二轴旋转β，则：

若所述当前旋转的方向和角度为绕第三轴旋转γ，则：

如果头部模型在旋转之后，头部模型与头部图像中的头部，即标注头部的偏转角度相同，如图7所示的头部模型与如图2所示的头部图像，头部模型和头部图像的头部角度相同，即偏转角度相同，那么就可以终止对头部模型的旋转。

作为优选的实施方式，判断所述第二旋转矩阵相应的头部模型与标注头部的偏转角度是否相同，可以由标注员进行对比判断，也可以由视觉算法或装置比较判断。如果判断所述第二旋转矩阵相应的头部模型与标注头部的偏转角度相同，可以由标注员或者视觉算法或装置发出旋转结束指令。

步骤S214、若收到旋转结束指令，则根据所述第二旋转矩阵计算头部标注角度。

若收到旋转结束指令，表示预设坐标系根据第二旋转矩阵旋转之后，与预设坐标系相应的头部模型的偏转角度与标注头部中头部的偏转角度相同，因此可以根据第二旋转矩阵计算标注头部的头部标注角度。

作为优选的实施方式，当步骤S214收到旋转结束指令时，第二旋转矩阵可以为以下形式：

作为优选的实施方式，以yaw方向>pitch方向>roll方向为顺序定义头部的旋转角度，那么有：

R_n＝R_rollR_pitchR_yaw；

又由于：

设yaw方向、pitch方向、roll方向的旋转角度范围是[-90°，90°]，可以由上式得出α、β、γ。

因此，在本实施例中，步骤S214中根据所述第二旋转矩阵计算头部标注角度，具体为根据下式计算所述头部标注角度：

β_tag＝-arcsinr₇；

其中β_tag、α_tag、γ_tag分别为相对于第二轴、第一轴、第三轴的标注角度。可以称α_tag、β_tag、γ_tag分别为第一标注角度、第二标注角度和第三标注角度。

通过旋转头部坐标系，并根据头部坐标系旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵；当与头部坐标系相应的头部模型和头部图像中标注头部的偏转角度相同时，可以根据第二旋转矩阵计算头部尤其是人脸相对于摄像机的偏转角度，即头部标注角度；头部角度标注不依赖于人脸关键点，对图像质量要求较低，不易受到脸型的干扰，计算得到的头部标注角度更精确，因此训练样本的数据更准确，可以进一步提高头部角度预测模型的准确性。

当第一旋转矩阵通过现有的基于深度学习方法的人脸角度算法获取，仍可以通过本发明实施例提供的头部角度标注方法对现有算法获取的标注角度进行修正，得到更精确的头部标注角度。

在另一实施例中，步骤S210根据所述头部图像获取所述头部图像的头部标注角度，还包括以下步骤：

步骤S201、判断所述第二旋转矩阵相应的头部模型与标注头部的偏转角度是否相同；若相同则发出旋转结束指令，若不相同则不发出旋转结束指令。

如果判断所述第二旋转矩阵相应的头部模型与标注头部的偏转角度相同，可以由标注员或者视觉算法或装置发出旋转结束指令。

若经过头部坐标系的某次旋转，以及计算第二旋转矩阵之后，如果与第二旋转矩阵相应的头部模型与标注头部的偏转角度仍不相同，那么就需要对头部坐标系，即头部模型进行再一次的旋转，并再次执行步骤S212-步骤S213，以及判断第二旋转矩阵相应的头部模型与标注头部的偏转角度是否相同的步骤，直至第二旋转矩阵相应的头部模型与标注头部的偏转角度相同，即头部角度标注方法还包括步骤S215：

步骤S215、若未收到所述旋转结束指令，则执行以下步骤直至收到所述旋转结束指令：

将所述第二旋转矩阵作为第一旋转矩阵；

获取头部坐标系下一旋转的方向和角度；

根据所述第一旋转矩阵、以及所述下一旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵。

通过多次旋转头部坐标系，并根据头部坐标系旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵；当与头部坐标系相应的头部模型和头部图像中标注头部的偏转角度相同时，可以根据第二旋转矩阵计算头部尤其是人脸相对于摄像机的偏转角度，即头部标注角度；头部角度标注不依赖于人脸关键点，对图像质量要求较低，不易受到脸型的干扰，计算得到的头部标注角度更精确，因此训练样本的数据更准确，可以进一步提高头部角度预测模型的准确性。

步骤S220、获取多个训练样本，所述训练样本包括头部图像和所述头部图像的头部标注角度，以及标注概率分布，所述标注概率分布是根据所述头部标注角度计算的。

步骤S230、根据所述训练样本对头部角度预测模型进行训练。

步骤S220、S230分别对应实施例一中的S110、S120，不再赘述。

实施例三

实施例一和实施例二训练后的头部角度预测模型可以对头部图像中头部的偏转角度进行更准确的预测。因此，本发明还提供了头部角度预测方法，包括以下步骤：

获取头部图像；

通过前述的头部角度预测模型训练方法训练后的头部角度预测模型对所述头部图像的头部角度进行预测。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法，如：

一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前述的头部角度预测模型训练方法的步骤；和/或前述的头部角度预测方法的步骤。

本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等，如实施例四。

实施例四

如图8所示一种电子设备，包括存储器200、处理器300以及存储在存储器200中的程序，所述程序被配置成由处理器300执行，处理器300执行所述程序时实现前述的头部角度预测模型训练方法的步骤；和/或前述的头部角度预测方法的步骤。

本实施例中的电子设备与前述实施例中的方法是基于同一发明构思下的两个方面，在前面已经对方法实施过程作了详细的描述，所以本领域技术人员可根据前述描述清楚地了解本实施中的系统的结构及实施过程，为了说明书的简洁，在此就不再赘述。

本发明实施例提供的电子设备，可以通过将头部图像和头部图像的头部标注角度，以及标注概率分布作为训练样本，丰富了训练样本中的信息，可以训练得到准确性更高的头部角度预测模型；而且头部角度预测不需要人脸关键点的计算过程，直接通过头部图像计算头部角度，从而减小了计算耗时，并且减小了误差引入的机会。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (19)

1.一种头部角度预测模型训练方法，其特征在于，包括以下步骤：

获取多个训练样本，所述训练样本包括头部图像和所述头部图像的头部标注角度，以及标注概率分布，所述标注概率分布是根据所述头部标注角度计算的；

根据所述训练样本对头部角度预测模型进行训练。

2.如权利要求1所述的头部角度预测模型训练方法，其特征在于：所述头部标注角度包括第一标注角度、第二标注角度和第三标注角度，所述标注概率分布包括第一标注分布、第二标注分布和第三标注分布；所述第一标注分布由所述第一标注角度计算，所述第二标注分布由所述第二标注角度计算，所述第三标注分布由所述第三标注角度计算。

3.如权利要求2所述的头部角度预测模型训练方法，其特征在于：所述第一标注分布由所述第一标注角度计算，具体为根据以下算式计算：

其中，x为离散角度，μ为所述第一标注角度，D(x)为所述第一标注分布。

4.如权利要求2所述的头部角度预测模型训练方法，其特征在于：所述头部角度预测模型包括处理模块、以及连接于所述处理模块的第一预测支路、第二预测支路和第三预测支路；所述第一预测支路用于预测第一概率分布和第一偏转角度，所述第二预测支路用于预测第二概率分布和第二偏转角度，所述第三预测支路用于预测第三概率分布和第三偏转角度。

5.如权利要求4所述的头部角度预测模型训练方法，其特征在于：所述第一预测支路包括第一全连接层、第一计算层、第一输出层以及第一概率损失层和第一角度损失层，且所述第一全连接层、第一计算层、第一输出层依次连接；所述第一全连接层用于预测第一概率分布，所述第一计算层用于根据所述第一概率分布计算第一偏转角度，所述第一输出层用于输出所述第一偏转角度；所述第一概率损失层连接于所述第一全连接层，所述第一角度损失层连接于所述第一输出层。

6.如权利要求5所述的头部角度预测模型训练方法，其特征在于：所述第一概率损失层通过以下损失函数实现：

其中，m表示训练时batch的大小，C表示所述第一标注分布的离散角度个数，t表示所述第一标注分布，p表示预测得到的第一概率分布。

7.如权利要求5所述的头部角度预测模型训练方法，其特征在于：所述第一角度损失层通过以下损失函数实现：

其中，m表示训练时batch的大小，x₁表示所述第一标注角度，x₂表示预测得到的第一偏转角度。

8.如权利要求1-7中任一项所述的头部角度预测模型训练方法，其特征在于，在所述获取多个训练样本之前，还包括以下步骤：

根据所述头部图像获取所述头部图像的头部标注角度。

9.如权利要求8所述的头部角度预测模型训练方法，其特征在于：所述根据所述头部图像获取所述头部图像的头部标注角度，具体包括以下步骤：

获取头部坐标系到摄像机坐标系的第一旋转矩阵；

获取头部坐标系当前旋转的方向和角度；

根据所述第一旋转矩阵、以及所述当前旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵；

若收到旋转结束指令，则根据所述第二旋转矩阵计算头部标注角度。

10.如权利要求9所述的头部角度预测模型训练方法，其特征在于，若未收到所述旋转结束指令，则执行以下步骤直至收到所述旋转结束指令：

将所述第二旋转矩阵作为第一旋转矩阵；

获取头部坐标系下一旋转的方向和角度；

根据所述第一旋转矩阵、以及所述下一旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵。

11.如权利要求10所述的头部角度预测模型训练方法，其特征在于：所述获取头部坐标系到摄像机坐标系的第一旋转矩阵之前，还包括以下步骤：

将头部坐标系置为预设坐标系，所述预设坐标系与所述摄像机坐标系三个方向均平行；

所述获取头部坐标系到摄像机坐标系的第一旋转矩阵，具体为，所述第一旋转矩阵为：

12.如权利要求9所述的头部角度预测模型训练方法，其特征在于：所述头部坐标系包括第一轴、第二轴和第三轴三个坐标轴；

所述获取头部坐标系当前旋转的方向和角度，具体为：获取头部坐标系绕第一轴或第二轴或第三轴旋转的角度。

13.如权利要求12所述的头部角度预测模型训练方法，其特征在于：所述根据所述第一旋转矩阵、以及所述当前旋转的方向和角度计算头部坐标系到摄像机坐标系的第二旋转矩阵，具体为根据下式计算：

R_n＝R_n-1R_s；

其中，R_n-1为第一旋转矩阵，R_n为第二旋转矩阵，R_s为根据所述当前旋转的方向和角度计算的矩阵。

14.如权利要求13所述的头部角度预测模型训练方法，其特征在于：若所述当前旋转的方向和角度为绕第一轴旋转α，则：

若所述当前旋转的方向和角度为绕第二轴旋转β，则：

若所述当前旋转的方向和角度为绕第三轴旋转γ，则：

15.如权利要求13所述的头部角度预测模型训练方法，其特征在于：所述第二旋转矩阵为：

所述若收到旋转结束指令，则根据所述第二旋转矩阵计算头部标注角度，具体为：若收到旋转结束指令，则根据下式计算所述头部标注角度：

β_tag＝-arcsinr₇；

其中β_tag、α_tag、γ_tag分别为相对于第二轴、第一轴、第三轴的标注角度。

16.如权利要求9所述的头部角度预测模型训练方法，其特征在于：所述若收到旋转结束指令，则根据所述第二旋转矩阵计算头部标注角度之前，还包括以下步骤：

判断所述第二旋转矩阵相应的头部模型与标注头部的偏转角度是否相同，若相同则发出旋转结束指令。

17.一种头部角度预测方法，其特征在于，包括以下步骤：

获取头部图像；

通过如权利要求1-16中任一项所述的头部角度预测模型训练方法训练后的头部角度预测模型对所述头部图像的头部角度进行预测。

18.一种电子设备，其特征在于：包括存储器、处理器以及存储在存储器中的程序，所述程序被配置成由处理器执行，处理器执行所述程序时实现：

如权利要求1-16中任一项所述的头部角度预测模型训练方法的步骤；和/或

如权利要求17所述的头部角度预测方法的步骤。

19.一种存储介质，所述存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现：

如权利要求1-16中任一项所述的头部角度预测模型训练方法的步骤；和/或

如权利要求17所述的头部角度预测方法的步骤。