CN109711291A - 基于眼睛凝视热力图的人格预测方法 - Google Patents

Abstract

本发明实施例公开一种基于眼睛凝视热力图的人格预测方法，获取被测试人观看刺激视频时的面部活动视频，根据面部活动视频，确定被测试人眼睛凝视热力图，从眼睛凝视热力图提取特征，将从眼睛凝视热力图提取的特征，应用预先训练后的人格预测模型，得出被测试人的人格预测值，从而实现基于眼睛凝视热力图进行人格预测。

Description

基于眼睛凝视热力图的人格预测方法

技术领域

本发明涉及测试领域，尤其涉及一种基于眼睛凝视热力图的人格预测方法。

背景技术

专利申请号为201810395841.5、201810395844.9的两项专利公开了基于皮肤电阻或脉搏等生理特征进行人格预测的方案。但是，皮肤电阻、脉搏等生理特征需要使用接触式的传感器，部署成本较高，限制了其适用范围。如何提供更多的人格预测方法是当前需要解决的技术问题。

发明内容

本发明实施例提供一种基于眼睛凝视热力图的人格预测方法，能够实现基于眼睛凝视热力图进行人格预测。

本发明实施例采用如下技术方案：

一种基于眼睛凝视热力图的人格预测方法，包括：

获取被测试人观看刺激视频时的面部活动视频；

根据所述面部活动视频，确定所述被测试人眼睛凝视热力图；

从所述眼睛凝视热力图提取特征；

将从所述眼睛凝视热力图提取的特征，应用预先训练后的人格预测模型，得出所述被测试人的人格预测值。

本发明实施例提供的基于眼睛凝视热力图的人格预测方法，获取被测试人观看刺激视频时的面部活动视频，根据面部活动视频，确定被测试人眼睛凝视热力图，从眼睛凝视热力图提取特征，将从眼睛凝视热力图提取的特征，应用预先训练后的人格预测模型，得出被测试人的人格预测值，从而实现基于眼睛凝视热力图进行人格预测。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1为本发明实施例示出的基于眼睛凝视热力图的人格预测方法的流程图。

图2为本发明实施例示出的眼睛凝视点计算示意图。

图3为本发明实施例示出的眼睛凝视点分布图示例。

图4为本发明实施例示出的离散化后的眼睛凝视热力图示例。

图5为本发明实施例示出的使用卷积网络提取眼睛凝视热力图特征的示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

本发明实施例提供一种基于眼睛凝视热力图的人格预测方法，记录被测试人观看刺激视频时，其面部活动情况，使用预先训练好的深度学习模型计算得到其眼睛凝视点的分布图，经过归一化和离散化处理得到眼睛凝视热力图，对热力图进行处理，提取包括HOG在内的多种特征，通过我们预先训练好的深度学习情感模型和人格模型，得道被测试人的人格预测值，从而实现基于眼睛凝视热力图进行人格预测。

如图1所示，本发明实施例一种基于眼睛凝视热力图的人格预测方法，包括：

S1、获取被测试人观看刺激视频时的面部活动视频；

S2、根据所述面部活动视频，确定所述被测试人眼睛凝视热力图；

S3、从所述眼睛凝视热力图提取特征；

S4、将从所述眼睛凝视热力图提取的特征，应用预先训练后的人格预测模型，得出所述被测试人的人格预测值。

本发明实施例的基于眼睛凝视热力图的人格预测方法，获取被测试人观看刺激视频时的面部活动视频，根据面部活动视频，确定被测试人眼睛凝视热力图，从眼睛凝视热力图提取特征，将从眼睛凝视热力图提取的特征，应用预先训练后的人格预测模型，得出被测试人的人格预测值，从而实现基于眼睛凝视热力图进行人格预测。

在一个实施例中，获取被测试人观看刺激视频时的面部活动视频时，可以在被测试人需坐在显示器前观看刺激视频时，在被测试人面前放置摄像头，通过摄像头记录被测试人观看视频时面部的变化，得到被观测人观看视频的面部活动视。

在一个实施例中，所述刺激视频包括对五大人格的针对性测试视频：神经质视频、外向型视频、开放性视频、宜人性视频和尽责性视频；其中，所述神经质视频选用内容压抑、令人不安的视频，所述外向型视频选用充满热情和富有感染力的视频，所述开放性视频选用具有创新性的视频，所述尽责性视频选用含有大量描述尽责行为的视频。本发明实施例，被测试人观看的刺激视频多种不同类型的视频组成，可以从多个角度激发被测试人的情感，最终的预测结果更准确。

在一个实施例中，所述根据所述面部活动视频，确定所述被测试人眼睛凝视热力图包括：

根据所述面部活动视频，应用预先存储的深度学习模型，得出所述被测试人眼睛凝视点分布图；

根据所述眼睛凝视点分布图，得到所述眼睛凝视热力图。

其中，深度学习模型可以经过预先训练。

在一个实施例中，所述从所述眼睛凝视热力图提取特征之后，还包括：

获取所述被测试人观看所述刺激视频的情感特征及人格特征；

根据从所述眼睛凝视热力图提取的特征及所述情感特征，得出包含六种情感的情感预测模型；

根据所述人格特征及所述六种情感，得到所述训练后的人格预测模型。

在一个实施例中，所述根据所述面部活动视频，应用预先存储的深度学习模型，得出所述被测试人眼睛凝视点分布图包括：

应用所述深度学习模型对所述面部活动视频进行处理，所述面部活动视频的每一帧得到一组数据，如图2所示，每组数据包括拍摄所述面部活动视频的摄像头与所述被测试人面部的相对坐标(Dx，Dy，Dz)，以及所述被测试人眼睛凝视角度的空间向量(x，y，z)，；其中，Dx，Dy，Dz分别表示所述被测试人面部与所述摄像头在X、Y、Z轴上的相对距离，所述空间向量(x，y，z)表示一个相对于所述摄像头平面的三维向量；

由于与平面相交的直线，与该平面有且只有一个交点，因此上述的空间向量(x，y，z)与摄像头所在平面必交于一点。如果眼睛瞳孔位于经过摄像头焦点，并垂直于摄像头所在平面的直线上，并通过上文可知，眼睛瞳孔与摄像头所在平面的距离为Dy，则通过相似变换可得眼睛凝视角度的向量与摄像头所在平面相交于点由于眼睛瞳孔存在在X和Z方向上的偏移Dx和Dz，则被测试人眼睛所注视到所述摄像头所在平面的位置坐标为

获取所述被测试人眼睛所注视到所述摄像头所在平面的位置坐标

使用坐标公式经过计算得到所述面部活动视频的每一帧所述被测试人眼睛所注视到所述摄像头所在平面的位置坐标为，从而得出所述被测试人眼睛凝视点分布图(效果等同于投影到显示器平面)，图3为一眼睛凝视点分布图示例。

在一个实施例中，采用图2所示的示意图计算得出眼睛凝视点。

在一个实施例中，所述根据所述眼睛凝视点分布图，得到所述眼睛凝视热力图包括：

将所述眼睛凝视点分布图中凝视点的坐标值调整为-1～1范围内；

采用向下取整的方法将各凝视点离散化到一个二维数组，得到所述眼睛凝视热力图，图4为离散化后的眼睛凝视热力图示例。

在一个实施例中，为了使深度神经网络更有效地提取热力图所包含的信息，所述二维数组的大小应根据所选择的刺激视频的长度(总帧数m)进行选择，所述二维数组大小为n*n，n的值选取到内效果最佳。

在一个实施例中，如图5所示，所述从所述眼睛凝视热力图提取特征包括：

应用卷积网络提取眼睛凝视热力图的内隐特征，并提取眼睛凝视热力图的方向梯度直方图(Histogram ofOriented Gradient，HOG，划分区域数为8)，用所述眼睛凝视热力图中的梯度变化反映眼睛注视角度的变化。

在一个实施例中，所述获取所述被测试人观看所述刺激视频的情感特征及人格特征包括：

获取所述被测试人提供的观看刺激视频的所述情感特征，所述情感特征包括高兴、惊奇、厌恶、悲伤、愤怒和恐惧；

获取所述被测试人提供的观看刺激视频的所述人格特征，所述人格特征包括五种人格：神经质性(Neuroticism)、外向性(Extroversion)、开放性(Openness)、随和性(Agreeableness)和尽责性(Conscientiousness)。

具体的，可以在所示被测试人观看完刺激视频并记录下面部活动视频后，所示被测试人在表格上填写所述情感特征及所述人格特征。

在一个实施例中，所述根据从所述眼睛凝视热力图提取的特征及所述情感特征，得出包含六种情感的情感预测模型包括：

将从所述眼睛凝视热力图提取的特征作为输入特征向量，并对提取的特征的特征值进行正则化处理，将所述情感特征作为标签(每一个情感训练一个模型)，使用深度神经网络，通过前向传播和反向传播计算得所述六种情感的预测模型。

在一个实施例中，其特征在于，所述刺激视频由n段小视频组成，根据所述人格特征及所述六种情感，得到所述训练后的人格预测模型包括：

应用所述情感预测模型处理所述n段小视频中每一段小视频得到六个输出值，所述六个输出值代表所述被测试人对每一段小视频在六个情感尺度上的反应，对于选用的n段小视频，得到一个6*n大小的输入特征，作为输入特征向量，将所述人格特征中五种人格的评分值作为标签，使用深度神经网络，通过前向传播和反向传播计算得到所述五种人格的对应的人格预测模型。

在一个实施例中，将从所述眼睛凝视热力图提取的特征，应用预先训练后的人格预测模型，得出所述被测试人的人格预测值包括：

根据提取的眼睛凝视热力图提取的特征，应用五种人格的对应的人格预测模型，得到被测试人的大五人格预测值。

本发明实施例通过转换被测试人观看刺激视频时，眼睛凝视轨迹为热力图的方法，属于非接触式的数据采集方式，比皮电、脉搏等测量方法方便实施，而且比传统量表方式更加真实，不易伪造。本发明实施例可以作为其他人格预测方法的补充，进一步提升人格预测的准确性。

本发明实施例的基于眼睛凝视热力图的人格预测方法，记录被测试人观看刺激视频时，其面部活动情况，使用预先训练好的深度学习模型计算得到其眼睛凝视点的分布图，经过归一化和离散化处理得到眼睛凝视热力图，对热力图进行处理，提取包括HOG在内的多种特征，通过我们预先训练好的深度学习情感模型和人格模型，得道被测试人的人格预测值，从而实现基于眼睛凝视热力图进行人格预测。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。

Claims (10)

1.一种基于眼睛凝视热力图的人格预测方法，其特征在于，包括：

获取被测试人观看刺激视频时的面部活动视频；

根据所述面部活动视频，确定所述被测试人眼睛凝视热力图；

从所述眼睛凝视热力图提取特征；

将从所述眼睛凝视热力图提取的特征，应用预先训练后的人格预测模型，得出所述被测试人的人格预测值。

2.根据权利要求1所述的方法，其特征在于，所述根据所述面部活动视频，确定所述被测试人眼睛凝视热力图包括：

根据所述面部活动视频，应用预先存储的深度学习模型，得出所述被测试人眼睛凝视点分布图；

根据所述眼睛凝视点分布图，得到所述眼睛凝视热力图。

3.根据权利要求1或2所述的方法，其特征在于，所述从所述眼睛凝视热力图提取特征之后，还包括：

获取所述被测试人观看所述刺激视频的情感特征及人格特征；

根据从所述眼睛凝视热力图提取的特征及所述情感特征，得出包含六种情感的情感预测模型；

根据所述人格特征及所述六种情感，得到所述训练后的人格预测模型。

4.根据权利要求2所述的方法，其特征在于，所述根据所述面部活动视频，应用预先存储的深度学习模型，得出所述被测试人眼睛凝视点分布图包括：

应用所述深度学习模型对所述面部活动视频进行处理，所述面部活动视频的每一帧得到一组数据，每组数据包括拍摄所述面部活动视频的摄像头与所述被测试人面部的相对坐标(Dx，Dy，Dz)，以及所述被测试人眼睛凝视角度的空间向量(x，y，z)，；其中，Dx，Dy，Dz分别表示所述被测试人面部与所述摄像头在X、Y、Z轴上的相对距离，所述空间向量(x，y，z)表示一个相对于所述摄像头平面的三维向量；

获取所述被测试人眼睛所注视到所述摄像头所在平面的位置坐标

使用坐标公式计算得到所述面部活动视频的每一帧所述被测试人眼睛所注视到所述摄像头所在平面的位置坐标，从而得出所述被测试人眼睛凝视点分布图。

5.根据权利要求2或4所述的方法，其特征在于，所述根据所述眼睛凝视点分布图，得到所述眼睛凝视热力图包括：

将所述眼睛凝视点分布图中凝视点的坐标值调整为-1～1范围内；

采用向下取整的方法将各凝视点离散化到一个二维数组，得到所述眼睛凝视热力图，所述二维数组大小为n*n，n的值选取到内。

6.根据权利要求1或5所述的方法，其特征在于，所述从所述眼睛凝视热力图提取特征包括：

应用卷积网络提取眼睛凝视热力图的内隐特征，并提取眼睛凝视热力图的方向梯度直方图HOG特征，用所述眼睛凝视热力图中的梯度变化反映眼睛注视角度的变化。

7.根据权利要求3或6所述的方法，其特征在于，所述获取所述被测试人观看所述刺激视频的情感特征及人格特征包括：

获取所述被测试人提供的观看刺激视频的所述情感特征，所述情感特征包括高兴、惊奇、厌恶、悲伤、愤怒和恐惧；

获取所述被测试人提供的观看刺激视频的所述人格特征，所述人格特征包括五种人格：神经质性Neuroticism、外向性Extroversion、开放性Openness、随和性Agreeableness和尽责性Conscientiousness。

8.根据权利要求3或7所述的方法，其特征在于，所述根据从所述眼睛凝视热力图提取的特征及所述情感特征，得出包含六种情感的情感预测模型包括：

将从所述眼睛凝视热力图提取的特征作为输入特征向量，并对提取的特征的特征值进行正则化处理，将所述情感特征作为标签，使用深度神经网络，通过前向传播和反向传播计算得所述六种情感的预测模型。

9.根据权利要求8所述的方法，其特征在于，所述刺激视频由n段小视频组成，根据所述人格特征及所述六种情感，得到所述训练后的人格预测模型包括：

应用所述情感预测模型处理所述n段小视频中每一段小视频得到六个输出值，所述六个输出值代表所述被测试人对每一段小视频在六个情感尺度上的反应，对于选用的n段小视频，得到一个6*n大小的输入特征，作为输入特征向量，将所述人格特征中五种人格的评分值作为标签，使用深度神经网络，通过前向传播和反向传播计算得到所述五种人格的对应的人格预测模型。

10.根据权利要求1至9中任一项所述的方法，其特征在于，所述刺激视频包括对五大人格的针对性测试视频：神经质视频、外向型视频、开放性视频、宜人性视频和尽责性视频；

其中，所述神经质视频选用内容压抑、令人不安的视频，所述外向型视频选用充满热情和富有感染力的视频，所述开放性视频选用具有创新性的视频，所述尽责性视频选用含有大量描述尽责行为的视频。