CN107582077A

CN107582077A - 一种基于手机触摸行为的人体精神状态分析方法

Info

Publication number: CN107582077A
Application number: CN201710708392.0A
Authority: CN
Inventors: 付章杰; 吕正元; 许琳燕
Original assignee: Nanjing University of Information Science and Technology
Current assignee: Nanjing University of Information Science and Technology
Priority date: 2017-08-17
Filing date: 2017-08-17
Publication date: 2018-01-16

Abstract

本发明提供一种基于手机触摸行为的人体精神状态分析方法。首先，设计一个可以收集滑动数据的2048游戏，该游戏同时可以收集加速度传感器的数据。然后，利用中值滤波器对屏幕数据进行处理，利用切比雪夫I型滤波器对加速度传感器数据进行处理。对滤波后的数据采用ReliefF算法提取特征值。之后利用LIBSVM进行数据的训练和分类。最后，将分类的数据进行进一步的详细分类，训练更多的模型，进一步提高了预测的准确率。

Description

一种基于手机触摸行为的人体精神状态分析方法

技术领域

本发明属于机器学习领域，具体涉及的是一种利用svm分类器，将智能手机的屏幕参数与加速度传感器数据结合，综合分析使用者精神状态的方法。

背景技术

随着社会的进步，人们的精神压力逐渐增大，对于学生，并不能了解自己大脑的兴奋程度是什么时候最高，在大脑低活跃度的情况下学习，不仅效率低下，而且有可能给人带来一系列的负面情绪。对于已经工作的人们，不懂什么时候该进行休息，什么时候工作效率可以达到最高。不能通过自己的大脑在不同时间的兴奋程度来合理安排自己的时间，会严重影响到人的生产生活。

随着科学技术的发展，人们已经能够通过专业的仪器，分析出刺激对于大脑中不同区域的影响。通过不同的刺激来观察大脑的区域反应，进而可以得出人体大脑的兴奋程度。或者是通过测量人体的脑电、皮肤电、心电、呼吸、皮肤温度、面部肌电、眼电来判断人的情绪([1]赵国朕,宋金晶,葛燕,等.基于生理大数据的情绪识别研究进展[J].计算机研究与发展,2016,53(1):80-92.)。这些情绪识别的方法一般包括6个步骤：情绪诱发、生理信号采集、数据预处理、特征提取、特征降维、情绪学习和分类。具体的做法是，对于收集到的数据，进行时域和频域的特征值提取，频域的特征有功率，功率谱密度，能量及其不对称性等特征，时频域的特征大多时随时间变化的时变信号，即不同时刻有不同的频率成分，所以并不能通过单纯的时频分析来得到这些生理信号的特征，所以人们将两种特征进行联合分析，即时频分析，最常用的时频特征的提取方法有：短时傅里叶变换和基于小波包变换。提取到这些特征值后，需要进行降维，降维的方式一般有几种：线性判别式分析，主成分分析，奇异值分解，列主元QR分解等。最后利用分类器进行分类处理。分类器的一般有几种：实现情绪状态的识别有3种方法：1)无监督学习方法.2)监督学习方法。常见的监督学习方法有支持向量机、神经网络、决策树、贝叶斯网络、K－近邻以及隐马尔可夫模型等。3)半监督学习方法。还有一种提出通过手机屏幕数据来预测人的情绪的方法，具体做法是手机手机屏幕的压力值及滑动数据，在一系列的科学分析后，利用SVM分类器进行分类预测([2]刘群,张振.基于智能移动终端触屏行为的情绪识别[J].微电子学与计算机,2016,33(6):44-48.)。

在以上提及的方法中，通过佩戴专业仪器或者是通过专业仪器测试的方法，准确率虽然很高，但是并不适合人们在日常生活中的使用。对于通过手机屏幕数据来预测人体情绪的方法，虽然解决了方便使用的问题，但是仅仅凭手机的屏幕数据，会漏掉人体的一些细微动作，比如人手抖动的信号，所以这样的准确率并不高。所以本次发明的意义就是借助我们平时不离身的手机中的屏幕和手机中的三轴加速度传感器，通过在手机上设计一个简易的拼图游戏，通过使用者完成的情况已经进行游戏时对于屏幕的使用方式不同，如滑动的速度，点击的速度，点击的力度以及点击的时间等参数，或者通过手持手机时的细微的不同动作，由加速度传感器进行收集。在进行数据的滤波处理以及数据的特征值提取等操作后，通过svm分类器进行样本的分类，训练样本，最后用训练好的模型进行数据的分析，完成对于人体精神状态或者人体大脑的兴奋程度的推测。然后将样本分类更加具体化，收集出不同种类的样本，进行训练后，进一步提高了预测的准确率。

发明内容

本次发明所需要解决的技术问题有如下几个：如何将手机得到的数据与人体的精神状进行关联以及通过手机上的数据可以反应出什么样的精神状态；如何仅通过人在使用手机时对手机的使用情况来得到较高的识别率和较高的可靠性。在本次发明中，提出了一种将手机屏幕数据和手机中加速度传感器进行联合的方法，以屏幕数据为主，以加速度传感器得到的数据为辅助，使用滤波函数进行数据的滤波处理，使用窗函数进行数据的分割，利用svm分类器进行分类，综合分析使用者在使用时的精神状态或大脑兴奋度。本发明能够在不使用专业仪器的情况下，仅仅通过手机使用数据的分析，较为准确的推测出使用者当时的精神状态，适合于人们对自己精神状态的随时检测。

技术方案如下：

一种基于手机触摸行为的人体精神状态分析方法，应包括以下几个步骤：

步骤1)提前的准备工作。首先，通过问卷调查，我们将常见精神状态分为3个类别：兴奋，无聊，烦躁。我们将利用常见的2048游戏(即初始数字方块是由2+2组成的基数4。操作是上下左右滑动。相同数字的方块在靠拢、相撞时会相加。系统给予的数字方块不是2就是4，玩家要想办法在这小小的16格范围中凑出「2048」这个数字方块)进行数据的收集，对于2048这个游戏，设置9个平行关卡，即每个关卡的难度一致，游戏进行到512的时候即可结束；测试者需要连续完成这9个平行关卡。在其中的每三个关卡，利用国际情绪声音库中可以刺激兴奋无聊烦躁这三种精神状态的声音作为背景音乐；我们暂且认为相应的声音可以刺激出相应的精神状态；

步骤2)在步骤1)的基础上，进行数据的采集，包括预采集和采集。

数据的预采集指的是在游戏未设置背景音乐的时候进行一次采集者的数据收集，并以此作为此测试者的基值数据。

数据的采集包括两个方面：手机屏幕信息数据的采集和手机传感器数据的采集。

对于手机屏幕数据的采集，我们提取以下几个值：每次滑动的时间，每次滑动的长度，以及每次滑动的平均压力值、最大值、最小值，每两次滑动的时间间隔。

对于手机传感器数据的收集，我们提取的是三轴加速度传感器的连续变化值。

步骤3)在步骤2)的基础上，进行数据的处理。

对于数据的处理，同样也是分为两个部分，手机屏幕数据的处理以及手机加速度传感器数据的处理。需要进行滤波，加窗，以及特征值的提取等操作。

手机屏幕数据的处理：需要进行滤波，特征值的提取。对于手机屏幕数据，并不会有太多的干扰因素，只需要进行平滑滤波的中值滤波。特征值提取部分，我们利用的是ReliefF算法进行特征选择。

手机传感器数据的处理：由于加速度传感器的变化程度很小，我们将过滤掉高频的噪声，利用的是切比雪夫I型滤波器进行低通滤波。对于连续变化的加速度信号，我们采用加窗处理，即以固定大小512作为一个收集周期，每个周期内将计算xyz三轴的平均值，峰值和方差，组成一个9维的向量组。同样，在特征值提取部分，我们利用的是ReliefF算法进行特征选择。

将预收集得到的数据作为基础值，将正式收集得到的数据减去基础值，可以得到数据变化的部分，将变化的数据作为样本训练的数值。

步骤4)在步骤3)的基础上，进行数据的训练。

数据的训练部分，我们采用的是SVM分类器，借用开源的LIBSVM进行数据的训练。SVM在设计之初是一个二分类模型。所以要实现三分类，需要训练出三个模型，即每一次识别时，只有一种精神状态设为1，其他两种均为0，即建立模型100、010、001，分别对应的是兴奋、无聊、烦躁三种精神状态。

步骤5)在步骤4)的基础上，进行数据的预测。

通过以上5个步骤的处理，我们已经能够通过对采集者收集数据，然后进行采集者精神状态预测，这样的准确率是比较高的，但是实际中需要的是不同的人只需要用相同的模型进行预测分析，本发明将进行后续步骤。

进一步的，我们将收集数据的样本数量进行扩大，将测试人群不仅仅局限于学生群体，需要将测试群体扩大为几个年龄段：16到22，23到28，29到35，36到42，42岁以上，同时还需要进行性别的区分，防止性别的影响对于数据训练的不同。

有益效果

本发明针对的是人们精神状态的非专业领域分析方法，在收集数据时进行采集者的相应的情绪刺激，从而收集到对应的精神状态。然后将数据分为屏幕数据和传感器数据，分别监测的是人体的主动行为—触摸行为，人体的被动行为—手持手机的状态不同，得到的加速度传感器的数值变化。将两种数据进行综合分析，在数据处理完成之后利用SVM分类器进行样本的训练以及预测。为了极大的提高准确率，在步骤的最后我们又加入了扩展步骤，即扩大样本的数量，将分类模型进行更加详细的具体化，得到不同年龄段的不同性别的训练模型，可以在使用者使用之前进行提前的条件约束，可以得到更精确的预测结果。

此发明通过人们日常携带的手机，只需要短短的测试时间，便可大致分析出自己的及时的精神状态分析，避免了以往的需要佩戴相关仪器，为使用者提供了极大的便利。

附图说明

图1是一种基于SVM分类器和智能手机的屏幕参数与加速度传感器数据结合，综合分析使用者精神状态的方法的流程图。

具体实施方式

下面将具体介绍该流程中所使用的方法的具体步骤及其公式说明。

步骤1)提前的准备工作。包括游戏的制作、精神状态的调查汇总分类、以及在国际情绪声音库中对应兴奋、无聊、烦躁的三种声音提取。游戏的9个平行关卡会随机均分这三种声音作为背景音乐。

步骤2)进行数据的采集，包括预采集和采集。对于滑动，对于每一次的滑动，我们将忽略滑动的轨迹。对于在屏幕上的滑动，设每次滑动的起始点为(A₁,B₁)，终点为(A₂,B₂)，则滑动的长度为：

对于压力值的提取，可以设置两个个监听变量和一个监听数组，监听数组用来存放每一次得到的数据，两个监听变量分别用来存放的是每一次得到的压力值的最大值和最小值。

步骤3)进行数据的处理。

步骤301)第一类切比雪夫滤波器的幅度与频率的关系可用下列公式表示

其中|ε|＜1，表征通带内波纹大小；T_n为切比雪夫多项式；ω₀为通带截止频率；

|H_n(jω)|为去归一化后的归一化系统函数；G_n(ω)为幅度

步骤302)ReliefF算法具体的伪代码如下：

设训练数据集为D，样本抽样次数为m，特征权重的阈值δ，最近邻样本个数k；

输出为各个特性的特征权重T。

1.置所有特征权重为0，T为空集。

2.for i＝1to m do

1)从D中随机选择一个样本R

2)从R的同类样本集中找到R的k个最邻近H_j(j＝1,2,...,k)，从每一个不同类样本集中找出k个最邻近M_j(C)

3.for A＝1to N all features do

end

步骤303)中值滤波的公式如下所示：

Yi＝Mid{fi-v,…,fi-1,fi,fi+1,…,fi+v}i∈N v＝(m-1)/2

Yi称为序列fi-v,…,fi-1,fi,fi+1,…,fi+v的中值

步骤4)进行数据的训练。

步骤401)LIBSVM开源库的使用，使用的一般步骤如下：

1.按照LIBSVM软件包所要求的格式准备数据集；

该库要求的数据格式如下：

[label][index1]:[value1][index2]:[value2]...

2.对数据进行简单的缩放操作；

扫描数据.因为原始数据可能范围过大或过小,svmscale可以先将数据重新scale(縮放)到适当范围使训练与预测速度更快。

svmscale.exe的用法：svmscale.exe feature.txt feature.scaled

默认的归一化范围是[-1,1]，用参数-l和-u分别调整上界和下界,feature.txt是输入特征文件名输出的归一化特征名为feature.scaled

3.选用RBF核函数；

训练数据形成模型(model),算出wx+b＝0中的w,b.(wx+b＝0表示机器学习中的一个超平面，w,x均为向量)

Svmtrain的用法：svmtrain[options]training_set_file[model_file]

4.采用交叉验证选择最佳参数c与g；

g是gamma值，属于高斯核里面的一个参数，如果是线性核就不必设置该参数；c是惩罚值，表征的是对离群点的重视程度；

5.采用最佳参数c与g对整个训练集进行训练获取支持向量机模型；

$svmtrain–c x–g x–v x training_set_file[model_file]

x为上述得到的最优参数c和g的值，v的值一般取5。

6.利用获取的模型进行测试与预测。

$Svmpredict test_file model_file output_file

步骤5)进行数据的预测。

将样本的剩余部分进行预测，检测训练模型的准确率。

Claims

1.一种基于手机触摸行为的人体精神状态分析方法，其特征在于，包括以下步骤：

步骤1)准备工作：包括游戏的制作、精神状态的调查汇总分类、以及在国际情绪声音库中对应兴奋、无聊、烦躁的三种声音提取，游戏的9个平行关卡会随机均分这三种声音作为背景音乐；

步骤2)进行数据的采集，包括预采集和采集；对于滑动，对于每一次的滑动，将忽略滑动的轨迹；对于在屏幕上的滑动，设每次滑动的起始点为(A₁,B₁)，终点为(A₂,B₂)，则滑动的长度L为：

对于压力值的提取，设置两个个监听变量和一个监听数组，监听数组用来存放每一次得到的数据，两个监听变量分别用来存放的是每一次得到的压力值的最大值和最小值；

步骤3)进行数据的处理：

<mrow> <msub> <mi>G</mi> <mi>n</mi> </msub> <mrow> <mo>(</mo> <mi>&omega;</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <msub> <mi>H</mi> <mi>n</mi> </msub> <mrow> <mo>(</mo> <mi>j</mi> <mi>&omega;</mi> <mo>)</mo> </mrow> <mo>|</mo> <mo>=</mo> <mfrac> <mn>1</mn> <msqrt> <mrow> <mn>1</mn> <mo>+</mo> <msup> <mi>&epsiv;</mi> <mn>2</mn> </msup> <msup> <msub> <mi>T</mi> <mi>n</mi> </msub> <mn>2</mn> </msup> <mrow> <mo>(</mo> <mfrac> <mi>&omega;</mi> <msub> <mi>&omega;</mi> <mn>0</mn> </msub> </mfrac> <mo>)</mo> </mrow> </mrow> </msqrt> </mfrac> </mrow>

|H_n(jω)|为去归一化后的归一化系统函数；G_n(ω)为幅度

步骤302)ReliefF算法具体的伪代码如下：

输出为各个特性的特征权重T；

步骤303)中值滤波的公式如下所示：

Yi＝Med{fi-v,…,fi-1,fi,fi+1,…,fi+v}i∈N v＝(m-1)/2

Yi称为序列fi-v,…,fi-1,fi,fi+1,…,fi+v的中值；

步骤4)进行数据的训练：

4-1)按照LIBSVM软件包所要求的格式准备数据集；

该库要求的数据格式如下：

[label][index1]:[value1][index2]:[value2]...

4-2)对数据进行简单的缩放操作；

扫描数据.因为原始数据可能范围过大或过小,svmscale可以先将数据重新scale(縮放)到适当范围使训练与预测速度更快；

svmscale.exe的用法：svmscale.exe feature.txt feature.scaled

4-3)选用RBF核函数；

训练数据形成模型(model),算出wx+b＝0中的w,b.wx+b＝0表示机器学习中的一个超平面，w,x均为向量；

Svmtrain的用法：svmtrain[options]training_set_file[model_file]

4-4)采用交叉验证选择最佳参数c与g；

g是gamma值，属于高斯核里面的一个参数，如果是线性核就不必设置该参数；

c是惩罚值，表征的是对离群点的重视程度；

4-5)采用最佳参数c与g对整个训练集进行训练获取支持向量机模型；

$svmtrain–c x–g x–v x training_set_file[model_file]

x为上述得到的最优参数c和g的值，v的值一般取5；

4-6)利用获取的模型进行测试与预测；

$Svmpredict test_file model_file output_file

步骤5)进行数据的预测：

将样本的剩余部分进行预测，检测训练模型的准确率。