CN107085468A - 一种实时检测并显示人类情绪状态的智能笔及其检测方法 - Google Patents

Abstract

一种实时检测并显示人类情绪状态的智能笔及其检测方法，属于情绪状态识别领域，包括笔单元和手指套单元；笔单元包括配合的笔杆和笔芯，设置在笔杆上的显示屏和握笔处设置的第一心电皮电传感器；以及设置在笔杆内的第一蓝牙模块、第一电源模块和生理信号处理电路模块；手指套单元包括指套，设置在指套内与手指接触部分的第二心电皮电传感器，以及设置在指套上的第二电源模块和第二蓝牙模块。通过笔单元和指套单元采集左右手指的生理信号，比单路信号采集更能保证信号的准确性。情绪分析所使用的生理信号为心电和皮电信号，无需刺破握笔人皮肤。具有小巧、便携、无线，通过收集握笔人的皮电与心电信号，实时检测、显示并记录握笔人情绪状态等特点。

Description

一种实时检测并显示人类情绪状态的智能笔及其检测方法

技术领域

本发明涉及情绪状态识别领域，具体为一种实时检测并显示人类情绪状态的智能笔及其检测方法。

背景技术

近年来与人工智能、计算机科学、生物工程相关的情感计算领域正在快速发展之中，尤其是通过生理信号来智能识别人类情感的技术，正受到全球关注。随着现代社会不断发展，心理健康和心理咨询服务等也愈发受到重视，尤其是属于高强度、高压力人群的白领一族与学生一族，更加需要对情绪状态进行特别的关注。目前，在各领域中想获得人类所处的情绪状态一般采用询问、经验判断等方法，但所得信息的准确率往往由被询问者诚实度、判断者专业度所限制。如何帮助其注意到负面情绪的出现，对及时调节心情，克服焦虑、紧张、压力等带来的情绪困扰有着重要意义。

现有技术中通常通过感知接收器来检测握笔人的生理信号，需要感知者佩戴在身上，且需额外配置，价格高、不便携，无法得到人们的青睐。尤其对于白领、学生而言，每天都会面对较多伏案的书写工作，传统生理信号采集装置，如专利CN200810119168公开的“一种压力与情绪调节系统及一种生理信号采集装置”，以HRV生物反馈训练系统为基础进行，通过握笔人语调变化、握笔压力变化、写字压力变化等特征来判断，其结构复杂，无法在日常生活中完成检测，不仅成本较高，而且采集信号容易伪装，真实性不高。

发明内容

针对现有技术中存在的问题，本发明提供一种实时检测并显示人类情绪状态的智能笔及其检测方法，结构小巧，携带方便，无线通信，能够通过收集握笔人的皮电与心电信号，实时检测、显示并记录握笔人情绪状态。

本发明是通过以下技术方案来实现：

一种实时检测并显示人类情绪状态的智能笔，包括笔单元和手指套单元；

所述的笔单元，包括配合的笔杆和笔芯，设置在笔杆上的显示屏和握笔处设置的第一心电皮电传感器；以及设置在笔杆内的第一蓝牙模块、第一电源模块和生理信号处理电路模块；

所述的手指套单元，包括指套，设置在指套内与手指接触部分的第二心电皮电传感器，以及设置在指套上的第二电源模块和第二蓝牙模块；

第一电源模块和第二电源模块，分别用于为笔单元和指套单元各部分供电；

第一心电皮电传感器通过在握笔处与握笔手接触采集第一心电和皮电信号；第二心电皮电传感器通过在指套内与非握笔手接触采集第二心电和皮电信号；第二蓝牙模块将采集到的第二心电和皮电信号通过第一蓝牙模块传输到生理信号处理电路模块；

生理信号处理电路模块用于对第一心电和皮电信号和第二心电和皮电信号进行去噪、过滤和数模转换处理，然后进行特征提取、特征分类和情绪分析后输出情绪状态；其输入端分别连接第一心电皮电传感器输出端和第一蓝牙模块输出端，生理信号处理电路模块的输出端连接显示屏。

优选的，生理信号处理电路模块的输出端还设置通信蓝牙模块，用于移动端的数据通信。

优选的，笔单元和指套单元上分别设置有用于给第一电源模块和第二电源模块充电的USB充电接口。

优选的，生理信号处理电路模块包括心电采集电路、皮电采集电路、A/D转换电路和情绪计算及判断模块；

心电采集电路与第一心电皮电传感器、第一蓝牙模块相连，接收左手和右手的心电信号，同时将该生理信号并进行放大；心电采集电路依次连接去噪电路和隔离电路；

皮电采集电路与第一心电皮电传感器、第一蓝牙模块相连，接收左手和右手的皮电信号，同时将该生理信号并进行放大；

A/D转换电路输入端与隔离电路的输出端以及皮电采集电路的输出端相连进行数模转换；

情绪计算及判断电路输入端与A/D转换电路输出端相连，对已经进行放大、去噪和数模转换的生理信号进行特征提取、特征分类和情绪分析处理。

优选的，情绪计算及判断电路采用FPGA现场可编程门阵列集成到生理信号处理电路模块。

优选的，心电采集电路采用集成信号调理模块AD8232芯片，去噪电路采用集成信号调理模块AD8603芯片。

一种实时检测并显示人类情绪状态的智能笔的检测方法，包括如下对生理信号进行特征提取、特征分类和情绪分析处理的步骤，

步骤1，预处理；

基于国际情绪图片库中选取的图片，提取握笔人在不同愉悦度等级图片诱发下的心电和皮电信号，作为个人情绪状态分类的基准；

步骤2，特征提取；

2.1采用统计学方法，计算心电信号和皮电信号的最大值、最小值、平均值、标准方差和心电p-p波间平均值作为统计特征值；

2.2采用经验模态分解方法，将心电信号和皮电信号分解，得到前三阶本征模态函数并提取本征模态函数的瞬时频率、最大频率和最小频率作为经验模态分解特征值；

2.3采用统计学方法与经验模态分解方法得到的8个特征值，作为本发明检测方法的一组特征值用于支持向量机分类；

步骤3，特征分类；

根据步骤2的特征提取方法对步骤1中采集到的心电和皮电信号进行特征提取后，采用支持向量机对提取到的特征进行分类，得到的分类结果与图片对应的实际情绪状态进行相比较，得到4种不同情绪状态下的特征变化规律，建立个人情绪分类模型；

步骤4，情绪分析处理,；

根据步骤1和2得到实时采集的心电皮电信号得到的实时特征值，通过步骤3中建立的个人情绪分类模型，则输出支持向量机分类完成的类别结果，不同的类别结果对应不同情绪状态和显示结果，从而能够显示握笔人当前所处情绪状态。

优选的，预处理所使用的图片为从国际情绪图片库中选择的64张图片，按愉悦度范围分为4个等级，每个等级包含16张图片；等级1对应低刺激低愉悦情绪，等级2对应低刺激高愉悦情绪，等级3对应高刺激低愉悦情绪，等级4对应高刺激低愉悦情绪。

优选的，所述的预处理包括基准阶段和采集阶段；

预处理基准阶段为播放至少3分钟轻音乐让握笔人进入基准状态，然后开始国际情绪图片库图片放映；

预处理采集阶段放映每张图片时间为8秒，图片与图片之间间隔5秒；每一等级图片播放完后间隔60秒播放下一组图片；同时采集的心电皮电信号为之后情绪分类提供基准。

与现有技术相比，本发明具有以下有益的技术效果：

本发明一种实时检测并显示人类情绪状态的智能笔，通过笔单元和指套单元分别采集左右手指的生理信号，比单路信号采集更能保证信号的准确性。情绪分析所使用的生理信号为心电和皮电信号，无需刺破握笔人皮肤，同时具有笔的书写功能。主要面向学生、白领等长期书写的人群开发，具有小巧、便携、无线，通过收集握笔人的皮电与心电信号，实时检测、显示并记录握笔人情绪状态等特点，还可同步传输检测结果至电脑端、手机端。通过情绪状态日志，帮助握笔人掌握自身的心理状态，也为学校、企业等机构能及时提供心理干预打下基础。同时还可促进如医疗领域、刑侦领域、社会学领域的科学研究发展。

本发明一种实时检测并显示人类情绪状态的检测方法，通过收集握笔人心电与皮电两组生理信号来进行情绪判断，生理信号不容易伪装，可得到握笔人更加真实潜在的情绪变化。而与脑电信号相比，收集心电和皮电信号成本低，设备小巧，不需要在限定场额外配备繁重的脑电检测仪所才能完成信号收集，也不会造成握笔人额外的心理压力。

本发明所述方法在数据采集阶段使用了国际情感图片库的64张图片作为刺激源，通过该库给每张图片定义的valence、arousal来寻找4类不同情绪下的对应图片。此过程相比于用音乐、视频等方法更加简单，且图片的valence、arousal的已知，省去了采用其他方法时如何事先挑选4类不同情绪下的刺激源这一步骤。

本发明的检测方法提取的特征包括心电和皮电数据的统计学特征，如最大值、最小值、平均值、均方差、心电P-P波间均值，还包括通过对心电和皮电算法使用经验模态分解(EMD)算法分别得到的前三阶本征模态函数(IMF)的瞬时频率、最大频率、最小频率。经验模态分解将信号分解为一系列固有模态函数分量，能够刻画信号的非平稳特性。

本发明的检测方法在第一次数据采集阶段及特征提取完成后，采用支持向量机对特征进行分类学习，找出4类不同情绪对应的特征规律，建立握笔人个人情绪分类模型。当新的心电皮电信号输入后，经特征提取生成一组新的特征值，通过支持向量机计算这组新的特征值所对应的情绪种类。基于个人情绪分类模型的情绪分类可以消除人与人之间的个体差异性，提升检测准确性。

附图说明

图1为本发明实例中所述智能笔的笔单元结构示意图。

图2为图1的A-A向示意图。

图3为本发明实例中所述智能笔的指套单元结构示意图。

图4为本发明实例中所述智能笔的电路结构原理框图。

图中：笔杆1，笔芯2，显示屏3，第一心电皮电传感器4，指套5，第二心电皮电传感器6，

具体实施方式

下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

本发明一种实时检测并显示人类情绪状态的智能笔，如图1、图2和图3所示，包括，

笔单元，包括配合的笔杆1和笔芯2，设置在笔杆1上的显示屏3和握笔处设置的第一心电皮电传感器4；以及设置在笔杆1内的第一蓝牙模块、第一电源模块和生理信号处理电路模块；

手指套单元，包括指套5，设置在指套5内与手指接触部分的第二心电皮电传感器6，以及设置在指套5上的第二电源模块和第二蓝牙模块。

其中，第一心电皮电传感器4通过在握笔处与握笔手接触采集第一心电和皮电信号；

第二心电皮电传感器6通过在指套5内与非握笔手接触采集第二心电和皮电信号；第二蓝牙模块将采集到的第二心电和皮电信号通过第一蓝牙模块传输到生理信号处理电路模块；

生理信号处理电路模块的输入端分别连接第一心电皮电传感器4输出端和第一蓝牙模块输出端，生理信号处理电路模块的输出端连接显示屏3；

生理信号处理电路模块的输出端还设置通信蓝牙模块，用于手机端和电脑端等移动端的数据通信，进行用于后续分析或其他功能；

生理信号处理电路模块，用于对第一心电和皮电信号和第二心电和皮电信号进行去噪、过滤、数模转换处理，然后进行特征提取、特征分类和情绪分析；

显示屏3，用于显示握笔人的情绪状态；

第一电源模块和第二电源模块，分别用于为笔单元和指套单元各部分供电；

笔单元和指套单元上分别设置有用于给电源模块充电的USB充电接口。

如图4所示，生理信号处理电路模块包括心电采集电路和皮电采集电路、情绪计算及判断模块；

心电采集电路，与第一心电皮电传感器4、第一蓝牙模块相连，接收左和右手的心电信号，同时将该生理信号并进行放大；

皮电采集电路，与第一心电皮电传感器4、第一蓝牙模块相连，接收左和右手的皮电信号，同时将该生理信号并进行放大；

去噪电路，该电路输入端与心电采集电路的输出端相接，对心电信号进行去噪处理；

隔离电路，该电路输入端与去噪电路的输出端相连，抑制噪声干扰；

A/D转换电路，该电路输入端与隔离电路的输出端以及皮电采集电路的输出端相连，实现数模转换功能；

情绪计算及判断电路，该电路输入端与A/D转换电路输出端相连，对已经进行放大、去噪、数模转换的生理信号进行特征提取、特征分类和情绪分析处理；本优选实例中，情绪计算及判断电路采用FPGA现场可编程门阵列集成到智能笔模块中。

本优选实例中，心电采集电路和去噪电路使用集成信号调理模块AD8232与AD8603芯片对心电信号进行放大与去噪，并使用智能笔内置电池供电。

情绪计算及判断电路中对生理信号进行特征提取、特征分类和情绪分析处理；具体包括如下步骤，

一、预处理，

基于国际情绪图片库(IAPS)中选取的图片，提取握笔人在不同愉悦度等级图片诱发下的心电和皮电信号，作为个人情绪状态分类的基准；

进一步的，预处理所使用的图片为从国际情绪图片库(IAPS)中选择的64张图片，按愉悦度范围分为4个等级，每个等级包含16张图片；等级1对应低刺激低愉悦情绪，等级2对应低刺激高愉悦情绪，等级3对应高刺激低愉悦情绪，等级4对应高刺激低愉悦情绪；

预处理包括基准阶段和采集阶段；

预处理基准阶段为播放3分钟轻音乐让握笔人进入基准状态，然后开始国际情绪图片库图片放映；

预处理采集阶段放映每张图片时间为8秒，图片与图片之间间隔5秒；每一等级图片播放完后间隔60秒播放下一组图片；

预处理时采集的心电皮电信号做特征提取与特征分类，得到不同情绪下的心电皮电特征模式，为之后情绪状态分类提供基准；

二、特征提取，

2.1采用统计学方法，计算心电信号和皮电信号的最大值、最小值、平均值、标准方差、心电p-p波间平均值作为统计特征值；

2.2采用经验模态分解(EMD)方法，将心电信号和皮电信号分解，得到前三阶本征模态函数并提取本征模态函数的瞬时频率、最大频率、最小频率作为经验模态分解特征值；

2.3采用统计学方法与经验模态分解方法得到的8个特征，作为本发明检测方法的一组特征值用于支持向量机分类；

三、特征分类，

将上一步中针对64张图片得到的64组特征值采用支持向量机进行分类，得到的分类结果与图片对应的实际情绪状态进行相比较，得到4种不同情绪状态下的特征变化规律，建立个人情绪分类模型。

四、情绪分析处理，

在前三个步骤完成后，得到了个人情绪分类模型，可开始实时情绪检测。当新的心电皮电信号输入后，通过上文描述的特征提取过程生成一组新的特征值，将这组特征值输入到由支持向量机建立的个人情绪分类模型中，则输出支持向量机分类完成的类别结果(类别结果为1或2或3或4，分别代表4种情绪)。不同的类别结果对应不同的LED显示结果，提示握笔人当前所处情绪状态。

本发明所述智能笔的出现，将为经常伏案书写的学生、白领一族带来便利。在使用情绪笔的过程中，握笔人的情绪变化可实时显示并被记录下来，通过情绪状态日志可在后期分析自身情况，及时进行应对调节，有利于身心健康；学校、企业等机构也可根据握笔人的情绪状态日志来进行针对性心理辅导，合理减压。不仅有助于握笔人了解自身的情绪状态，还可用于医疗领域中，方便医疗人员观察、分析握笔人的情绪，进行适时的、个性化的心理辅导。

本发明不仅具备通过生理信号判断情绪的功能，还具有书写功能，能用于有便携式设备可用于实时检测并显示人类情绪状态。本发明通过笔作为采集终端，针对长期伏案的工作人员来说，笔有着熟悉感与亲切感，使得本发明可以在最自然的日常生活情景下完成情绪检测，得到最真实的测试效果。而与手环等设备相比较，从指尖收集到的心电皮电信号更为准确，可提高情绪分类准确性。

同时，白领、学生党长时间握笔的实际情况将使得本专利在不影响握笔人工作生活的同时，收集尽可能多的生理信号并做出情绪判断，可传输到电脑端保存为日志资料，对握笔人自我调节、专业人士进行心理辅导等提供丰富的理论依据，同时也为企业、学校等为握笔人合理安排工作学习内容，提高效率做出贡献。

当出现负面情绪时，心跳出现不规律、不连贯的情况，而出现正面情绪时，心跳则是平缓、规律、连贯的。对于皮电信号，当情绪紧张、恐惧、焦虑时，人类汗腺分泌增加，皮肤表面汗液增多皮电信号升高。可见心电皮和电信号随情绪变化有着明显规律的特征，是作为用于判断情绪的生理信号的简单、有力选择。

本专利在笔上增加了能够采用LED的显示屏3，实时显示握笔人的情绪状态并在握笔人出现负面情绪时给出注意提示，如“您当前处于压力状态，请深呼吸放松，保持好心情”等，及时提醒握笔人应对负面情绪，保持身心健康。

Claims (9)

1.一种实时检测并显示人类情绪状态的智能笔，其特征在于，包括笔单元和手指套单元；

所述的笔单元，包括配合的笔杆(1)和笔芯(2)，设置在笔杆(1)上的显示屏(3)和握笔处设置的第一心电皮电传感器(4)；以及设置在笔杆(1)内的第一蓝牙模块、第一电源模块和生理信号处理电路模块；

所述的手指套单元，包括指套(5)，设置在指套(5)内与手指接触部分的第二心电皮电传感器(6)，以及设置在指套(5)上的第二电源模块和第二蓝牙模块；

第一电源模块和第二电源模块，分别用于为笔单元和指套单元各部分供电；

第一心电皮电传感器(4)通过在握笔处与握笔手接触采集第一心电和皮电信号；第二心电皮电传感器(6)通过在指套(5)内与非握笔手接触采集第二心电和皮电信号；第二蓝牙模块将采集到的第二心电和皮电信号通过第一蓝牙模块传输到生理信号处理电路模块；

生理信号处理电路模块用于对第一心电和皮电信号和第二心电和皮电信号进行去噪、过滤和数模转换处理，然后进行特征提取、特征分类和情绪分析后输出情绪状态；其输入端分别连接第一心电皮电传感器(4)输出端和第一蓝牙模块输出端，生理信号处理电路模块的输出端连接显示屏(3)。

2.根据权利要求1所述的一种实时检测并显示人类情绪状态的智能笔，其特征在于，生理信号处理电路模块的输出端还设置通信蓝牙模块，用于移动端的数据通信。

3.根据权利要求1所述的一种实时检测并显示人类情绪状态的智能笔，其特征在于，笔单元和指套单元上分别设置有用于给第一电源模块和第二电源模块充电的USB充电接口。

4.根据权利要求1所述的一种实时检测并显示人类情绪状态的智能笔，其特征在于，生理信号处理电路模块包括心电采集电路、皮电采集电路、A/D转换电路和情绪计算及判断模块；

心电采集电路与第一心电皮电传感器(4)、第一蓝牙模块相连，接收左手和右手的心电信号，同时将该生理信号并进行放大；心电采集电路依次连接去噪电路和隔离电路；

皮电采集电路与第一心电皮电传感器(4)、第一蓝牙模块相连，接收左手和右手的皮电信号，同时将该生理信号并进行放大；

A/D转换电路输入端与隔离电路的输出端以及皮电采集电路的输出端相连进行数模转换；

情绪计算及判断电路输入端与A/D转换电路输出端相连，对已经进行放大、去噪和数模转换的生理信号进行特征提取、特征分类和情绪分析处理。

5.根据权利要求4所述的一种实时检测并显示人类情绪状态的智能笔，其特征在于，情绪计算及判断电路采用FPGA现场可编程门阵列集成到生理信号处理电路模块。

6.根据权利要求4所述的一种实时检测并显示人类情绪状态的智能笔，其特征在于，心电采集电路采用集成信号调理模块AD8232芯片，去噪电路采用集成信号调理模块AD8603芯片。

7.一种实时检测并显示人类情绪状态的智能笔的检测方法，其特征在于，包括如下对生理信号进行特征提取、特征分类和情绪分析处理的步骤，

步骤1，预处理；

基于国际情绪图片库中选取的图片，提取握笔人在不同愉悦度等级图片诱发下的心电和皮电信号，作为个人情绪状态分类的基准；

步骤2，特征提取；

2.1采用统计学方法，计算心电信号和皮电信号的最大值、最小值、平均值、标准方差和心电p-p波间平均值作为统计特征值；

2.2采用经验模态分解方法，将心电信号和皮电信号分解，得到前三阶本征模态函数并提取本征模态函数的瞬时频率、最大频率和最小频率作为经验模态分解特征值；

2.3采用统计学方法与经验模态分解方法得到的8个特征值，作为本发明检测方法的一组特征值用于支持向量机分类；

步骤3，特征分类；

根据步骤2的特征提取方法对步骤1中采集到的心电和皮电信号进行特征提取后，采用支持向量机对提取到的特征进行分类，得到的分类结果与图片对应的实际情绪状态进行相比较，得到4种不同情绪状态下的特征变化规律，建立个人情绪分类模型；

步骤4，情绪分析处理,；

根据步骤1和2得到实时采集的心电皮电信号得到的实时特征值，通过步骤3中建立的个人情绪分类模型，则输出支持向量机分类完成的类别结果，不同的类别结果对应不同情绪状态和显示结果，从而能够显示握笔人当前所处情绪状态。

8.根据权利要求7所述的一种实时检测并显示人类情绪状态的智能笔的检测方法，其特征在于，预处理所使用的图片为从国际情绪图片库中选择的64张图片，按愉悦度范围分为4个等级，每个等级包含16张图片；等级1对应低刺激低愉悦情绪，等级2对应低刺激高愉悦情绪，等级3对应高刺激低愉悦情绪，等级4对应高刺激低愉悦情绪。

9.根据权利要求7所述的一种实时检测并显示人类情绪状态的智能笔的检测方法，其特征在于，所述的预处理包括基准阶段和采集阶段；

预处理基准阶段为播放至少3分钟轻音乐让握笔人进入基准状态，然后开始国际情绪图片库图片放映；

预处理采集阶段放映每张图片时间为8秒，图片与图片之间间隔5秒；每一等级图片播放完后间隔60秒播放下一组图片；同时采集的心电皮电信号为之后情绪分类提供基准。