CN110135357B - 一种基于远程遥感的幸福感实时检测方法 - Google Patents

Abstract

本发明公开了一种基于远程遥感的幸福感实时检测方法，利用光谱成像技术进行远程感知，动态捕捉人类情感变化时的生理和面部表情变化信息，研究多通道信号融合的情感识别，完成对幸福感的实时检测，构建可行的幸福感识别系统。该系统包括训练学习与实时检测两部分。根据情感生理和表情数据库进行训练学习，拟合出较优的网络模型参数，构建出一个分类识别网络。训练所需数据库来自前期相关研究的实验室自采数据集。其次对所构建网络进行验证并合理修正模型参数，最终进行幸福感的实时检测。本发明克服了传统检测方法主观感知带来的波动性、情感信号所带来的非真实性以及接触式引起的情感表达不准确性，解决了幸福感检测可靠性和实时性不足的问题。

Description

一种基于远程遥感的幸福感实时检测方法

技术领域

本发明涉及人工智能技术领域，特别涉及一种利用远程遥感非侵入式获取人体生物特征信息来实时检测被测者幸福感的方法。

背景技术

通过对前人在关于幸福感的一系列研究工作中分析可知，量化地测量幸福感需要解决以下几个方面的问题：1)主观感知所带来的波动性：在主观评估时，个人的记忆、理解能力及环境因素等会制约测量结果的准确度。研究表明，情感复现高度依赖于个人的记忆、理解能力和环境因素。因此，对自我感知的依赖性会大大降低测量结果的可靠性和说服力，引起测量水平的波动，并可能导致错误的结果。2)情感信号所带来的非真实性：在客观测量生物体特征信息时，特别如语音、表情等，会隐含复杂的情感表达，如微笑既可以传达积极的情感，也可能是带有某种附属的动机(如社交的或礼貌的笑)，甚至可能是某种负性的情感。紧张时可以面带微笑，讽刺时亦可以微笑，甚至连悲伤时都可以微笑。所以由于语音、表情等情感信号可隐藏、可抑制、甚至可伪装，因此，有些情感信号有时根本无法反映出人类真实情感状态。3)接触式测量所引起的情感表达不准确性：接触式传感器获取生理信号主要有两方面的不足：一是舒适性不够，被试需要连接探测仪；二是隐蔽性不够，探测仪的连接会使被试知道他的情感状态在被监测，从而有意识控制自己的情感表达。4)状态检测的非实时性：非实时性主要体现在情感认知和训练学习两个方面。关于情感认知引起的非实时性，主要是由人的认知、理解能力及环境等因素造成的。个人对记忆、环境等因素的依赖使得在量化测量时往往难以检测出某一段时间内的准确的情感状态，量化的结果往往对测试后期表现出相对有效的可靠性。关于训练学习引起的非实时性，主要是由于学习网络的复杂度引起的。网络模型的建立需要训练时间，模型泛化性能也决定了实时评价效果。

发明内容

本发明针对现有技术的缺陷，提供了一种基于远程遥感的幸福感实时检测方法，能有效的解决上述现有技术存在的问题。

为了实现以上发明目的，本发明采取的技术方案如下：

一种基于远程遥感的幸福感实时检测方法，包括模型构建阶段，构建过程中所涉及到的具体技术路线如下：

1)讨论并设计实验范式，搭建实验平台，严格控制实验条件，实验条件包括：光照、温湿度和声音干扰，并根据上述实验设计规范采集数据，初步分类构建原始情感数据库。

2)构建情感生理信号数据库

通过高光谱成像技术采集到原始高光谱数据。再利用Viola-Jones算法进行人脸识别，检测出目标人脸，进行数据预处理与异常分析，对人脸区域的原始高光谱数据进行转换处理，得到一个量化的数据指标：血氧浓度值；建立一个关于人脸的情感生理信号数据库；

3)构建情感面部表情数据库

在记录原始高光谱数据的同时，记录面部表情数据。同时采用BM3D算法进行图像预处理，结合主动外观模型(Active Appearance Models，AAMs)进行关键特征点定位，完成表情特征的定位与特征提取，建立一个关于人脸的情感面部表情数据库。

4)面部区域分割

考虑到肌肉群的联动性，结合FACS和神经肌肉活动理论对人脸进行分割，同时根据情感识别的分类效果反馈修正来进行人脸的再分割。根据分割方法来进行脸部子区域的血氧图的特征提取，同时对面部表情进行情感分析，找出有效的情感反应特征区域，进而实现面部表情的特征提取。

5)特征选择与分类

首先利用相关统计分析方法，研究分析在情感变化下人脸各子区域的生理和表情的相关变化规律，确定有效的脸部子区域来进行下一步的特征选择。然后根据所确定的子区域来提取情感生理信号和面部表情数据，运用智能优化算法和模式分类器进行特征选择学习，找出对情感种类区分度高的特征子集组合，建立基于生理和表情融合的情感识别模型。特征选择的目的是过滤掉那些贡献度较低的特征，降低分类学习的特征维数，减小计算复杂度，便于测试阶段的实时检测。

作为优选，步骤2)中建立人脸的情感生理信号数据库具体方法如下：

利用(1)式获取像素点所对应的反射率，并基于Lang Bill’s law算法模型(公式2)来计算得到血氧浓度值(公式3)

R(x,y,λ)＝a_λI(x,y,λ)+b_λ (1)

其中I代表了图像在(x,y)处，波长为λ时的像素值，而a_λ以及b_λ是从标准光谱反射板所提取出来的校准系数。

A_mod(x,y,λ_j)＝M_oxy(x,y)Lε_oxy(λ_j)+M_deoxy(x,y)Lε_deoxy(λ_j)+M_mel(x,y)Lε_mel(λ_j)+G (2)

其中A是皮肤内发色团的总吸收率，取为反射率的倒数；L代表平均自由程，在实验中设为1；G为一个常数，代表为进入传感器的光子；ε_oxy,ε_deoxy,ε_mel分别是氧合血红蛋白，去氧血红蛋白，黑色素的

摩尔消光系数；M_oxy，M_deoxy和M_mel则是其相对应的浓度。

HbO₂为氧合血红蛋白，Hb为去氧血红蛋白。

本发明还公开了实时检测阶段，包括以下步骤：

1)情感数据采集

实时监测中利用光谱相机远程捕捉脸部的情感变化，通过数据采集系统和数据分析软件记录并初步处理原始光谱数据，整个过程自动完成。

2)数据处理

采用模型构建阶段中所使用的技术方法进行数据处理，首先是采用BM3D方法进行图像滤波预处理，之后使用Viola-Jones算法进行人脸检测，再利用AAMs进行关键特征点定位，进而完成特征区域的定位，提取出面部表情特征，再利用数据转换处理得到情感生理指标，最终完成情感生理和面部表情数据的收集。

3)分类识别

利用步骤2)得到的情感数据和模型构建阶段所训练出来的模式分类器来判定最终的情感状态，并予以识别状态显示。

与现有技术相比本发明的优点在于：在研究面部表情的基础上引入了生理信号(血氧饱和度水平，StO2)，实现多通道信号融合的情感识别。生理信号较面部表情而言具有更加直接、朴素、客观真实的情感行为表现，不受人为的控制，它是由自主神经系统和内分泌系统所支配的。StO2的引入使得情感状态的判定更为真实客观，且能实时有效地体现出某个时间段或者时间点的情感状态，避免了主观感知所引发的波动性。同时，所引入的远程非侵入式检测技术可以有效地解决接触式技术所带来的情感测量不准确性问题。另外，使用的模型分类训练方法具有计算复杂度低，鲁棒性强等特点，使得情感状态的实时性检测性成为可能。综上所述，本发明克服了传统检测方法中的主观感知波动性、情感信号非真实性、接触测量不准确性和状态检测非实时性这些缺陷，有效地解决了情感检测可靠性和实时性不足的问题。

附图说明

图1是本发明设计方案示意图；

图2是本发明实时监测示意图；

图3神经肌肉分布图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下举实施例，对本发明做进一步详细说明。

如图1所示，一种基于远程遥感的幸福感实时检测方法，包括如下步骤：

一、模型构建阶段

在构建模型阶段，选用问卷量表方式对情感素材进行有效评估，并搭建情感诱发素材库，然后利用光谱成像技术远程感知来获取情感变化下的生理和面部表情数据，再根据关键点定位及目标检测等相关算法进行脸部识别和初始特征提取，建立情感生理和面部表情信号数据库，之后使用智能优化算法和模式分类进行特征分类学习，找出对情感种类区分度高的特征组合。要注意的是，在实验采集过程中增加了实验前期的访谈期和实验后的核查期，访谈期主要用于筛选并最终确定实验参与者，确保实验对象的有效性，而核查期主要是对每个实验对象在实验结束后的实验数据进行复查，确保实验数据的有效性。

构建过程中所涉及到的具体技术路线如下：

1)讨论并设计实验范式，搭建实验平台，严格控制实验条件(包括测试环境的光照、温湿度和声音干扰等条件)，并根据上述实验设计严格规范采集数据，初步分类构建原始情感数据库。

2)构建情感生理信号数据库

搭建实验平台，通过高光谱成像技术采集到原始高光谱数据。再利用Viola-Jones算法进行人脸识别，检测出目标人脸，进行数据预处理与异常分析，对人脸区域的原始高光谱数据进行转换处理，最终得到一个量化的数据指标：血氧浓度值；建立一个关于人脸的情感生理信号数据库，具体方法如下：

利用(1)式获取像素点所对应的反射率，并基于Lang Bill’s law算法模型(公式2)来计算得到血氧浓度值(其定义见公式3)

R(x,y,λ)＝a_λI(x,y,λ)+b_λ (1)

其中I代表了图像在(x,y)处，波长为λ时的像素值，而a_λ以及b_λ是从标准光谱反射板所提取出来的校准系数。

A_mod(x,y,λ_j)＝M_oxy(x,y)Lε_oxy(λ_j)+M_deoxy(x,y)Lε_deoxy(λ_j)+M_mel(x,y)Lε_mel(λ_j)+G (2)

其中A是皮肤内发色团的总吸收率，取为反射率的倒数；L代表平均自由程，在实验中设为1；G为一个常数，代表为进入传感器的光子；ε_oxy,ε_deoxy,ε_mel分别是氧合血红蛋白，去氧血红蛋白，黑色素的

摩尔消光系数；M_oxy，M_deoxy和M_mel则是其相对应的浓度。

HbO₂为氧合血红蛋白，Hb为去氧血红蛋白。

3)构建情感面部表情数据库

在记录原始高光谱数据的同时，记录面部表情数据。同时采用Block-matchingand 3D filtering算法(BM3D)进行图像预处理，结合主动外观模型(Active AppearanceModels，AAMs)进行关键特征点定位，完成表情特征的定位与特征提取，建立一个关于人脸的情感面部表情数据库。

4)面部区域分割

考虑到肌肉群的联动性，结合FACS和神经肌肉活动理论对人脸进行分割(神经肌肉分布见图2)，同时可以根据情感识别的分类效果反馈修正来进行人脸的再分割。根据此分割方法来进行脸部子区域的血氧图的特征提取，同时对面部表情进行情感分析，找出有效的情感反应特征区域，进而实现面部表情的特征提取。

5)特征选择与分类

首先利用相关统计分析方法(如方差分析、t检验等)，研究分析在情感变化下人脸各子区域的生理和表情的相关变化规律，确定有效的脸部子区域来进行下一步的特征选择。然后根据所确定的子区域来提取情感生理信号和面部表情数据，运用智能优化算法(如遗传算法、神经网络等)和模式分类器(如支持向量机SVM，Bayesian方法等)进行特征选择学习，找出对情感种类区分度高的特征子集组合，建立基于生理和表情融合的情感识别模型。特征选择的目的是过滤掉那些贡献度较低的特征，降低分类学习的特征维数，减小计算复杂度，便于测试阶段的实时检测。

二、实时检测阶段

如图2所示，在实时检测阶段，我们采用光谱相机进行远程监测，实时捕捉情感状态变化下的脸部情感数据，运用数据采集分析软件实时处理原始光谱数据，再进行相应的目标定位与特征提取后，完成情感状态的实时分类检测。实时检测阶段的具体技术路线如下：

1)情感数据采集

实时监测中利用光谱相机远程捕捉脸部的情感变化，通过数据采集系统和数据分析软件记录并初步处理原始光谱数据，整个过程自动完成。

2)数据处理

采用模型构建阶段中所使用的技术方法进行数据处理，首先是采用BM3D方法进行图像滤波预处理，之后使用Viola-Jones算法进行人脸检测，再利用AAMs进行关键特征点定位，进而完成特征区域的定位，提取出面部表情特征，再利用数据转换处理得到情感生理指标(即StO₂)，最终完成情感生理和面部表情数据的收集。

3)分类识别

利用步骤2得到的情感数据和模型构建阶段所训练出来的模式分类器来判定最终的情感状态，并予以识别状态显示。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (2)

1.一种基于远程遥感的幸福感实时检测方法，其特征在于：包括模型构建阶段，构建过程中所涉及到的具体技术路线如下：

1)讨论并设计实验范式，搭建实验平台，严格控制实验条件，实验条件包括：光照、温湿度和声音干扰，并根据上述实验设计规范采集数据，初步分类构建原始情感数据库；

2)构建情感生理信号数据库

通过高光谱成像技术采集到原始高光谱数据；再利用Viola-Jones算法进行人脸识别，检测出目标人脸，进行数据预处理与异常分析，对人脸区域的原始高光谱数据进行转换处理，得到一个量化的数据指标：血氧浓度值；建立一个关于人脸的情感生理信号数据库；

建立人脸的情感生理信号数据库具体方法如下：

利用(1)式获取像素点所对应的反射率，并基于Lang Bill’s law算法模型公式2来计算得到血氧浓度值公式3

R(x,y,λ)＝a_λI(x,y,λ)+b_λ (1)

其中I代表了图像在(x,y)处，波长为λ时的像素值，而a_λ以及b_λ是从标准光谱反射板所提取出来的校准系数；

A_mod(x,y,λ_j)＝M_oxy(x,y)Lε_oxy(λ_j)+M_deoxy(x,y)Lε_deoxy(λ_j)+M_mel(x,y)Lε_mel(λ_j)+G (2)

其中A是皮肤内发色团的总吸收率，取为反射率的倒数；L代表平均自由程，在实验中设为1；G为一个常数，代表为进入传感器的光子；ε_oxy,ε_deoxy,ε_mel分别是氧合血红蛋白，去氧血红蛋白，黑色素的摩尔消光系数；M_oxy，M_deoxy和M_mel则是其相对应的浓度；

HbO₂为氧合血红蛋白，Hb为去氧血红蛋白

3)构建情感面部表情数据库

在记录原始高光谱数据的同时，记录面部表情数据；同时采用BM3D算法进行图像预处理，结合主动外观模型AAMs进行关键特征点定位，完成表情特征的定位与特征提取，建立一个关于人脸的情感面部表情数据库；

4)面部区域分割

考虑到肌肉群的联动性，结合FACS和神经肌肉活动理论对人脸进行分割，同时根据情感识别的分类效果反馈修正来进行人脸的再分割；根据分割方法来进行脸部子区域的血氧图的特征提取，同时对面部表情进行情感分析，找出有效的情感反应特征区域，进而实现面部表情的特征提取；

5)特征选择与分类

首先利用相关统计分析方法，研究分析在情感变化下人脸各子区域的生理和表情的相关变化规律，确定有效的脸部子区域来进行下一步的特征选择；然后根据所确定的子区域来提取情感生理信号和面部表情数据，运用智能优化算法和模式分类器进行特征选择学习，找出对情感种类区分度高的特征子集组合，建立基于生理和表情融合的情感识别模型；特征选择的目的是过滤掉那些贡献度较低的特征，降低分类学习的特征维数，减小计算复杂度，便于测试阶段的实时检测。

2.根据权利要求1所述的一种基于远程遥感的幸福感实时检测方法，其特征在于：还包括实时检测阶段，其步骤是：

1)情感数据采集

实时监测中利用光谱相机远程捕捉脸部的情感变化，通过数据采集系统和数据分析软件记录并初步处理原始光谱数据，整个过程自动完成；

2)数据处理

采用模型构建阶段中所使用的技术方法进行数据处理，首先是采用BM3D方法进行图像滤波预处理，之后使用Viola-Jones算法进行人脸检测，再利用AAMs进行关键特征点定位，进而完成特征区域的定位，提取出面部表情特征，再利用数据转换处理得到情感生理指标，最终完成情感生理和面部表情数据的收集；

3)分类识别

利用步骤2)得到的情感数据和模型构建阶段所训练出来的模式分类器来判定最终的情感状态，并予以识别状态显示。

Images