CN110135357A - 一种基于远程遥感的幸福感实时检测方法 - Google Patents
一种基于远程遥感的幸福感实时检测方法 Download PDFInfo
- Publication number
- CN110135357A CN110135357A CN201910414091.6A CN201910414091A CN110135357A CN 110135357 A CN110135357 A CN 110135357A CN 201910414091 A CN201910414091 A CN 201910414091A CN 110135357 A CN110135357 A CN 110135357A
- Authority
- CN
- China
- Prior art keywords
- emotion
- data
- real
- face
- happiness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000011897 real-time detection Methods 0.000 title claims abstract description 21
- 230000008451 emotion Effects 0.000 claims abstract description 50
- 230000008921 facial expression Effects 0.000 claims abstract description 28
- 230000035479 physiological effects, processes and functions Effects 0.000 claims abstract description 15
- 230000008909 emotion recognition Effects 0.000 claims abstract description 7
- 238000005516 engineering process Methods 0.000 claims abstract description 7
- 230000008447 perception Effects 0.000 claims abstract description 6
- 238000002474 experimental method Methods 0.000 claims description 16
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 10
- 229910052760 oxygen Inorganic materials 0.000 claims description 10
- 239000001301 oxygen Substances 0.000 claims description 10
- 238000001228 spectrum Methods 0.000 claims description 10
- 239000008280 blood Substances 0.000 claims description 9
- 210000004369 blood Anatomy 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 claims description 6
- 108010064719 Oxyhemoglobins Proteins 0.000 claims description 6
- HEDOODBJFVUQMS-UHFFFAOYSA-N n-[2-(5-methoxy-1h-indol-3-yl)ethyl]-n-methylpropan-2-amine Chemical group COC1=CC=C2NC=C(CCN(C)C(C)C)C2=C1 HEDOODBJFVUQMS-UHFFFAOYSA-N 0.000 claims description 6
- -1 oxy Chemical group 0.000 claims description 6
- 238000002310 reflectometry Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 5
- 238000013480 data collection Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000013139 quantization Methods 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 claims description 4
- INGWEZCOABYORO-UHFFFAOYSA-N 2-(furan-2-yl)-7-methyl-1h-1,8-naphthyridin-4-one Chemical group N=1C2=NC(C)=CC=C2C(O)=CC=1C1=CC=CO1 INGWEZCOABYORO-UHFFFAOYSA-N 0.000 claims description 3
- 230000008033 biological extinction Effects 0.000 claims description 3
- 108010002255 deoxyhemoglobin Proteins 0.000 claims description 3
- 230000006397 emotional response Effects 0.000 claims description 3
- 238000013401 experimental design Methods 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims description 3
- 238000001943 fluorescence-activated cell sorting Methods 0.000 claims description 3
- 239000003607 modifier Substances 0.000 claims description 3
- 210000003205 muscle Anatomy 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000005286 illumination Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 102000010445 Lactoferrin Human genes 0.000 claims 1
- 108010063045 Lactoferrin Proteins 0.000 claims 1
- CSSYQJWUGATIHM-IKGCZBKSSA-N l-phenylalanyl-l-lysyl-l-cysteinyl-l-arginyl-l-arginyl-l-tryptophyl-l-glutaminyl-l-tryptophyl-l-arginyl-l-methionyl-l-lysyl-l-lysyl-l-leucylglycyl-l-alanyl-l-prolyl-l-seryl-l-isoleucyl-l-threonyl-l-cysteinyl-l-valyl-l-arginyl-l-arginyl-l-alanyl-l-phenylal Chemical compound C([C@H](N)C(=O)N[C@@H](CCCCN)C(=O)N[C@@H](CS)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](CC=1C2=CC=CC=C2NC=1)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](CC=1C2=CC=CC=C2NC=1)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CCCCN)C(=O)N[C@@H](CCCCN)C(=O)N[C@@H](CC(C)C)C(=O)NCC(=O)N[C@@H](C)C(=O)N1CCC[C@H]1C(=O)N[C@@H](CO)C(=O)N[C@@H]([C@@H](C)CC)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CS)C(=O)N[C@@H](C(C)C)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](C)C(=O)N[C@@H](CC=1C=CC=CC=1)C(O)=O)C1=CC=CC=C1 CSSYQJWUGATIHM-IKGCZBKSSA-N 0.000 claims 1
- 229940078795 lactoferrin Drugs 0.000 claims 1
- 235000021242 lactoferrin Nutrition 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 8
- 238000012549 training Methods 0.000 abstract description 6
- 230000002996 emotional effect Effects 0.000 abstract description 4
- 238000000701 chemical imaging Methods 0.000 abstract description 2
- 230000004927 fusion Effects 0.000 abstract description 2
- 238000005259 measurement Methods 0.000 description 9
- 230000019771 cognition Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 101100366935 Caenorhabditis elegans sto-2 gene Proteins 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002232 neuromuscular Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000000467 autonomic pathway Anatomy 0.000 description 1
- 238000013398 bayesian method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003248 secreting effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于远程遥感的幸福感实时检测方法,利用光谱成像技术进行远程感知,动态捕捉人类情感变化时的生理和面部表情变化信息,研究多通道信号融合的情感识别,完成对幸福感的实时检测,构建可行的幸福感识别系统。该系统包括训练学习与实时检测两部分。根据情感生理和表情数据库进行训练学习,拟合出较优的网络模型参数,构建出一个分类识别网络。训练所需数据库来自前期相关研究的实验室自采数据集。其次对所构建网络进行验证并合理修正模型参数,最终进行幸福感的实时检测。本发明克服了传统检测方法主观感知带来的波动性、情感信号所带来的非真实性以及接触式引起的情感表达不准确性,解决了幸福感检测可靠性和实时性不足的问题。
Description
技术领域
本发明涉及人工智能技术领域,特别涉及一种利用远程遥感非侵入式获取人体生物特征信息来实时检测被测者幸福感的方法。
背景技术
通过对前人在关于幸福感的一系列研究工作中分析可知,量化地测量幸福感需要解决以下几个方面的问题:1)主观感知所带来的波动性:在主观评估时,个人的记忆、理解能力及环境因素等会制约测量结果的准确度。研究表明,情感复现高度依赖于个人的记忆、理解能力和环境因素。因此,对自我感知的依赖性会大大降低测量结果的可靠性和说服力,引起测量水平的波动,并可能导致错误的结果。2)情感信号所带来的非真实性:在客观测量生物体特征信息时,特别如语音、表情等,会隐含复杂的情感表达,如微笑既可以传达积极的情感,也可能是带有某种附属的动机(如社交的或礼貌的笑),甚至可能是某种负性的情感。紧张时可以面带微笑,讽刺时亦可以微笑,甚至连悲伤时都可以微笑。所以由于语音、表情等情感信号可隐藏、可抑制、甚至可伪装,因此,有些情感信号有时根本无法反映出人类真实情感状态。3)接触式测量所引起的情感表达不准确性:接触式传感器获取生理信号主要有两方面的不足:一是舒适性不够,被试需要连接探测仪;二是隐蔽性不够,探测仪的连接会使被试知道他的情感状态在被监测,从而有意识控制自己的情感表达。4)状态检测的非实时性:非实时性主要体现在情感认知和训练学习两个方面。关于情感认知引起的非实时性,主要是由人的认知、理解能力及环境等因素造成的。个人对记忆、环境等因素的依赖使得在量化测量时往往难以检测出某一段时间内的准确的情感状态,量化的结果往往对测试后期表现出相对有效的可靠性。关于训练学习引起的非实时性,主要是由于学习网络的复杂度引起的。网络模型的建立需要训练时间,模型泛化性能也决定了实时评价效果。
发明内容
本发明针对现有技术的缺陷,提供了一种基于远程遥感的幸福感实时检测方法,能有效的解决上述现有技术存在的问题。
为了实现以上发明目的,本发明采取的技术方案如下:
一种基于远程遥感的幸福感实时检测方法,包括模型构建阶段,构建过程中所涉及到的具体技术路线如下:
1)讨论并设计实验范式,搭建实验平台,严格控制实验条件,实验条件包括:光照、温湿度和声音干扰,并根据上述实验设计规范采集数据,初步分类构建原始情感数据库。
2)构建情感生理信号数据库
通过高光谱成像技术采集到原始高光谱数据。再利用Viola-Jones算法进行人脸识别,检测出目标人脸,进行数据预处理与异常分析,对人脸区域的原始高光谱数据进行转换处理,得到一个量化的数据指标:血氧浓度值;建立一个关于人脸的情感生理信号数据库;
3)构建情感面部表情数据库
在记录原始高光谱数据的同时,记录面部表情数据。同时采用BM3D算法进行图像预处理,结合主动外观模型(Active Appearance Models,AAMs)进行关键特征点定位,完成表情特征的定位与特征提取,建立一个关于人脸的情感面部表情数据库。
4)面部区域分割
考虑到肌肉群的联动性,结合FACS和神经肌肉活动理论对人脸进行分割,同时根据情感识别的分类效果反馈修正来进行人脸的再分割。根据分割方法来进行脸部子区域的血氧图的特征提取,同时对面部表情进行情感分析,找出有效的情感反应特征区域,进而实现面部表情的特征提取。
5)特征选择与分类
首先利用相关统计分析方法,研究分析在情感变化下人脸各子区域的生理和表情的相关变化规律,确定有效的脸部子区域来进行下一步的特征选择。然后根据所确定的子区域来提取情感生理信号和面部表情数据,运用智能优化算法和模式分类器进行特征选择学习,找出对情感种类区分度高的特征子集组合,建立基于生理和表情融合的情感识别模型。特征选择的目的是过滤掉那些贡献度较低的特征,降低分类学习的特征维数,减小计算复杂度,便于测试阶段的实时检测。
作为优选,步骤2)中建立人脸的情感生理信号数据库具体方法如下:
利用(1)式获取像素点所对应的反射率,并基于Lang Bill’s law算法模型(公式2)来计算得到血氧浓度值(公式3)
R(x,y,λ)=aλI(x,y,λ)+bλ (1)
其中I代表了图像在(x,y)处,波长为λ时的像素值,而aλ以及bλ是从标准光谱反射板所提取出来的校准系数。
Amod(x,y,λj)=Moxy(x,y)Lεoxy(λj)+Mdeoxy(x,y)Lεdeoxy(λj)+Mmel(x,y)Lεmel(λj)+G(2)
其中A是皮肤内发色团的总吸收率,取为反射率的倒数;L代表平均自由程,在实验中设为1;G为一个常数,代表为进入传感器的光子;εoxy,εdeoxy,εmel分别是氧合血红蛋白,去氧血红蛋白,黑色素的
摩尔消光系数;Moxy,Mdeoxy和Mmel则是其相对应的浓度。
HbO2为氧合血红蛋白,Hb为去氧血红蛋白。
本发明还公开了实时检测阶段,包括以下步骤:
1)情感数据采集
实时监测中利用光谱相机远程捕捉脸部的情感变化,通过数据采集系统和数据分析软件记录并初步处理原始光谱数据,整个过程自动完成。
2)数据处理
采用模型构建阶段中所使用的技术方法进行数据处理,首先是采用BM3D方法进行图像滤波预处理,之后使用Viola-Jones算法进行人脸检测,再利用AAMs进行关键特征点定位,进而完成特征区域的定位,提取出面部表情特征,再利用数据转换处理得到情感生理指标,最终完成情感生理和面部表情数据的收集。
3)分类识别
利用步骤2)得到的情感数据和模型构建阶段所训练出来的模式分类器来判定最终的情感状态,并予以识别状态显示。
与现有技术相比本发明的优点在于:在研究面部表情的基础上引入了生理信号(血氧饱和度水平,StO2),实现多通道信号融合的情感识别。生理信号较面部表情而言具有更加直接、朴素、客观真实的情感行为表现,不受人为的控制,它是由自主神经系统和内分泌系统所支配的。StO2的引入使得情感状态的判定更为真实客观,且能实时有效地体现出某个时间段或者时间点的情感状态,避免了主观感知所引发的波动性。同时,所引入的远程非侵入式检测技术可以有效地解决接触式技术所带来的情感测量不准确性问题。另外,使用的模型分类训练方法具有计算复杂度低,鲁棒性强等特点,使得情感状态的实时性检测性成为可能。综上所述,本发明克服了传统检测方法中的主观感知波动性、情感信号非真实性、接触测量不准确性和状态检测非实时性这些缺陷,有效地解决了情感检测可靠性和实时性不足的问题。
附图说明
图1是本发明设计方案示意图;
图2是本发明实时监测示意图;
图3神经肌肉分布图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下举实施例,对本发明做进一步详细说明。
如图1所示,一种基于远程遥感的幸福感实时检测方法,包括如下步骤:
一、模型构建阶段
在构建模型阶段,选用问卷量表方式对情感素材进行有效评估,并搭建情感诱发素材库,然后利用光谱成像技术远程感知来获取情感变化下的生理和面部表情数据,再根据关键点定位及目标检测等相关算法进行脸部识别和初始特征提取,建立情感生理和面部表情信号数据库,之后使用智能优化算法和模式分类进行特征分类学习,找出对情感种类区分度高的特征组合。要注意的是,在实验采集过程中增加了实验前期的访谈期和实验后的核查期,访谈期主要用于筛选并最终确定实验参与者,确保实验对象的有效性,而核查期主要是对每个实验对象在实验结束后的实验数据进行复查,确保实验数据的有效性。
构建过程中所涉及到的具体技术路线如下:
1)讨论并设计实验范式,搭建实验平台,严格控制实验条件(包括测试环境的光照、温湿度和声音干扰等条件),并根据上述实验设计严格规范采集数据,初步分类构建原始情感数据库。
2)构建情感生理信号数据库
搭建实验平台,通过高光谱成像技术采集到原始高光谱数据。再利用Viola-Jones算法进行人脸识别,检测出目标人脸,进行数据预处理与异常分析,对人脸区域的原始高光谱数据进行转换处理,最终得到一个量化的数据指标:血氧浓度值;建立一个关于人脸的情感生理信号数据库,具体方法如下:
利用(1)式获取像素点所对应的反射率,并基于Lang Bill’s law算法模型(公式2)来计算得到血氧浓度值(其定义见公式3)
R(x,y,λ)=aλI(x,y,λ)+bλ (1)
其中I代表了图像在(x,y)处,波长为λ时的像素值,而aλ以及bλ是从标准光谱反射板所提取出来的校准系数。
Amod(x,y,λj)=Moxy(x,y)Lεoxy(λj)+Mdeoxy(x,y)Lεdeoxy(λj)+Mmel(x,y)Lεmel(λj)+G(2)
其中A是皮肤内发色团的总吸收率,取为反射率的倒数;L代表平均自由程,在实验中设为1;G为一个常数,代表为进入传感器的光子;εoxy,εdeoxy,εmel分别是氧合血红蛋白,去氧血红蛋白,黑色素的
摩尔消光系数;Moxy,Mdeoxy和Mmel则是其相对应的浓度。
HbO2为氧合血红蛋白,Hb为去氧血红蛋白。
3)构建情感面部表情数据库
在记录原始高光谱数据的同时,记录面部表情数据。同时采用Block-matchingand 3D filtering算法(BM3D)进行图像预处理,结合主动外观模型(Active AppearanceModels,AAMs)进行关键特征点定位,完成表情特征的定位与特征提取,建立一个关于人脸的情感面部表情数据库。
4)面部区域分割
考虑到肌肉群的联动性,结合FACS和神经肌肉活动理论对人脸进行分割(神经肌肉分布见图2),同时可以根据情感识别的分类效果反馈修正来进行人脸的再分割。根据此分割方法来进行脸部子区域的血氧图的特征提取,同时对面部表情进行情感分析,找出有效的情感反应特征区域,进而实现面部表情的特征提取。
5)特征选择与分类
首先利用相关统计分析方法(如方差分析、t检验等),研究分析在情感变化下人脸各子区域的生理和表情的相关变化规律,确定有效的脸部子区域来进行下一步的特征选择。然后根据所确定的子区域来提取情感生理信号和面部表情数据,运用智能优化算法(如遗传算法、神经网络等)和模式分类器(如支持向量机SVM,Bayesian方法等)进行特征选择学习,找出对情感种类区分度高的特征子集组合,建立基于生理和表情融合的情感识别模型。特征选择的目的是过滤掉那些贡献度较低的特征,降低分类学习的特征维数,减小计算复杂度,便于测试阶段的实时检测。
二、实时检测阶段
如图2所示,在实时检测阶段,我们采用光谱相机进行远程监测,实时捕捉情感状态变化下的脸部情感数据,运用数据采集分析软件实时处理原始光谱数据,再进行相应的目标定位与特征提取后,完成情感状态的实时分类检测。实时检测阶段的具体技术路线如下:
1)情感数据采集
实时监测中利用光谱相机远程捕捉脸部的情感变化,通过数据采集系统和数据分析软件记录并初步处理原始光谱数据,整个过程自动完成。
2)数据处理
采用模型构建阶段中所使用的技术方法进行数据处理,首先是采用BM3D方法进行图像滤波预处理,之后使用Viola-Jones算法进行人脸检测,再利用AAMs进行关键特征点定位,进而完成特征区域的定位,提取出面部表情特征,再利用数据转换处理得到情感生理指标(即StO2),最终完成情感生理和面部表情数据的收集。
3)分类识别
利用步骤2得到的情感数据和模型构建阶段所训练出来的模式分类器来判定最终的情感状态,并予以识别状态显示。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的实施方法,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。
Claims (3)
1.一种基于远程遥感的幸福感实时检测方法,其特征在于:包括模型构建阶段,构建过程中所涉及到的具体技术路线如下:
1)讨论并设计实验范式,搭建实验平台,严格控制实验条件,实验条件包括:光照、温湿度和声音干扰,并根据上述实验设计规范采集数据,初步分类构建原始情感数据库;
2)构建情感生理信号数据库
通过高光谱成像技术采集到原始高光谱数据;再利用Viola-Jones算法进行人脸识别,检测出目标人脸,进行数据预处理与异常分析,对人脸区域的原始高光谱数据进行转换处理,得到一个量化的数据指标:血氧浓度值;建立一个关于人脸的情感生理信号数据库;
3)构建情感面部表情数据库
在记录原始高光谱数据的同时,记录面部表情数据;同时采用BM3D算法进行图像预处理,结合主动外观模型AAMs进行关键特征点定位,完成表情特征的定位与特征提取,建立一个关于人脸的情感面部表情数据库;
4)面部区域分割
考虑到肌肉群的联动性,结合FACS和神经肌肉活动理论对人脸进行分割,同时根据情感识别的分类效果反馈修正来进行人脸的再分割;根据分割方法来进行脸部子区域的血氧图的特征提取,同时对面部表情进行情感分析,找出有效的情感反应特征区域,进而实现面部表情的特征提取;
5)特征选择与分类
首先利用相关统计分析方法,研究分析在情感变化下人脸各子区域的生理和表情的相关变化规律,确定有效的脸部子区域来进行下一步的特征选择;然后根据所确定的子区域来提取情感生理信号和面部表情数据,运用智能优化算法和模式分类器进行特征选择学习,找出对情感种类区分度高的特征子集组合,建立基于生理和表情融合的情感识别模型;特征选择的目的是过滤掉那些贡献度较低的特征,降低分类学习的特征维数,减小计算复杂度,便于测试阶段的实时检测。
2.根据权利要求1所述的一种基于远程遥感的幸福感实时检测方法,其特征在于:步骤2)中建立人脸的情感生理信号数据库具体方法如下:
利用(1)式获取像素点所对应的反射率,并基于Lang Bill’s law算法模型(公式2)来计算得到血氧浓度值(公式3)
R(x,y,λ)=aλI(x,y,λ)+bλ(1)
其中I代表了图像在(x,y)处,波长为λ时的像素值,而aλ以及bλ是从标准光谱反射板所提取出来的校准系数;
Amod(x,y,λj)=Moxy(x,y)Lεoxy(λj)+Mdeoxy(x,y)Lεdeoxy(λj)+Mmel(x,y)Lεmel(λj)+G(2)
其中A是皮肤内发色团的总吸收率,取为反射率的倒数;L代表平均自由程,在实验中设为1;G为一个常数,代表为进入传感器的光子;εoxy,εdeoxy,εmel分别是氧合血红蛋白,去氧血红蛋白,黑色素的摩尔消光系数;Moxy,Mdeoxy和Mmel则是其相对应的浓度;
HbO2为氧合血红蛋白,Hb为去氧血红蛋白。
3.根据权利要求1所述的一种基于远程遥感的幸福感实时检测方法,其特征在于:还包括实时检测阶段,其步骤是:
1)情感数据采集
实时监测中利用光谱相机远程捕捉脸部的情感变化,通过数据采集系统和数据分析软件记录并初步处理原始光谱数据,整个过程自动完成;
2)数据处理
采用模型构建阶段中所使用的技术方法进行数据处理,首先是采用BM3D方法进行图像滤波预处理,之后使用Viola-Jones算法进行人脸检测,再利用AAMs进行关键特征点定位,进而完成特征区域的定位,提取出面部表情特征,再利用数据转换处理得到情感生理指标,最终完成情感生理和面部表情数据的收集;
3)分类识别
利用步骤2)得到的情感数据和模型构建阶段所训练出来的模式分类器来判定最终的情感状态,并予以识别状态显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910414091.6A CN110135357B (zh) | 2019-05-17 | 2019-05-17 | 一种基于远程遥感的幸福感实时检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910414091.6A CN110135357B (zh) | 2019-05-17 | 2019-05-17 | 一种基于远程遥感的幸福感实时检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110135357A true CN110135357A (zh) | 2019-08-16 |
CN110135357B CN110135357B (zh) | 2021-09-21 |
Family
ID=67575055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910414091.6A Expired - Fee Related CN110135357B (zh) | 2019-05-17 | 2019-05-17 | 一种基于远程遥感的幸福感实时检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110135357B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110717418A (zh) * | 2019-09-25 | 2020-01-21 | 北京科技大学 | 一种喜好情感自动识别方法及系统 |
CN113408414A (zh) * | 2021-06-18 | 2021-09-17 | 北京理工大学 | 基于高光谱生物特征的人脸防伪识别方法和装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110054279A1 (en) * | 2008-03-27 | 2011-03-03 | Widemed Ltd. | Diagnosis of periodic breathing |
CN103679203A (zh) * | 2013-12-18 | 2014-03-26 | 江苏久祥汽车电器集团有限公司 | 机器人的人脸检测与情感识别系统及方法 |
CN104055529A (zh) * | 2014-06-19 | 2014-09-24 | 西南大学 | 一种计算情感心电信号标度指数的方法 |
CN105592272A (zh) * | 2014-10-20 | 2016-05-18 | 光宝电子(广州)有限公司 | 生理信号处理装置及其方法 |
CN108209909A (zh) * | 2017-12-21 | 2018-06-29 | 佛山科学技术学院 | 基于动作意图任务的双模特神经信号特征选择方法 |
CN109145861A (zh) * | 2018-09-04 | 2019-01-04 | 京东方科技集团股份有限公司 | 情绪识别装置及方法、头戴式显示设备、存储介质 |
-
2019
- 2019-05-17 CN CN201910414091.6A patent/CN110135357B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110054279A1 (en) * | 2008-03-27 | 2011-03-03 | Widemed Ltd. | Diagnosis of periodic breathing |
CN103679203A (zh) * | 2013-12-18 | 2014-03-26 | 江苏久祥汽车电器集团有限公司 | 机器人的人脸检测与情感识别系统及方法 |
CN104055529A (zh) * | 2014-06-19 | 2014-09-24 | 西南大学 | 一种计算情感心电信号标度指数的方法 |
CN105592272A (zh) * | 2014-10-20 | 2016-05-18 | 光宝电子(广州)有限公司 | 生理信号处理装置及其方法 |
CN108209909A (zh) * | 2017-12-21 | 2018-06-29 | 佛山科学技术学院 | 基于动作意图任务的双模特神经信号特征选择方法 |
CN109145861A (zh) * | 2018-09-04 | 2019-01-04 | 京东方科技集团股份有限公司 | 情绪识别装置及方法、头戴式显示设备、存储介质 |
Non-Patent Citations (4)
Title |
---|
BOXUAN ZHONG ET AL.: "Emotion Recognition with Facial Expressions and Physiological Signals", 《2017 IEEE SYMPOSIUM SERIES ON COMPUTATIONAL INTELLIGENCE (SSCI)》 * |
MIN HAO ET AL.: "Detecting Happiness Using Hyperspectral Imaging Technology", 《COMPUTATIONAL INTELLIGENCE AND NEUROSCIENCE》 * |
TONG CHEN ET AL.: "Detection of Psychological Stress Using a Hyperspectral Imaging Technique", 《IEEE TRANSACTIONS ON AFFECTIVE COMPUTING》 * |
任福继 等: "融合表情和 BVP 生理信号的双模态视频情感识别", 《中国图象图形学报》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110717418A (zh) * | 2019-09-25 | 2020-01-21 | 北京科技大学 | 一种喜好情感自动识别方法及系统 |
CN113408414A (zh) * | 2021-06-18 | 2021-09-17 | 北京理工大学 | 基于高光谱生物特征的人脸防伪识别方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110135357B (zh) | 2021-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110507335B (zh) | 基于多模态信息的服刑人员心理健康状态评估方法及系统 | |
CN113729707A (zh) | 一种基于fecnn-lstm的眼动和ppg多模态融合的情感识别方法 | |
WO2016049757A1 (en) | System and method for detecting invisible human emotion | |
CN111920420B (zh) | 一种基于统计学习的患者行为多模态分析与预测系统 | |
CN111728590A (zh) | 基于动态功能连接的个体认知能力预测方法和系统 | |
KR101689021B1 (ko) | 센싱장비를 이용한 심리상태 판단 시스템 및 그 방법 | |
CN108882894A (zh) | 用于在零售环境中检测不可见人类情感的系统和方法 | |
Xu et al. | Identification of autism spectrum disorder based on short-term spontaneous hemodynamic fluctuations using deep learning in a multi-layer neural network | |
Benisty et al. | Rapid fluctuations in functional connectivity of cortical networks encode spontaneous behavior | |
CN113423334A (zh) | 信息处理设备、信息处理方法和程序 | |
CN111110256A (zh) | 一种基于人体面部红外热像的情绪测量方法 | |
CN110135357A (zh) | 一种基于远程遥感的幸福感实时检测方法 | |
Vijayakumar et al. | ECG noise classification using deep learning with feature extraction | |
CN208422436U (zh) | 基于中医理论的健康状态监控装置及系统 | |
CN108962397B (zh) | 一种基于笔和语音的协同任务神经系统疾病辅助诊断系统 | |
Dar et al. | YAAD: young adult’s affective data using wearable ECG and GSR sensors | |
TWI430776B (zh) | 智慧型影像膚質檢測系統及方法 | |
CN113539486A (zh) | 一种基于中医面舌象动态变化的健康状态辨识系统 | |
CN117409454A (zh) | 一种基于面部肌肉运动监测的情绪动态识别方法和装置 | |
CN117883082A (zh) | 一种异常情绪识别方法、系统、设备及介质 | |
CN116092157A (zh) | 一种智能面舌诊方法、系统及智能设备 | |
CN115736920A (zh) | 基于双模态融合的抑郁状态识别方法及系统 | |
CN114970641A (zh) | 情感类别的识别方法、装置、处理器及电子设备 | |
CN113420591A (zh) | 基于情感的occ-pad-ocean联邦认知建模方法 | |
Vanitha et al. | A study on deep learning methods for skin disease classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210921 |
|
CF01 | Termination of patent right due to non-payment of annual fee |