CN113288099B - 基于心电信号和光电容积脉搏波的面孔吸引力识别方法 - Google Patents
基于心电信号和光电容积脉搏波的面孔吸引力识别方法 Download PDFInfo
- Publication number
- CN113288099B CN113288099B CN202110773144.0A CN202110773144A CN113288099B CN 113288099 B CN113288099 B CN 113288099B CN 202110773144 A CN202110773144 A CN 202110773144A CN 113288099 B CN113288099 B CN 113288099B
- Authority
- CN
- China
- Prior art keywords
- photoplethysmography
- feature
- electrocardiosignal
- face
- attraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013186 photoplethysmography Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000002159 abnormal effect Effects 0.000 claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 238000007635 classification algorithm Methods 0.000 claims abstract description 7
- 230000000638 stimulation Effects 0.000 claims abstract description 7
- 239000000463 material Substances 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 11
- 230000000747 cardiac effect Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000004936 stimulating effect Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 210000005036 nerve Anatomy 0.000 claims description 3
- 230000002889 sympathetic effect Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 210000001186 vagus nerve Anatomy 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims 4
- 241000282414 Homo sapiens Species 0.000 abstract description 3
- 238000002474 experimental method Methods 0.000 description 24
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000008451 emotion Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000002996 emotional effect Effects 0.000 description 5
- 230000003796 beauty Effects 0.000 description 4
- 230000006698 induction Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000001939 inductive effect Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000763 evoking effect Effects 0.000 description 2
- 230000004630 mental health Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008309 brain mechanism Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002565 electrocardiography Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013401 experimental design Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Animal Behavior & Ethology (AREA)
- Signal Processing (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Physiology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Evolutionary Computation (AREA)
- Psychiatry (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Cardiology (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
本发明提供一种基于心电信号和光电容积脉搏波的面孔吸引力识别方法,具体步骤为:采集若干被试者观看每张人像照片所产生面孔吸引力等级,以及心电信号和光电容积脉搏波;将采集信号进行去噪处理、分段处理,分别提取分段信号的时域、频域以及非线性特征,分别构建特征数据集;剔除特征数据集中的异常数据,得到特征数据集F1'和特征数据集F2';分别从F1'、F2'以及F1'与F2'串联后的特征集F3'中选择出一个最优的特征子集ZF1、ZF2和ZF3;采用分类算法分别对的特征子集ZF1、ZF2和ZF3进行建模,得到面孔吸引力分类识别结果;再采用自定义算法判定被试者接受刺激时产生面孔吸引力等级;本申请提出的面孔吸引力识别方法能够直观地表现人类的面孔吸引力状态。
Description
技术领域
本发明涉及一种面孔吸引力识别方法,特别是一种基于心电信号和光电容积脉搏波的面孔吸引力识别方法。
背景技术
面孔吸引力是一种由人物面孔诱发他人所产生的正性情绪,且该情绪能够促使他人萌生接近该面孔的想法。面孔吸引力也是一种非常显著的社交信号,它影响了人们的交友、就业,甚至可能在浪漫吸引力的过程中扮演重要的角色。在社交场合中,面孔吸引力能被人们快速的感知,进而对注意、知觉和决策等认知过程产生影响,所以研究识别面孔吸引力具有重要的社会意义。
目前关于面孔吸引力的研究大多停留在寻找诱发面孔吸引力的原因以及探索面孔吸引力的脑机制方面,缺乏对产生面孔吸引力情绪状态时生理信号变化上的研究。生理信号传达了人体自主反映,其变化能更加真实、准确地反应人们的情感状况。随着可穿戴设备的发展,利用便携的可穿戴的生物传感器搜集心电信号和光电容积脉搏波信号的变化情况获知人们的情感状态,知道双方对自身有多大的吸引力可能会有利于人际关系的发展,也可能有益于建立未来的情感之路。
发明内容
本发明的目的就是提供一种基于心电信号和光电容积脉搏波的面孔吸引力识别方法,它可以用于面孔吸引力的识别。
本发明的目的是通过这样的技术方案实现的,具体步骤为:
1)数据采集:采集若干被试者观看每张人像照片所产生面孔吸引力等级yn,以及被试者的心电信号V1和光电容积脉搏波V2;
2)数据预处理:将步骤1)中采集的心电信号V1和光电容积脉搏波V2进行去噪处理得到不包含干扰信号的心电信号V1'和光电容积脉搏波V2',根据照片出现的时间点以△T为时间间隔对V1'和V2'分段,得到心电信号段Epochs1和光电容积脉搏波信号段Epochs2;
3)特征提取:分别提取步骤2)中心电信号段Epochs1和光电容积脉搏波信号段Epochs2的时域、频域以及非线性特征,分别构建心电信号特征数据集F1和光电容积脉搏波特征数据集F2;
4)异常值剔除:使用中位数绝对偏差MAD方法剔除步骤3)中特征数据集F1和F2中的异常数据,得到不含异常特征数据的心电信号特征数据集F1'和光电容积脉搏波特征数据集F2';
5)选择特征子集:使用序列浮动前向选择SFFS算法分别从步骤4)中心电信号特征集F1'、光电容积脉搏波信号特征集F2'以及F1'与F2'串联后的特征集F3'中选择出一个最优的特征子集ZF1、ZF2和ZF3;
6)构建模型:采用分类算法AdaBoost对步骤5)中的特征集ZF1、ZF2和ZF3进行建模,得到面孔吸引力分类识别结果,再采用自定义算法判定被试者接受刺激时产生面孔吸引力等级。
进一步,步骤2)中数据预处理的具体步骤为:
2-1)采用小波阈值去噪方法分别对步骤1)中采集的心电信号V1和光电容积脉搏波V2进行去噪处理,得到不包含干扰信号的心电信号V1'和光电容积脉搏波V2';
2-2)将与刺激材料具有锁时关系的标签mi作为原点,向后截取△T时间段的信号段,将连续的心电信号V1'和光电容积脉搏波V2'切割为具有相同时间规格的心电信号段Epochs1和光电容积脉搏波信号段Epochs2。
进一步,步骤3)中特征提取的具体步骤为:
3-1)提取时域特征:对心电信号段Epochs1使用峰值检测算法定位R波峰,获得RR间隔,计算RR间隔的统计特征量,包括:均值、标准差、方差、均方根和四分位数偏差;
对光电容积脉搏波信号段Epochs2使用峰值检测算法定位P波峰,获得NN间隔,计算NN间隔的统计特征量,包括:连续差的均方根、标准差、逐次差分的标准差、最大NN间隔和最小NN间隔的差值;
3-2)提取频域特征:使用傅里叶变换将心电信号段Epochs1和光电容积脉搏波信号段Epochs2变换到频域,再通过不同频率范围分别提取心电信号段Epochs1和光电容积脉搏波信号段Epochs2的频域特征,包括:低频、高频、低频与高频之比、NN间隔以及RR间隔的总能量、归一化低频功率、归一化高频功率;
3-3)提取非线性特征:分别提取心电信号段和光电容积脉搏波信号段的庞加莱图特征SD1、SD2、SD1/SD2、L-Z复杂度、心脏交感神经指数CSI、心脏迷走神经的指数CVI;
3-4)根据提取的时域特征、频域特征、非线性特征,分别构建心电信号特征数据集F1和光电容积脉搏波特征数据集F2。
进一步,步骤4)中使用中位数绝对偏差MAD分别剔除特征数据集F1和F2中的异常数据的具体方法为:
分别计算特征数据集F1和F2中的绝对偏差值的中位数MAD:
MAD=mediani(abs(xi-medianj(xj))) (1)
式(1)中,xj代表n个样本值,mediani代表序列的中值,abs(xi-medianj(xj))为每个观察点与中位数的绝对偏差值;
利用得到的绝对偏差值的中位数剔除异常值:
利用式(2)分别剔除特征数据集F1和F2中的异常值。
进一步,步骤5)中选择特征子集的具体步骤为:
5-1)从空集F=φ开始,使用序列前向选择SFS方法从{F-FK}中选择最重要的特征f+与FK构成新的特征子集FK+1,FK+1=FK+f+,其中FK={fi:1≤i≤K}是从原始特征集F中选择K个特征所组成的特征子集;
5-2)从FK+1中找到最重要的特征f-,若J(FK+1-f-)<J(FK),则返回步骤5-1),若f-是FK+1中最重要的特征且J(FK+1-f-)>J(FK),则将f-从FK+1中删除,构成一个新的特征子集FK′,FK′=FK+1-f-,其中J(.)为最优特征子集评价函数;
5-3)设置k=k-1,若k等于预期的特征个数,则停止。否则,设置Fk=Fk′,J(FK)=J(FK′)返回步骤5-1)。
进一步,步骤6)中的构建模型的具体步骤为:
分别将特征子集ZF1、ZF2和ZF3数据xi及其对应的面孔吸引力等级yi作为分类算法AdaBoost输入构建模型,分别获得面孔吸引力等级模型F1(x)、F2(x)、F3(x),建模过程为:
输入训练集样本为D={(x1,y1),...,(xn,yn)},其中xi∈Rn,yi∈{0,1,2,3},训练集在第k个弱学习器的输出权值为:
第k个弱分类器Hk(x)在训练集的分类误差率为:
第k个弱分类器Hk(x)的权值系数为:
根据训练集的分类误差率更新权值系数,得到第k+1个弱分类器的权值系数为:
最后,可得到面孔吸引力等级Fm(x)为:
式(7)中,m∈{1,2,3};
根据基于心电信号的面孔吸引力等级F1(x)、基于光电容积脉搏波的面孔吸引力等级F2(x)、基于心电信号与光电容积脉搏波串联后信号的面孔吸引力等级F3(x),计算得到面孔吸引力F(x)为:
F(x)=max(F1(x),F2(x),F3(x)) (8)。
由于采用了上述技术方案,本发明具有如下的优点:
1.本申请提出的面孔吸引力识别方法能够直观地表现人类的面孔吸引力状态,通过这种方法获悉他人对自身的面孔吸引力,将会对我们的生活、感知带来很大的转变。
2.本申请通过将收集的心电信号和光电容积脉搏波信号进行预处理、特征提取以及特征选择,然后利用选择后的特征分别建立面孔吸引力分类识别模型,并求解多种模型面孔吸引力等级的最大值,该方法能够有效地判断产生面孔吸引力的等级,直观地展现模型的分类结果。
3.本申请所提出的方法可与便携、低成本的可穿戴设备结合实时收集心电信号和光电容积脉搏波信号,并利用集成在可穿戴设备中的模型分析、判别产生面孔吸引力的等级。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。
附图说明
本发明的附图说明如下。
图1为本发明的方法流程图。
图2为本发明的实验设计流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
如图1所示的基于心电信号和光电容积脉搏波的面孔吸引力识别方法,其特征在于,具体步骤为:
1)数据采集:采集若干被试者观看每张人像照片所产生面孔吸引力等级,以及被试者的心电信号V1和光电容积脉搏波V2;如图2所示具体步骤如下:
1-1)搭建人像照片素材库:获取高分辨率的男性和女性人像照片各800张(选择人物面孔为正面、面带微笑、背景单一以及无复杂装饰的照片),并将所有照片素材处理成具有统一分辨率、尺寸的半身照;
1-2)设计实验步骤:
1-2-1)面孔吸引力的发生与面孔美丽程度存在紧密的联系,为了保证面孔吸引力的成功诱发,在预实验中招募若干名身心健康的被试(年龄在18~24岁之间)对异性照片进行评价,并要求被试主观地在1(超级丑)到9(超级美)的范围内报告脸部美丽程度;
1-2-2)为使得刺激材料中各种面孔美丽程度的面孔所占的比例尽可能的接近自然环境,我们按照正太分布在评价的照片中选择男性照片、女性照片各240张作为面孔吸引力诱发素材;
1-2-3)本实验分为两次进行(这两次实验至少需要隔一天再进行),每一次实验需观看120张情感唤起素材,每一次实验分为两个部分,其中每一个部分包含60张情感唤起素材,在实验中,首先注视点“×”会在被试前方的电脑屏幕上呈现1秒钟的时间,将被试的注意力集中起来进行下一步任务;随后呈现情感唤起素材10秒钟的时间,被试观看结束后对自身情绪状态进行评价,重复此过程,直至第一部分结束;第一部分结束后,将会进入休息阶段,这时将会呈现一幅中性的风景图以及播放一段4分钟的轻音乐,之后再进行第二部分的实验;
1-3)招募被试者:在正式实验中共收集46名身心健康被试情感数据(女:24,男:22,平均年龄19.7±1.6岁);
1-4)信号采集:实验开始前,调节室内光照、温度等,设置适宜的实验环境,调试实验设备以确保实验的正常进行,具体实验步骤如下:
1-4-1)被试填写个人相关信息,随后将知情同意书拿给被试阅读,让被试了解有关实验的详细信息,若被试同意则签署该同意书;
1-4-2)主试用酒精擦拭被试贴电极片地方的皮肤,保持皮肤洁净,之后涂抹导电膏,再粘贴电极片,电极片贴好后分别与心电和光电容积脉搏波的传感器相连,黑线接地,蓝线接传感器模块的负极,红线接模块的正极,并打开传感器电源;
1-4-3)打开MP150的放大器电源,再打开Acknowledge软件,检查Acknowledge软件和是否能正常通信,若能够正常通信,添加生理信号ECG(心电)和PPG(光电容积脉搏波)采集模块,添加的同时设置通道序号,不同信号的通道序号不可重复;由于需要同步地记录刺激呈现时间,在模块的数字通道输入通道选择D8-D15;再设置信号的采样频率为1KHz;之后,点击软件左上方的绿色按钮开始记录波形数据,在软件中观察心电和光电容积脉搏波信号是否正常,若不正常,排查导致波形不正常的原因。
1-4-4)若Acknowledge软件显示的波形正常,接下来实验主试人员向被试讲解完整的实验流程,告知被试在实验中应该进行哪些操作以及在实验中的注意事项。
1-4-5)实验开始前,实验主试人员调整被试与屏幕之间的距离,让被试者调整姿势(尽量以自己最为舒适的感觉坐在屏幕之前),要求被试在进行实验时尽可能地保持身体不动,在休息部分可以放松身体;然后,将面孔吸引力实验范式在E-Prime软件中进行播放,开始实验,实验开始时,按照前期设计的面孔吸引力诱发实验范式在电脑屏幕上呈现相应照片刺激材料,进行面孔吸引力诱发;被试者在观看刺激材料后,进行情感诱发评价,主观地在0(没有)到3(较强)的范围内报告每一张刺激材料的面孔吸引力诱发强度,被试做出按键反应后该界面自动消失;最后出现的是一个空白的缓冲界面,缓冲界面的持续时长为2000ms;呈现每张面孔的同时会在心电和光电容积脉搏波信号上打一个与该面孔对应的标签mi(i∈[1:1:128]),同时利用MP150采集心电信号V1和光电容积脉搏波信号V2,其采样频率设置为1000Hz,实验完成后,要求被试再观看一遍照片,主观地在1到7的范围内报告唤醒度、效价、优势度以及吸引力程度,在这里,我们使用的自我报告等级量表为李克特量表。
2)数据预处理:将步骤1)中采集的心电信号V1和光电容积脉搏波V2进行去噪处理得到不包含干扰信号的心电信号V1'和光电容积脉搏波V2',根据照片出现的时间点以△T为时间间隔V1'和V2'分段,得到心电信号段Epochs1和光电容积脉搏波信号段Epochs2,具体步骤为:
2-1)采用小波阈值去噪方法分别对步骤1)中采集的心电信号V1和光电容积脉搏波V2进行去噪处理,得到不包含干扰信号的心电信号V1'和光电容积脉搏波V2',选择bior3.5小波将其进行7层尺度分解,再利用阈值法处理各层小波系数,达到消除噪声和干扰的目的;
2-2)将与刺激材料具有锁时关系的标签mi(i∈[1:1:128])作为原点,向后截取△T时间段的信号段,将连续的心电信号V1'和光电容积脉搏波V2'切割为具有相同时间规格的心电信号段Epochs1和光电容积脉搏波信号段Epochs2。
3)特征提取:分别提取步骤2)中心电信号段Epochs1和光电容积脉搏波信号段Epochs2的时域、频域以及非线性特征,分别构建心电信号特征数据集F1和光电容积脉搏波特征数据集F2;具体步骤为:
3-1)提取时域特征:对心电信号段Epochs1使用峰值检测算法定位R波峰,获得RR间隔,计算RR间隔的统计特征量,包括:均值、标准差、方差、均方根和四分位数偏差;
对光电容积脉搏波信号段Epochs2使用峰值检测算法定位P波峰,获得NN间隔,计算NN间隔的统计特征量,包括:连续差的均方根、标准差、逐次差分的标准差、最大NN间隔和最小NN间隔的差值;
3-2)提取频域特征:使用傅里叶变换将心电信号段Epochs1和光电容积脉搏波信号段Epochs2变换到频域,再通过不同频率范围分别提取心电信号段Epochs1和光电容积脉搏波信号段Epochs2的频域特征,包括:低频、高频、低频与高频之比、NN间隔以及RR间隔的总能量、归一化低频功率、归一化高频功率;
3-3)提取非线性特征:分别心电信号段和光电容积脉搏波信号段的提取庞加莱图特征SD1、SD2、SD1/SD2、L-Z复杂度、心脏交感神经指数CSI、心脏迷走神经的指数CVI;
3-4)根据提取的时域特征、频域特征、非线性特征,分别构建心电信号特征数据集F1和光电容积脉搏波特征数据集F2。
4)异常值剔除:使用中位数绝对偏差MAD方法剔除步骤3)中特征数据集F1和F2中的异常数据,得到不含异常特征数据的心电信号特征数据集F1'和光电容积脉搏波特征数据集F2',具体方法为:
分别计算特征数据集F1和F2中的绝对偏差值的中位数MAD:
MAD=mediani(abs(xi-medianj(xj))) (9)
式(9)中,xj代表n个样本值,mediani代表序列的中值,abs(xi-medianj(xj))为每个观察点与中位数的绝对偏差值;
利用得到的绝对偏差值的中位数剔除异常值:
利用式(10)分别剔除特征数据集F1和F2中的异常值。
5)选择特征子集:使用序列浮动前向选择SFFS算法分别从步骤4)中心电信号特征集F1'、光电容积脉搏波信号特征集F2'以及F1'与F2'串联后的特征集F3'中选择出一个最优的特征子集ZF1、ZF2和ZF3;具体步骤为:
5-1)从空集F=φ开始,使用序列前向选择SFS方法从{F-FK}中选择最重要的特征f+与FK构成新的特征子集FK+1,FK+1=FK+f+,其中FK={fi:1≤i≤K}是从原始特征集F中选择K个特征所组成的特征子集;
5-2)从FK+1中找到最重要的特征f-,若J(FK+1-f-)<J(FK),则返回步骤5-1),若f-是FK+1中最重要的特征且J(FK+1-f-)>J(FK),则将f-从FK+1中删除,构成一个新的特征子集FK′,FK′=FK+1-f-,其中J(.)为最优特征子集评价函数;
5-3)设置k=k-1,若k等于预期的特征个数,则停止。否则,设置Fk=Fk′,J(FK)=J(FK′)返回步骤5-1)。
6)构建模型:采用分类算法AdaBoost对步骤5)中的特征集ZF1、ZF2和ZF3进行建模,得到面孔吸引力分类识别结果,再采用自定义算法判定被试者接受刺激时产生面孔吸引力等级,具体步骤为:
分别将特征子集ZF1、ZF2和ZF3数据xi及其对应的面孔吸引力等级yi作为分类算法AdaBoost输入构建模型,分别获得面孔吸引力等级模型F1(x)、F2(x)、F3(x),建模过程为:
输入训练集样本为D={(x1,y1),...,(xn,yn)},其中xi∈Rn,yi∈{0,1,2,3},训练集在第k个弱学习器的输出权值为:
第k个弱分类器Hk(x)在训练集的分类误差率为:
第k个弱分类器Hk(x)的权值系数为:
根据训练集的分类误差率更新权值系数,得到第k+1个弱分类器的权值系数为:
最后,可得到面孔吸引力等级Fm(x)为:
式(15)中,m∈{1,2,3};
根据基于心电信号的面孔吸引力等级F1(x)、基于光电容积脉搏波的面孔吸引力等级F2(x)、基于心电信号与光电容积脉搏波串联后信号的面孔吸引力等级F3(x),计算得到面孔吸引力F(x)为:
F(x)=max(F1(x),F2(x),F3(x)) (16)。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。
Claims (5)
1.基于心电信号和光电容积脉搏波的面孔吸引力识别方法,其特征在于,具体步骤为:
1)数据采集:采集若干被试者观看每张人像照片所产生面孔吸引力等级yn,以及被试者的心电信号V1和光电容积脉搏波V2;
2)数据预处理:将步骤1)中采集的心电信号V1和光电容积脉搏波V2进行去噪处理得到不包含干扰信号的心电信号V1'和光电容积脉搏波V2',根据照片出现的时间点以△T为时间间隔对V1'和V2'分段,得到心电信号段Epochs1和光电容积脉搏波信号段Epochs2;
3)特征提取:分别提取步骤2)中心电信号段Epochs1和光电容积脉搏波信号段Epochs2的时域、频域以及非线性特征,分别构建心电信号特征数据集F1和光电容积脉搏波特征数据集F2;
4)异常值剔除:使用中位数绝对偏差MAD方法剔除步骤3)中特征数据集F1和F2中的异常数据,得到不含异常特征数据的心电信号特征数据集F1'和光电容积脉搏波特征数据集F2';
5)选择特征子集:使用序列浮动前向选择SFFS算法分别从步骤4)中心电信号特征集F1'、光电容积脉搏波信号特征集F2'以及F1'与F2'串联后的特征集F3'中选择出一个最优的特征子集ZF1、ZF2和ZF3;
6)构建模型:采用分类算法AdaBoost分别对步骤5)中的特征子集ZF1、ZF2和ZF3进行建模,得到面孔吸引力分类识别结果;再采用自定义算法判定被试者接受刺激时产生面孔吸引力等级;
步骤6)中的构建模型的具体步骤为:
分别将特征子集ZF1、ZF2和ZF3数据xi及其对应的面孔吸引力等级yi作为分类算法AdaBoost的输入构建模型,分别获得面孔吸引力等级模型F1(x)、F2(x)、F3(x),建模过程为:
输入的训练集样本为D={(x1,y1),...,(xn,yn)},其中xi∈Rn,yi∈{0,1,2,3},训练集在第k个弱学习器的输出权值为:
第k个弱分类器Hk(x)在训练集的分类误差率为:
第k个弱分类器Hk(x)的权值系数为:
根据训练集的分类误差率更新权值系数,得到第k+1个弱分类器的权值系数为:
最后,可得到面孔吸引力等级Fm(x)为:
式(7)中,m∈{1,2,3};
根据基于心电信号的面孔吸引力等级F1(x)、基于光电容积脉搏波的面孔吸引力等级F2(x)、基于心电信号与光电容积脉搏波串联后信号的面孔吸引力等级F3(x),计算得到面孔吸引力F(x)为:
F(x)=max(F1(x),F2(x),F3(x)) (8)。
2.如权利要求1所述的基于心电信号和光电容积脉搏波的面孔吸引力识别方法,其特征在于,步骤2)中数据预处理的具体步骤为:
2-1)采用小波阈值去噪方法分别对步骤1)中采集的心电信号V1和光电容积脉搏波V2进行去噪处理,得到不包含干扰信号的心电信号V1'和光电容积脉搏波V2';
2-2)将与刺激材料具有锁时关系的标签mi作为原点,向后截取△T时间段的信号段,将连续的心电信号V1'和光电容积脉搏波V2'切割为具有相同时间规格的心电信号段Epochs1和光电容积脉搏波信号段Epochs2。
3.如权利要求1所述的基于心电信号和光电容积脉搏波的面孔吸引力识别方法,其特征在于,步骤3)中特征提取的具体步骤为:
3-1)提取时域特征:对心电信号段Epochs1使用峰值检测算法定位R波峰,获得RR间隔,计算RR间隔的统计特征量,包括:均值、标准差、方差、均方根和四分位数偏差;
对光电容积脉搏波信号段Epochs2使用峰值检测算法定位P波峰,获得NN间隔,计算NN间隔的统计特征量,包括:连续差的均方根、标准差、逐次差分的标准差、最大NN间隔和最小NN间隔的差值;
3-2)提取频域特征:使用傅里叶变换将心电信号段Epochs1和光电容积脉搏波信号段Epochs2变换到频域,再通过不同频率范围分别提取心电信号段Epochs1和光电容积脉搏波信号段Epochs2的频域特征,包括:低频、高频、低频与高频之比、NN间隔以及RR间隔的总能量、归一化低频功率、归一化高频功率;
3-3)提取非线性特征:分别提取心电信号段和光电容积脉搏波信号段的庞加莱图特征SD1、SD2、SD1/SD2、L-Z复杂度、心脏交感神经指数CSI、心脏迷走神经的指数CVI;
3-4)根据提取的时域特征、频域特征、非线性特征,分别构建心电信号特征数据集F1和光电容积脉搏波特征数据集F2。
5.如权利要求1所述的基于心电信号和光电容积脉搏波的面孔吸引力识别方法,其特征在于,步骤5)中选择特征子集的具体步骤为:
5-1)从空集F=φ开始,使用序列前向选择SFS方法从{F-FK}中选择最重要的特征f+与FK构成新的特征子集FK+1,FK+1=FK+f+,其中FK={fi:1≤i≤K}是从原始特征集F中选择K个特征所组成的特征子集;
5-2)从FK+1中找到最重要的特征f-,若J(FK+1-f-)<J(FK),则返回步骤5-1),若f-是FK+1中最重要的特征且J(FK+1-f-)>J(FK),则将f-从FK+1中删除,构成一个新的特征子集FK′,FK′=FK+1-f-,其中J(.)为最优特征子集评价函数;
5-3)设置k=k-1,若k等于预期的特征个数,则停止, 否则,设置Fk=Fk′,J(FK)=J(FK′)返回步骤5-1)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110773144.0A CN113288099B (zh) | 2021-07-08 | 2021-07-08 | 基于心电信号和光电容积脉搏波的面孔吸引力识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110773144.0A CN113288099B (zh) | 2021-07-08 | 2021-07-08 | 基于心电信号和光电容积脉搏波的面孔吸引力识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113288099A CN113288099A (zh) | 2021-08-24 |
CN113288099B true CN113288099B (zh) | 2022-07-19 |
Family
ID=77330649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110773144.0A Active CN113288099B (zh) | 2021-07-08 | 2021-07-08 | 基于心电信号和光电容积脉搏波的面孔吸引力识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113288099B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114431843A (zh) * | 2022-01-25 | 2022-05-06 | 华中科技大学 | 一种便携式智能医疗测量设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111414835A (zh) * | 2020-03-16 | 2020-07-14 | 西南大学 | 一种由恋爱冲动引发的脑电信号的检测判定方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103584872B (zh) * | 2013-10-29 | 2015-03-25 | 燕山大学 | 一种基于多生理参数融合的心理压力评估方法 |
CN104055529B (zh) * | 2014-06-19 | 2016-05-11 | 西南大学 | 一种计算情感心电信号标度指数的方法 |
EP3403572A1 (en) * | 2017-05-17 | 2018-11-21 | My-Vitality SàRL | Pulse wave diagnostic device and method of calculating and determining fatigue |
CN107239769A (zh) * | 2017-06-16 | 2017-10-10 | 西南大学 | 一种使用多通道信息融合的个人情感效价识别方法 |
-
2021
- 2021-07-08 CN CN202110773144.0A patent/CN113288099B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111414835A (zh) * | 2020-03-16 | 2020-07-14 | 西南大学 | 一种由恋爱冲动引发的脑电信号的检测判定方法 |
Non-Patent Citations (3)
Title |
---|
Detecting Happiness Using Hyperspectral Imaging Technology;Min Hao 等;《Computational Intelligence and Neuroscience》;20190115;第1-16页 * |
月经周期中情绪冲突Stroop效应研究;马燕明 等;《西南师范大学学报(自然科学版)》;20200430;第45卷(第4期);第46-51页 * |
面孔吸引力在认知过程中的作用及其神经机制;尚俊辰等;《心理科学进展》;20180215;第26卷(第02期);第241-250页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113288099A (zh) | 2021-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110269600B (zh) | 基于多元经验模态分解与联合盲源分离的非接触式视频心率检测方法 | |
CN106407733A (zh) | 基于虚拟现实场景脑电信号的抑郁症风险筛查系统和方法 | |
CN113017630B (zh) | 一种视觉感知情绪识别方法 | |
CN110384491A (zh) | 一种基于普通摄像头的心率检测方法 | |
CN105147248A (zh) | 基于生理信息的抑郁症评估系统及其评估方法 | |
CN204931634U (zh) | 基于生理信息的抑郁症评估系统 | |
CN112949349B (zh) | 基于人脸视频实时显示脉象波形的方法和系统 | |
CN111329474A (zh) | 基于深度学习的脑电身份识别方法、系统及信息更新方法 | |
CN109288518A (zh) | 基于EEG和ERPs的脑认知神经功能测评系统及方法 | |
CN111887858B (zh) | 基于跨模态映射的心冲击图信号心率估计方法 | |
CN109805944B (zh) | 一种儿童共情能力分析系统 | |
US11406304B2 (en) | Systems and methods for physiological sign analysis | |
CN107330393A (zh) | 一种基于视频分析的新生儿疼痛表情识别方法 | |
CN108478224A (zh) | 基于虚拟现实与脑电的紧张情绪检测系统及检测方法 | |
CN113017650B (zh) | 一种基于功率谱密度图像的脑电特征提取方法和系统 | |
CN109171753A (zh) | 一种基于深度自编码神经网络的脑电信号eeg身份识别方法 | |
CN108324292A (zh) | 基于脑电信号的室内视觉环境满意度分析方法 | |
CN111000556A (zh) | 一种基于深度模糊森林的情绪识别方法 | |
CN113288099B (zh) | 基于心电信号和光电容积脉搏波的面孔吸引力识别方法 | |
CN105726013A (zh) | 一种具有心电信号质量判别功能的心电监测系统 | |
CN109394203A (zh) | 精神障碍康复期情绪监测与干预方法 | |
CN114145745B (zh) | 基于图的多任务自监督情绪识别方法 | |
CN114209319B (zh) | 基于图网络及自适应去噪的fNIRS情绪识别方法及系统 | |
CN110693510A (zh) | 一种注意力缺陷多动障碍辅助诊断装置及其使用方法 | |
CN117883082A (zh) | 一种异常情绪识别方法、系统、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |