CN116269386B - 基于序数划分网络的多通道生理时间序列情绪识别方法 - Google Patents
基于序数划分网络的多通道生理时间序列情绪识别方法 Download PDFInfo
- Publication number
- CN116269386B CN116269386B CN202310232732.2A CN202310232732A CN116269386B CN 116269386 B CN116269386 B CN 116269386B CN 202310232732 A CN202310232732 A CN 202310232732A CN 116269386 B CN116269386 B CN 116269386B
- Authority
- CN
- China
- Prior art keywords
- ordinal
- network
- physiological
- division
- physiological time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 18
- 230000008451 emotion Effects 0.000 claims abstract description 37
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 230000000694 effects Effects 0.000 claims abstract description 6
- 210000000056 organ Anatomy 0.000 claims abstract description 4
- 230000007704 transition Effects 0.000 claims description 45
- 239000013598 vector Substances 0.000 claims description 12
- 210000004556 brain Anatomy 0.000 claims description 11
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 11
- 238000000638 solvent extraction Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 10
- 238000012546 transfer Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 230000005611 electricity Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000013019 agitation Methods 0.000 claims description 5
- 230000006399 behavior Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000005312 nonlinear dynamic Methods 0.000 description 1
- 230000008844 regulatory mechanism Effects 0.000 description 1
- 230000036391 respiratory frequency Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 239000011782 vitamin Substances 0.000 description 1
- 229940088594 vitamin Drugs 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
- A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Physiology (AREA)
- Psychology (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Developmental Disabilities (AREA)
- Cardiology (AREA)
- Social Psychology (AREA)
- Pulmonology (AREA)
- Ophthalmology & Optometry (AREA)
- Child & Adolescent Psychology (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开一种基于序数划分网络的多通道生理时间序列情绪识别方法,适用于人机交互下的不同情绪的识别。通过采集被试者不同情绪下的多通道生理时间序列,经过序数划分方法对其分别进行符号化进而构建序数划分网络,进一步将每条生理时间序列构成的序数划分网络看作节点,计算两两生理时间序列之间的差异性,并将其作为节点间的连边权重进而构造全连接无向加权网络,最后将不同情绪下的全连接无向加权网络作为图神经网络的输入进行分类。该方法结合序数划分网络与图神经网络,且融合了多元生理器官时间序列,且其计算简便步骤简单,对不同情绪都有很高的识别效率,能够有效地对人机交互活动提供帮助。
Description
技术领域
本发明属于生理时间序列处理技术领域,尤其适用于一种基于序数划分网络的多通道生理时间序列情绪识别方法。
背景技术
情绪在日常生活人与人交流中扮演着重要角色,当今社会,尽管已经进行了很多工作来探索情绪识别的机制和方法,但是由于复杂的外部模式,许多技术应用仍然高度需要有效的情绪识别方法。人体是一个综合的网络,其中复杂的生理系统,每个都有自己的调节机制,不断地相互作用。从生理网络角度分析检测人类的意图和情绪状态有更深远的意义。
基于网络的时间序列分析的历史可以追溯到非线性信号的分析,特别是吸引子重构技术和递归分析。复杂网络提供了一种描述系统动力学演化的方法,其中描述复杂系统的实体被表示为节点,而边描述了互连实体之间的内在关系,这些相互作用的模式可以洞察所研究系统的动态特性。其中,序数划分网络提供了一种从系统产生的一维时间序列重建状态序数划分网络的方法。它基于为连续观察序列定义的一组连续模式的思想,网络的每个节点代表定义的模式之一,并且根据两个连续模式之间的转移频率对边进行加权。序数划分网络对噪声的鲁棒性以及可以较好的从底层编码动力系统使它成为研究非线性动力学的有力工具。
目前情绪识别主要集中在深度学习领域,多数涉及单导联生理信号或多通道脑电生理信号分析方面,且仅对生理时间序列的浅层特征提取进而分类,没有考虑受试者多生理信号整体之间的关联性、差异性以及更丰富的动力学特征。为了提高情绪识别的准确性和鲁棒性,有必要利用多模态生理信号,并将时间序列构建为复杂网络提取其深层特征。
发明内容
针对现有技术的不足之处,本发明提供一种步骤简单的基于序数划分网络的多通道生理时间序列情绪识别方法,通过人体整体生理网络的拓扑结构变化表征情绪变化。
一种基于序数划分网络的多通道生理时间序列情绪识别方法,首先采集不同情绪状态下受试者的脑电、心电、眼电、呼吸、肌电信号;并将脑电信号通过小波变换分解为五个频带的信号,进而得到9条生理时间序列;对9条生理时间序列进行序数划分符号化处理,得到序数模式符号序列,根据模式间的转移关系继续生成信号的序数划分网络,计算转移概率分布;根据转移概率分布计算詹森香农散度,将詹森香农散度平方根作为每两个生理时间序列的差异性,得到多元生理时间序列的全连接无向加权网络,利用全连接无向加权网络作为图神经网络的输入通过无监督学习训练达到对不同情绪状态进行识别分类的效果。
具体步骤如下:
S1、采集受试者处于不同情绪状态下相同时长的生理信号:生理信号包括脑电、心电、眼电、呼吸、肌电信号,作为单独的生理时间序列,然后将脑电信号通过小波变换分解为δ、θ、α、σ和β五个频带,每个频带均作为单独的生理信号,总共得到9条生理时间序列,其中受试者的情绪包括激动、平静、消极三种;
S2、采用序数划分方法对每条生理时间序列法进行符号化处理,共得到9条序数模式符号时间序列;
S3、在每条序数模式符号时间序列中,考虑相邻序数模式之间的转移行为;即将每条序数模式符号时间序列中的每个序数模式符号作为一个节点,根据符号的时间邻接性构造生成序数划分网络ordinal partition network,序数划分网络的网络权值设定为节点之间的转移次数,共得到9个序数划分网络;
S4、分别计算出9个序数划分网络的转移概率分布;再根据转移概率分布值计算出每两个序数划分网络的詹森香农散度;将詹森香农散度的平方根作为该两个序数划分网络对应的两条生理时间序列间的差异性指标;
S5、根据S4中计算得到的差异性指标作为连边权重,将每条生理时间序列当作一个网络节点,利用9条生理时间序列构建整个多通道生理时间序列的全连接无向加权网络;
S6、将S5中得到的全连接无向加权网络其作为图神经网络分类器的输入,图神经网络分类器具有输入层、隐含层和输出层共5层,其中输入层1层,输出层1层;隐含层包含3层;输入包括顶点特征集和边特征集;顶点的特征集为序数划分网络的转移概率香农熵,边特征集为每两个序数划分网络间的詹森香农散度;经过无监督学习训练最后输出激动、平静、消极情绪的归类结果。
进一步,步骤S1包括以下分步骤:
S11、分别采集受试者不同情绪状态下的相同时长的脑电、心电、眼电、呼吸、肌电信号,并将脑电信号通过小波变换分解为δ(0-4Hz)、θ(4-8Hz)、α(8-12.9Hz)、σ(13-15.9Hz)和β(16-25Hz)五个频带,形成共9种生理时间序列,将信号表示为一个多元的生理时间序列,此多元生理时间序列表示为其中Xi表示第i个生理信号的生理时间序列,t代表每条序列中第t个采样点,T代表总采样点个数。
进一步,步骤S2包括以下分步骤:
S21、对多元生理时间序列采用序数划分方法进行符号化处理,即首先将每一条序列进行相空间重构,得到重构向量序列/>
其中:为第i个生理时间序列的第j个重构向量,d为相空间重构中的嵌入维数,τ为延迟时间,N=T-(d-1)τ+1,N代表重构后向量的个数;
S22、将每一个重构向量序列中的元素按照幅值大小进行排序后映射为一个序数模式符号,得到小于等于d!种不同的排列方式,进而得到多元序数模式符号序列表示第i个生理时间序列的第k种序数模式:/>共形成9条序数模式符号序列。
进一步,步骤S3包括以下分步骤:
S31、在每条序数模式符号时间序列中,根据新的序数模式符号时间序列中一个序数模式到下一个序数模式的转移构建序数划分网络,即网络节点为不同的序数模式,用矩阵M表示:
矩阵中的元素值记为πa表示第a个模式,πb表示第b个模式;
表示从模式πa到模式πb发生的转移次数,记为序数划分网络的边权重;
进一步,步骤S4包括以下分步骤:
S41、计算每个序数划分网络的转移概率分布 其中/>代表πa模式到πb模式的转移次数占πa模式到其余所有模式的转移次数的比值;
S42、再根据转移概率分布计算出每两个序数划分网络的相异性度量,即詹森香农散度DJS(P,Q);将其平方根[DJS(P,Q)]1/2作为每两条生理时间序列间的差异性;
其中w1、w2表示正数权重,且w1+w2=1,S(P)表示转移概率香农熵函数,/>P,Q代表第两个不同生理器官信号序数划分网络的转移概率分布。
进一步,包括顺序连接的人体生理信号获取单元、生理信号符号化单元、序数划分网络生成单元、差异性指标计算单元、全连接无向加权网络单元:
人体生理信号获取单元,用以采集受试者处于不同情绪状态下相同时长的生理信号,包括脑电、心电、眼电、呼吸、肌电信号,并将脑电信号通过小波变换分解为五个频带,从而针对每种受试者情绪都获得9条生理时间序列;
生理信号符号化单元,用以将每条生理时间序列法进行符号化处理,共得到9条序数模式符号时间序列;
序数划分网络生成单元,用以将每条序数模式符号时间序列中的每个序数模式符号作为一个节点,根据符号的时间邻接性构造生成序数划分网络ordinal partitionnetwork,序数划分网络的网络权值设定为节点之间的转移次数,得到9个序数划分网络;
差异性指标计算单元,用以计算出9个序数划分网络的转移概率分布,再根据转移概率分布值计算出每两个序数划分网络的詹森香农散度;将詹森香农散度的平方根作为该两个序数划分网络对应的两条生理时间序列间的差异性指标;
全连接无向加权网络单元,用以将差异性指标作为连边权重,将每条生理时间序列当作一个网络节点,利用9条生理时间序列构建全连接无向加权网络;
将得到的全连接无向加权网络其作为图神经网络分类器的输入,图神经网络分类器具有输入层、隐含层和输出层共6层,其中隐含层包含3层顶点的特征集为序数划分网络的转移概率香农熵;边特征集为每两个序数划分网络间的詹森香农散度;经过无监督学习训练最后输出受试者情绪的归类结果。
一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1-7中任一所述的基于序数划分网络的多通道生理时间序列情绪识别方法。
一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如权利要求1-7中任一所述的基于序数划分网络的多通道生理时间序列情绪识别方法。
有益效果:
本发明为了解决不同情绪间的识别问题,通过将生理时间序列构造成序数划分网络,能够提取时间序列中更丰富的动力学特征;利用多种生理信号,构成多通道生理时间序列,量化不同情绪状态下个体整体信息差异性,相较于传统的单维生理时间序列或单个器官生理时间序列更加系统、全面,并结合图神经网络进行分类,有效提高了情绪识别的稳定性和准确性;本发明计算简便,且对数据长度和维数均没有限制。
附图说明
图1为本发明中基于序数划分网络的多通道生理时间序列情绪识别方法流程示意图;
图2为本发明实施例中将序列映射为序数划分网络的示意图;
图3为本发明实施例中单个受试者激动情绪所产生的权重网络示意图;
图4为本发明实施例中单个受试者消极情绪所产生的权重网络示意图;
图5为本发明实施例中单个受试者平静情绪所产生的权重网络示意图。
具体实施方式
下面结合实例和附图对本发明做进一步详细说明。
通过让多个受试者观看一些情感电影片段引出对应的情绪,同时采集脑电、心电、眼电、呼吸、肌电信号;需要识别的情绪有:激动、平静和消极情绪。
具体步骤如下:
S1、采集不同情绪状态下相同时长的脑电、心电、眼电、呼吸、肌电信号;并将脑电信号通过小波变换分解为δ(0 -4Hz)、θ(4-8Hz)、α(8-12.9Hz)、σ(13-15.9Hz)和β(16-25Hz)五个频带,作为单独的生理时间序列,每个频带作为单独的生理信号,得到9条生理时间序列。
S2、对每种生理时间序列采用序数划分方法进行符号化处理,共得到9条序数模式符号时间序列。
S3、在每条序数模式符号时间序列中,考虑相邻序数模式之间的转移行为;即将每个序数模式符号作为一个节点,根据符号的时间邻接性构造构成序数划分网络,网络权值为节点之间的转移次数,共得到9个序数划分网络。
S4、计算每个序数划分网络的转移概率分布;再根据其值计算出每两个序数划分网络的詹森香农散度;将其平方根作为每两条生理时间序列间的差异性。
S5、根据S4中计算得到的差异性指标作为连边权重,每条生理时间序列当作一个网络节点,构建整个多通道生理时间序列的全连接无向加权网络。
S6、将S5中得到的全连接无向加权网络其作为图神经网络的输入,经过无监督学习训练最后输出归类结果,进而达到对不同情绪状态,即激动、平静、消极进行精准识别的效果。
进一步的S1的具体方法为:
S11、分别采集受试者不同情绪状态下的相同时长的脑电、心电、眼电、呼吸、肌电信号;将脑电信号通过小波变换分解为δ(0 -4Hz)、θ(4-8Hz)、α(8-12.9Hz)、σ(13-15.9Hz)和β(16-25Hz)五个频带。共9种生理时间序列,将信号表示为一个多元的生理时间序列,此多元生理时间序列表示为其中Xi表示第i个生理信号的生理时间序列,t代表每条序列中第t个采样点,T代表总采样点个数。
进一步的S2的具体方法为:
S21、对多元生理时间序列采用序数划分方法进行符号化处理,即首先将每一条序列进行相空间重构,得到重构向量序列/>
其中:为第i个生理时间序列的第j个重构向量,d为相空间重构中的嵌入维数,τ为延迟时间,N=T-(d-1)τ+1。
S22、进一步,将每一个重构向量中的元素按照幅值大小进行排序后映射为一个序数模式符号,得到小于等于d!种不同的排列方式,进而得到多元序数模式符号序列表示第i个生理时间序列的第k种序数模式。/>共形成9条序数模式符号序列。
进一步的S3的具体方法为:
S31、在每条序数模式序列中,根据新的序数模式序列一个模式到下一个模式的转移构建序数划分网络,即网络节点为不同的序数模式。用矩阵P表示,矩阵中的元素值记为πa表示第a个模式,πb表示第b个模式,共有k种模式;/>表示从模式πa到模式πb发生的转移次数,记为序数划分网络的边权重。
进一步的S4的具体方法为:
S41、计算每条序数模式生理时间序列序数划分网络的转移概率分布
其中代表πa模式到πb模式的转移次数占πa模式到其余所有模式的转移次数的比值。
S42、再根据转移概率分布计算出每两个序数划分网络的詹森香农散度;将其平方根作为每两条生理时间序列间的差异性。
其中w1、w2表示正数权重,且w1+w2=1,S(P)是香农熵函数,/>P,Q代表第两个不同生理器官信号序数划分网络的转移概率分布。
进一步的S5的具体方法为:
S51、根据S4中计算得到的差异性指标作为连边权重,每条生理时间序列当作一个网络节点,构建整个多通道生理时间序列的全连接无向加权网络。
进一步的S6的具体方法为:
S61、将S5中得到的全连接无向加权网络其作为图神经网络的输入,经过无监督学习训练最后输出归类结果,进而达到对不同情绪状态,即激动、平静、消极进行精准识别的效果。
图2为本发明中将序列映射为转移矩阵的示意图,以嵌入维数d取4,τ取1时产生了24种序数模式符号节点的序数划分网络示意图为例,共产生(1,2,3,4)、(1,2,4,3)(1,3,2,4)、(1,3,4,2)、(1,4,2,3)、(1,4,3,2)、(2,1,3,4)、(2,1,4,3)、(2,3,1,4)、(2、3、4、1)、(2,4,1,3)、(2,4,3,1)、(3,1,2,4)、(3,1,4,2)、(3,2,1,4),(3,2,4,1)、(3,4,1,2)、(3,4,2,1)、(4,1,2,3)、(4,1,3,2)、(4,2,1,3)、(4,2,3,1)、(4,3,1,2)、(4,3,2,1)共24种排列方式。两个元素的值相等的情况下,基于在向量中出现的顺序来分配。根据序数模式之间的转移建立连接,矩阵元素为序数模式之间的转移次数。
图3到图5为不同情绪下生成的全连接无向加权网络,其中Resp为呼吸频率信号、EMG为肌电信号、EOG眼电信号、ECG为心电信号,连边越粗表示差异性越大,融合了人体多通道生理信号的特征,识别效果有了进一步的保障。
Claims (4)
1.一种基于序数划分网络的多通道生理时间序列情绪识别方法,其特征在于:
采集不同情绪状态下受试者的脑电、心电、眼电、呼吸、肌电信号;并将脑电信号通过小波变换分解为五个频带的信号,进而得到9条生理时间序列;对9条生理时间序列进行序数划分符号化处理,得到序数模式符号序列,根据模式间的转移关系继续生成信号的序数划分网络,计算转移概率分布;根据转移概率分布计算詹森香农散度,将詹森香农散度平方根作为每两个生理时间序列的差异性,得到多元生理时间序列的全连接无向加权网络,利用全连接无向加权网络作为图神经网络的输入通过无监督学习训练达到对不同情绪状态进行识别分类的效果;
具体步骤如下:
S1、采集受试者处于不同情绪状态下相同时长的生理信号:生理信号包括脑电、心电、眼电、呼吸、肌电信号,作为单独的生理时间序列,然后将脑电信号通过小波变换分解为δ、θ、α、σ和β五个频带,每个频带均作为单独的生理信号,总共得到9条生理时间序列,其中受试者的情绪包括激动、平静、消极三种;
S2、采用序数划分方法对每条生理时间序列法进行符号化处理,共得到9条序数模式符号时间序列;
S3、在每条序数模式符号时间序列中,考虑相邻序数模式之间的转移行为;即将每条序数模式符号时间序列中的每个序数模式符号作为一个节点,根据符号的时间邻接性构造生成序数划分网络ordinalpartition network,序数划分网络的网络权值设定为节点之间的转移次数,共得到9个序数划分网络;
S4、分别计算出9个序数划分网络的转移概率分布;再根据转移概率分布值计算出每两个序数划分网络的詹森香农散度;将詹森香农散度的平方根作为该两个序数划分网络对应的两条生理时间序列间的差异性指标;
S5、根据S4中计算得到的差异性指标作为连边权重,将每条生理时间序列当作一个网络节点,利用9条生理时间序列构建整个多通道生理时间序列的全连接无向加权网络;
S6、将S5中得到的全连接无向加权网络其作为图神经网络分类器的输入,图神经网络分类器具有输入层、隐含层和输出层共5层,其中输入层1层,输出层1层;隐含层包含3层;输入包括顶点特征集和边特征集;顶点的特征集为序数划分网络的转移概率香农熵,边特征集为每两个序数划分网络间的詹森香农散度;经过无监督学习训练最后输出激动、平静、消极情绪的归类结果;
步骤S1包括以下分步骤:
S11、分别采集受试者不同情绪状态下的相同时长的脑电、心电、眼电、呼吸、肌电信号,并将脑电信号通过小波变换分解为δ(0-4Hz)、θ(4-8Hz)、α(8-12.9Hz)、σ(13-15.9Hz)和β(16-25Hz)五个频带,形成共9种生理时间序列,将信号表示为一个多元的生理时间序列,此多元生理时间序列表示为其中Xi表示第i个生理信号的生理时间序列,t代表每条序列中第t个采样点,T代表总采样点个数;
步骤S2包括以下分步骤:
S21、对多元生理时间序列采用序数划分方法进行符号化处理,即首先将每一条序列进行相空间重构,得到重构向量序列/>
其中:为第i个生理时间序列的第j个重构向量,d为相空间重构中的嵌入维数,τ为延迟时间,N=T-(d-1)τ+1,N代表重构后向量的个数;
S22、将每一个重构向量序列中的元素按照幅值大小进行排序后映射为一个序数模式符号,得到小于等于d!种不同的排列方式,进而得到多元序数模式符号序列表示第i个生理时间序列的第k种序数模式:/>共形成9条序数模式符号序列;
步骤S3包括以下分步骤:
S31、在每条序数模式符号时间序列中,根据新的序数模式符号时间序列中一个序数模式到下一个序数模式的转移构建序数划分网络,即网络节点为不同的序数模式,用矩阵M表示:
矩阵中的元素值记为πa表示第a个模式,πb表示第b个模式;
表示从模式πa到模式πb发生的转移次数,记为序数划分网络的边权重;
步骤S4包括以下分步骤:
S41、计算每个序数划分网络的转移概率分布 其中/>代表πa模式到πb模式的转移次数占πa模式到其余所有模式的转移次数的比值;
S42、再根据转移概率分布计算出每两个序数划分网络的相异性度量,即詹森香农散度DJS(P,Q);将其平方根[DJS(P,Q)]1/2作为每两条生理时间序列间的差异性;
其中w1、w2表示正数权重,且w1+w2=1,S(P)表示转移概率香农熵函数,/>P,Q代表第两个不同生理器官信号序数划分网络的转移概率分布。
2.根据权利要求1所述基于序数划分网络的多通道生理时间序列情绪识别方法,其特征在于,包括顺序连接的人体生理信号获取单元、生理信号符号化单元、序数划分网络生成单元、差异性指标计算单元、全连接无向加权网络单元:
人体生理信号获取单元,用以采集受试者处于不同情绪状态下相同时长的生理信号,包括脑电、心电、眼电、呼吸、肌电信号,并将脑电信号通过小波变换分解为五个频带,从而针对每种受试者情绪都获得9条生理时间序列;
生理信号符号化单元,用以将每条生理时间序列法进行符号化处理,共得到9条序数模式符号时间序列;
序数划分网络生成单元,用以将每条序数模式符号时间序列中的每个序数模式符号作为一个节点,根据符号的时间邻接性构造生成序数划分网络ordinal partition network,序数划分网络的网络权值设定为节点之间的转移次数,得到9个序数划分网络;
差异性指标计算单元,用以计算出9个序数划分网络的转移概率分布,再根据转移概率分布值计算出每两个序数划分网络的詹森香农散度;将詹森香农散度的平方根作为该两个序数划分网络对应的两条生理时间序列间的差异性指标;
全连接无向加权网络单元,用以将差异性指标作为连边权重,将每条生理时间序列当作一个网络节点,利用9条生理时间序列构建全连接无向加权网络;
将得到的全连接无向加权网络其作为图神经网络分类器的输入,图神经网络分类器具有输入层、隐含层和输出层共6层,其中隐含层包含3层顶点的特征集为序数划分网络的转移概率香农熵;边特征集为每两个序数划分网络间的詹森香农散度;经过无监督学习训练最后输出受试者情绪的归类结果。
3.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1-2中任一所述的基于序数划分网络的多通道生理时间序列情绪识别方法。
4.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-2中任一所述的基于序数划分网络的多通道生理时间序列情绪识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310232732.2A CN116269386B (zh) | 2023-03-13 | 2023-03-13 | 基于序数划分网络的多通道生理时间序列情绪识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310232732.2A CN116269386B (zh) | 2023-03-13 | 2023-03-13 | 基于序数划分网络的多通道生理时间序列情绪识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116269386A CN116269386A (zh) | 2023-06-23 |
CN116269386B true CN116269386B (zh) | 2024-06-11 |
Family
ID=86786487
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310232732.2A Active CN116269386B (zh) | 2023-03-13 | 2023-03-13 | 基于序数划分网络的多通道生理时间序列情绪识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116269386B (zh) |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107007291A (zh) * | 2017-04-05 | 2017-08-04 | 天津大学 | 基于多生理参数的紧张情绪强度识别系统及信息处理方法 |
CN110897648A (zh) * | 2019-12-16 | 2020-03-24 | 南京医科大学 | 基于脑电信号与lstm神经网络模型的情绪识别分类方法 |
CN111134666A (zh) * | 2020-01-09 | 2020-05-12 | 中国科学院软件研究所 | 一种多通道脑电数据的情绪识别方法及电子装置 |
CN111616721A (zh) * | 2020-05-31 | 2020-09-04 | 天津大学 | 基于深度学习和脑机接口的情绪识别系统及应用 |
CN112990008A (zh) * | 2021-03-13 | 2021-06-18 | 山东海量信息技术研究院 | 基于三维特征图和卷积神经网络的情绪识别方法及系统 |
CN113069117A (zh) * | 2021-04-02 | 2021-07-06 | 中山大学 | 一种基于时间卷积神经网络的脑电情绪识别方法及系统 |
CN113208593A (zh) * | 2021-04-08 | 2021-08-06 | 杭州电子科技大学 | 基于相关性动态融合的多模态生理信号情绪分类方法 |
CN113598774A (zh) * | 2021-07-16 | 2021-11-05 | 中国科学院软件研究所 | 基于多通道脑电数据的积极情绪多标签分类方法及装置 |
CN114041795A (zh) * | 2021-12-03 | 2022-02-15 | 北京航空航天大学 | 基于多模态生理信息与深度学习的情绪识别方法及系统 |
CN114676723A (zh) * | 2022-03-11 | 2022-06-28 | 中国矿业大学 | 基于加权水平可视图多重分形的情绪识别方法及系统 |
CN114947852A (zh) * | 2022-06-14 | 2022-08-30 | 华南师范大学 | 一种多模态情感识别方法、装置、设备及存储介质 |
CN114970641A (zh) * | 2022-06-24 | 2022-08-30 | 中国工商银行股份有限公司 | 情感类别的识别方法、装置、处理器及电子设备 |
CN115456025A (zh) * | 2022-09-19 | 2022-12-09 | 天津师范大学 | 基于分层注意的时域卷积网络的脑电情绪识别方法 |
CN115659207A (zh) * | 2022-05-26 | 2023-01-31 | 华中师范大学 | 一种脑电情绪识别方法及系统 |
CN115770044A (zh) * | 2022-11-17 | 2023-03-10 | 天津大学 | 基于脑电相位幅值耦合网络的情绪识别方法及装置 |
-
2023
- 2023-03-13 CN CN202310232732.2A patent/CN116269386B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107007291A (zh) * | 2017-04-05 | 2017-08-04 | 天津大学 | 基于多生理参数的紧张情绪强度识别系统及信息处理方法 |
CN110897648A (zh) * | 2019-12-16 | 2020-03-24 | 南京医科大学 | 基于脑电信号与lstm神经网络模型的情绪识别分类方法 |
CN111134666A (zh) * | 2020-01-09 | 2020-05-12 | 中国科学院软件研究所 | 一种多通道脑电数据的情绪识别方法及电子装置 |
CN111616721A (zh) * | 2020-05-31 | 2020-09-04 | 天津大学 | 基于深度学习和脑机接口的情绪识别系统及应用 |
CN112990008A (zh) * | 2021-03-13 | 2021-06-18 | 山东海量信息技术研究院 | 基于三维特征图和卷积神经网络的情绪识别方法及系统 |
CN113069117A (zh) * | 2021-04-02 | 2021-07-06 | 中山大学 | 一种基于时间卷积神经网络的脑电情绪识别方法及系统 |
CN113208593A (zh) * | 2021-04-08 | 2021-08-06 | 杭州电子科技大学 | 基于相关性动态融合的多模态生理信号情绪分类方法 |
CN113598774A (zh) * | 2021-07-16 | 2021-11-05 | 中国科学院软件研究所 | 基于多通道脑电数据的积极情绪多标签分类方法及装置 |
CN114041795A (zh) * | 2021-12-03 | 2022-02-15 | 北京航空航天大学 | 基于多模态生理信息与深度学习的情绪识别方法及系统 |
CN114676723A (zh) * | 2022-03-11 | 2022-06-28 | 中国矿业大学 | 基于加权水平可视图多重分形的情绪识别方法及系统 |
CN115659207A (zh) * | 2022-05-26 | 2023-01-31 | 华中师范大学 | 一种脑电情绪识别方法及系统 |
CN114947852A (zh) * | 2022-06-14 | 2022-08-30 | 华南师范大学 | 一种多模态情感识别方法、装置、设备及存储介质 |
CN114970641A (zh) * | 2022-06-24 | 2022-08-30 | 中国工商银行股份有限公司 | 情感类别的识别方法、装置、处理器及电子设备 |
CN115456025A (zh) * | 2022-09-19 | 2022-12-09 | 天津师范大学 | 基于分层注意的时域卷积网络的脑电情绪识别方法 |
CN115770044A (zh) * | 2022-11-17 | 2023-03-10 | 天津大学 | 基于脑电相位幅值耦合网络的情绪识别方法及装置 |
Non-Patent Citations (3)
Title |
---|
基于多通道生理信号的情绪识别技术研究;王海宁;万方;20190217;全文 * |
基于转移网络的非线性时间序列分析方法研究;刘明敏;万方;20181219;全文 * |
邹勇等.非线性时间序列的复杂网络分析.中国科学(物理学 力学 天文学).2020,第50卷(第1期),010509-1-010509-15. * |
Also Published As
Publication number | Publication date |
---|---|
CN116269386A (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Tao et al. | EEG-based emotion recognition via channel-wise attention and self attention | |
CN111134666B (zh) | 一种多通道脑电数据的情绪识别方法及电子装置 | |
Zhang et al. | GCB-Net: Graph convolutional broad network and its application in emotion recognition | |
Huang et al. | S-EEGNet: Electroencephalogram signal classification based on a separable convolution neural network with bilinear interpolation | |
Huang et al. | Accurate classification of ECG arrhythmia using MOWPT enhanced fast compression deep learning networks | |
Yazdani et al. | Classification of EEG signals using Dempster Shafer theory and a k-nearest neighbor classifier | |
Chen et al. | Self-organized neural network for the quality control of 12-lead ECG signals | |
Zhong et al. | EEG emotion recognition based on TQWT-features and hybrid convolutional recurrent neural network | |
Soroush et al. | A novel method of eeg-based emotion recognition using nonlinear features variability and Dempster–Shafer theory | |
CN104367317A (zh) | 多尺度特征融合的心电图心电信号分类方法 | |
Li et al. | Residual GCB-Net: Residual graph convolutional broad network on emotion recognition | |
Rahman et al. | EEG-based emotion analysis using non-linear features and ensemble learning approaches | |
Li et al. | EEG emotion recognition based on 3-D feature representation and dilated fully convolutional networks | |
Abdulrahman et al. | A Comprehensive Review for Emotion Detection Based on EEG Signals: Challenges, Applications, and Open Issues. | |
WO2018120088A1 (zh) | 情感识别模型生成方法及装置 | |
CN113180659A (zh) | 一种基于三维特征和空洞全卷积网络的脑电情感识别系统 | |
Zeng et al. | A new statistical-based algorithm for ECG identification | |
Vylala et al. | Spectral feature and optimization-based actor-critic neural network for arrhythmia classification using ECG signal | |
Chen et al. | A novel imbalanced dataset mitigation method and ECG classification model based on combined 1D_CBAM-autoencoder and lightweight CNN model | |
Li et al. | A novel motor imagery EEG recognition method based on deep learning | |
Ayata et al. | Multi channel brain EEG signals based emotional arousal classification with unsupervised feature learning using autoencoders | |
Yin et al. | User independent emotion recognition with residual signal-image network | |
CN116269386B (zh) | 基于序数划分网络的多通道生理时间序列情绪识别方法 | |
Rahuja et al. | A comparative analysis of deep neural network models using transfer learning for electrocardiogram signal classification | |
CN115631371A (zh) | 一种脑电信号核心网络的提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |