CN116269386A - 基于序数划分网络的多通道生理时间序列情绪识别方法 - Google Patents

基于序数划分网络的多通道生理时间序列情绪识别方法 Download PDF

Info

Publication number
CN116269386A
CN116269386A CN202310232732.2A CN202310232732A CN116269386A CN 116269386 A CN116269386 A CN 116269386A CN 202310232732 A CN202310232732 A CN 202310232732A CN 116269386 A CN116269386 A CN 116269386A
Authority
CN
China
Prior art keywords
ordinal
network
physiological
division
physiological time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310232732.2A
Other languages
English (en)
Inventor
杨小冬
闫臣
张曙萱
芮晓彬
杜文亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202310232732.2A priority Critical patent/CN116269386A/zh
Publication of CN116269386A publication Critical patent/CN116269386A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Developmental Disabilities (AREA)
  • Cardiology (AREA)
  • Social Psychology (AREA)
  • Pulmonology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开一种基于序数划分网络的多通道生理时间序列情绪识别方法，适用于人机交互下的不同情绪的识别。通过采集被试者不同情绪下的多通道生理时间序列，经过序数划分方法对其分别进行符号化进而构建序数划分网络，进一步将每条生理时间序列构成的序数划分网络看作节点，计算两两生理时间序列之间的差异性，并将其作为节点间的连边权重进而构造全连接无向加权网络，最后将不同情绪下的全连接无向加权网络作为图神经网络的输入进行分类。该方法结合序数划分网络与图神经网络，且融合了多元生理器官时间序列，且其计算简便步骤简单，对不同情绪都有很高的识别效率，能够有效地对人机交互活动提供帮助。

Description

基于序数划分网络的多通道生理时间序列情绪识别方法
技术领域
本发明属于生理时间序列处理技术领域，尤其适用于一种基于序数划分网络的多通道生理时间序列情绪识别方法。
背景技术
情绪在日常生活人与人交流中扮演着重要角色，当今社会，尽管已经进行了很多工作来探索情绪识别的机制和方法，但是由于复杂的外部模式，许多技术应用仍然高度需要有效的情绪识别方法。人体是一个综合的网络，其中复杂的生理系统，每个都有自己的调节机制，不断地相互作用。从生理网络角度分析检测人类的意图和情绪状态有更深远的意义。
基于网络的时间序列分析的历史可以追溯到非线性信号的分析，特别是吸引子重构技术和递归分析。复杂网络提供了一种描述系统动力学演化的方法，其中描述复杂系统的实体被表示为节点，而边描述了互连实体之间的内在关系，这些相互作用的模式可以洞察所研究系统的动态特性。其中，序数划分网络提供了一种从系统产生的一维时间序列重建状态序数划分网络的方法。它基于为连续观察序列定义的一组连续模式的思想，网络的每个节点代表定义的模式之一，并且根据两个连续模式之间的转移频率对边进行加权。序数划分网络对噪声的鲁棒性以及可以较好的从底层编码动力系统使它成为研究非线性动力学的有力工具。
目前情绪识别主要集中在深度学习领域，多数涉及单导联生理信号或多通道脑电生理信号分析方面，且仅对生理时间序列的浅层特征提取进而分类，没有考虑受试者多生理信号整体之间的关联性、差异性以及更丰富的动力学特征。为了提高情绪识别的准确性和鲁棒性，有必要利用多模态生理信号，并将时间序列构建为复杂网络提取其深层特征。
发明内容
针对现有技术的不足之处，本发明提供一种步骤简单的基于序数划分网络的多通道生理时间序列情绪识别方法，通过人体整体生理网络的拓扑结构变化表征情绪变化。
为实现上述技术目的，本发明的一种基于序数划分网络的多通道生理时间序列情绪识别方法，首先采集不同情绪状态下受试者的脑电、心电、眼电、呼吸、肌电信号；并将脑电信号通过小波变换分解为五个频带的信号，进而得到9条生理时间序列；对9条生理时间序列进行序数划分符号化处理，得到序数模式符号序列，根据模式间的转移关系继续生成信号的序数划分网络，计算转移概率分布；根据转移概率分布计算詹森香农散度，将詹森香农散度平方根作为每两个生理时间序列的差异性，得到多元生理时间序列的全连接无向加权网络，利用全连接无向加权网络作为图神经网络的输入通过无监督学习训练达到对不同情绪状态进行识别分类的效果。
具体步骤如下：
S1、采集受试者处于不同情绪状态下相同时长的生理信号：生理信号包括脑电、心电、眼电、呼吸、肌电信号，作为单独的生理时间序列，然后将脑电信号通过小波变换分解为δ、θ、α、σ和β五个频带，每个频带均作为单独的生理信号，总共得到9条生理时间序列，其中受试者的情绪包括激动、平静、消极三种；
S2、采用序数划分方法对每条生理时间序列法进行符号化处理，共得到9条序数模式符号时间序列；
S3、在每条序数模式符号时间序列中，考虑相邻序数模式之间的转移行为；即将每条序数模式符号时间序列中的每个序数模式符号作为一个节点，根据符号的时间邻接性构造生成序数划分网络ordinal partition network，序数划分网络的网络权值设定为节点之间的转移次数，共得到9个序数划分网络；
S4、分别计算出9个序数划分网络的转移概率分布；再根据转移概率分布值计算出每两个序数划分网络的詹森香农散度；将詹森香农散度的平方根作为该两个序数划分网络对应的两条生理时间序列间的差异性指标；
S5、根据S4中计算得到的差异性指标作为连边权重，将每条生理时间序列当作一个网络节点，利用9条生理时间序列构建整个多通道生理时间序列的全连接无向加权网络；
S6、将S5中得到的全连接无向加权网络其作为图神经网络分类器的输入，图神经网络分类器具有输入层、隐含层和输出层共5层，其中输入层1层，输出层1层；隐含层包含3层；输入包括顶点特征集和边特征集；顶点的特征集为序数划分网络的转移概率香农熵，边特征集为每两个序数划分网络间的詹森香农散度；经过无监督学习训练最后输出激动、平静、消极情绪的归类结果。
进一步，步骤S1包括以下分步骤：
S11、分别采集受试者不同情绪状态下的相同时长的脑电、心电、眼电、呼吸、肌电信号,并将脑电信号通过小波变换分解为δ(0-4Hz)、θ(4-8Hz)、α(8-12.9Hz)、σ(13-15.9Hz)和β(16-25Hz)五个频带,形成共9种生理时间序列，将信号表示为一个多元的生理时间序列，此多元生理时间序列表示为
Figure BDA0004120941480000021
其中Xi表示第i个生理信号的生理时间序列，t代表每条序列中第t个采样点，T代表总采样点个数。
进一步，步骤S2包括以下分步骤：
S21、对多元生理时间序列
Figure BDA0004120941480000031
采用序数划分方法进行符号化处理，即首先将每一条序列进行相空间重构，得到重构向量序列/>
Figure BDA0004120941480000032
其中:
Figure BDA0004120941480000033
为第i个生理时间序列的第j个重构向量,d为相空间重构中的嵌入维数，τ为延迟时间，N＝T-(d-1)τ+1，N代表重构后向量的个数；
S22、将每一个重构向量序列中的元素按照幅值大小进行排序后映射为一个序数模式符号，得到小于等于d！种不同的排列方式，进而得到多元序数模式符号序列
Figure BDA0004120941480000034
表示第i个生理时间序列的第k种序数模式：/>
Figure BDA0004120941480000035
共形成9条序数模式符号序列。
进一步，步骤S3包括以下分步骤：
S31、在每条序数模式符号时间序列中，根据新的序数模式符号时间序列中一个序数模式到下一个序数模式的转移构建序数划分网络，即网络节点为不同的序数模式，用矩阵M表示：
Figure BDA0004120941480000036
矩阵中的元素值记为
Figure BDA0004120941480000037
代表序数划分网络的边权重，πk1表示第k1种模式；
利用
Figure BDA0004120941480000038
表示从模式πk1到模式πk2发生的转移次数。
进一步，步骤S4包括以下分步骤：
S41、计算每个序数划分网络的转移概率分布
Figure BDA0004120941480000039
Figure BDA00041209414800000310
其中/>
Figure BDA00041209414800000311
代表πa模式到πb模式的转移次数占πa模式到其余所有模式的转移次数的比值；
S42、再根据转移概率分布计算出每两个序数划分网络的相异性度量，即詹森香农散度DJS(P，Q)；将其平方根[DJS(P,Q)]1/2作为每两条生理时间序列间的差异性；
其中
Figure BDA00041209414800000312
w1、w2表示正数权重，且w1+w2＝1，S(P)表示转移概率香农熵函数,/>
Figure BDA00041209414800000313
P，Q代表第两个不同生理器官信号序数划分网络的转移概率分布。
进一步，包括顺序连接的人体生理信号获取单元、生理信号符号化单元、序数划分网络生成单元、差异性指标计算单元、全连接无向加权网络单元：
人体生理信号获取单元，用以采集受试者处于不同情绪状态下相同时长的生理信号，包括脑电、心电、眼电、呼吸、肌电信号，并将脑电信号通过小波变换分解为五个频带，从而针对每种受试者情绪都获得9条生理时间序列；
生理信号符号化单元，用以将每条生理时间序列法进行符号化处理，共得到9条序数模式符号时间序列；
序数划分网络生成单元，用以将每条序数模式符号时间序列中的每个序数模式符号作为一个节点，根据符号的时间邻接性构造生成序数划分网络ordinalpartitionnetwork，序数划分网络的网络权值设定为节点之间的转移次数，得到9个序数划分网络；
差异性指标计算单元，用以计算出9个序数划分网络的转移概率分布，再根据转移概率分布值计算出每两个序数划分网络的詹森香农散度；将詹森香农散度的平方根作为该两个序数划分网络对应的两条生理时间序列间的差异性指标；
全连接无向加权网络单元，用以将差异性指标作为连边权重，将每条生理时间序列当作一个网络节点，利用9条生理时间序列构建全连接无向加权网络；
将得到的全连接无向加权网络其作为图神经网络分类器的输入，图神经网络分类器具有输入层、隐含层和输出层共6层，其中隐含层包含3层顶点的特征集为序数划分网络的转移概率香农熵；边特征集为每两个序数划分网络间的詹森香农散度；经过无监督学习训练最后输出受试者情绪的归类结果。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7中任一所述的基于序数划分网络的多通道生理时间序列情绪识别方法。
一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-7中任一所述的基于序数划分网络的多通道生理时间序列情绪识别方法。
有益效果：
本发明为了解决不同情绪间的识别问题，通过将生理时间序列构造成序数划分网络，能够提取时间序列中更丰富的动力学特征；利用多种生理信号，构成多通道生理时间序列，量化不同情绪状态下个体整体信息差异性，相较于传统的单维生理时间序列或单个器官生理时间序列更加系统、全面，并结合图神经网络进行分类，有效提高了情绪识别的稳定性和准确性；本发明计算简便，且对数据长度和维数均没有限制。
附图说明
图1为本发明中基于序数划分网络的多通道生理时间序列情绪识别方法流程示意图；
图2为本发明实施例中将序列映射为序数划分网络的示意图；
图3为本发明实施例中单个受试者激动情绪所产生的权重网络示意图；
图4为本发明实施例中单个受试者消极情绪所产生的权重网络示意图；
图5为本发明实施例中单个受试者平静情绪所产生的权重网络示意图。
具体实施方式
下面结合实例和附图对本发明做进一步详细说明。
通过让多个受试者观看一些情感电影片段引出对应的情绪，同时采集脑电、心电、眼电、呼吸、肌电信号；需要识别的情绪有：激动、平静和消极情绪。
具体步骤如下：
S1、采集不同情绪状态下相同时长的脑电、心电、眼电、呼吸、肌电信号；并将脑电信号通过小波变换分解为δ(0-4Hz)、θ(4-8Hz)、α(8-12.9Hz)、σ(13-15.9Hz)和β(16-25Hz)五个频带，作为单独的生理时间序列，每个频带作为单独的生理信号，得到9条生理时间序列。
S2、对每种生理时间序列采用序数划分方法进行符号化处理，共得到9条序数模式符号时间序列。
S3、在每条序数模式符号时间序列中，考虑相邻序数模式之间的转移行为；即将每个序数模式符号作为一个节点，根据符号的时间邻接性构造构成序数划分网络，网络权值为节点之间的转移次数，共得到9个序数划分网络。
S4、计算每个序数划分网络的转移概率分布；再根据其值计算出每两个序数划分网络的詹森香农散度；将其平方根作为每两条生理时间序列间的差异性。
S5、根据S4中计算得到的差异性指标作为连边权重，每条生理时间序列当作一个网络节点，构建整个多通道生理时间序列的全连接无向加权网络。
S6、将S5中得到的全连接无向加权网络其作为图神经网络的输入，经过无监督学习训练最后输出归类结果，进而达到对不同情绪状态，即激动、平静、消极进行精准识别的效果。
进一步的S1的具体方法为：
S11、分别采集受试者不同情绪状态下的相同时长的脑电、心电、眼电、呼吸、肌电信号；将脑电信号通过小波变换分解为δ(0-4Hz)、θ(4-8Hz)、α(8-12.9Hz)、σ(13-15.9Hz)和β(16-25Hz)五个频带。共9种生理时间序列，将信号表示为一个多元的生理时间序列，此多元生理时间序列表示为
Figure BDA0004120941480000061
其中Xi表示第i个生理信号的生理时间序列，t代表每条序列中第t个采样点，T代表总采样点个数。
进一步的S2的具体方法为：
S21、对多元生理时间序列
Figure BDA0004120941480000062
采用序数划分方法进行符号化处理，即首先将每一条序列进行相空间重构，得到重构向量序列/>
Figure BDA0004120941480000063
其中:
Figure BDA0004120941480000064
为第i个生理时间序列的第j个重构向量,d为相空间重构中的嵌入维数，τ为延迟时间，N＝T-(d-1)τ+1。
S22、进一步,将每一个重构向量中的元素按照幅值大小进行排序后映射为一个序数模式符号，得到小于等于d！种不同的排列方式，进而得到多元序数模式符号序列
Figure BDA0004120941480000065
表示第i个生理时间序列的第k种序数模式。/>
Figure BDA0004120941480000066
共形成9条序数模式符号序列。
进一步的S3的具体方法为：
S31、在每条序数模式序列中，根据新的序数模式序列一个模式到下一个模式的转移构建序数划分网络，即网络节点为不同的序数模式。用矩阵P表示，矩阵中的元素值记为
Figure BDA0004120941480000067
代表序数划分网络的边权重。/>
Figure BDA0004120941480000068
代表从模式πa到模式πb发生的转移次数。
进一步的S4的具体方法为：
S41、计算每条序数模式生理时间序列序数划分网络的转移概率分布
Figure BDA0004120941480000069
其中
Figure BDA00041209414800000610
代表πa模式到πb模式的转移次数占πa模式到其余所有模式的转移次数的比值。
S42、再根据转移概率分布计算出每两个序数划分网络的詹森香农散度；将其平方根作为每两条生理时间序列间的差异性。
其中
Figure BDA00041209414800000611
w表示正数权重，且w1+w2＝1，S(P)是香农熵函数,/>
Figure BDA00041209414800000612
P，Q代表第两个不同生理器官信号序数划分网络的转移概率分布。
进一步的S5的具体方法为：
S51、根据S4中计算得到的差异性指标作为连边权重，每条生理时间序列当作一个网络节点，构建整个多通道生理时间序列的全连接无向加权网络。
进一步的S6的具体方法为：
S61、将S5中得到的全连接无向加权网络其作为图神经网络的输入，经过无监督学习训练最后输出归类结果，进而达到对不同情绪状态，即激动、平静、消极进行精准识别的效果。
图2为本发明中将序列映射为转移矩阵的示意图，以嵌入维数d取4，τ取1时产生了24种序数模式符号节点的序数划分网络示意图为例，共产生(1，2，3，4)、(1，2，4，3)(1，3，2，4)、(1，3，4，2)、(1，4，2，3)、(1，4，3，2)、(2，1，3，4)、(2，1，4，3)、(2，3，1，4)、(2、3、4、1)、(2，4，1，3)、(2，4，3，1)、(3，1，2，4)、(3，1，4，2)、(3，2，1，4)，(3，2，4，1)、(3，4，1，2)、(3，4，2，1)、(4，1，2，3)、(4，1，3，2)、(4，2，1，3)、(4，2，3，1)、(4，3，1，2)、(4，3，2，1)共24种排列方式。两个元素的值相等的情况下，基于在向量中出现的顺序来分配。根据序数模式之间的转移建立连接，矩阵元素为序数模式之间的转移次数。
图3到图5为不同情绪下生成的全连接无向加权网络，其中Resp为呼吸频率信号、EMG为肌电信号、EOG眼电信号、ECG为心电信号，连边越粗表示差异性越大，融合了人体多通道生理信号的特征，识别效果有了进一步的保障。

Claims (9)

1.一种基于序数划分网络的多通道生理时间序列情绪识别方法，其特征在于：
采集不同情绪状态下受试者的脑电、心电、眼电、呼吸、肌电信号；并将脑电信号通过小波变换分解为五个频带的信号，进而得到9条生理时间序列；对9条生理时间序列进行序数划分符号化处理，得到序数模式符号序列，根据模式间的转移关系继续生成信号的序数划分网络，计算转移概率分布；根据转移概率分布计算詹森香农散度，将詹森香农散度平方根作为每两个生理时间序列的差异性，得到多元生理时间序列的全连接无向加权网络，利用全连接无向加权网络作为图神经网络的输入通过无监督学习训练达到对不同情绪状态进行识别分类的效果。
2.根据权利要求1所述的基于序数划分网络的多通道生理时间序列情绪识别方法，其特征在于，具体步骤如下：
S1、采集受试者处于不同情绪状态下相同时长的生理信号：生理信号包括脑电、心电、眼电、呼吸、肌电信号，作为单独的生理时间序列，然后将脑电信号通过小波变换分解为δ、θ、α、σ和β五个频带，每个频带均作为单独的生理信号，总共得到9条生理时间序列，其中受试者的情绪包括激动、平静、消极三种；
S2、采用序数划分方法对每条生理时间序列法进行符号化处理，共得到9条序数模式符号时间序列；
S3、在每条序数模式符号时间序列中，考虑相邻序数模式之间的转移行为；即将每条序数模式符号时间序列中的每个序数模式符号作为一个节点，根据符号的时间邻接性构造生成序数划分网络ordinalpartition network，序数划分网络的网络权值设定为节点之间的转移次数，共得到9个序数划分网络；
S4、分别计算出9个序数划分网络的转移概率分布；再根据转移概率分布值计算出每两个序数划分网络的詹森香农散度；将詹森香农散度的平方根作为该两个序数划分网络对应的两条生理时间序列间的差异性指标；
S5、根据S4中计算得到的差异性指标作为连边权重，将每条生理时间序列当作一个网络节点，利用9条生理时间序列构建整个多通道生理时间序列的全连接无向加权网络；
S6、将S5中得到的全连接无向加权网络其作为图神经网络分类器的输入，图神经网络分类器具有输入层、隐含层和输出层共5层，其中输入层1层，输出层1层；隐含层包含3层；输入包括顶点特征集和边特征集；顶点的特征集为序数划分网络的转移概率香农熵，边特征集为每两个序数划分网络间的詹森香农散度；经过无监督学习训练最后输出激动、平静、消极情绪的归类结果。
3.根据权利要求2所述的一种基于序数划分网络的多通道生理时间序列情绪识别方法，其特征在于，步骤S1包括以下分步骤：
S11、分别采集受试者不同情绪状态下的相同时长的脑电、心电、眼电、呼吸、肌电信号,并将脑电信号通过小波变换分解为δ(0-4Hz)、θ(4-8Hz)、α(8-12.9Hz)、σ(13-15.9Hz)和β(16-25Hz)五个频带,形成共9种生理时间序列，将信号表示为一个多元的生理时间序列，此多元生理时间序列表示为
Figure FDA0004120941460000021
其中Xi表示第i个生理信号的生理时间序列，t代表每条序列中第t个采样点，T代表总采样点个数。
4.根据权利要求3所述的一种基于序数划分网络的多通道生理时间序列情绪识别方法，其特征在于，步骤S2包括以下分步骤：
S21、对多元生理时间序列
Figure FDA0004120941460000022
采用序数划分方法进行符号化处理，即首先将每一条序列进行相空间重构，得到重构向量序列/>
Figure FDA0004120941460000023
其中:
Figure FDA0004120941460000024
为第i个生理时间序列的第j个重构向量,d为相空间重构中的嵌入维数，τ为延迟时间，N＝T-(d-1)τ+1，N代表重构后向量的个数；
S22、将每一个重构向量序列中的元素按照幅值大小进行排序后映射为一个序数模式符号，得到小于等于d！种不同的排列方式，进而得到多元序数模式符号序列
Figure FDA0004120941460000025
表示第i个生理时间序列的第k种序数模式：/>
Figure FDA0004120941460000026
共形成9条序数模式符号序列。
5.根据权利要求4所述的一种基于序数划分网络的多通道生理时间序列情绪识别方法，其特征在于，步骤S3包括以下分步骤：
S31、在每条序数模式符号时间序列中，根据新的序数模式符号时间序列中一个序数模式到下一个序数模式的转移构建序数划分网络，即网络节点为不同的序数模式，用矩阵M表示：
Figure FDA0004120941460000027
矩阵中的元素值记为
Figure FDA0004120941460000028
代表序数划分网络的边权重，πk1表示第k1种模式；
利用
Figure FDA0004120941460000029
表示从模式πk1到模式πk2发生的转移次数。
6.根据权利要求5所述的一种基于序数划分网络的多通道生理时间序列情绪识别方法，其特征在于，步骤S4包括以下分步骤：
S41、计算每个序数划分网络的转移概率分布
Figure FDA0004120941460000031
Figure FDA0004120941460000032
其中/>
Figure FDA0004120941460000033
代表va模式到πb模式的转移次数占va模式到其余所有模式的转移次数的比值；
S42、再根据转移概率分布计算出每两个序数划分网络的相异性度量，即詹森香农散度DJS(P,Q)；将其平方根[DJS(P，Q)]1/2作为每两条生理时间序列间的差异性；
其中
Figure FDA0004120941460000034
w1、w2表示正数权重，且w1+w2＝1，S(P)表示转移概率香农熵函数,/>
Figure FDA0004120941460000035
P，Q代表第两个不同生理器官信号序数划分网络的转移概率分布。
7.根据权利要求2所述基于序数划分网络的多通道生理时间序列情绪识别方法，其特征在于，包括顺序连接的人体生理信号获取单元、生理信号符号化单元、序数划分网络生成单元、差异性指标计算单元、全连接无向加权网络单元：
人体生理信号获取单元，用以采集受试者处于不同情绪状态下相同时长的生理信号，包括脑电、心电、眼电、呼吸、肌电信号，并将脑电信号通过小波变换分解为五个频带，从而针对每种受试者情绪都获得9条生理时间序列；
生理信号符号化单元，用以将每条生理时间序列法进行符号化处理，共得到9条序数模式符号时间序列；
序数划分网络生成单元，用以将每条序数模式符号时间序列中的每个序数模式符号作为一个节点，根据符号的时间邻接性构造生成序数划分网络ordinal partition network，序数划分网络的网络权值设定为节点之间的转移次数，得到9个序数划分网络；
差异性指标计算单元，用以计算出9个序数划分网络的转移概率分布，再根据转移概率分布值计算出每两个序数划分网络的詹森香农散度；将詹森香农散度的平方根作为该两个序数划分网络对应的两条生理时间序列间的差异性指标；
全连接无向加权网络单元，用以将差异性指标作为连边权重，将每条生理时间序列当作一个网络节点，利用9条生理时间序列构建全连接无向加权网络；
将得到的全连接无向加权网络其作为图神经网络分类器的输入，图神经网络分类器具有输入层、隐含层和输出层共6层，其中隐含层包含3层顶点的特征集为序数划分网络的转移概率香农熵；边特征集为每两个序数划分网络间的詹森香农散度；经过无监督学习训练最后输出受试者情绪的归类结果。
8.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7中任一所述的基于序数划分网络的多通道生理时间序列情绪识别方法。
9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的基于序数划分网络的多通道生理时间序列情绪识别方法。
CN202310232732.2A 2023-03-13 2023-03-13 基于序数划分网络的多通道生理时间序列情绪识别方法 Pending CN116269386A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310232732.2A CN116269386A (zh) 2023-03-13 2023-03-13 基于序数划分网络的多通道生理时间序列情绪识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310232732.2A CN116269386A (zh) 2023-03-13 2023-03-13 基于序数划分网络的多通道生理时间序列情绪识别方法

Publications (1)

Publication Number Publication Date
CN116269386A true CN116269386A (zh) 2023-06-23

Family

ID=86786487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310232732.2A Pending CN116269386A (zh) 2023-03-13 2023-03-13 基于序数划分网络的多通道生理时间序列情绪识别方法

Country Status (1)

Country Link
CN (1) CN116269386A (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107007291A (zh) * 2017-04-05 2017-08-04 天津大学 基于多生理参数的紧张情绪强度识别系统及信息处理方法
CN110897648A (zh) * 2019-12-16 2020-03-24 南京医科大学 基于脑电信号与lstm神经网络模型的情绪识别分类方法
CN111134666A (zh) * 2020-01-09 2020-05-12 中国科学院软件研究所 一种多通道脑电数据的情绪识别方法及电子装置
CN111616721A (zh) * 2020-05-31 2020-09-04 天津大学 基于深度学习和脑机接口的情绪识别系统及应用
CN112990008A (zh) * 2021-03-13 2021-06-18 山东海量信息技术研究院 基于三维特征图和卷积神经网络的情绪识别方法及系统
CN113069117A (zh) * 2021-04-02 2021-07-06 中山大学 一种基于时间卷积神经网络的脑电情绪识别方法及系统
CN113208593A (zh) * 2021-04-08 2021-08-06 杭州电子科技大学 基于相关性动态融合的多模态生理信号情绪分类方法
CN113598774A (zh) * 2021-07-16 2021-11-05 中国科学院软件研究所 基于多通道脑电数据的积极情绪多标签分类方法及装置
CN114041795A (zh) * 2021-12-03 2022-02-15 北京航空航天大学 基于多模态生理信息与深度学习的情绪识别方法及系统
CN114676723A (zh) * 2022-03-11 2022-06-28 中国矿业大学 基于加权水平可视图多重分形的情绪识别方法及系统
CN114947852A (zh) * 2022-06-14 2022-08-30 华南师范大学 一种多模态情感识别方法、装置、设备及存储介质
CN114970641A (zh) * 2022-06-24 2022-08-30 中国工商银行股份有限公司 情感类别的识别方法、装置、处理器及电子设备
CN115456025A (zh) * 2022-09-19 2022-12-09 天津师范大学 基于分层注意的时域卷积网络的脑电情绪识别方法
CN115659207A (zh) * 2022-05-26 2023-01-31 华中师范大学 一种脑电情绪识别方法及系统
CN115770044A (zh) * 2022-11-17 2023-03-10 天津大学 基于脑电相位幅值耦合网络的情绪识别方法及装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107007291A (zh) * 2017-04-05 2017-08-04 天津大学 基于多生理参数的紧张情绪强度识别系统及信息处理方法
CN110897648A (zh) * 2019-12-16 2020-03-24 南京医科大学 基于脑电信号与lstm神经网络模型的情绪识别分类方法
CN111134666A (zh) * 2020-01-09 2020-05-12 中国科学院软件研究所 一种多通道脑电数据的情绪识别方法及电子装置
CN111616721A (zh) * 2020-05-31 2020-09-04 天津大学 基于深度学习和脑机接口的情绪识别系统及应用
CN112990008A (zh) * 2021-03-13 2021-06-18 山东海量信息技术研究院 基于三维特征图和卷积神经网络的情绪识别方法及系统
CN113069117A (zh) * 2021-04-02 2021-07-06 中山大学 一种基于时间卷积神经网络的脑电情绪识别方法及系统
CN113208593A (zh) * 2021-04-08 2021-08-06 杭州电子科技大学 基于相关性动态融合的多模态生理信号情绪分类方法
CN113598774A (zh) * 2021-07-16 2021-11-05 中国科学院软件研究所 基于多通道脑电数据的积极情绪多标签分类方法及装置
CN114041795A (zh) * 2021-12-03 2022-02-15 北京航空航天大学 基于多模态生理信息与深度学习的情绪识别方法及系统
CN114676723A (zh) * 2022-03-11 2022-06-28 中国矿业大学 基于加权水平可视图多重分形的情绪识别方法及系统
CN115659207A (zh) * 2022-05-26 2023-01-31 华中师范大学 一种脑电情绪识别方法及系统
CN114947852A (zh) * 2022-06-14 2022-08-30 华南师范大学 一种多模态情感识别方法、装置、设备及存储介质
CN114970641A (zh) * 2022-06-24 2022-08-30 中国工商银行股份有限公司 情感类别的识别方法、装置、处理器及电子设备
CN115456025A (zh) * 2022-09-19 2022-12-09 天津师范大学 基于分层注意的时域卷积网络的脑电情绪识别方法
CN115770044A (zh) * 2022-11-17 2023-03-10 天津大学 基于脑电相位幅值耦合网络的情绪识别方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘明敏: "基于转移网络的非线性时间序列分析方法研究", 万方, 19 December 2018 (2018-12-19) *
王海宁: "基于多通道生理信号的情绪识别技术研究", 万方, 17 February 2019 (2019-02-17) *
邹勇等, 中国科学（物理学 力学 天文学）, vol. 50, no. 1, 8 May 2020 (2020-05-08), pages 010509 - 1 *

Similar Documents

Publication Publication Date Title
Tao et al. EEG-based emotion recognition via channel-wise attention and self attention
CN111134666B (zh) 一种多通道脑电数据的情绪识别方法及电子装置
Huang et al. Accurate classification of ECG arrhythmia using MOWPT enhanced fast compression deep learning networks
Huang et al. S-EEGNet: Electroencephalogram signal classification based on a separable convolution neural network with bilinear interpolation
Hong et al. Combining deep neural networks and engineered features for cardiac arrhythmia detection from ECG recordings
Yazdani et al. Classification of EEG signals using Dempster Shafer theory and a k-nearest neighbor classifier
Chen et al. Self-organized neural network for the quality control of 12-lead ECG signals
Zhong et al. EEG emotion recognition based on TQWT-features and hybrid convolutional recurrent neural network
Rahman et al. EEG-based emotion analysis using non-linear features and ensemble learning approaches
Cheng et al. The optimal wavelet basis function selection in feature extraction of motor imagery electroencephalogram based on wavelet packet transformation
El‐Saadawy et al. Hybrid hierarchical method for electrocardiogram heartbeat classification
WO2018120088A1 (zh) 情感识别模型生成方法及装置
Abdulrahman et al. A Comprehensive Review for Emotion Detection Based on EEG Signals: Challenges, Applications, and Open Issues.
CN113180659A (zh) 一种基于三维特征和空洞全卷积网络的脑电情感识别系统
Zheng et al. A novel consciousness emotion recognition method using ERP components and MMSE
Zeng et al. A new statistical-based algorithm for ECG identification
Vylala et al. Spectral feature and optimization-based actor-critic neural network for arrhythmia classification using ECG signal
Ayata et al. Multi channel brain EEG signals based emotional arousal classification with unsupervised feature learning using autoencoders
Chen et al. A novel imbalanced dataset mitigation method and ECG classification model based on combined 1D_CBAM-autoencoder and lightweight CNN model
Rahuja et al. A comparative analysis of deep neural network models using transfer learning for electrocardiogram signal classification
CN117113015A (zh) 一种基于时空深度学习的脑电信号识别方法及装置
CN116269386A (zh) 基于序数划分网络的多通道生理时间序列情绪识别方法
Hassan et al. Review of EEG Signals Classification Using Machine Learning and Deep-Learning Techniques
Nahin et al. Electroencephalogram-based Emotion Recognition with Hybrid Graph Convolutional Network Model
Reaj et al. Emotion recognition using EEG-based brain computer interface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination