CN114548262A - 一种情感计算中多模态生理信号的特征级融合方法 - Google Patents

一种情感计算中多模态生理信号的特征级融合方法 Download PDF

Info

Publication number
CN114548262A
CN114548262A CN202210155757.2A CN202210155757A CN114548262A CN 114548262 A CN114548262 A CN 114548262A CN 202210155757 A CN202210155757 A CN 202210155757A CN 114548262 A CN114548262 A CN 114548262A
Authority
CN
China
Prior art keywords
vector
matrix
embedding
emotion
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210155757.2A
Other languages
English (en)
Other versions
CN114548262B (zh
Inventor
黄剑
何欣润
傅中正
王恩凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Ezhou Institute of Industrial Technology Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Ezhou Institute of Industrial Technology Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology, Ezhou Institute of Industrial Technology Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202210155757.2A priority Critical patent/CN114548262B/zh
Publication of CN114548262A publication Critical patent/CN114548262A/zh
Application granted granted Critical
Publication of CN114548262B publication Critical patent/CN114548262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Physiology (AREA)
  • Computational Linguistics (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Fuzzy Systems (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Probability & Statistics with Applications (AREA)

Abstract

本申请提供了一种情感计算中多模态生理信号的特征级融合方法，用于对生理信号实现更好地融合。方法包括：处理设备获取原始数据S(m)；处理设备针对原始数据S(m)中的每个模态的特点，分别进行预处理和特征提取，得到特征向量X(m)；处理设备对于特征向量X(m)中的第m个模态，计算对应的核矩阵并进行核矩阵嵌入，得到多核嵌入向量E(m)；处理设备将多核嵌入向量E(m)视为样本，在可再生核希尔伯特空间RKHS中表示，利用多核嵌入向量E(m)和样本标签，计算每个模态的可分性判据
Figure DDA0003512231470000011
赋予第i个模态一个加权系数，值为
Figure DDA0003512231470000012
则有γ＝(γ1，γ2，...，γP)T，其系数大小反映了对应模态的重要程度，加权融合得到集成向量E；处理设备通过集成向量E及其对应的情感标签Y训练初始模型，得到情感识别模型。

Description

一种情感计算中多模态生理信号的特征级融合方法
技术领域
本申请涉及情感识别领域，具体涉及一种情感计算中多模态生理信号的特征级融合方法。
背景技术
一个情感计算系统通常包含三个连续的过程：用户的情感激发、机器进行情感识别、并产生反馈行为。其中情感识别过程是人与机器建立情感交互联系的渠道，因此能够识别用户的情感是情感计算系统需要具备的最基本、最重要的能力。
生理信号可通过小型化的可穿戴设备(包括传感器)持续的获得，相比于语音、视频等信号具有便捷、稳定、限制少、适用场景广等优点，得到了广泛的关注。而可用于情感识别的生理信号很多，包括脑电图、肌电图、心率、皮肤电阻抗等，但不同信号蕴含的关于情感状态的模式不同，存在冗余或互补的信息，为信息融合带来了极大的挑战。
针对情感计算系统，目前已有的多模态生理信号融合方法可以分为三类：信号级的融合方法、特征级的融合方法和决策级的融合方法。信号级融合由于信息的抽象的层级低，保留的原始信息最充分，但通常要求信号的采样频率一致，且受到环境噪声干扰的影响较大，鲁棒性较弱；特征级融合则在原始信号抽象成特征向量后进行融合，处理的数据量适中，融合策略的实施更加灵活，使用最广泛；决策级的融合对多个分类器做出的决策进行融合。
而在现有的相关技术的研究过程中，发明人发现，尽管各个层级的融合通常都有利于提高情感识别的准确率，但是也都存在适用性较差的问题，如现有技术中以信号方差为主要依据的信号级融合方法，结果表明融合后的分类性能优于单独使用各个信号，然而其无法避免信号级融合固有的缺点；如现有技术中基于愉悦-唤醒二维情感模型和隐马尔可夫模型的特征级融合方法，与非融合方法比较，取得了更高的准确率，然而其是对特征向量的简单首尾拼接融合，无法反映融合过程中哪些生理信号对于情感识别任务的贡献更大；如现有技术中基于堆叠自编码器的模型，利用深度学习实现自动的特征级融合，然而其直接利用深度学习中的堆叠自编码器，虽然深度网络的神经元通过调整其权重可以学习到哪些特征更有用，也能加深深度来提高性能，但其可解释性较差；如现有技术中使用多核学习，针对每个模态计算核矩阵并加权融合，其利用了多核学习，其背后的核技巧具有较完善的理论基础，但属于浅层学习，很难像深度学习那样通过加深网络提高性能；如现有技术中对脑电、眼动信号进行决策级融合，对比了最大值规则、求和规则、投票规则和模糊度量规则，其使用了决策级融合，但每个生理信号单独做出决策后再进行融合就无法考虑到生理信号间的相互作用。
发明内容
本申请提供了一种情感计算中多模态生理信号的特征级融合方法，用于对生理信号实现更好地融合，具有良好的可解释性、强大的学习表征能力、直观、灵活性高、适用性好等特点，从而达到显著提高的实用性。
第一方面，本申请提供了一种情感计算中多模态生理信号的特征级融合方法，方法包括：
处理设备获取原始数据S(m)，其中，原始数据S(m)为记录了P个模态的生理信号类型的样本数据，原始数据S(m)记为
Figure BDA0003512231450000021
原始数据S(m)还配置有情感标签Y，情感标签Y记为Y＝{yi}，i＝1，2，...，N，N表示样本个数，一共有C个类别；
处理设备针对原始数据S(m)中的每个模态的特点，分别进行预处理和特征提取，得到特征向量X(m)，特征向量X(m)记为
Figure BDA0003512231450000022
处理设备对于特征向量X(m)中的第m个模态，计算对应的核矩阵并进行核矩阵嵌入，得到多核嵌入向量E(m)，其中，每一个核矩阵及其嵌入都有一个相对应的模态，多核嵌入向量E(m)记为
Figure BDA0003512231450000023
处理设备将多核嵌入向量E(m)视为样本，在可再生核希尔伯特空间RKHS中表示，利用多核嵌入向量E(m)和样本标签，计算每个模态的可分性判据
Figure BDA0003512231450000031
其中，
Figure BDA0003512231450000032
为类内离差矩阵，
Figure BDA0003512231450000033
为类间离差矩阵，
赋予第i个模态一个加权系数，其值为
Figure BDA0003512231450000034
则有γ＝(γ1，γ2，...，γP)T，其系数大小反映了对应模态的重要程度，
加权融合得到集成向量E，集成向量E记为
Figure BDA0003512231450000035
Figure BDA0003512231450000036
处理设备通过集成向量E及其对应的情感标签Y训练初始模型，得到情感识别模型，情感识别模型用于对输入的目标生理信号执行情感识别。
结合本申请第一方面，在本申请第一方面第一种可能的实现方式中，核矩阵嵌入具体为Nystrom近似核矩阵嵌入，Nystrom近似核矩阵嵌入包括以下内容：
对于特征向量x(m)中的第m个模态，将其特征向量归一化后，计算核矩阵
Figure BDA0003512231450000037
其中，
Figure BDA0003512231450000038
k为选定的核函数；
从核矩阵K(m)中随机采样s列(s＜＜N)，构成矩阵C(m)∈RN×s；
从矩阵C中抽取出被采样的列所对应的s行，构成半正定矩阵W(m)∈Rs×s；
由半正定矩阵W(m)的奇异值分解得到
Figure BDA00035122314500000315
其中，∑(m)为对角矩阵，对角线元素σi为降序排列的特征值，U(m)为正交矩阵，其第i列记为
Figure BDA0003512231450000039
对于给定的r≤s，核矩阵K的rank-r近似为：
Figure BDA00035122314500000310
其中，
Figure BDA00035122314500000311
计算嵌入向量
Figure BDA00035122314500000312
对所有模态执行以上操作后，得到多核嵌入向量E(m)，多核嵌入向量E(m)记为
Figure BDA00035122314500000313
结合本申请第一方面，在本申请第一方面第二种可能的实现方式中，核矩阵嵌入具体为在特征空间聚类的Nystrom近似核矩阵嵌入，在特征空间聚类的Nystrom近似核矩阵嵌入包括以下内容：
对于特征向量X(m)中的第m个模态，从特征向量X(m)中采样出N′＜N个样本，并进行k均值聚类，找出r个聚类中心，记为
Figure BDA00035122314500000314
计算核矩阵
Figure BDA0003512231450000041
和核矩阵
Figure BDA0003512231450000042
其中，
Figure BDA0003512231450000043
Figure BDA0003512231450000044
计算嵌入向量
Figure BDA0003512231450000045
对所有模态执行以上操作后，得到多核嵌入向量E(m)，多核嵌入向量E(m)记为
Figure BDA0003512231450000046
结合本申请第一方面，在本申请第一方面第三种可能的实现方式中，类内离差矩阵
Figure BDA0003512231450000047
的计算公式为：
Figure BDA0003512231450000048
类间离差矩阵
Figure BDA0003512231450000049
的计算公式为：
Figure BDA00035122314500000410
其中，Pi和Ni分别代表第i个类别的先验概率和样本个数，Pi用统计量
Figure BDA00035122314500000411
代替，
Figure BDA00035122314500000412
代表第m个模态嵌入向量中属于类别i的第k个样本，
Figure BDA00035122314500000413
代表第m个模态嵌入向量中属于类别i样本的均值向量，
Figure BDA00035122314500000414
μ(m)代表第m个模态嵌入向量中所有样本的均值向量，
Figure BDA00035122314500000415
结合本申请第一方面，在本申请第一方面第四种可能的实现方式中，处理设备获取原始数据S(m)，包括：
处理设备通过情感识别应用场景中配置在用户身上的可穿戴设备，采集原始数据S(m)，可穿戴设备上配置所需采集数据相对应的传感器。
结合本申请第一方面，在本申请第一方面第五种可能的实现方式中，处理设备获取原始数据S(m)，包括：
处理设备基于离线的形式，调取预先完成存储的原始数据S(m)。
结合本申请第一方面，在本申请第一方面第六种可能的实现方式中，处理设备通过集成向量与标签{(ei，yi)}训练初始模型，得到情感识别模型之后，方法还包括：
处理设备通过情感识别应用场景中配置在用户身上的可穿戴设备，采集实时的生理信号，可穿戴设备上配置所需采集数据相对应的传感器；
处理设备将实时的生理信号输入至情感识别模型；
处理设备提取情感识别模型根据实时的生理信号经过情感识别处理后所输出的情感识别结果。
第二方面，本申请提供了一种情感计算中多模态生理信号的特征级融合装置，装置包括：
获取单元，用于获取原始数据S(m)，其中，原始数据S(m)为记录了P个模态的生理信号类型的样本数据，原始数据S(m)记为
Figure BDA0003512231450000051
Figure BDA0003512231450000052
原始数据S(m)还配置有情感标签Y，情感标签Y记为Y＝{yi}，i＝1，2，...，N，N表示样本个数，一共有C个类别；
特征提取单元，用于针对原始数据S(m)中的每个模态的特点，分别进行预处理和特征提取，得到特征向量X(m)，特征向量X(m)记为
Figure BDA0003512231450000053
Figure BDA0003512231450000054
核矩阵嵌入单元，用于对于特征向量X(m)中的第m个模态，计算对应的核矩阵并进行核矩阵嵌入，得到多核嵌入向量E(m)，其中，每一个核矩阵及其嵌入都有一个相对应的模态，多核嵌入向量E(m)记为
Figure BDA0003512231450000055
Figure BDA0003512231450000056
集成向量处理单元，用于将多核嵌入向量E(m)视为样本，在可再生核希尔伯特空间RKHS中表示，利用多核嵌入向量E(m)和样本标签，计算每个模态的可分性判据
Figure BDA0003512231450000057
其中，
Figure BDA0003512231450000058
为类内离差矩阵，
Figure BDA0003512231450000059
为类间离差矩阵，
赋予第i个模态一个加权系数，其值为
Figure BDA00035122314500000510
则有γ＝(γ1，γ2，...，γP)T，其系数大小反映了对应模态的重要程度，
加权融合得到集成向量E，集成向量E记为
Figure BDA00035122314500000511
Figure BDA00035122314500000512
训练单元，用于通过集成向量E及其对应的情感标签Y训练初始模型，得到情感识别模型，情感识别模型用于对输入的目标生理信号执行情感识别。
结合本申请第二方面，在本申请第二方面第一种可能的实现方式中，核矩阵嵌入具体为Nystrom近似核矩阵嵌入，Nystrom近似核矩阵嵌入包括以下内容：
对于特征向量X(m)中的第m个模态，将其特征向量归一化后，计算核矩阵
Figure BDA00035122314500000513
其中，
Figure BDA00035122314500000514
k为选定的核函数；
从核矩阵K(m)中随机采样s列(s＜＜N)，构成矩阵C(m)∈RN×s；
从矩阵C中抽取出被采样的列所对应的s行，构成半正定矩阵W(m)∈Rs×s；
由半正定矩阵W(m)的奇异值分解得到
Figure BDA00035122314500000623
其中，∑(m)为对角矩阵，对角线元素σi为降序排列的特征值，U(m)为正交矩阵，其第i列记为
Figure BDA0003512231450000061
对于给定的r≤s，核矩阵K的rank-r近似为：
Figure BDA0003512231450000062
其中，
Figure BDA0003512231450000063
计算嵌入向量
Figure BDA0003512231450000064
对所有模态执行以上操作后，得到多核嵌入向量E(m)，多核嵌入向量E(m)记为
Figure BDA0003512231450000065
结合本申请第二方面，在本申请第二方面第二种可能的实现方式中，核矩阵嵌入具体为在特征空间聚类的Nystrom近似核矩阵嵌入，在特征空间聚类的Nystrom近似核矩阵嵌入包括以下内容：
对于特征向量X(m)中的第m个模态，从特征向量X(m)中采样出N′＜N个样本，并进行k均值聚类，找出r个聚类中心，记为
Figure BDA0003512231450000066
计算核矩阵
Figure BDA0003512231450000067
和核矩阵
Figure BDA0003512231450000069
其中，
Figure BDA00035122314500000610
Figure BDA00035122314500000611
计算嵌入向量
Figure BDA00035122314500000612
对所有模态执行以上操作后，得到多核嵌入向量E(m)，多核嵌入向量E(m)记为
Figure BDA00035122314500000613
结合本申请第二方面，在本申请第二方面第三种可能的实现方式中，类内离差矩阵
Figure BDA00035122314500000614
的计算公式为：
Figure BDA00035122314500000615
类间离差矩阵
Figure BDA00035122314500000616
的计算公式为：
Figure BDA00035122314500000617
其中，Pi和Ni分别代表第i个类别的先验概率和样本个数，Pi用统计量
Figure BDA00035122314500000618
代替，
Figure BDA00035122314500000619
代表第m个模态嵌入向量中属于类别i的第k个样本，
Figure BDA00035122314500000620
代表第m个模态嵌入向量中属于类别i样本的均值向量，
Figure BDA00035122314500000621
μ(m)代表第m个模态嵌入向量中所有样本的均值向量，
Figure BDA00035122314500000622
结合本申请第二方面，在本申请第二方面第四种可能的实现方式中，获取单元，具体用于：
通过情感识别应用场景中配置在用户身上的可穿戴设备，采集原始数据S(m)，可穿戴设备上配置所需采集数据相对应的传感器。
结合本申请第二方面，在本申请第二方面第五种可能的实现方式中，获取单元，具体用于：
基于离线的形式，调取预先完成存储的原始数据S(m)。
结合本申请第二方面，在本申请第二方面第六种可能的实现方式中，装置还包括应用单元，用于：
通过情感识别应用场景中配置在用户身上的可穿戴设备，采集实时的生理信号，可穿戴设备上配置所需采集数据相对应的传感器；
将实时的生理信号输入至情感识别模型；
提取情感识别模型根据实时的生理信号经过情感识别处理后所输出的情感识别结果。
第三方面，本申请提供了一种处理设备，包括处理器和存储器，存储器中存储有计算机程序，处理器调用存储器中的计算机程序时执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
从以上内容可得出，本申请具有以下的有益效果：
在情感识别模型的整体训练过程中，本申请构建了一情感计算中多模态生理信号的特征级融合机制，通过引入的核矩阵的嵌入，能够连接核方法与深度学习，从而取长补短，兼具核方法的良好可解释性和深度神经网络等深度学习方法强大的学习表征能力。
其次，其基于多核学习提出的加权融合策略非常直观，加权参数的大小直接反映了某个模态对于任务的重要程度，且融合后的分类性能相比对单个模态有所提升。
并且，本申请既不需要限制特征提取方法的种类和数量，也不需要限制后续分类模型的选择，灵活性高，适用性好。
也就是说，本申请所提出的情感计算中多模态生理信号的特征级融合机制，对生理信号实现更好地融合，具有良好的可解释性、强大的学习表征能力、直观、灵活性高、适用性好等特点，从而达到显著提高的实用性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请情感计算中多模态生理信号的特征级融合方法的一种流程示意图；
图2为本申请情感计算中多模态生理信号的特征级融合方法的一种场景示意图；
图3为本申请某个三分类情感识别任务中，两个模态在应用本申请前后的t-SNE可视化图及加权系数大小和分类准确率对比的场景示意图；
图4为本申请情感计算中多模态生理信号的特征级融合装置的一种结构示意图；
图5为本申请处理设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。
本申请中所出现的模块的划分，是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。
在介绍本申请提供的情感计算中多模态生理信号的特征级融合方法之前，首先介绍本申请所涉及的背景内容。
本申请提供的情感计算中多模态生理信号的特征级融合方法、装置以及计算机可读存储介质，可应用于处理设备，用于对生理信号实现更好地融合，具有良好的可解释性、强大的学习表征能力、直观、灵活性高、适用性好等特点，从而达到显著提高的实用性。
本申请提及的情感计算中多模态生理信号的特征级融合方法，其执行主体可以为情感计算中多模态生理信号的特征级融合装置，或者集成了该情感计算中多模态生理信号的特征级融合装置的服务器、物理主机或者用户设备(User Equipment，UE)等不同类型的处理设备。其中，情感计算中多模态生理信号的特征级融合装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、台式电脑或者个人数字助理(Personal Digital Assistant，PDA)等终端设备，处理设备可以通过设备集群的方式设置。
下面，开始介绍本申请提供的情感计算中多模态生理信号的特征级融合方法。
首先，参阅图1，图1示出了本申请情感计算中多模态生理信号的特征级融合方法的一种流程示意图，本申请提供的情感计算中多模态生理信号的特征级融合方法，具体可包括如下步骤S101至步骤S105：
步骤S101，处理设备获取原始数据S(m)，其中，原始数据S(m)为记录了P个模态的生理信号类型的样本数据，原始数据S(m)记为
Figure BDA0003512231450000101
原始数据S(m)还配置有情感标签Y，情感标签Y记为Y＝{yi}，i＝1，2，...，N，N表示样本个数，一共有C个类别；
可以理解，为训练本申请所提出的情感识别模型，需要配置训练用的样本数据。
在本申请中，样本数据，也就是此处所称的原始数据，其具体是根据情感识别需求所配置的数据，是基于识别情感需求并通过相关传感器采集到的生理信号所得到的数据。
原始数据中，已经设置了对应的不同模态等参数，还设置了对应的情感标签Y，以供后续作为参考对象(涉及到损失函数的计算)展开模型的训练。
具体的，从数据方面来看，在本申请中，P个模态的生理信号类型的样本数据，原始数据S(m)记为
Figure BDA0003512231450000102
原始数据S(m)还配置有情感标签Y，情感标签Y记为Y＝{yi}，i＝1，2，...，N，N表示样本个数，一共有C个类别。
在实际应用中，原始数据S(m)的获取，主要可以包括下面的两种方式，对应了两种主要的应用场景。
1.实时获取
具体的，处理设备可以通过情感识别应用场景中配置在用户身上的可穿戴设备，采集原始数据S(m)，可穿戴设备上配置所需采集数据相对应的传感器。
可以理解，此处的获取方式，就是通过用户此时穿戴的可穿戴设备，并通过设备上配置的传感器来采集原始数据S(m)所涉及的数据，该实时获取的应用场景方便在现场进行包括数据采集以及模型构建的处理，因此更方便随现场需要调整原始数据S(m)的采集工作，尤其是在后续进行模型构建时可根据模型实时的构建需求，反馈至开始的原始数据S(m)的采集工作，并调整原始数据S(m)的采集工作内容，完成一闭环反馈，促使更佳的模型构建效果。
2.离线获取
具体的，处理设备可以基于离线的形式，调取预先完成存储的原始数据S(m)。
可以理解，此处原始数据S(m)的获取工作，则可以从本地存储空间或者其他存储有原始数据S(m)的设备处调取得到，该方式更适用于实现灵活的数据采集工作，例如可能原始数据S(m)的数据源不是本地，而是由合作方提供，或者为远程的一方提供，如此方便在更大的应用范围内开展情感识别模型的构建工作，也对应了实际应用中较为复杂的灵活的研发工作。
步骤S102，处理设备针对原始数据S(m)中的每个模态的特点，分别进行预处理和特征提取，得到特征向量X(m)，特征向量X(m)记为
Figure BDA0003512231450000111
Figure BDA0003512231450000112
在得到原始数据后，则可对其对应模型的训练要求，将其转化为模型可以识别的特征向量，其中，还可涉及到预处理，例如异常数据的清除、缺失数据的填补、数据量的扩增、数据格式的统一等处理，以加强数据的有效性。
其中，对于此处处理最后得到的特征向量X(m)，本申请记为X(m)，
Figure BDA0003512231450000113
示例性的，预处理还可以随着信号类型的改变有不同的处理方式，例如脑电信号的预处理包括去除眼电伪迹、带通滤波，心率信号的预处理要进行平滑滤波。
此外还可以将信号切割成多个片段，每个片段作为一个样本，假设此处划分后样本个数依然为N。
特征提取具体可以包括一些时域的统计特征，如平均值、标准差、偏度等，或者，也还可以包括频域特征，如功率谱密度，或者还可以有时频特征，如小波变换，脑电信号的微分熵特征也是非常值得考虑的，其通常优于其他特征。
进一步的，在特征提取、转化的过程中，可以利用卷积神经网络、深度自编码器等深度网络作为特征提取器，经过预训练后，它们中间层的输出值作为特征向量。
此外，特别的是，如果对某个模态采用了两种截然不同的特征提取方法，得到两组特征向量，例如人工设计的特征为一组，使用卷积神经网络学习得到的特征为一组，在实际应用中，也可以将它们视为新的模态，此时则变成(P+1)个模态，为方便理解，下面内容依以一共P个模态为例进行说明。
步骤S103，处理设备对于特征向量X(m)中的第m个模态，计算对应的核矩阵并进行核矩阵嵌入，得到多核嵌入向量E(m)，其中，每一个核矩阵及其嵌入都有一个相对应的模态，多核嵌入向量E(m)记为
Figure BDA0003512231450000121
Figure BDA0003512231450000122
可以理解，在最初的特征向量X(m)的基础上，本中请则引入核矩阵嵌入机制，以加强其数据的可使用性，通俗点来说，核矩阵的嵌入，能够连接核方法与深度学习，从而取长补短，兼具核方法的良好可解释性和深度神经网络等深度学习方法强大的学习表征能力。
具体的，在实际应用中，本申请所引入的核矩阵嵌入机制，主要可以通过以下两种方式实现。
1.传统的Nystrom近似
具体的，Nystrom近似核矩阵嵌入包括以下内容：
对于特征向量X(m)中的第m个模态，将其特征向量归一化后，计算核矩阵
Figure BDA0003512231450000123
其中，
Figure BDA0003512231450000124
k为选定的核函数；
从核矩阵K(m)中随机采样s列(s＜＜N)，构成矩阵C(m)∈RN×s；
从矩阵C中抽取出被采样的列所对应的s行，构成半正定矩阵W(m)∈Rs×s；
由半正定矩阵W(m)的奇异值分解得到
Figure BDA00035122314500001214
其中，∑(m)为对角矩阵，对角线元素σi为降序排列的特征值，U(m)为正交矩阵，其第i列记为
Figure BDA0003512231450000125
对于给定的r≤s，核矩阵K的rank-r近似为：
Figure BDA0003512231450000126
其中，
Figure BDA0003512231450000127
计算嵌入向量
Figure BDA0003512231450000128
对所有模态执行以上操作后，得到多核嵌入向量E(m)，多核嵌入向量E(m)记为
Figure BDA0003512231450000129
其中，由于是从核矩阵中随机采样s列，可以重复多次采样，最后取多次计算得到的E(m)的平均，以得到更加稳定的结果。
2.在特征空间聚类的Nystrom近似
具体的，在特征空间聚类的Nystrom近似核矩阵嵌入包括以下内容：
对于特征向量X(m)中的第m个模态，从特征向量X(m)中采样出N′＜N个样本，并进行k均值聚类，找出r个聚类中心，记为
Figure BDA00035122314500001210
计算核矩阵
Figure BDA00035122314500001211
和核矩阵
Figure BDA00035122314500001212
其中，
Figure BDA00035122314500001213
Figure BDA0003512231450000131
计算嵌入向量
Figure BDA0003512231450000132
对所有模态执行以上操作后，得到多核嵌入向量E(m)，多核嵌入向量E(m)记为
Figure BDA0003512231450000133
同样，由于采样N′个样本的过程可以重复多次，最后取多次计算得到的E(m)的平均，以得到更加稳定的结果。
步骤S104，处理设备将多核嵌入向量E(m)视为样本，在可再生核希尔伯特空间RKHS中表示，利用多核嵌入向量E(m)和样本标签，计算每个模态的可分性判据
Figure BDA0003512231450000134
其中，
Figure BDA0003512231450000135
为类内离差矩阵，
Figure BDA0003512231450000136
为类间离差矩阵，
赋予第i个模态一个加权系数，其值为
Figure BDA0003512231450000137
则有γ＝(γ1，γ2，...，γP)T，其系数大小反映了对应模态的重要程度，
加权融合得到集成(ensemble)向量E，集成向量E记为
Figure BDA0003512231450000138
可以理解，执行了核矩阵嵌入处理后，则可继续对特征向量进行加强处理，即，基于前面的多核学习(核矩阵嵌入处理)提出一加权融合策略，容易发现，该加权融合策略非常直观，加权参数的大小直接反映了某个模态对于任务的重要程度，且融合后的分类性能相比对单个模态有所提升，最终得到了集成向量E后则可开始模型的训练处理。
其中，类内离差矩阵
Figure BDA0003512231450000139
的计算公式，具体可以为：
Figure BDA00035122314500001310
类间离差矩阵
Figure BDA00035122314500001311
的计算公式，具体可以为：
Figure BDA00035122314500001312
其中，Pi和Ni分别代表第i个类别的先验概率和样本个数，Pi用统计量
Figure BDA00035122314500001313
代替，
Figure BDA00035122314500001314
代表第m个模态嵌入向量中属于类别i的第k个样本，
Figure BDA00035122314500001315
代表第m个模态嵌入向量中属于类别i样本的均值向量，
Figure BDA00035122314500001316
μ(m)代表第m个模态嵌入向量中所有样本的均值向量，
Figure BDA00035122314500001317
步骤S105，处理设备通过集成向量E及其对应的情感标签Y训练初始模型，得到情感识别模型，情感识别模型用于对输入的目标生理信号执行情感识别。
而在配置了方便训练模型的集成向量E后，则可以其对应的情感标签Y作为参考对象，训练初始模型。
具体的，在训练过程中，可以依次将不同的集成向量E输入模型，促使模型对输入数据进行情感识别处理，并输出情感识别结果，完成一次正向传播，接着根据情感识别结果以及对应的情感标签Y，计算损失函数，并根据损失函数来优化模型参数，完成一次反向传播，如此，在达到训练时长、训练次数、识别精度等预设的训练要求后，则可完成模型的训练，此时的模型可以投入实际应用，在配置的具体应用场景中作为情感识别模型，对输入的目标生理信号执行情感识别，输出的情感识别结果可以记为
Figure BDA0003512231450000141
此外，示例性的，在具体操作中，初始模型可以为深度神经网络或其他分类器等不同类型的模型，例如一个多层的全连接网络(Full Connect Network,FCN)，然后根据分类任务选择合适的损失函数，设计适合当前任务的目标函数，选择一种优化方法进行训练，。
为方便理解上面的内容，还可以参考图2示出的本申请情感计算中多模态生理信号的特征级融合方法的一种场景示意图以及图3示出的本申请某个三分类情感识别任务中，两个模态在应用本申请前后的t-SNE可视化图及加权系数大小和分类准确率对比的场景示意图，可以发现，本申请所提出的情感计算中多模态生理信号的特征级融合，具有更佳的预测效果。
后续的，在投入的实际应用过程中，具体可以以情感识别计算任务的形式，进行情感识别工作。
例如，在具体应用场景中，处理设备可以通过情感识别应用场景中配置在用户身上的可穿戴设备，采集实时的生理信号，可穿戴设备上配置所需采集数据相对应的传感器；再将实时的生理信号输入至情感识别模型，并提取情感识别模型根据实时的生理信号经过情感识别处理后所输出的情感识别结果。
从图1所示实施例可看出，在情感识别模型的整体训练过程中，本申请构建了一情感计算中多模态生理信号的特征级融合机制，通过引入的核矩阵的嵌入，能够连接核方法与深度学习，从而取长补短，兼具核方法的良好可解释性和深度神经网络等深度学习方法强大的学习表征能力。
其次，其基于多核学习提出的加权融合策略非常直观，加权参数的大小直接反映了某个模态对于任务的重要程度，且融合后的分类性能相比对单个模态有所提升。
并且，本申请既不需要限制特征提取方法的种类和数量，也不需要限制后续分类模型的选择，灵活性高，适用性好。
也就是说，本申请所提出的情感计算中多模态生理信号的特征级融合机制，对生理信号实现更好地融合，具有良好的可解释性、强大的学习表征能力、直观、灵活性高、适用性好等特点，从而达到显著提高的实用性。
以上是本申请提供的情感计算中多模态生理信号的特征级融合方法的介绍，为便于更好的实施本申请提供的情感计算中多模态生理信号的特征级融合方法，本申请还从功能模块角度提供了一种情感计算中多模态生理信号的特征级融合装置。
参阅图4，图4为本申请情感计算中多模态生理信号的特征级融合装置的一种结构示意图，在本申请中，情感计算中多模态生理信号的特征级融合装置400具体可包括如下结构：
获取单元401，用于获取原始数据S(m)，其中，原始数据S(m)为记录了P个模态的生理信号类型的样本数据，原始数据S(m)记为
Figure BDA0003512231450000151
原始数据S(m)还配置有情感标签Y，情感标签Y记为Y＝{yi}，i＝1，2，...，N，N表示样本个数，一共有C个类别；
特征提取单元402，用于针对原始数据S(m)中的每个模态的特点，分别进行预处理和特征提取，得到特征向量X(m)，特征向量X(m)记为
Figure BDA0003512231450000152
Figure BDA0003512231450000153
核矩阵嵌入单元403，用于对于特征向量X(m)中的第m个模态，计算对应的核矩阵并进行核矩阵嵌入，得到多核嵌入向量E(m)，其中，每一个核矩阵及其嵌入都有一个相对应的模态，多核嵌入向量E(m)记为
Figure BDA0003512231450000154
集成向量处理单元404，用于将多核嵌入向量E(m)视为样本，在可再生核希尔伯特空间RKHS中表示，利用多核嵌入向量E(m)和样本标签，计算每个模态的可分性判据
Figure BDA0003512231450000155
其中，
Figure BDA0003512231450000156
为类内离差矩阵，
Figure BDA0003512231450000157
为类间离差矩阵，
赋予第i个模态一个加权系数，其值为
Figure BDA0003512231450000161
则有γ＝(γ1，γ2，...，γP)T，其系数大小反映了对应模态的重要程度，
加权融合得到集成向量E，集成向量E记为
Figure BDA0003512231450000162
Figure BDA0003512231450000163
训练单元405，用于通过集成向量E及其对应的情感标签Y训练初始模型，得到情感识别模型，情感识别模型用于对输入的目标生理信号执行情感识别。
在一种示例性的实现方式中，核矩阵嵌入具体为Nystrom近似核矩阵嵌入，Nystrom近似核矩阵嵌入包括以下内容：
对于特征向量X(m)中的第m个模态，将其特征向量归一化后，计算核矩阵
Figure BDA0003512231450000164
其中，
Figure BDA0003512231450000165
k为选定的核函数；
从核矩阵K(m)中随机采样s列(s＜＜N)，构成矩阵C(m)∈RN×s；
从矩阵C中抽取出被采样的列所对应的s行，构成半正定矩阵W(m)∈Rs×s；
由半正定矩阵W(m)的奇异值分解得到
Figure BDA00035122314500001617
其中，∑(m)为对角矩阵，对角线元素σi为降序排列的特征值，U(m)为正交矩阵，其第i列记为
Figure BDA0003512231450000166
对于给定的r≤s，核矩阵K的rank-r近似为：
Figure BDA0003512231450000167
其中，
Figure BDA0003512231450000168
计算嵌入向量
Figure BDA0003512231450000169
对所有模态执行以上操作后，得到多核嵌入向量E(m)，多核嵌入向量E(m)记为
Figure BDA00035122314500001610
在又一种示例性的实现方式中，核矩阵嵌入具体为在特征空间聚类的Nystrom近似核矩阵嵌入，在特征空间聚类的Nystrom近似核矩阵嵌入包括以下内容：
对于特征向量X(m)中的第m个模态，从特征向量X(m)中采样出N′＜N个样本，并进行k均值聚类，找出r个聚类中心，记为
Figure BDA00035122314500001611
计算核矩阵
Figure BDA00035122314500001612
和核矩阵
Figure BDA00035122314500001613
其中，
Figure BDA00035122314500001614
Figure BDA00035122314500001615
计算嵌入向量
Figure BDA00035122314500001616
对所有模态执行以上操作后，得到多核嵌入向量E(m)，多核嵌入向量E(m)记为
Figure BDA0003512231450000171
在又一种示例性的实现方式中，类内离差矩阵
Figure BDA0003512231450000172
的计算公式为：
Figure BDA0003512231450000173
类间离差矩阵
Figure BDA0003512231450000174
的计算公式为：
Figure BDA0003512231450000175
其中，Pi和Ni分别代表第i个类别的先验概率和样本个数，Pi用统计量
Figure BDA0003512231450000176
代替，
Figure BDA0003512231450000177
代表第m个模态嵌入向量中属于类别i的第k个样本，
Figure BDA0003512231450000178
代表第m个模态嵌入向量中属于类别i样本的均值向量，
Figure BDA0003512231450000179
μ(m)代表第m个模态嵌入向量中所有样本的均值向量，
Figure BDA00035122314500001710
在又一种示例性的实现方式中，获取单元401，具体用于：
通过情感识别应用场景中配置在用户身上的可穿戴设备，采集原始数据S(m)，可穿戴设备上配置所需采集数据相对应的传感器。
在又一种示例性的实现方式中，获取单元401，具体用于：
基于离线的形式，调取预先完成存储的原始数据S(m)。
在又一种示例性的实现方式中，装置还包括应用单元406，用于：
通过情感识别应用场景中配置在用户身上的可穿戴设备，采集实时的生理信号，可穿戴设备上配置所需采集数据相对应的传感器；
将实时的生理信号输入至情感识别模型；
提取情感识别模型根据实时的生理信号经过情感识别处理后所输出的情感识别结果。
本申请还从硬件结构角度提供了一种处理设备，参阅图5，图5示出了本申请处理设备的一种结构示意图，具体的，本申请处理设备可包括处理器501、存储器502以及输入输出设备503，处理器501用于执行存储器502中存储的计算机程序时实现如图1对应实施例中情感计算中多模态生理信号的特征级融合方法的各步骤；或者，处理器501用于执行存储器502中存储的计算机程序时实现如图4对应实施例中各单元的功能，存储器502用于存储处理器501执行上述图1对应实施例中情感计算中多模态生理信号的特征级融合方法所需的计算机程序。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器502中，并由处理器501执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。
处理设备可包括，但不仅限于处理器501、存储器502、输入输出设备503。本领域技术人员可以理解，示意仅仅是处理设备的示例，并不构成对处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如处理设备还可以包括网络接入设备、总线等，处理器501、存储器502、输入输出设备503等通过总线相连。
处理器501可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是处理设备的控制中心，利用各种接口和线路连接整个设备的各个部分。
存储器502可用于存储计算机程序和/或模块，处理器501通过运行或执行存储在存储器502内的计算机程序和/或模块，以及调用存储在存储器502内的数据，实现计算机装置的各种功能。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据处理设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器501用于执行存储器502中存储的计算机程序时，具体可实现以下功能：
获取原始数据S(m)，其中，原始数据S(m)为记录了P个模态的生理信号类型的样本数据，原始数据S(m)记为
Figure BDA0003512231450000191
原始数据S(m)还配置有情感标签Y，情感标签Y记为Y＝{yi}，i＝1，2，...，N，N表示样本个数，一共有C个类别；
针对原始数据S(m)中的每个模态的特点，分别进行预处理和特征提取，得到特征向量X(m)，特征向量X(m)记为
Figure BDA0003512231450000192
对于特征向量x(m)中的第m个模态，计算对应的核矩阵并进行核矩阵嵌入，得到多核嵌入向量E(m)，其中，每一个核矩阵及其嵌入都有一个相对应的模态，多核嵌入向量E(m)记为
Figure BDA0003512231450000193
将多核嵌入向量E(m)视为样本，在可再生核希尔伯特空间RKHS中表示，利用多核嵌入向量E(m)和样本标签，计算每个模态的可分性判据
Figure BDA0003512231450000194
Figure BDA0003512231450000195
其中，
Figure BDA0003512231450000196
为类内离差矩阵，
Figure BDA0003512231450000197
为类间离差矩阵，
赋予第i个模态一个加权系数，其值为
Figure BDA0003512231450000198
则有γ＝(γ1，γ2，...，γP)T，其系数大小反映了对应模态的重要程度，
加权融合得到集成向量E，集成向量E记为
Figure BDA0003512231450000199
Figure BDA00035122314500001910
通过集成向量E及其对应的情感标签Y训练初始模型，得到情感识别模型，情感识别模型用于对输入的目标生理信号执行情感识别。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的情感计算中多模态生理信号的特征级融合装置、处理设备及其相应单元的具体工作过程，可以参考如图1对应实施例中情感计算中多模态生理信号的特征级融合方法的说明，具体在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请如图1对应实施例中情感计算中多模态生理信号的特征级融合方法的步骤，具体操作可参考如图1对应实施例中情感计算中多模态生理信号的特征级融合方法的说明，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(Read Only Memory，ROM)、随机存取记忆体(Random Access Memory，RAM)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本申请如图1对应实施例中情感计算中多模态生理信号的特征级融合方法的步骤，因此，可以实现本申请如图1对应实施例中情感计算中多模态生理信号的特征级融合方法所能实现的有益效果，详见前面的说明，在此不再赘述。
以上对本申请提供的情感计算中多模态生理信号的特征级融合方法、装置、处理设备以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种情感计算中多模态生理信号的特征级融合方法，其特征在于，所述方法包括：
处理设备获取原始数据S(m)，其中，所述原始数据S(m)为记录了P个模态的生理信号类型的样本数据，所述原始数据S(m)记为
Figure FDA0003512231440000011
Figure FDA0003512231440000012
所述原始数据S(m)还配置有情感标签Y，所述情感标签Y记为Y＝{yi}，i＝1，2，...，N，N表示样本个数，一共有C个类别；
处理设备针对所述原始数据S(m)中的每个模态的特点，分别进行预处理和特征提取，得到特征向量X(m)，特征向量X(m)记为
Figure FDA0003512231440000013
Figure FDA0003512231440000014
处理设备对于所述特征向量X(m)中的第m个模态，计算对应的核矩阵并进行核矩阵嵌入，得到多核嵌入向量E(m)，其中，每一个所述核矩阵及其嵌入都有一个相对应的模态，所述多核嵌入向量E(m)记为
Figure FDA0003512231440000015
Figure FDA0003512231440000016
处理设备将多核嵌入向量E(m)视为样本，在可再生核希尔伯特空间RKHS中表示，利用所述多核嵌入向量E(m)和样本标签，计算每个模态的可分性判据
Figure FDA0003512231440000017
其中，
Figure FDA0003512231440000018
为类内离差矩阵，
Figure FDA0003512231440000019
为类间离差矩阵，
赋予第i个模态一个加权系数，其值为
Figure FDA00035122314400000110
则有γ＝(γ1，γ2，...，γP)T，其系数大小反映了对应模态的重要程度，
加权融合得到集成向量E，所述集成向量E记为
Figure FDA00035122314400000111
Figure FDA00035122314400000112
处理设备通过所述集成向量E及其对应的所述情感标签Y训练初始模型，得到情感识别模型，所述情感识别模型用于对输入的目标生理信号执行情感识别。
2.根据权利要求1所述的方法，其特征在于，所述核矩阵嵌入具体为Nystrom近似核矩阵嵌入，所述Nystrom近似核矩阵嵌入包括以下内容：
对于所述特征向量x(m)中的第m个模态，将其特征向量归一化后，计算核矩阵
Figure FDA00035122314400000113
其中，
Figure FDA00035122314400000114
k为选定的核函数；
从所述核矩阵K(m)中随机采样s列(s＜＜N)，构成矩阵C(m)∈RN×s；
从所述矩阵C中抽取出被采样的列所对应的s行，构成半正定矩阵W(m)∈Rs×s；
由所述半正定矩阵W(m)的奇异值分解得到W(m)＝U(m)∑(m)U(m)T，其中，∑(m)为对角矩阵，对角线元素σi为降序排列的特征值，U(m)为正交矩阵，其第i列记为
Figure FDA0003512231440000021
对于给定的r≤s，核矩阵K的rank-r近似为：
Figure FDA0003512231440000022
其中，
Figure FDA0003512231440000023
计算嵌入向量
Figure FDA0003512231440000024
对所有模态执行以上操作后，得到所述多核嵌入向量E(m)，所述多核嵌入向量E(m)记为
Figure FDA0003512231440000025
3.根据权利要求1所述的方法，其特征在于，所述核矩阵嵌入具体为在特征空间聚类的Nystrom近似核矩阵嵌入，所述在特征空间聚类的Nystrom近似核矩阵嵌入包括以下内容：
对于所述特征向量X(m)中的第m个模态，从所述特征向量X(m)中采样出N′＜N个样本，并进行k均值聚类，找出r个聚类中心，记为
Figure FDA0003512231440000026
计算核矩阵
Figure FDA0003512231440000027
和核矩阵
Figure FDA0003512231440000028
其中，
Figure FDA0003512231440000029
Figure FDA00035122314400000210
计算嵌入向量
Figure FDA00035122314400000211
对所有模态执行以上操作后，得到所述多核嵌入向量E(m)，所述多核嵌入向量E(m)记为
Figure FDA00035122314400000212
4.根据权利要求1所述的方法，其特征在于，所述类内离差矩阵
Figure FDA00035122314400000213
的计算公式为：
Figure FDA00035122314400000214
所述类间离差矩阵
Figure FDA00035122314400000215
的计算公式为：
Figure FDA00035122314400000216
其中，Pi和Ni分别代表第i个类别的先验概率和样本个数，Pi用统计量
Figure FDA00035122314400000217
代替，
Figure FDA00035122314400000218
代表第m个模态嵌入向量中属于类别i的第k个样本，
Figure FDA00035122314400000219
代表第m个模态嵌入向量中属于类别i样本的均值向量，
Figure FDA00035122314400000220
μ(m)代表第m个模态嵌入向量中所有样本的均值向量，
Figure FDA00035122314400000221
5.根据权利要求1所述的方法，其特征在于，所述处理设备获取原始数据S(m)，包括：
所述处理设备通过情感识别应用场景中配置在用户身上的可穿戴设备，采集所述原始数据S(m)，所述可穿戴设备上配置所需采集数据相对应的传感器。
6.根据权利要求1所述的方法，其特征在于，所述处理设备获取原始数据S(m)，包括：
所述处理设备基于离线的形式，调取预先完成存储的所述原始数据S(m)。
7.根据权利要求1所述的方法，其特征在于，所述处理设备通过集成向量与标签{(ei，yi)}训练初始模型，得到情感识别模型之后，所述方法还包括：
所述处理设备通过情感识别应用场景中配置在用户身上的可穿戴设备，采集实时的生理信号，所述可穿戴设备上配置所需采集数据相对应的传感器；
所述处理设备将所述实时的生理信号输入至所述情感识别模型；
所述处理设备提取所述情感识别模型根据所述实时的生理信号经过情感识别处理后所输出的情感识别结果。
8.一种情感计算中多模态生理信号的特征级融合装置，其特征在于，所述装置包括：
获取单元，用于获取原始数据S(m)，其中，所述原始数据S(m)为记录了P个模态的生理信号类型的样本数据，所述原始数据S(m)记为
Figure FDA0003512231440000031
Figure FDA0003512231440000032
所述原始数据S(m)还配置有情感标签Y，所述情感标签Y记为Y＝{yi}，i＝1，2，...，N，N表示样本个数，一共有C个类别；
特征提取单元，用于针对所述原始数据S(m)中的每个模态的特点，分别进行预处理和特征提取，得到特征向量X(m)，特征向量X(m)记为
Figure FDA0003512231440000033
Figure FDA0003512231440000034
核矩阵嵌入单元，用于对于所述特征向量X(m)中的第m个模态，计算对应的核矩阵并进行核矩阵嵌入，得到多核嵌入向量E(m)，其中，每一个所述核矩阵及其嵌入都有一个相对应的模态，所述多核嵌入向量E(m)记为
Figure FDA0003512231440000035
Figure FDA0003512231440000036
集成向量处理单元，用于将多核嵌入向量E(m)视为样本，在可再生核希尔伯特空间RKHS中表示，利用所述多核嵌入向量E(m)和样本标签，计算每个模态的可分性判据
Figure FDA0003512231440000037
其中，
Figure FDA0003512231440000038
为类内离差矩阵，
Figure FDA0003512231440000039
为类间离差矩阵，
赋予第i个模态一个加权系数，其值为
Figure FDA0003512231440000041
则有γ＝(γ1，γ2，...，γP)T，其系数大小反映了对应模态的重要程度，
加权融合得到集成向量E，所述集成向量E记为
Figure FDA0003512231440000042
Figure FDA0003512231440000043
训练单元，用于通过所述集成向量E及其对应的所述情感标签Y训练初始模型，得到情感识别模型，所述情感识别模型用于对输入的目标生理信号执行情感识别。
9.一种处理设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的方法。
CN202210155757.2A 2022-02-21 2022-02-21 一种情感计算中多模态生理信号的特征级融合方法 Active CN114548262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210155757.2A CN114548262B (zh) 2022-02-21 2022-02-21 一种情感计算中多模态生理信号的特征级融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210155757.2A CN114548262B (zh) 2022-02-21 2022-02-21 一种情感计算中多模态生理信号的特征级融合方法

Publications (2)

Publication Number Publication Date
CN114548262A true CN114548262A (zh) 2022-05-27
CN114548262B CN114548262B (zh) 2024-03-22

Family

ID=81676156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210155757.2A Active CN114548262B (zh) 2022-02-21 2022-02-21 一种情感计算中多模态生理信号的特征级融合方法

Country Status (1)

Country Link
CN (1) CN114548262B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117942079A (zh) * 2024-03-27 2024-04-30 山东大学 一种基于多维感知与融合的情绪智力分类方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190108444A1 (en) * 2017-10-11 2019-04-11 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for customizing kernel machines with deep neural networks
WO2020173133A1 (zh) * 2019-02-27 2020-09-03 平安科技（深圳）有限公司 情感识别模型的训练方法、情感识别方法、装置、设备及存储介质
CN112101401A (zh) * 2020-07-10 2020-12-18 南京邮电大学 一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感识别方法
CN112418166A (zh) * 2020-12-10 2021-02-26 南京理工大学 一种基于多模态信息的情感分布学习方法
CN113435603A (zh) * 2021-06-01 2021-09-24 浙江师范大学 基于代理图改善的后期融合多核聚类机器学习方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190108444A1 (en) * 2017-10-11 2019-04-11 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for customizing kernel machines with deep neural networks
WO2020173133A1 (zh) * 2019-02-27 2020-09-03 平安科技（深圳）有限公司 情感识别模型的训练方法、情感识别方法、装置、设备及存储介质
CN112101401A (zh) * 2020-07-10 2020-12-18 南京邮电大学 一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感识别方法
CN112418166A (zh) * 2020-12-10 2021-02-26 南京理工大学 一种基于多模态信息的情感分布学习方法
CN113435603A (zh) * 2021-06-01 2021-09-24 浙江师范大学 基于代理图改善的后期融合多核聚类机器学习方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘宗礼;曹洁;郝元宏;: "一种新的特征提取方法及其在模式识别中的应用", 计算机应用, no. 04, 1 April 2009 (2009-04-01) *
刘菁菁;吴晓峰;: "基于长短时记忆网络的多模态情感识别和空间标注", 复旦学报(自然科学版), no. 05, 15 October 2020 (2020-10-15) *
张昕然;查诚;徐新洲;宋鹏;赵力;: "基于LDA+kernel-KNNFLC的语音情感识别方法", 东南大学学报(自然科学版), no. 01, 20 January 2015 (2015-01-20) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117942079A (zh) * 2024-03-27 2024-04-30 山东大学 一种基于多维感知与融合的情绪智力分类方法及系统

Also Published As

Publication number Publication date
CN114548262B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
Abdullah et al. Multimodal emotion recognition using deep learning
CN109522818B (zh) 一种表情识别的方法、装置、终端设备及存储介质
CN110472002B (zh) 一种文本相似度获取方法和装置
CN112233698A (zh) 人物情绪识别方法、装置、终端设备及存储介质
WO2022048239A1 (zh) 音频的处理方法和装置
Keceli et al. Combining 2D and 3D deep models for action recognition with depth information
CN110390942A (zh) 基于婴儿哭声的情绪检测方法及其装置
CN114224360B (zh) 一种基于改进emd-ica的eeg信号处理方法、设备及存储介质
CN115359576A (zh) 一种多模态情绪识别方法、装置、电子设备及存储介质
WO2023173646A1 (zh) 一种表情识别方法及装置
Kumar et al. Age and gender classification using Seg-Net based architecture and machine learning
CN114424940A (zh) 基于多模态时空特征融合的情绪识别方法及系统
CN112869717A (zh) 一种基于bl-cnn的脉搏特征识别分类系统及方法
Liu Human face expression recognition based on deep learning-deep convolutional neural network
Özkan et al. Boosted multiple kernel learning for first-person activity recognition
CN114548262A (zh) 一种情感计算中多模态生理信号的特征级融合方法
CN113627391A (zh) 一种考虑个体差异的跨模式脑电信号识别方法
Mehraj et al. A multi-biometric system based on multi-level hybrid feature fusion
CN111639537A (zh) 人脸动作单元识别方法、装置、电子设备及存储介质
Travieso et al. Using a Discrete Hidden Markov Model Kernel for lip-based biometric identification
Chinmayi et al. Emotion Classification Using Deep Learning
Valenti et al. ROS-neuro integration of deep convolutional autoencoders for EEG signal compression in real-time BCIs
CN111767710B (zh) 印尼语的情感分类方法、装置、设备及介质
CN111652164B (zh) 基于全局-局部特征增强的孤立词手语识别方法及系统
Unluturk et al. Emotion recognition using neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant