CN111860463A - 一种基于联合范数的情感识别方法 - Google Patents

一种基于联合范数的情感识别方法 Download PDF

Info

Publication number
CN111860463A
CN111860463A CN202010787390.7A CN202010787390A CN111860463A CN 111860463 A CN111860463 A CN 111860463A CN 202010787390 A CN202010787390 A CN 202010787390A CN 111860463 A CN111860463 A CN 111860463A
Authority
CN
China
Prior art keywords
matrix
norm
data
neural network
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010787390.7A
Other languages
English (en)
Other versions
CN111860463B (zh
Inventor
邬霞
范馨予
徐雪远
张家才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Normal University
Original Assignee
Beijing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Normal University filed Critical Beijing Normal University
Priority to CN202010787390.7A priority Critical patent/CN111860463B/zh
Publication of CN111860463A publication Critical patent/CN111860463A/zh
Application granted granted Critical
Publication of CN111860463B publication Critical patent/CN111860463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于联合范数的情感识别方法。该方法包括：采集样本数据；所述样本数据为脑电数据；提取所述样本数据的特征，构成特征矩阵；基于l2，1联合范数和BP神经网络，对所述特征矩阵进行特征选择；基于选择后的特征，通过支持向量机分类模型实现情感的识别。通过引入BP神经网络对l2，1联合范数实现非线性优化，优化了嵌入式特征选择过程，最终提高了情感分类的准确度。

Description

一种基于联合范数的情感识别方法
技术领域
本发明涉及情感识别领域，特别是涉及一种基于联合范数的情感识别方法。
背景技术
情感在人们生活中的决策，交流和感知活动中扮演着重要的角色，是一种十分基础的认知活动。在近年的人机交互研究中，人与机器之间的情感互动得到广泛的关注，并且出现了大量的应用。例如，在医学行业对特殊心理患者的治疗，在销售行业对顾客消费体验的分析，在汽车行业对驾驶者的疲劳检测，还有在游戏行业对玩家的兴奋程度的反馈等等。因此，对情感状态进行准确地识别显得尤为重要。
为了对情感状态进行有效的识别，首先需要构建合适的情感模型对情感进行量化。目前较为的流行的两类模型是：离散模型和维度模型。离散模型通过具有代表的词汇来定义情感，如Panksepp等人提出的四种基础情感中包括恐惧、期望、愤怒、惊慌；而Frijda提出可以将基本的情感划分为希望、高兴、兴趣、惊讶、好奇、伤心这六种类别。但由于情感的复杂性使得离散模型并不能很好的区分较为暧昧的情感，于是以Rusell提出的valence-arousal维度模型得到了发展。以valence-arousal模型为例，横坐标valence代表心情的愉悦程度，而arousal则代表了心情的兴奋程度。通过valence和arousal两个维度，能够实现对情感更为细致的量化。
一般来说，在确定情感分类模型之后需要对情感识别模型进行构建。当前研究中，通常会让被试观看经过设计的刺激源(可以是图片、视频或音乐等等)，来激发被试的情感状态，并采集被试在激发状态时的生理信号或非生理信号。生理信号主要包括脑电(Electroencephalogram，EEG)，心电(Electrocardiogram，ECG)，皮肤电(galvanic skinresponse，GSR)和fMRI(Functional Magnetic Resonance Imaging)等信号，非生理信号主要包括面部表情，语音语调，姿势等信号。无论是生理信号还是非生理信号，都需要进行预处理，特征提取，特征工程，分类工程等步骤。预处理是为了移除原始信号中的噪音或异常数据，特征提取是为了构造出用于描述原始信号且具有统计意义或物理意义的有效特征，特征工程是为了从大量提取的特征中进一步确定会影响预测模型的信息，而最后的分类工程即是对情感的预测。其中，特征工程通常会对原始特征数据进行特征选择和维度压缩。相较于维度压缩，特征选择能够保留提取特征的固有结构，具有更好的可解释性。并且好的特征选择方法同样能够去除冗余和噪音数据，从原始数据中获得更多能够提高预测性能的信息。因此，在情感识别中引入合适的特征选择算法，在模型构造中起到了至关重要的作用，给情感识别带来新的可能。
随着各识别任务的信息量不断地增长，特征选择方法作为一种从大量数据特征中选择出和任务相关特征的手段，具体是指从特征数据集中剔除冗余特征或是对识别任务有负面影响的特征，从而获取特征数据集中包含有用特征子集的方法。特征选择能够防止过拟合，提高识别任务的准确率的和降低任务的计算成本。一般来说，特征选择依据处理特征数据的方法的不同，可分为过滤式(filter)特征选择算法、包裹式(wrapped)特征选择算法以及嵌入式(embedded)特征选择算法。过滤式算法特征选择过程和学习训练过程相互独立，使得准确率难以保证；包裹式算法因为依赖分类器来构造特征子集，因此具有十分大的计算代价。而嵌入式算法将特征选择过程融入对特征固有属性的学习中，利用特征数据的本质信息筛选特征，实现了准确率、计算效率和收敛性的统一。相较于包裹式特征选择算法，嵌入式特征选择算法的算法复杂度较低，同时具有不错的分类准确率。
已有的嵌入式特征选择算法常通过正则化方法在目标函数中加入惩罚项等约束，来对目标函数的学习加以引导。其中，经典的l1范数和l2范数作为惩罚项加入目标函数能使系数尽可能地收敛至零，但同时也存在受噪音数据影响较大的缺点。
发明内容
本发明的目的是提供一种基于联合范数的情感识别方法，通过构建一种新的l2，1联合范数嵌入式特征选择算法提高情感识别的准确率。l2，1联合范数不仅能使系数足够稀疏，同时对异常数据十分敏感，具有很强的鲁棒性。而在l2，1联合范数的优化上，本发明引入后向传播(Back Propagation，BP)神经网络加入特征选择模型中，通过BP神经网络的误差函数对l2，1联合范数进行优化。不同于传统特征选择的线性优化方案，BP神经网路和l2，1联合范数的结合，提供了一种非线性优化l2，1联合范数的方案。非线性优化方案相较线性优化能够处理更为复杂的数据结构，从而提高情感分类的准确度。
为实现上述目的，本发明提供了如下方案：
一种基于联合范数的情感识别方法，包括：
采集样本数据；所述样本数据为脑电数据；
提取所述样本数据的特征，构成特征矩阵；
基于l2，1联合范数和BP神经网络，对所述特征矩阵进行特征选择；
基于选择后的特征，通过支持向量机分类模型实现情感的识别。
可选的，所述基于l2，1联合范数和BP神经网络，对所述特征矩阵进行特征选择，具体包括：
将所述特征矩阵中每个特征进行正态分布标准化，获得标准化特征矩阵X；将所述标准化特征矩阵X作为BP神经网络的输入层数据；
对所述BP神经网络的相邻神经元层之间的系数矩阵进行零均值初始化，获得所述BP神经网络的输入层和第一个隐藏层之间的权重系数矩阵W；所述BP神经网络的各隐藏层的偏置神经元权值设为零；
对所述BP神经网络的输入层和第一个隐藏层进行前向传播过程，获得下一层的输入数据；按所述BP神经网络的路径将获得的输入数据依次传播到最终输出层，获得输出层的输出数据；
根据所述输出层的输出数据对应的矩阵
Figure BDA0002622500750000031
与所述特征矩阵的对应标签矩阵Y，获得所述BP神经网络的损失函数
Figure BDA0002622500750000032
将所述权重系数矩阵W的l2，1联合范数作为惩罚项代入所述BP神经网络的损失函数，得到更新后的损失函数
Figure BDA0002622500750000033
根据所述更新后的损失函数
Figure BDA0002622500750000034
进行梯度下降运算，对权重系数矩阵W进行更新；且对其它权重系数矩阵进行更新，完成所述BP神经网络的后向传播过程，迭代至更新后的损失函数
Figure BDA0002622500750000041
收敛；
计算迭代后的权重系数矩阵W中每个特征的l2范数，根据所有特征的l2范数的大小选择特征数据。
可选的，所述标准化特征矩阵X为：
X＝[x1，x2，...，xn]T，X∈Rn×d，其中，n代表包含n个数据样本，每一个数据样本包含了d个特征，xi为输入层第i个神经元输入数据，且有i∈(0，d]。
可选的，所述BP神经网络输入层和第一个隐藏层之间的权重系数矩阵为：
Figure BDA0002622500750000042
其中b代表第一个隐藏层的神经元数量，wij为输入层第i个神经元和相邻隐藏层第j个神经元之间的连接权重系数，其中j∈(0，b]。
可选的，所述BP神经网络输入层和第一个隐藏层进行前向传播过程，具体包括：
在所述前向传播过程中，输入层数据和所述输入层与隐藏层之间的权重系数矩阵作矩阵运算
Figure BDA0002622500750000043
其中矩阵H＝[h1，h2，...，hb]，满足H∈Rn×b，hj为与输入层相邻隐藏层的第j个神经元数据，
Figure BDA0002622500750000044
为神经元的sigmoid激活函数。
可选的，所述输出层的输出数据矩阵
Figure BDA0002622500750000045
为：
Figure BDA0002622500750000046
其中，c代表最终选择的特征数量，
Figure BDA0002622500750000047
为输入层第k个神经元的输出数据，其中k∈(0，c]；
所述特征矩阵的对应标签矩阵Y为：
Y＝[y1，y2，...，yc]，Y∈Rn×c
其中，yk为输入层第k个神经元所对应的真实标签值，k∈(0，c]。
可选的，根据所述输出层的输出数据矩阵
Figure BDA0002622500750000048
与所述特征矩阵的对应标签矩阵Y，获得所述BP神经网络的损失函数
Figure BDA0002622500750000049
具体包括：
损失函数
Figure BDA0002622500750000051
定义为输出层的输出数据矩阵
Figure BDA0002622500750000052
与所述特征矩阵对应标签矩阵Y差值的平方：
Figure BDA0002622500750000053
可选的，所述将所述权重系数矩阵W的l2，1联合范数作为惩罚项代入所述BP神经网络的损失函数，得到更新后的损失函数
Figure BDA0002622500750000054
具体包括：
加入权重系数矩阵W的l2，1联合范数的损失函数为：
Figure BDA0002622500750000055
权重系数矩阵W＝[w1，w2，...，wi，...，wd]T，其中wi为权重系数矩阵W的第i行行向量，wi∈R1×c；所述权重系数矩阵W的l2，1范数||W||2，1定义为
Figure BDA0002622500750000056
可选的，所述根据所述更新后的损失函数
Figure BDA0002622500750000057
进行梯度下降运算，对权重系数矩阵W进行更新，包括：
根据梯度下降法则，W的更新定义为
Figure BDA0002622500750000058
其中W’为更新后的权重系数矩阵，η为学习率，且η∈(0，1)。
可选的，所述计算所述迭代后的权重系数矩阵W中每个特征的l2范数，根据所有特征的l2范数的大小选择特征数据，包括：
权重系数矩阵W的l2范数定义为
Figure BDA0002622500750000059
特征的l2范数值越小，越趋近0，代表特征重要程度越低。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种基于联合范数的情感识别方法，该方法基于l2，1联合范数和BP神经网络，对所述特征矩阵进行特征选择；基于选择后的特征，通过支持向量机分类模型实现情感的识别。通过引入BP神经网络对l2，1联合范数实现非线性优化，优化了嵌入式特征选择过程，最终提高了情感分类的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例基于联合范数的情感识别方法的流程图。
图2为本发明实施例在Movementlibras数据集上进行特征选择后的分类结果比较图；
图3为本发明实施例在Control数据集上进行特征选择后的分类结果比较图；
图4为本发明实施例在Binalpha数据集上进行特征选择后的分类结果比较图；
图5为本发明实施例损失函数在Movementlibras数据集的收敛结果；
图6为本发明实施例损失函数在Control数据集的收敛结果；
图7为本发明实施例损失函数在Binalpha数据集的收敛结果。
图8为DEAP数据集中编号为10、23、32的三位被试使用BPFS特征选择后的分类结果比较图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于联合范数的情感识别方法，在BP神经网络中加入l2，1联合范数的约束，对BP神经网络的误差函数进行优化。其中l2，1联合范数对异常数据较为敏感，具有更强的鲁棒性；并且BP神经网路和嵌入式特征选择的结合，不同于传统特征选择的线性优化方案，采用BP神经网路非线性优化方案，能够处理更为复杂的数据结构，从而提高情感分类的准确度。为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，一种基于联合范数的情感识别方法包括以下步骤：
步骤101：采集样本数据；所述样本数据为脑电数据。
步骤102：提取所述样本数据的特征，构成特征矩阵。
步骤103：基于l2，1联合范数和BP神经网络，对所述特征矩阵进行特征选择。
步骤104：基于选择后的特征，通过支持向量机分类模型实现情感的识别。
其中，步骤102具体包括：
步骤1021：将所述特征矩阵中每个特征进行正态分布标准化，获得标准化特征矩阵X；将所述标准化特征矩阵X作为BP神经网络的输入层数据。
X＝[x1，x2，...，xn]T，X∈Rn×d，其中，n代表包含n个数据样本，每一个数据样本包含了d个特征，xi为输入层第i个神经元输入数据，且有i∈(0，d]。
步骤1022：对所述BP神经网络的相邻神经元层之间的系数矩阵进行零均值初始化，获得所述BP神经网络的输入层和第一个隐藏层之间的权重系数矩阵W；所述BP神经网络的各隐藏层的偏置神经元权值设为零。
Figure BDA0002622500750000071
其中b代表第一个隐藏层的神经元数量，wij为输入层第i个神经元和相邻隐藏层第j个神经元之间的连接权重系数，其中j∈(0，b]。
步骤1023：对所述BP神经网络的输入层和第一个隐藏层进行前向传播过程，获得下一层的输入数据；按所述BP神经网络的路径将获得的输入数据依次传播到最终输出层，获得输出层的输出数据。
在所述前向传播过程中，输入层数据和所述输入层与隐藏层之间的权重系数矩阵作矩阵运算
Figure BDA0002622500750000072
其中矩阵H＝[h1，h2，...，hb]，满足H∈Rn×b，hj为与输入层相邻隐藏层的第j个神经元数据，
Figure BDA0002622500750000081
为神经元的sigmoid激活函数。
步骤1024：根据所述输出层的输出数据对应的矩阵
Figure BDA0002622500750000082
与所述特征矩阵的对应标签矩阵Y，获得所述BP神经网络的损失函数
Figure BDA0002622500750000083
将所述权重系数矩阵W的l2，1联合范数作为惩罚项代入所述BP神经网络的损失函数，得到更新后的损失函数
Figure BDA0002622500750000084
所述输出层的输出数据矩阵
Figure BDA0002622500750000085
为：
Figure BDA0002622500750000086
其中，c代表最终选择的特征数量，
Figure BDA0002622500750000087
为输入层第k个神经元的输出数据，其中k∈(0，c]；
所述特征矩阵的对应标签矩阵Y为：
Y＝[y1，y2，...，yc]，Y∈Rn×c
其中，yk为输入层第k个神经元所对应的真实标签值，k∈(0，c]。
损失函数
Figure BDA0002622500750000088
定义为输出层的输出数据矩阵
Figure BDA0002622500750000089
与所述特征矩阵对应标签矩阵Y差值的平方：
Figure BDA00026225007500000810
加入权重系数矩阵W的l2，1联合范数的损失函数为：
Figure BDA00026225007500000811
权重系数矩阵W＝[w1，w2，...，wi，...，wd]T，其中wi为权重系数矩阵W的第i行行向量，wi∈R1×c；所述权重系数矩阵W的l2，1范数||W||2，1定义为
Figure BDA00026225007500000812
步骤1025：根据所述更新后的损失函数
Figure BDA00026225007500000813
进行梯度下降运算，对权重系数矩阵W进行更新；且对其它权重系数矩阵进行更新，完成所述BP神经网络的后向传播过程；重复进行所述BP神经网络的前向传播及后向传播过程，迭代至更新后的损失函数
Figure BDA0002622500750000091
收敛。
根据梯度下降法则，W的更新定义为
Figure BDA0002622500750000092
其中W’为更新后的权重系数矩阵，η为学习率，且η∈(0，1)。
步骤1026：计算迭代后的权重系数矩阵W中每个特征的l2范数，根据所有特征的l2范数的大小选择特征数据。
权重系数矩阵W的l2范数定义为
Figure BDA0002622500750000093
特征的l2范数值越小，越趋近0，代表特征重要程度越低。
本发明将l2，1联合范数和BP神经网络结合，用于特征选择。一方面，利用BP神经网络的后向传播过程能够优化l2，1联合范数的正则化模型的求解，同时引入BP神经网络的优势。例如，BP神经网络神经元中的激活函数，可以实现数据的非线性映射，使其在数据的适应上十分灵活；对于BP神经网络的结构来说，对于少量数据的意外丢失不会对最终结果产生影响，具有一定的容错能力；另一方面，l2，1联合范数的加入可以引导BP神经网络的损失函数的收敛方向，从而获得稀疏的特征选择矩阵。特征选择矩阵越稀疏，代表不重要的特征就越多，从而更好地实现冗余特征的去除。
对于特征选择来说，它没有改变特征的属性或维度，只是从提供的特征中筛选出需要的特征。假设存在一个只有0和1的稀疏的特征选择矩阵，通过特征矩阵，同样能实现特征的筛选，如：
Figure BDA0002622500750000094
因此，如果在BP神经网络中能够完成构造一个合适的、稀疏的特征选择矩阵，便能够通过BP神经网络实现特征选择。而加入权重系数矩阵W的l2，1联合范数，即是为了引导W迭代至最够稀疏，最终获得优秀的特征选择矩阵。
本发明在BP神经网络损失函数中加入的是输入层和第一个隐藏层之间的系数矩阵。因为BP神经网络中只有输入层和第一个隐藏层之间的系数和输入的特征数据有直接的关联，同时也尚未对特征数据结构进行影响。因此，使用输入层和第一个隐藏层之间系数矩阵作为特征选择矩阵是可行的。相较其它通过设计隐藏层的输出变量来进行选择特征的思路，特征选择矩阵更好地利用了BP神经网络的固有网络结构。
本发明在得到特征选择矩阵之后，使用特征选择矩阵各特征的l2范数排列完成特征选择。不直接使用原特征矩阵和特征选择矩阵乘积是为了在非理想特征矩阵的情况下，也能确保所选特征的重要性。此外，对于特征选择矩阵来说，l2范数越小的特征代表越不重要的特征。
为了能加清楚的理解步骤102，本发明选取了UCL公开数据库中收纳的三个数据集进行说明。UCI数据集是加州大学欧文分校(University of CaliforniaIrvine)提供的用于机器学习的数据库平台，常被用作标准的机器学习测试数据集。需要说明的是，上述基于l2，1联合范数和BP神经网络的特征选择方法并不仅限于机器学习的领域，同时还可应用于生物信息学、神经影像学、自然语言处理和视频分析等需要提取高维特征数据的情况。在下面的实施方式中本发明在下面的实施方式中选取了UCL数据库中的Movementlibras数据集、Control数据集和Binalpha数据集。以Movementlibras数据集为例进行说明；Movementlibras数据集是由巴西圣保罗大学的学者在2009年提供的一个巴西手语运动轨迹的数据集，该数据集中包含了360位被试的15类手部运动数据。在手部运动视频预处理后，从每一位被试的手部运动中提取了90个特征。Movementlibras数据集、Control数据集和Binalpha数据集的详细信息如下表所示：
Figure BDA0002622500750000101
对以上3个数据集，同时挑选了相关系数(Correlation Coefficient，CC)，信息熵(Information Gain，IG)，ReliefF，最大相关最小冗余(Max-Relevance and Min-Redundancy，mRMR)，轨迹标准(Trace Ratio Criterion，TRC)和通用特征选择(RobustFeature Selection，RFS)这6种算法和本发明提出的基于l2，1联合范数和BP神经网络的特征选择方法(BPFS)进行比较。特征选择之后，统一使用线性核函数的支持向量机(SupportVector Machine，SVM)作为分类器，采用5折交叉验证，来评价特征选择算法的性能。SVM分类器来自LIBSVM工具箱。以下进行具体说明：
(1)对输入的特征数据矩阵记为X，将特征矩阵X中每个特征同一正态分布标准化成均值为1，标准差为0的特征数据，确保数据量级不会相差过大，之后输入BP神经网络输入层；输入层的输出数据记为xi，其中i代表输入层的第i个神经元，即一个神经元对应一个特征。
(2)设BP神经网络为单层隐藏层结构，为了便于推导，这里设隐藏层和输入层之间的连接权重为wji，其矩阵形式记为W，其中j代表隐藏层的第j个神经元；隐藏层和输出层之间的连接权重记为vkj，矩阵形式记为V，其中k代表输出层的第k个神经元；输入层的偏置记为a，隐藏层的偏置记为b；其中wji和vkj使用零均值初始化，a和b的值为设为0。
(3)在前向传播过程中，输入层的输出数据xi和对应系数wji的乘积求和，加上偏置a，得到隐藏层第j个神经元的输入数据hj′，记为：
Figure BDA0002622500750000111
设hj为隐藏层第j个神经元的输出数据，有：
Figure BDA0002622500750000112
函数
Figure BDA0002622500750000113
为神经元激活函数，这里使用sigmoid函数，其函数表达式为
Figure BDA0002622500750000114
可证明，sigmoid函数的倒数可以用函数本身表达式表示，在梯度求导中能极大简化计算：
Figure BDA0002622500750000115
同理，对于隐藏层向输出层的传递过程可记为：
Figure BDA0002622500750000116
其中
Figure BDA0002622500750000117
为输出层的输出数据。
(4)设数据对应标签数据为yk，可得估计值
Figure BDA0002622500750000118
和真实值yk之间的平方损失函数
Figure BDA0002622500750000119
为了引导损失函数使W足够稀疏，在原有损失函数中加入W的l2，1范数，得：
Figure BDA0002622500750000121
Figure BDA0002622500750000122
(5)为了最小化损失函数
Figure BDA0002622500750000123
同时为了在后向传播过程中计算连接权重wji和vkj的更新值。我们采用梯度下降手段，将
Figure BDA0002622500750000124
分别对wji和vkj求偏导；以wji为例，wji的更新值wji’，则有：
Figure BDA0002622500750000125
Figure BDA0002622500750000126
其中，η为学习速率，取值在0至1之间；更新完wji和vkj即完成一次后向传播过程，损失函数值也得到收束。
(6)重复(4)和(5)，直到损失函数
Figure BDA0002622500750000128
的值足够小且趋于平稳，得到稀疏的矩阵W；
(7)通过对W按每个特征求l2范数，记为
Figure BDA0002622500750000127
对wi排序得特征选择的结果。
对于评价指标，将上述包含BPFS在内的7个算法应用于上述3个数据集后，本发明比较了7个算法的分类准确性，并验证了BPFS算法的收敛情况。图2展示了本发明实施例提供的方法在Movementlibras数据集上进行特征选择后的分类结果比较图；图3展示了本发明实施例提供的方法在Control数据集上进行特征选择后的分类结果比较图；图4展示了本发明实施例提供的方法在Binalpha数据集上进行特征选择后的分类结果比较图；可以从图2至图4直观地看出，BPFS在准确率上基本高于其他6种算法，准确率的波动较小。综上，BPFS算法稳定性强、表现较好。而图5展示了本发明实施例提供方法的损失函数在Movementlibras数据集的收敛结果；图6展示了本发明实施例提供方法的损失函数在Control数据集的收敛结果；图7展示了本发明实施例提供方法的损失函数在Binalpha数据集的收敛结果；从图5到图7可以看到，在3个数据集中，BPFS都以较快的速度实现了收敛，具有一定的鲁棒性。
具体实施方式：
本发明选取情感识别任务中常用的DEAP公开数据集中的脑电数据进行实验。DEAP公开数据集是来自英国伦敦玛丽皇后大学，荷兰特温特大学，瑞士日内瓦大学，瑞士联邦理工学院的Koelstra等人采集的脑电情感数据集。该数据集通过40个一分钟长的音乐视频作为刺激源，采集了32位被试观看视频时的脑电(使用的电极为国际标准中的10-20系统，共包括32导脑电通道)，皮肤电，肌电等生理信号和面部表情等非生理信号。同时在收集了被试在看完每一个音乐视频的后，在维度模型下valence，arousal等值的主观评分。
对DEAP数据集中被试观看视频时的每一导脑电数据，本发明设置一个长4s，重叠长度2s的滑动窗口，每一次滑动得到的数据为一个样本，即每位被试观看每个视频的每导脑电数据可以得到29个样本。对于每一个样本，本发明提取了20种典型的线性特征和4种典型的非线性特征。其中，线性特征包括原始数据的平均峰峰值、方差、偏度、峰度、Hjorth参数(活动性、移动性、复杂性)共7种时域特征，theta、alpha和beta三个频带下各自的总功率，相对功率，最大频率，中心频率以及三个频带的总功率共13种频域特征；非线性特征包括C0复杂度、香农熵(Shannon Entropy)、谱熵(Spectral Entropy)和lyapunov指数。所以，最终每位被试的每个视频可以得到29x768(32导x24个特征)的特征矩阵。而每位被试最终可以得到1160(29个样本x40个视频)x768的特征矩阵。
考虑到被试之间的个体差异，本发明对不同的被试数据需要单独建模。本发明随机选取40位被试中编号为10、23以及32作为测试一，测试二和测试三的实验数据。在提取被试数据的特征矩阵之后，使用提出的基于l2，1联合范数和后向传播神经网络的特征选择方法进行特征选择，筛选出能对情感识别相关的特征。最后送入经典的SVM分类器检测分类结果，其中采用了5折交叉验证。
结果及分析
1)三次测试的分类准确度
图8是送入SVM分类器的特征数量从一个特征依次增加到最大特征数量时的分类准确度结果。从图中可以看到，测试一的结果相较测试二和测试三的结果波动幅度更大，明显地体现了被试之间的差异性。从结果来看测试一和测试二的结果在特征数小于100时，分类准确度都是呈现上升趋势，特征数大于100后的结果则有略微下降的趋势。说明在BPFS挑选的特征中，前100个特征能够对被试10和被试23的情感分类任务起到促进作用，即和两者情感分类任务最相关的特征。特征数大于100后下降的原因可能因为加入的特征对于情感分类任务属于冗余的噪音数据，因此起到了负面影响。
2)三次测试的平均准确度
表1三次测试各自平均分类结果和总的平均分类结果
Figure BDA0002622500750000141
从三次测试单独的平均分类结果来看，测试二和测试三的准确度要高于测试一，其中，测试二的结果最好，即BPFS对被试23的采集数据拟合最佳。
3)第二次测试中排在前十的特征
表2测试二中BPFS算法选择出的前10个和情感识别最相关特征
Figure BDA0002622500750000142
Figure BDA0002622500750000151
为了观察与情感更为相关的特征，本发明对测试结果最好的测试二中提取的前10个特征进行研究，并列出前10个特征的名称和对应电极。从结果可以看到，alpha绝对功率、beta绝对功率和theta绝对功率分别出现了3次，与情感分类任务最相关。另外注意到，前10的特征均为线性特征，最优的非线性特征排在了30多位。从以往的基于脑电的情感识别研究中，线性特征也更常作为重要指标被使用。虽然有许多为了更好捕捉脑电信号的复杂动态特性而提出的非线性特征，线性特征在实际应用中还是更能获取被试脑电信号中与情感相关的信息。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于联合范数的情感识别方法，其特征在于，包括：
采集样本数据；所述样本数据为脑电数据；
提取所述样本数据的特征，构成特征矩阵；
基于l2，1联合范数和BP神经网络，对所述特征矩阵进行特征选择；
基于选择后的特征，通过支持向量机分类模型实现情感的识别。
2.根据权利要求1所述的基于联合范数的情感识别方法，其特征在于，所述基于l2，1联合范数和BP神经网络，对所述特征矩阵进行特征选择，具体包括：
将所述特征矩阵中每个特征进行正态分布标准化，获得标准化特征矩阵X；将所述标准化特征矩阵X作为BP神经网络的输入层数据；
对所述BP神经网络的相邻神经元层之间的系数矩阵进行零均值初始化，获得所述BP神经网络的输入层和第一个隐藏层之间的权重系数矩阵W；所述BP神经网络的各隐藏层的偏置神经元权值设为零；
对所述BP神经网络的输入层和第一个隐藏层进行前向传播过程，获得下一层的输入数据；按所述BP神经网络的路径将获得的输入数据依次传播到最终输出层，获得输出层的输出数据；
根据所述输出层的输出数据对应的矩阵
Figure FDA0002622500740000011
与所述特征矩阵的对应标签矩阵Y，获得所述BP神经网络的损失函数
Figure FDA0002622500740000012
将所述权重系数矩阵W的l2，1联合范数作为惩罚项代入所述BP神经网络的损失函数，得到更新后的损失函数
Figure FDA0002622500740000013
根据所述更新后的损失函数
Figure FDA0002622500740000014
进行梯度下降运算，对权重系数矩阵W进行更新；且对其它权重系数矩阵进行更新，完成所述BP神经网络的后向传播过程，迭代至更新后的损失函数
Figure FDA0002622500740000015
收敛；
计算迭代后的权重系数矩阵W中每个特征的l2范数，根据所有特征的l2范数的大小选择特征数据。
3.根据权利要求2所述的基于联合范数的情感识别方法，其特征在于，所述标准化特征矩阵X为：
X＝[x1，x2，...，xn]T，X∈Rn×d，其中，n代表包含n个数据样本，每一个数据样本包含了d个特征，xi为输入层第i个神经元输入数据，且有i∈(0，d]。
4.根据权利要求3所述的基于联合范数的情感识别方法，其特征在于，所述BP神经网络输入层和第一个隐藏层之间的权重系数矩阵为：
Figure FDA0002622500740000021
其中b代表第一个隐藏层的神经元数量，wij为输入层第i个神经元和相邻隐藏层第j个神经元之间的连接权重系数，其中j∈(0，b]。
5.根据权利要求2所述的基于联合范数的情感识别方法，其特征在于，所述BP神经网络输入层和第一个隐藏层进行前向传播过程，具体包括：
在所述前向传播过程中，输入层数据和所述输入层与隐藏层之间的权重系数矩阵作矩阵运算
Figure FDA0002622500740000022
其中矩阵H＝[h1，h2，...，hb]，满足H∈Rn×b，hj为与输入层相邻隐藏层的第j个神经元数据，
Figure FDA0002622500740000023
为神经元的sigmoid激活函数。
6.根据权利要求2所述的基于联合范数的情感识别方法，其特征在于，所述输出层的输出数据矩阵
Figure FDA0002622500740000024
为：
Figure FDA0002622500740000025
其中，c代表最终选择的特征数量，
Figure FDA0002622500740000026
为输入层第k个神经元的输出数据，其中k∈(0，c]；
所述特征矩阵的对应标签矩阵Y为：
Y＝[y1，y2，...，yc]，Y∈Rn×c
其中，yk为输入层第k个神经元所对应的真实标签值，k∈(0，c]。
7.根据权利要求6所述的基于联合范数的情感识别方法，其特征在于，根据所述输出层的输出数据矩阵
Figure FDA0002622500740000027
与所述特征矩阵的对应标签矩阵Y，获得所述BP神经网络的损失函数
Figure FDA0002622500740000028
具体包括：
损失函数
Figure FDA0002622500740000031
定义为输出层的输出数据矩阵
Figure FDA0002622500740000032
与所述特征矩阵对应标签矩阵Y差值的平方：
Figure FDA0002622500740000033
8.根据权利要求7所述的基于联合范数的情感识别方法，其特征在于，所述将所述权重系数矩阵W的l2，1联合范数作为惩罚项代入所述BP神经网络的损失函数，得到更新后的损失函数
Figure FDA0002622500740000034
具体包括：
加入权重系数矩阵W的l2，1联合范数的损失函数为:
Figure FDA0002622500740000035
权重系数矩阵W＝[w1，w2，...，wi，...，wd]T，其中wi为权重系数矩阵W的第i行行向量，wi∈R1×c；所述权重系数矩阵W的l2，1范数||W||2，1定义为
Figure FDA0002622500740000036
9.根据权利要求2所述的基于联合范数的情感识别方法，其特征在于，所述根据所述更新后的损失函数
Figure FDA0002622500740000037
进行梯度下降运算，对权重系数矩阵W进行更新，包括：
根据梯度下降法则，W的更新定义为
Figure FDA0002622500740000038
其中W′为更新后的权重系数矩阵，η为学习率，且η∈(0，1)。
10.根据权利要求2所述的基于联合范数的情感识别方法，其特征在于，所述计算所述迭代后的权重系数矩阵W中每个特征的l2范数，根据所有特征的l2范数的大小选择特征数据，包括：
权重系数矩阵W的l2范数定义为
Figure FDA0002622500740000039
特征的l2范数值越小，越趋近0，代表特征重要程度越低。
CN202010787390.7A 2020-08-07 2020-08-07 一种基于联合范数的情感识别方法 Active CN111860463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010787390.7A CN111860463B (zh) 2020-08-07 2020-08-07 一种基于联合范数的情感识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010787390.7A CN111860463B (zh) 2020-08-07 2020-08-07 一种基于联合范数的情感识别方法

Publications (2)

Publication Number Publication Date
CN111860463A true CN111860463A (zh) 2020-10-30
CN111860463B CN111860463B (zh) 2024-02-02

Family

ID=72972196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010787390.7A Active CN111860463B (zh) 2020-08-07 2020-08-07 一种基于联合范数的情感识别方法

Country Status (1)

Country Link
CN (1) CN111860463B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886792A (zh) * 2017-01-22 2017-06-23 北京工业大学 一种基于分层机制构建多分类器融合模型的脑电情感识别方法
CN107479702A (zh) * 2017-08-04 2017-12-15 西南大学 一种使用脑电信号的人类情感优势度分类识别方法
CN110353702A (zh) * 2019-07-02 2019-10-22 华南理工大学 一种基于浅层卷积神经网络的情感识别方法及系统
CN110399857A (zh) * 2019-08-01 2019-11-01 西安邮电大学 一种基于图卷积神经网络的脑电情感识别方法
CN110781945A (zh) * 2019-10-22 2020-02-11 太原理工大学 一种融合多种特征的脑电信号情感识别方法及系统
AU2020100027A4 (en) * 2019-11-20 2020-02-20 Nanjing University Of Posts And Telecommunications Electroencephalogram-based negative emotion recognition method and system for aggressive behavior prediction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886792A (zh) * 2017-01-22 2017-06-23 北京工业大学 一种基于分层机制构建多分类器融合模型的脑电情感识别方法
CN107479702A (zh) * 2017-08-04 2017-12-15 西南大学 一种使用脑电信号的人类情感优势度分类识别方法
CN110353702A (zh) * 2019-07-02 2019-10-22 华南理工大学 一种基于浅层卷积神经网络的情感识别方法及系统
CN110399857A (zh) * 2019-08-01 2019-11-01 西安邮电大学 一种基于图卷积神经网络的脑电情感识别方法
CN110781945A (zh) * 2019-10-22 2020-02-11 太原理工大学 一种融合多种特征的脑电信号情感识别方法及系统
AU2020100027A4 (en) * 2019-11-20 2020-02-20 Nanjing University Of Posts And Telecommunications Electroencephalogram-based negative emotion recognition method and system for aggressive behavior prediction

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张本禹； 蒋惠萍: "基于脑电的情感分析研究进展", 信息系统工程, no. 2017, pages 140 - 142 *

Also Published As

Publication number Publication date
CN111860463B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
Abdelhameed et al. A deep learning approach for automatic seizure detection in children with epilepsy
Vinola et al. A survey on human emotion recognition approaches, databases and applications
CN110507335A (zh) 基于多模态信息的服刑人员心理健康状态评估方法及系统
CN111134666A (zh) 一种多通道脑电数据的情绪识别方法及电子装置
Hashempour et al. Continuous scoring of depression from EEG signals via a hybrid of convolutional neural networks
Jinliang et al. EEG emotion recognition based on granger causality and capsnet neural network
Al Machot et al. Improving subject-independent human emotion recognition using electrodermal activity sensors for active and assisted living
Kumar et al. Comparison of Machine learning models for Parkinson’s Disease prediction
Jamal et al. Cloud-based human emotion classification model from EEG signals
Al-hajjar et al. Epileptic seizure detection using feature importance and ML classifiers
CN114742107A (zh) 信息服务中的感知信号的识别方法及相关设备
CN114970641A (zh) 情感类别的识别方法、装置、处理器及电子设备
CN111860463A (zh) 一种基于联合范数的情感识别方法
Rahman et al. Affective state recognition through EEG signals feature level fusion and ensemble classifier
Gamage et al. Academic depression detection using behavioral aspects for Sri Lankan university students
Kulkarni et al. Depression prediction system using different methods
Cang et al. Feeling (key) pressed: Implicit touch pressure bests brain activity in modelling emotion dynamics in the space between stressed and relaxed
Kolla et al. Comparative Analysis of VGG19, ResNet50, and GoogLeNet Inception Models for BCI
Sweeney-Fanelli et al. Automated Emotion Recognition Employing Wearable ECG Sensor and Deep-Learning
Tiwari et al. Deep Neural Networks for Comprehensive Multimodal Emotion Recognition
Yousefi et al. Enhancing the accuracy of electroencephalogram-based emotion recognition through Long Short-Term Memory recurrent deep neural networks
Sahu et al. Emotion classification based on EEG signals in a stable environment
Kaur et al. Dimensional Emotion Recognition Using EEG Signals via 1D Convolutional Neural Network
VS et al. Emo-Gem: An Impacted Affective Emotional Psychology Analysis through Gaussian Model using AMIGOS.
Nikam et al. A Survey: Feature Extraction Techniques and machine learning models for Depression Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant