CN107180236A - 一种基于类脑模型的多模态情感识别方法 - Google Patents

一种基于类脑模型的多模态情感识别方法 Download PDF

Info

Publication number
CN107180236A
CN107180236A CN201710406917.5A CN201710406917A CN107180236A CN 107180236 A CN107180236 A CN 107180236A CN 201710406917 A CN201710406917 A CN 201710406917A CN 107180236 A CN107180236 A CN 107180236A
Authority
CN
China
Prior art keywords
mrow
module
msubsup
submodule
connection weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710406917.5A
Other languages
English (en)
Other versions
CN107180236B (zh
Inventor
李文静
乔俊飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201710406917.5A priority Critical patent/CN107180236B/zh
Publication of CN107180236A publication Critical patent/CN107180236A/zh
Application granted granted Critical
Publication of CN107180236B publication Critical patent/CN107180236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)

Abstract

本发明提供了一种基于类脑模型的多模态情感识别方法。该方法包括：定义区分度指标衡量各模态特征的组间差异程度，提取初选数据特征；利用主成分分析方法进行特征降维，得到各模态下数据特征向量设计一种具有子模块结构的类脑模块化神经网络，实现对多模态特征的融合，连接结构设计包含模块中各子模块内部神经元之间的连接模块中各子模块之间的连接以及各模块之间的连接采用“赢者全拿”策略判断样本所属类别；基于Hebbian规则设计权值更新规则，包括初步更新及次级更新两步，分别对连接权值进行更新；所得连接权值用于测试数据，对分类效果进行评价。本发明提高了多模态情感识别的准确率。

Description

一种基于类脑模型的多模态情感识别方法
技术领域：
本发明涉及情感分类和模式识别领域，尤其涉及一种基于类脑模型的多模态情感识别方法。
背景技术：
多模态情感识别利用表情、语音、眼动及生理信号等多种模态数据的互补性提高分类器的识别性能，近年来成为了国内外的研究热点。其中，多模态数据融合成为多模态情感识别中具有挑战性的关键问题。目前多模态情感识别的融合方法主要包括基于特征的融合、基于决策的融合与基于模型的融合。由于多模态数据特征在时间尺度和度量上不尽相同，使得如何实现基于特征的融合成为困难。基于决策的融合方法不能揭示不同模态特征之间的相关信息，从而在一定程度上影响多模态情感识别的分类效果。基于模型的融合方法在一定程度上结合了前两种融合方法的优势，成为解决多模态情感识别问题的更优选择。然而，多模态融合模型如何建立目前尚未有效解决。
类脑模型旨在模拟大脑多感觉通道的多层次信息整合过程，基于大脑的模块化结构以建立类脑模型并实现对大脑多模态信息的整合功能，能够有效地应用于多模态信息融合中，成为多模态情感认知的关键技术方法。
发明内容
1、本发明需要且能够解决的技术问题。
本发明提出了一种基于类脑模型的多模态情感数据的分类方法，通过构建能够模拟大脑模块化及整合性的类脑模型，对多模态情感数据特征进行分类，旨在提高多模态数据的分类精度及速度，实现高效的多模态情感识别。
2、本发明具体的技术方案：
本发明提供了一种基于类脑模型的多模态情感识别的分类方法。该算法包括：
步骤A：对多模态情感数据，定义区分度指标DP用来衡量每种模态下每一个特征的组间差异程度，提取出区分度指标高的数据特征，再利用主成分分析方法进行特征降维，最终得到多模态数据特征向量其中k＝1,2,…,N，Fk为第k个模态数据的特征向量，f1 k为第k个模态数据的第1个特征，为第k个模态数据的第2个特征，以此类推，为第k个模态数据的第Nk个特征，N为特征模态数，Nk为第k个模态下特征的个数；
步骤B：根据大脑结构模块化及层级性的特性，设计一种具有子模块结构的类脑模块化神经网络；根据分类类别数设定M个模块，根据特征模态数设定每个模块中含有N个子模块，每个子模块对相应模态的特征数据进行学习；对每个模块中子模块内部及之间、以及模块之间进行结构连接设计以模拟大脑的模块化及整合性；每个模块的输出为一个神经元Rm，m＝1,2,…,M，定义活跃度指标用来衡量每个模块内部所有神经元的活跃水平，采用“赢者全拿”策略判断对该样本的识别类别；
步骤C：将所有连接权值初始值设为0；使用属于每个模块对应类别的训练样本对其内部的连接权值矩阵及进行训练，其中k,l＝1,2,…,N，m＝1,2,…,M，连接权值的更新遵循Hebbian规则，使连接权值得到增强；对模块之间的双向连接权值矩阵其中k＝1,2,…,N，m,n＝1,2,…,M，根据训练样本所属类别基于Hebbian规则分别进行增加或衰减的更新；该步骤只完成一次；
步骤D：设定类脑模型连接权值的更新准则，目标在于增加样本所属类别的竞争力；将所有样本依次输入模型；当模型对某样本能够进行可靠分类时，连接权值不更新；当模型并不能实现对某样本的可靠分类时，则对权值矩阵及依次进行更新，权值反复更新直至实现该样本的可靠分类，则对该样本的训练结束，将下一个训练样本输入模型；当模型对所有样本均完成一次训练后，则完成一次迭代；该过程包括多次迭代，直至模型对所有训练样本均能实现可靠分类，迭代结束；迭代更新完成后的连接权值用于测试数据，对分类效果进行评价。
所述步骤B包括：
步骤B1：设计一种具有子模块结构的类脑模块化神经网络，模块个数M与分类个数相同，每个模块中的子模块个数N与特征模态数相同；
步骤B2：设计类脑模块化神经网络的连接结构；每个子模块内部的神经元相互连接，(k＝1,2,…,N；m＝1,2,…,M)表示第m个模块中第k个子模块内部神经元的连接矩阵；每个模块内的子模块之间设计连接结构，(k,l＝1,2,…,N；m＝1,2,…,M)表示第m个模块中第k个子模块内部的神经元与第l个子模块内部的神经元之间的连接矩阵；在每个模块对应的子模块之间设计连接结构，(k＝1,2,…,N；m,n＝1,2,…,M)表示第m个模块与第n个模块中对应的第k个子模块之间的连接矩阵；
步骤B3：第m个模块的输出为一个神经元Rm(m＝1,2,…,M)，用来衡量该模块下所有神经元的活跃程度。首先定义每个神经元的活跃度如下：
其中，表示第m个模块中第k个子模块内部神经元i对第p个样本的活跃程度，fi k(p)为第p个样本的第k个模态下的第i个特征，为第p个样本的第k个模态下的第j个特征，为第p个样本的第l个模态下的第j个特征，为第m个模块中第k个子模块内部神经元j与神经元i的连接权值，为第m个模块中第l个子模块内部神经元j与第k个子模块内部神经元i之间的连接权值，为第h个模块中第k个子模块内部神经元j与第m个模块中对应的第k个子模块内部神经元i之间的连接权值，Nk为第k个模态数据中特征的个数，Nl为第l个模态数据中特征的个数；将每个模块下的所有神经元的活跃度求和即得到每个模块活跃度，则第m个模块的输出神经元Rm定义如下：
采用“赢者全拿”策略判断对该样本的识别类别，即判定输出最大的模块所对应的类别为识别类别。
所述步骤C包括：
步骤C1：将每个模块中子模块内部神经元连接权值矩阵(k＝1,2,…,N；m＝1,2,…,M)、子模块之间的连接权值矩阵(k,l＝1,2,…,N；m＝1,2,…,M)以及不同模块中对应子模块之间的连接权值矩阵(k＝1,2,…,N；m,n＝1,2,…,M)初始值设为0；
步骤C2：对每个模块中子模块内部的连接权值矩阵(k＝1,2,…,N；m＝1,2,…,M)，使用属于对应类别的样本进行训练；对于属于第r类的第p个训练样本，第r个模块中第k个子模块内部神经元i和神经元j之间的连接权值更新规则如下：
其中，i,j＝1,2,…,Nk，t表示时刻，Nk为第k个模态下的特征个数；
步骤C3：对每个模块中子模块之间的连接权值矩阵(k,l＝1,2,…,N；m＝1,2,…,M)，使用属于对应类别的样本进行训练；对于属于第r类的第p个训练样本，第r个模块中第l个子模块内部神经元i和第k个子模块内部神经元j之间的连接权值更新规则如下：
其中，i＝1,2,…,Nl，j＝1,2,…,Nk，Nl和Nk分别为第l个模态及第k个模态下的特征个数；
步骤C4：对不同模块中对应子模块之间的连接权值矩阵(k＝1,2,…,N；m,n＝1,2,…,M)，使用属于对应类别的样本进行训练；设定模块对{r,s}，其中s＝1,2,…,M但是s≠r。对于属于第r类的第p个训练样本，从模块s中第k个子模块内部神经元i连向模块r中第k个子模块内部神经元j的连接权值更新规则如下：
其中，i,j＝1,2,…,Nk，Nk为第k个模态下的特征个数；
相反地，从模块r中第k个子模块内部神经元j连向模块s中第k个子模块内部神经元i的连接权值更新规则如下：
ΔUj,i(k)＝ΔUi,j(k) (11)
步骤C5：重复步骤C2-C4，直至完成对所有样本的一次训练。
所述步骤D包括：
步骤D1：将第p个训练样本输入类脑模型(初次执行该步骤时p＝1)，使用当前连接矩阵按照公式(2)、(3)计算各模块的输出Rm(m＝1,2,…,M)；
步骤D2：若样本p属于第r类，寻找除了第r个模块外，在其它模块中输出最大的模块，标记为模块s；计算第r个模块输出与第s个模块输出的差异百分比PD。将会出现以下三种情况：(a)若PD<0，则表示分类错误；(b)若0<PD<γ，虽然分类正确，但是并不可靠；(c)若PD>γ>0，则认为实现了可靠的分类，其中γ为根据经验值选取的阈值，取值范围在[0.01,0.30]。当出现情况(a)和(b)时，将执行步骤D3-D5，对连接权值进行更新，以增加模块r的竞争力而减弱模块s的竞争力；当出现情况(c)时，连接权值不更新，直接跳至步骤D6；
步骤D3：模块r内部的连接权值以及从模块s中子模块连向模块r中对应子模块的连接权值将得到增强。具体为：第r个模块中第k个子模块内部神经元i和神经元j之间的连接权值按照公式(4)、(5)规则进行更新；第r个模块中第l个子模块内部神经元i和第k个子模块内部神经元j之间的连接权值按照公式(6)、(7)规则进行更新；从模块s中第k个子模块内部神经元i连向模块r中第k个子模块内部神经元j的连接权值按照公式(8)、(9)规则进行更新；
步骤D4：模块s内部的连接权值以及从模块r中子模块连向模块s中对应子模块的连接权值将得到减弱；具体为：第s个模块中第k个子模块内部神经元i和神经元j之间的连接权值衰减ΔWi,j(k)(通过公式(5)得到)，更新规则如下：
第s个模块中第l个子模块内部神经元i和第k个子模块内部神经元j之间的连接权值衰减ΔVi(l),j(k)(通过公式(7)得到)，更新规则如下：
从模块r中第k个子模块内部神经元j连向模块s中第k个子模块内部神经元i的连接权值按照公式(10)、(11)规则进行更新；
步骤D5：重复步骤D1、D2；
步骤D6：令p＝p+1，重复D1-D5，直至完成所有样本的训练；至此，完成了所有样本的一次迭代；
步骤D7：判断当前类脑模型的连接权值是否能够实现对所有样本的可靠分类；若未能实现，则进行下一次迭代，设定p＝1，重复D1-D7；若已实现，则步骤结束；
步骤D8：迭代更新完成后的连接权值用于测试数据，对分类效果进行评价。
本发明的方法通过设计类脑模块化神经网络模型，模拟大脑处理多模态信息的能力，从而实现基于多模态数据的情感识别。实验数据证明，相对于基于径向基函数的支持向量机方法(SVM-RBF)和基于多层感知器的支持向量机方法(SVM-MLP)，具有更好的识别精度。本发明用于多模态情感数据分类，有效地提取出了用于分类的多模态特征，并基于构建的类脑模型解决了情感认知中多模态数据融合的问题，提高了多模态情感识别的准确率。
附图说明：
图1为根据本实施例用于多模态情感识别的方法流程图；
图2为根据本实施例设计的类脑模型结构示意图；
图3为本实施例分类准确率的实验对比图；
图4为本实施例分类F1值的实验对比图
具体实施方式：
在本发明的一个示例性实施例中，提供了一种用于多模态情感识别的分类方法。图1为根据本发明实施例用于多模态情感识别的方法流程图。如图1所示，本实施例用于多模态情感识别的分类方法包括：
步骤A：对多模态情感数据，定义区分度指标DP用来衡量每种模态的每一个特征的组间差异程度，提取出区分度指标高的数据特征，再利用主成分分析方法进行特征降维，最终得到多模态数据特征向量其中k＝1,2,…,N，Fk为第k个模态数据的特征向量，f1 k为第k个模态数据的第1个特征，为第k个模态数据的第2个特征，以此类推，为第k个模态数据的第Nk个特征，N为特征模态数，Nk为第k个模态下特征的个数；
该步骤具体包括：
步骤A1：定义区分度指标DP以衡量每种模态下每一个特征的组间差异程度。对某种模态下的第i个特征，其区分度指标定义为：
其中，fij表示第j个样本的第i个特征，表示第l个类别中第i个特征的均值，表示所有样本中第i个特征的均值，I(yj＝l)是一个指标函数，当其为1时表示第j个样本属于类别l，为0时则表示不属于类别l；
步骤A2：根据经验设定阈值α，取值范围在[0.001,0.05]；在每种模态的特征中，选取DP>α的所有特征作为初选特征；
步骤A3：使用主成分分析方法对初选特征进行降维，根据经验设定累积贡献率阈值θ0，取值范围[0.80,0.99]，由此得到多模态数据特征向量其中k＝1,2,…,N，Fk为第k个模态数据的特征向量，f1 k为第k个模态数据的第1个特征，为第k个模态数据的第2个特征，以此类推，为第k个模态数据的第Nk个特征，N为特征模态数，Nk为第k个模态下特征的个数；
在本实施例中，选取的数据包含N＝5种模态(包括脑磁图MEG、心电图ECG、眼电图hEOG、肌电图EMG、近红内面部视频等模态的数据特征)，根据经验α设定为0.005，θ0设定为0.95，经步骤A得到Nk值的范围可能在[1,20]。
步骤B：根据大脑结构模块化及整合性的特性，设计一种具有子模块结构的类脑模块化神经网络；根据分类类别数设定M个模块，根据特征模态数设定每个模块中含有N个子模块，每个子模块对相应模态的特征数据进行学习；对每个模块中子模块内部及之间、以及模块之间进行结构连接设计以模拟大脑的模块化及整合性；每个模块的输出为一个神经元Rm，m＝1,2,…,M，定义活跃度指标用来衡量每个模块内部所有神经元的活跃水平，采用“赢者全拿”策略判断对该样本的识别类别；
该步骤具体包括：
步骤B1：设计一种具有子模块结构的类脑模块化神经网络，模块个数M与分类类别数相同，每个模块中的子模块个数N与特征模态数相同；
步骤B2：设计类脑模块化神经网络的连接结构；每个子模块内部的神经元相互连接，表示第m个模块中第k个子模块内部神经元的连接权值矩阵，其中k＝1,2,…,N；m＝1,2,…,M；每个模块内的子模块之间设计连接结构，表示第m个模块中第k个子模块内部的神经元与第l个子模块内部的神经元之间的连接权值矩阵，其中k,l＝1,2,…,N；m＝1,2,…,M；在每个模块对应的子模块之间设计连接结构，表示第m个模块与第n个模块中对应的第k个子模块之间的连接权值矩阵，其中k＝1,2,…,N；m,n＝1,2,…,M；
步骤B3：第m个模块的输出为一个神经元Rm，m＝1,2,…,M，用来衡量该模块下所有神经元的活跃程度；首先定义每个神经元的活跃度如下：
其中，表示第m个模块中第k个子模块内部神经元i对第p个样本的活跃程度，fi k(p)为第p个样本的第k个模态下的第i个特征，为第p个样本的第k个模态下的第j个特征，为第p个样本的第l个模态下的第j个特征，为第m个模块中第k个子模块内部神经元j与神经元i的连接权值，为第m个模块中第l个子模块内部神经元j与第k个子模块内部神经元i之间的连接权值，为第h个模块中第k个子模块内部神经元j与第m个模块中对应的第k个子模块内部神经元i之间的连接权值，Nk为第k个模态数据中特征的个数，Nl为第l个模态数据中特征的个数。将每个模块下的所有神经元的活跃度求和即得到每个模块活跃度，则第m个模块的输出神经元Rm定义如下：
采用“赢者全拿”策略判断对该样本的识别类别，即判定输出最大的模块所对应的类别为识别类别；
在本实施例中，使用多模态情感数据，在情感的三个维度上(激活度Arousal、评价度Valence、优势度Dominance)分别进行二分类，因此M选取2。图2为本实施例中构建的类脑模型结构示意图。
步骤C：将所有连接权值初始值设为0；使用属于每个模块对应类别的训练样本对其内部的连接权值矩阵及进行训练，其中k,l＝1,2,…,N，m＝1,2,…,M，连接权值的更新遵循Hebbian规则，使连接权值得到增强；对模块之间的双向连接权值矩阵其中k＝1,2,…,N，m,n＝1,2,…,M，根据训练样本所属类别基于Hebbian规则分别进行增加或衰减更新；该步骤只完成一次，至此完成所有连接权值的初步更新；
该步骤具体包括：
步骤C1：将每个模块中子模块内部神经元连接权值矩阵子模块之间的连接权值矩阵以及不同模块中对应子模块之间的连接权值矩阵初始值设为0，其中k,l＝1,2,…,N，m,n＝1,2,…,M；
步骤C2：对每个模块中子模块内部的连接权值矩阵使用属于对应类别的样本进行训练。对于属于第r类的第p个训练样本，第r个模块中第k个子模块内部神经元i和神经元j之间的连接权值更新规则如下：
其中，i,j＝1,2,…,Nk，t表示迭代步数，Nk为第k个模态下的特征个数。
步骤C3：对每个模块中子模块之间的连接权值矩阵使用属于对应类别的样本进行训练。对于属于第r类的第p个训练样本，第r个模块中第l个子模块内部神经元i和第k个子模块内部神经元j之间的连接权值更新规则如下：
其中，i＝1,2,…,Nl，j＝1,2,…,Nk，Nl和Nk分别为第l个模态及第k个模态下的特征个数。
步骤C4：对不同模块中对应子模块之间的连接权值矩阵使用属于对应类别的样本进行训练。设定模块对{r,s}，其中s＝1,2,…,M但是s≠r；对于属于第r类的第p个训练样本，从模块s中第k个子模块内部神经元i连向模块r中第k个子模块内部神经元j的连接权值更新规则如下：
其中，i,j＝1,2,…,Nk，Nk为第k个模态下的特征个数。
相反地，从模块r中第k个子模块内部神经元j连向模块s中第k个子模块内部神经元i的连接权值更新规则如下：
ΔUj,i(k)＝ΔUi,j(k) (11)
步骤C5：重复步骤C2-C4，直至完成对所有样本的一次训练，至此实现了连接权值的初步更新。
步骤D：设定类脑模型连接权值的更新准则，目标在于增加样本所属类别的竞争力；将所有样本依次输入模型；当模型对某样本能够进行可靠分类时，连接权值不更新；当模型并不能实现对某样本的可靠分类时，则对权值矩阵及依次进行更新，权值反复更新直至实现该样本的可靠分类，则对该样本的训练结束，将下一个训练样本输入模型；当模型对所有样本均完成一次训练后，则完成一次迭代；该过程包括多次迭代，直至模型对所有训练样本均能实现可靠分类，迭代结束，至此完成所有连接权值的次级更新；
具体步骤包括：
步骤D1：将第p个训练样本输入类脑模块化神经网络模型，初次执行该步骤时p＝1，使用当前连接矩阵按照公式(2)、(3)计算各模块的输出Rm，m＝1,2,…,M；
步骤D2：若样本p属于第r类，寻找除了第r个模块外，在其它模块中输出最大的模块，标记为模块s。计算第r个模块输出与第s个模块输出的差异百分比PD，定义如下；
其中，Rr为第r个模块的输出，Rs为第s个模块的输出；则会出现以下三种情况：(a)若PD<0，则表示分类错误；(b)若0<PD<γ，虽然分类正确，但是并不可靠；(c)若PD>γ>0，则认为实现了可靠的分类，其中γ取值范围在[0.01,0.30]；当出现情况(a)和(b)时，将执行步骤D3-D5，对连接权值进行更新，以增加模块r的竞争力而减弱模块s的竞争力；当出现情况(c)时，连接权值不更新，直接跳至步骤D6。
步骤D3：模块r内部的连接权值以及从模块s中子模块连向模块r中对应子模块的连接权值将得到增强；具体为：第r个模块中第k个子模块内部神经元i和神经元j之间的连接权值按照公式(4)、(5)规则进行更新；第r个模块中第l个子模块内部神经元i和第k个子模块内部神经元j之间的连接权值按照公式(6)、(7)规则进行更新；从模块s中第k个子模块内部神经元i连向模块r中第k个子模块内部神经元j的连接权值按照公式(8)、(9)规则进行更新。
步骤D4：模块s内部的连接权值以及从模块r中子模块连向模块s中对应子模块的连接权值将得到减弱。具体为：第s个模块中第k个子模块内部神经元i和神经元j之间的连接权值衰减ΔWi,j(k)，更新规则如下：
第s个模块中第l个子模块内部神经元i和第k个子模块内部神经元j之间的连接权值衰减ΔVi(l),j(k)，更新规则如下：
从模块r中第k个子模块内部神经元j连向模块s中第k个子模块内部神经元i的连接权值按照公式(10)、(11)规则进行更新。
步骤D5：重复步骤D1、D2；
步骤D6：令p＝p+1，重复D1-D5，直至p＝P，其中P为样本个数，即完成了所有样本的一次迭代；
步骤D7：判断当前类脑模型的连接权值是否能够实现对所有样本的可靠分类；若未能实现，设定p＝1，重复D1-D7，进行下一次迭代，若已实现，则步骤结束；至此，完成所有连接权值的次级更新。
步骤E：迭代更新完成后的连接权值用于测试数据，对分类效果进行评价。
在本实施例中，通过对训练样本使用10折交叉验证方法进行调参，从而选择最佳阈值γ＝0.21。使用留一交叉验证法进行实验，计算识别的平均准确率作为评价该分类方法的指标。将该方法与基于径向基函数的支持向量机方法(SVM-RBF)、基于多层感知器的支持向量机方法(SVM-MLP)方法进行对比，计算准确率及F1值作为分类评价指标，实验结果如图3、4所示。表明该方法有效地实现了多模态情感识别，并且识别效果相对于另外两种方法有所提高。

Claims (4)

1.一种基于类脑模型的多模态情感识别方法，其特征在于，包括：
步骤A：对多模态情感数据，定义区分度指标DP用来衡量每种模态下每一个特征的组间差异程度，提取出区分度指标高的数据特征，再利用主成分分析方法进行特征降维，最终得到多模态数据特征向量其中k＝1,2,…,N，Fk为第k个模态数据的特征向量，f1 k为第k个模态数据的第1个特征，为第k个模态数据的第2个特征，以此类推，为第k个模态数据的第Nk个特征，N为特征模态数，Nk为第k个模态数据中特征的个数；
步骤B：根据大脑结构模块化及整合性的特性，设计一种具有子模块结构的类脑模块化神经网络；根据分类类别数设定M个模块，根据特征模态数设定每个模块中含有N个子模块，每个子模块对相应模态的特征数据进行学习；对每个模块中子模块内部及之间、以及模块之间进行结构连接设计以模拟大脑的模块化及整合性；每个模块的输出为一个神经元Rm，m＝1,2,…,M，定义活跃度指标用来衡量每个模块内部所有神经元的活跃水平，采用“赢者全拿”策略判断对该样本的识别类别；
步骤C：将所有连接权值初始值设为0；使用属于每个模块对应类别的训练样本对其内部的连接权值矩阵及进行训练，其中k,l＝1,2,…,N，m＝1,2,…,M，连接权值的更新遵循Hebbian规则，使连接权值得到增强；对模块之间的双向连接权值矩阵其中k＝1,2,…,N，m,n＝1,2,…,M，根据训练样本所属类别基于Hebbian规则分别进行增加或衰减更新；该步骤只完成一次，至此完成所有连接权值的初步更新；
步骤D：设定类脑模型连接权值的更新准则，目标在于增加样本所属类别的竞争力；将所有样本依次输入模型；当模型对某样本能够进行可靠分类时，连接权值不更新；当模型并不能实现对某样本的可靠分类时，则对权值矩阵及依次进行更新，权值反复更新直至实现该样本的可靠分类，则对该样本的训练结束，将下一个训练样本输入模型；当模型对所有样本均完成一次训练后，则完成一次迭代；该过程包括多次迭代，直至模型对所有训练样本均能实现可靠分类，迭代结束，至此完成所有连接权值的次级更新；
步骤E：迭代更新完成后的连接权值用于测试数据，对分类效果进行评价。
2.根据权利要求1所述的基于类脑模型的多模态情感识别方法，其特征在于，所述步骤B包括：
步骤B1：设计一种具有子模块结构的类脑模块化神经网络，模块个数M与分类类别数相同，每个模块中的子模块个数N与特征模态数相同；
步骤B2：设计类脑模块化神经网络的连接结构；每个子模块内部的神经元相互连接，(表示第m个模块中第k个子模块内部神经元的连接权值矩阵，其中k＝1,2,…,N；m＝1,2,…,M；每个模块内的子模块之间设计连接结构，表示第m个模块中第k个子模块内部的神经元与第l个子模块内部的神经元之间的连接权值矩阵，其中k,l＝1,2,…,N；m＝1,2,…,M；在每个模块对应的子模块之间设计连接结构，表示第m个模块与第n个模块中对应的第k个子模块之间的连接权值矩阵，其中k＝1,2,…,N；m,n＝1,2,…,M；
步骤B3：第m个模块的输出为一个神经元Rm，m＝1,2,…,M，用来衡量该模块下所有神经元的活跃程度；首先定义每个神经元的活跃度如下：
<mrow> <msubsup> <mi>E</mi> <mrow> <mi>i</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mi>m</mi> </msubsup> <mo>(</mo> <mi>p</mi> <mo>)</mo> <mo>=</mo> <msubsup> <mi>f</mi> <mi>i</mi> <mi>k</mi> </msubsup> <mo>(</mo> <mi>p</mi> <mo>)</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mi>j</mi> <mo>&amp;NotEqual;</mo> <mi>i</mi> </mrow> <msub> <mi>N</mi> <mi>k</mi> </msub> </munderover> <msubsup> <mi>f</mi> <mi>j</mi> <mi>k</mi> </msubsup> <mo>(</mo> <mi>p</mi> <mo>)</mo> <msubsup> <mi>W</mi> <mrow> <mi>j</mi> <mo>,</mo> <mi>i</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mi>m</mi> </msubsup> <mo>+</mo> <msubsup> <mi>f</mi> <mi>i</mi> <mi>k</mi> </msubsup> <mo>(</mo> <mi>p</mi> <mo>)</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mi>l</mi> <mo>&amp;NotEqual;</mo> <mi>k</mi> </mrow> <mi>N</mi> </munderover> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>N</mi> <mi>l</mi> </msub> </munderover> <msubsup> <mi>f</mi> <mi>j</mi> <mi>l</mi> </msubsup> <mo>(</mo> <mi>p</mi> <mo>)</mo> <msubsup> <mi>V</mi> <mrow> <mi>j</mi> <mrow> <mo>(</mo> <mi>l</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>i</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mi>m</mi> </msubsup> <mo>+</mo> <msubsup> <mi>f</mi> <mi>i</mi> <mi>k</mi> </msubsup> <mo>(</mo> <mi>p</mi> <mo>)</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>h</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mi>h</mi> <mo>&amp;NotEqual;</mo> <mi>m</mi> </mrow> <mi>M</mi> </munderover> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>N</mi> <mi>k</mi> </msub> </munderover> <msubsup> <mi>f</mi> <mi>j</mi> <mi>k</mi> </msubsup> <mo>(</mo> <mi>p</mi> <mo>)</mo> <msubsup> <mi>U</mi> <mrow> <mi>j</mi> <mo>,</mo> <mi>i</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>h</mi> <mo>,</mo> <mi>m</mi> </mrow> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
其中，表示第m个模块中第k个子模块内部神经元i对第p个样本的活跃程度，fi k(p)为第p个样本的第k个模态下的第i个特征，为第p个样本的第k个模态下的第j个特征，为第p个样本的第l个模态下的第j个特征，为第m个模块中第k个子模块内部神经元j与神经元i的连接权值，为第m个模块中第l个子模块内部神经元j与第k个子模块内部神经元i之间的连接权值，为第h个模块中第k个子模块内部神经元j与第m个模块中对应的第k个子模块内部神经元i之间的连接权值，Nk为第k个模态数据中特征的个数，Nl为第l个模态数据中特征的个数；将每个模块下的所有神经元的活跃度求和即得到每个模块活跃度，则第m个模块的输出神经元Rm定义如下：
<mrow> <msup> <mi>R</mi> <mi>m</mi> </msup> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>N</mi> <mi>k</mi> </msub> </munderover> <msubsup> <mi>E</mi> <mrow> <mi>i</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mi>m</mi> </msubsup> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
采用“赢者全拿”策略判断对该样本的识别类别，即判定输出最大的模块所对应的类别为识别类别。
3.根据权利要求1所述的基于类脑模型的多模态情感识别方法，其特征在于，所述步骤C包括：
步骤C1：将每个模块中子模块内部神经元连接权值矩阵子模块之间的连接权值矩阵以及不同模块中对应子模块之间的连接权值矩阵初始值设为0，其中k,l＝1,2,…,N，m,n＝1,2,…,M；
步骤C2：对每个模块中子模块内部的连接权值矩阵使用属于对应类别的样本进行训练；对于属于第r类的第p个训练样本，第r个模块中第k个子模块内部神经元i和神经元j之间的连接权值更新规则如下：
<mrow> <msubsup> <mi>W</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mi>r</mi> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>W</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mi>r</mi> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>&amp;Delta;W</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>&amp;Delta;W</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>=</mo> <msubsup> <mi>f</mi> <mi>i</mi> <mi>k</mi> </msubsup> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <msubsup> <mi>f</mi> <mi>j</mi> <mi>k</mi> </msubsup> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
其中，i,j＝1,2,…,Nk，t表示迭代步数，Nk为第k个模态下的特征个数；
步骤C3：对每个模块中子模块之间的连接权值矩阵使用属于对应类别的样本进行训练；对于属于第r类的第p个训练样本，第r个模块中第l个子模块内部神经元i和第k个子模块内部神经元j之间的连接权值更新规则如下：
<mrow> <msubsup> <mi>V</mi> <mrow> <mi>i</mi> <mrow> <mo>(</mo> <mi>l</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>j</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mi>r</mi> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>V</mi> <mrow> <mi>i</mi> <mrow> <mo>(</mo> <mi>l</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>j</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mi>r</mi> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>&amp;Delta;V</mi> <mrow> <mi>i</mi> <mrow> <mo>(</mo> <mi>l</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>j</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>&amp;Delta;V</mi> <mrow> <mi>i</mi> <mrow> <mo>(</mo> <mi>l</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>j</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>=</mo> <msubsup> <mi>f</mi> <mi>i</mi> <mi>l</mi> </msubsup> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <msubsup> <mi>f</mi> <mi>j</mi> <mi>k</mi> </msubsup> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
其中，i＝1,2,…,Nl，j＝1,2,…,Nk，Nl和Nk分别为第l个模态及第k个模态下的特征个数；
步骤C4：对不同模块中对应子模块之间的连接权值矩阵使用属于对应类别的样本进行训练；设定模块对{r,s}，其中s＝1,2,…,M但是s≠r；对于属于第r类的第p个训练样本，从模块s中第k个子模块内部神经元i连向模块r中第k个子模块内部神经元j的连接权值更新规则如下：
<mrow> <msubsup> <mi>U</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>s</mi> <mo>,</mo> <mi>r</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>U</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>s</mi> <mo>,</mo> <mi>r</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>&amp;Delta;U</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>&amp;Delta;U</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>=</mo> <msubsup> <mi>f</mi> <mi>i</mi> <mi>k</mi> </msubsup> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <msubsup> <mi>f</mi> <mi>j</mi> <mi>k</mi> </msubsup> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
其中，i,j＝1,2,…,Nk，Nk为第k个模态下的特征个数；
相反地，从模块r中第k个子模块内部神经元j连向模块s中第k个子模块内部神经元i的连接权值更新规则如下：
<mrow> <msubsup> <mi>U</mi> <mrow> <mi>j</mi> <mo>,</mo> <mi>i</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>r</mi> <mo>,</mo> <mi>s</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>U</mi> <mrow> <mi>j</mi> <mo>,</mo> <mi>i</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>r</mi> <mo>,</mo> <mi>s</mi> </mrow> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>&amp;Delta;U</mi> <mrow> <mi>j</mi> <mo>,</mo> <mi>i</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
ΔUj,i(k)＝ΔUi,j(k) (11)
步骤C5：重复步骤C2-C4，直至完成对所有样本的一次训练，至此实现了连接权值的初步更新。
4.根据权利要求1所述的基于类脑模型的多模态情感识别方法，其特征在于，所述步骤D包括：
步骤D1：将第p个训练样本输入类脑模块化神经网络模型，初次执行该步骤时p＝1，使用当前连接矩阵按照公式(2)、(3)计算各模块的输出Rm，m＝1,2,…,M；
步骤D2：若样本p属于第r类，寻找除了第r个模块外，在其它模块中输出最大的模块，标记为模块s；计算第r个模块输出与第s个模块输出的差异百分比PD，定义如下；
<mrow> <mi>P</mi> <mi>D</mi> <mo>=</mo> <mfrac> <mrow> <mo>|</mo> <msup> <mi>R</mi> <mi>r</mi> </msup> <mo>-</mo> <msup> <mi>R</mi> <mi>s</mi> </msup> <mo>|</mo> </mrow> <msup> <mi>R</mi> <mi>r</mi> </msup> </mfrac> <mo>&amp;times;</mo> <mn>100</mn> <mi>%</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>
其中，Rr为第r个模块的输出，Rs为第s个模块的输出；则会出现以下三种情况：(a)若PD<0，则表示分类错误；(b)若0<PD<γ，虽然分类正确，但是并不可靠；(c)若PD>γ>0，则认为实现了可靠的分类，其中γ取值范围在[0.01,0.30]；当出现情况(a)和(b)时，将执行步骤D3-D5，对连接权值进行更新，以增加模块r的竞争力而减弱模块s的竞争力；当出现情况(c)时，连接权值不更新，直接跳至步骤D6；
步骤D3：模块r内部的连接权值以及从模块s中子模块连向模块r中对应子模块的连接权值将得到增强；具体为：第r个模块中第k个子模块内部神经元i和神经元j之间的连接权值按照公式(4)、(5)规则进行更新；第r个模块中第l个子模块内部神经元i和第k个子模块内部神经元j之间的连接权值按照公式(6)、(7)规则进行更新；从模块s中第k个子模块内部神经元i连向模块r中第k个子模块内部神经元j的连接权值按照公式(8)、(9)规则进行更新；
步骤D4：模块s内部的连接权值以及从模块r中子模块连向模块s中对应子模块的连接权值将得到减弱；具体为：第s个模块中第k个子模块内部神经元i和神经元j之间的连接权值衰减ΔWi,j(k)，更新规则如下：
<mrow> <msubsup> <mi>W</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mi>s</mi> </msubsup> <mrow> <mo>(</mo> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>W</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mi>s</mi> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>&amp;Delta;W</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>
第s个模块中第l个子模块内部神经元i和第k个子模块内部神经元j之间的连接权值衰减ΔVi(l),j(k)，更新规则如下：
<mrow> <msubsup> <mi>V</mi> <mrow> <mi>i</mi> <mrow> <mo>(</mo> <mi>l</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>j</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mi>s</mi> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>V</mi> <mrow> <mi>i</mi> <mrow> <mo>(</mo> <mi>l</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>j</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> <mi>s</mi> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>&amp;Delta;V</mi> <mrow> <mi>i</mi> <mrow> <mo>(</mo> <mi>l</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>j</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> </mrow>
从模块r中第k个子模块内部神经元j连向模块s中第k个子模块内部神经元i的连接权值按照公式(10)、(11)规则进行更新；
步骤D5：重复步骤D1、D2；
步骤D6：令p＝p+1，重复D1-D5，直至p＝P，其中P为样本个数，即完成了所有样本的一次迭代；
步骤D7：判断当前类脑模型是否能够实现对所有样本的可靠分类；若未能实现，设定p＝1，重复D1-D7，进行下一次迭代；若已实现，则步骤结束；至此，完成所有连接权值的次级更新。
CN201710406917.5A 2017-06-02 2017-06-02 一种基于类脑模型的多模态情感识别方法 Active CN107180236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710406917.5A CN107180236B (zh) 2017-06-02 2017-06-02 一种基于类脑模型的多模态情感识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710406917.5A CN107180236B (zh) 2017-06-02 2017-06-02 一种基于类脑模型的多模态情感识别方法

Publications (2)

Publication Number Publication Date
CN107180236A true CN107180236A (zh) 2017-09-19
CN107180236B CN107180236B (zh) 2020-02-11

Family

ID=59836571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710406917.5A Active CN107180236B (zh) 2017-06-02 2017-06-02 一种基于类脑模型的多模态情感识别方法

Country Status (1)

Country Link
CN (1) CN107180236B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886384A (zh) * 2019-02-15 2019-06-14 北京工业大学 一种基于鼠脑海马网格细胞重构的仿生导航方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887721A (zh) * 2010-07-19 2010-11-17 东南大学 一种基于心电信号与语音信号的双模态情感识别方法
KR20100128023A (ko) * 2009-05-27 2010-12-07 세종대학교산학협력단 생체신호 기반의 감정인식 시스템
KR20120092846A (ko) * 2011-02-14 2012-08-22 충남대학교산학협력단 멀티 모달리티 감정인식 시스템, 감정인식 방법 및 그 기록매체
US9031293B2 (en) * 2012-10-19 2015-05-12 Sony Computer Entertainment Inc. Multi-modal sensor based emotion recognition and emotional interface
CN105512609A (zh) * 2015-11-25 2016-04-20 北京工业大学 一种基于核超限学习机的多模融合视频情感识别方法
CN105868694A (zh) * 2016-03-24 2016-08-17 中国地质大学（武汉） 基于面部表情和眼球动作的双模态情感识别方法及系统
CN105956546A (zh) * 2016-04-28 2016-09-21 杭州电子科技大学 一种基于脑电信号的情绪识别方法
CN106250855A (zh) * 2016-08-02 2016-12-21 南京邮电大学 一种基于多核学习的多模态情感识别方法
CN106503646A (zh) * 2016-10-19 2017-03-15 竹间智能科技（上海）有限公司 多模态情感辨识系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100128023A (ko) * 2009-05-27 2010-12-07 세종대학교산학협력단 생체신호 기반의 감정인식 시스템
CN101887721A (zh) * 2010-07-19 2010-11-17 东南大学 一种基于心电信号与语音信号的双模态情感识别方法
KR20120092846A (ko) * 2011-02-14 2012-08-22 충남대학교산학협력단 멀티 모달리티 감정인식 시스템, 감정인식 방법 및 그 기록매체
US9031293B2 (en) * 2012-10-19 2015-05-12 Sony Computer Entertainment Inc. Multi-modal sensor based emotion recognition and emotional interface
CN105512609A (zh) * 2015-11-25 2016-04-20 北京工业大学 一种基于核超限学习机的多模融合视频情感识别方法
CN105868694A (zh) * 2016-03-24 2016-08-17 中国地质大学（武汉） 基于面部表情和眼球动作的双模态情感识别方法及系统
CN105956546A (zh) * 2016-04-28 2016-09-21 杭州电子科技大学 一种基于脑电信号的情绪识别方法
CN106250855A (zh) * 2016-08-02 2016-12-21 南京邮电大学 一种基于多核学习的多模态情感识别方法
CN106503646A (zh) * 2016-10-19 2017-03-15 竹间智能科技（上海）有限公司 多模态情感辨识系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AHMAD RABIE 等: "Evaluation and Discussion of Multi-modal Emotion Recognition", 《2009 SECOND INTERNATIONAL CONFERENCE ON COMPUTER AND ELECTRICAL ENGINEERING》 *
WEI LIU 等: "Multimodal Emotion Recognition Using Multimodal Deep Learning", 《ARXIV》 *
王蓓 等: "基于表情和语音的多模态情感识别研究", 《信息化研究》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886384A (zh) * 2019-02-15 2019-06-14 北京工业大学 一种基于鼠脑海马网格细胞重构的仿生导航方法
CN109886384B (zh) * 2019-02-15 2021-01-05 北京工业大学 一种基于鼠脑海马网格细胞重构的仿生导航方法

Also Published As

Publication number Publication date
CN107180236B (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN105105743B (zh) 基于深度神经网络的心电图智能处理方法
CN107822623A (zh) 一种基于多源生理信息的驾驶员疲劳及情绪评价方法
CN106503799A (zh) 基于多尺度网络的深度学习模型及在脑状态监测中的应用
CN109948783A (zh) 一种基于注意力机制的网络结构优化方法
Somoza et al. A neural-network approach to predicting admission decisions in a psychiatric emergency room
Mitra et al. Fuzzy self-organization, inferencing, and rule generation
Sirois et al. Neural network modeling of developmental effects in discrimination shifts
JP2022039977A (ja) ドライバー方向転換意思連続予測方法およびシステム
CN108510126A (zh) 一种基于pca和bp神经网络的交通事故预测方法
CN112163620A (zh) 一种stacking模型融合方法
CN107180236A (zh) 一种基于类脑模型的多模态情感识别方法
Carpenter et al. ART neural networks for medical data analysis and fast distributed learning
US20050246298A1 (en) Device for context-dependent data analysis
Misra et al. Pattern classification using polynomial neural network
Abitha et al. Evolutionary multi-objective optimization of artificial neural network for classification of autism spectrum disorder screening
CN115527673A (zh) 一种基于大数据的心理健康风险筛查系统及其方法
Muhammad et al. Survey on training neural networks
Bachtiar et al. Student grouping by neural network based on affective factors in learning English
Mokom et al. Improving artifact selection via agent migration in multi-population cultural algorithms
Yusof et al. Evaluation of Student's Performance and Learning Efficiency based on ANFIS
Nakamura et al. Automatic EEG interpretation adaptable to individual electroencephalographer using artificial neural network
JPH04501327A (ja) パターン伝達ニューラルネットワーク
Anderson et al. Assessing metacognitive skills using adaptive neural networks
Gorobii Implementation of Selective Pressure Mechanism to Optimize Memory Consumption in the Synthesis of Neuromodels for Medical Diagnostics
Liu Awareness and Cooperation in Neural Network Ensemble Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant