CN109190550A - 联合微表情多输入信息的深度神经网络多源数据融合方法 - Google Patents

Abstract

本发明公开一种联合微表情多输入信息的深度神经网络多源数据融合方法，采用联合微表情及多输入信息的深度神经网络学习架构，针对情感计算的前端多源数据，首先通过非监督贪婪逐层训练方法，重构生成特定的情感分析模型的特征权值，通过它将值传递到隐层。以重构原始的输入数据；通过双向数据层与隐层的多次迭代，以获得情感特征真实表达。并且通过顶层的数据特征向量融合，形成高精度的异构多维数据的融合目标信息。本发明提出基于SAE架构的稀疏编码，通过自下而上的稀疏编码理论对高维生理特征向量进行降维，使得较少超完备生理特征数据基向量就可以精确的代表原来的高维特征。

Description

联合微表情多输入信息的深度神经网络多源数据融合方法

技术领域

本发明属于情感计算判断领域，特别涉及一种联合微表情多输入信息的深度神经网络多源数据融合方法。

背景技术

当前的情感计算中，对于数据特征提取、分类、回归等方法可以作为单一传感器识别认知，或是浅层结构，其局限性在有限传感器单元情况下对目标特征识别能力有限，针对复杂目标识别及分类问题其泛化能力受到一定制约。

发明内容

为了克服上述现有技术的不足，本发明提供了一种联合微表情及多输入信息的深度神经网络多源数据融合方法。

本发明所采用的技术方案是：

一种联合微表情多输入信息的深度神经网络多源数据融合方法，包括以下步骤：

1)基于DBM网络的深度学习架构，在靠近底层海量数据使用贝叶斯信念网络DBM，即有向图模型，层中节点之间没有链接，而在最远离部分使用限制玻尔兹曼机DBN，通过结合贝叶斯信念网络DBM和限制玻尔兹曼机DBN，增加隐藏层的层数，得到DBM网络；DBM网络是一个概率生成模型，生成模型是建立一个海量数据和特征之间的联合分布；DBM底层由多个DBN层组成；这些网络被“限制”为一个数据层和一个隐层，层间存在连接，但层内的单元间不存在连接；隐层单元被训练去捕捉在数据层表现出来的高阶数据的相关性，该部分由DBM构成，通过概率转移可以双向刻画数据特征；最顶构成相关、融合的两层，一个DBM的连接是通过自顶向下的生成权值来指导确定的，DBN相比传统和深度分层的网络，能易于连接权值的学习；

2)DBM深度学习网络通过一个非监督贪婪逐层方法去预训练获得生成模型的权值，可以获得多源异构传感器数据的初始特征，在这个训练阶段，在海量数据层会产生一个向量，将值传递到隐层，得到参数特征；反过来，这些参数特征会尝试去重构原始的输入数据，得到新的表达特征；

3)同时，新的表达特征激活单元将传递隐层激活单元，获得新的权值；进行深度权值训练；在此过程中，首先将初始特征向量值传递给隐单元；然后特征向量由隐层单元重建得到新特征向量；新特征向量再次映射给隐单元，获取新的隐单元；通过增加进网络的层数改变训练数据的概率，获得越来越接近多源异构数据的真实表达，进而获得高层次的信息特征；

4)在最高两层，通过数据特征融合，更高级的输出将会提供一个理想参考，顶层就会融合相邻近的特征信息；在这里，多源异构数据学习特征标签集将被附加到顶层，同时DBM利用邻域的相关关系，达到生成模型的特征变换不变性，而且更容易的变换到高维特征。

本发明的有益效果是：

1、深度神经网络的信息统一存储在网络的连接权值和连接结构上,使得多源数据表示具有统一的形式。

2、深度神经网络可增加信息处理的容错性,当某个信源的数据出现差错时,神经网络的容错功能可以使系统正常工作,并输出可靠的信息。

3、深度神经网络的自学习和自组织功能,使系统能适应环境的不断变化以及输入数据的不确定性。

4、深度神经网络的并行结构和并行处理机制。使得信息处理速度快,能够满足信息的实时处理要求。

5、多源异构信息融合，是建立在针对情感计算的前端多源数据，包括微表情、声纹、皮肤电、心电、血压，呼吸等多源信息数据。深度学习通过构建具有多隐层的机器学习模型和海量的训练数据，来学习数据特征，从而提升分类或预测的准确性。1)强调了模型结构的深度，通常有多隐层节点。2)明确突出了特征学习的重要性，通过逐层特征变换，将数据在原空间的特征变换到一个新特征空间，从而使分类或预测更加容易。利用多源异构数据来获取融合特征，更能够表达数据的丰富内在信息。

附图说明

图1是基于DBN网络的多源异构信息深度学习架构图。

图2是基于模糊函数的融合决策图。

具体实施方式

下面结合说明书附图1、2对本发明进一步详细说明。

一种联合微表情及多输入信息的深度神经网络多源数据融合方法，包括以下步骤：

1)基于DBM网络的深度学习架构，在靠近底层海量数据使用贝叶斯信念网络DBM，即有向图模型，层中节点之间没有链接，而在最远离部分使用限制玻尔兹曼机DBN，通过结合DBM和DBN，增加隐藏层的层数，得到DBM；DBM是一个概率生成模型，生成模型是建立一个海量数据和特征之间的联合分布；DBM底层由多个DBN层组成；这些网络被“限制”为一个数据层和一个隐层，层间存在连接，但层内的单元间不存在连接；隐层单元被训练去捕捉在数据层表现出来的高阶数据的相关性，该部分由DBM构成，通过概率转移可以双向刻画数据特征；最顶构成相关、融合的两层，一个DBM的连接是通过自顶向下的生成权值来指导确定的，DBN相比传统和深度分层的网络，它能易于连接权值的学习；

2)DBM深度学习网络通过一个非监督贪婪逐层方法去预训练获得生成模型的权值，可以获得多源异构传感器数据的初始特征，这些特征包括，包括微表情、声纹、皮肤电、心电、血压，呼吸等多源信息数据。在这个训练阶段，在海量数据层会产生一个向量，通过它将值传递到隐层。反过来，这些参数特征会尝试去重构原始的输入数据；

3)同时，这些新的表达特征激活单元将上传递隐层激活单元，获得新的权值；通过深度权值训练；在此过程中，首先将初始特征向量值传递给隐单元；然后特征向量由隐层单元重建；这些新特征向量再次映射给隐单元，这样就获取新的隐单元。通过增加进网络的层数会改变训练数据的概率，以获得越来越接近多源异构数据的真实表达，进而获得高层次的信息特征。

4)在最高两层，通过数据特征融合，这样更高级的输出将会提供一个理想参考，这样顶层就会融合相邻近的特征信息。在这里，多源异构数据学习特征标签集将被附加到顶层，同时DBM利用邻域的相关关系，达到生成模型的特征变换不变性，而且更容易的变换到高维特征。

基于多层神经网络架构的多源信息融合本质对人脑综合处理复杂问题的一种功能模拟。它充分利用多维度的信息，如微表情，声纹，微表情、声纹、皮肤电、心电、血压，呼吸等多源信息特征，通过对这些多维度信息的特征合理支配和使用,把多维度信息在时间或空间上的冗余或互补信息依据多层网络的特征权值重构进行组合,以获得被测人的情感的一致性解释或描述,使得该深度神经网络的融合系统由此而获得比它的各组成部分的子集所构成的系统更优越的性能。在多源数据系统中,针对微表情、声纹、皮肤电、心电、血压，呼吸等多源信息特征，不同维度的数据具有以下特征，时变的或者非时变的:实时的或者非实时的，快变的或者缓变的，模糊的或者确定的，精确的或者不完整的；可靠的或者非可靠的。

Claims (1)

1.一种联合微表情多输入信息的深度神经网络多源数据融合方法，其特征在于，包括以下步骤：

1)基于DBM网络的深度学习架构，在靠近底层海量数据使用贝叶斯信念网络DBM，即有向图模型，层中节点之间没有链接，而在最远离部分使用限制玻尔兹曼机DBN，通过结合贝叶斯信念网络DBM和限制玻尔兹曼机DBN，增加隐藏层的层数，得到DBM网络；DBM网络是一个概率生成模型，生成模型是建立一个海量数据和特征之间的联合分布；DBM底层由多个DBN层组成；这些网络被“限制”为一个数据层和一个隐层，层间存在连接，但层内的单元间不存在连接；隐层单元被训练去捕捉在数据层表现出来的高阶数据的相关性，该部分由DBM构成，通过概率转移可以双向刻画数据特征；最顶构成相关、融合的两层，一个DBM的连接是通过自顶向下的生成权值来指导确定的，DBN相比传统和深度分层的网络，能易于连接权值的学习；

2)DBM深度学习网络通过一个非监督贪婪逐层方法去预训练获得生成模型的权值，可以获得多源异构传感器数据的初始特征，在这个训练阶段，在海量数据层会产生一个向量，将值传递到隐层，得到参数特征；反过来，这些参数特征会尝试去重构原始的输入数据，得到新的表达特征；

3)同时，新的表达特征激活单元将传递隐层激活单元，获得新的权值；进行深度权值训练；在此过程中，首先将初始特征向量值传递给隐单元；然后特征向量由隐层单元重建得到新特征向量；新特征向量再次映射给隐单元，获取新的隐单元；通过增加进网络的层数改变训练数据的概率，获得越来越接近多源异构数据的真实表达，进而获得高层次的信息特征；

4)在最高两层，通过数据特征融合，更高级的输出将会提供一个理想参考，顶层就会融合相邻近的特征信息；在这里，多源异构数据学习特征标签集将被附加到顶层，同时DBM利用邻域的相关关系，达到生成模型的特征变换不变性，而且更容易的变换到高维特征。