CN108734208B - 基于多模态深度迁移学习机制的多源异构数据融合系统 - Google Patents

Abstract

本发明公开了一种基于多模态深度迁移学习机制的多源异构数据融合系统，包括：信号采集器、处理器以及结果输出模块；所述信号采集器：用于获取检测对象的多源异构信息；所述处理器：包括用于分别提取源信息和目标信息的深度特征学习模块，参数传递模块，以及预先训练好的分类器或回归器，通过所述分类器检测对象类别或通过所述回归器检测对象数值；所述结果输出模块：用于输出分类器或回归器的判断结果。本发明提供的一种基于多模态深度迁移学习机制的多源异构数据融合系统，检测过程采用分类器或回归器，可以融合多源异构数据，有效解决样本少的问题，自动提取目标高层多模态特征，精度高，而且使用方便。

Description

基于多模态深度迁移学习机制的多源异构数据融合系统

技术领域

本发明涉及人工智能和信号处理技术，具体涉及到一种基于多模态深度迁移学习机制的多源异构数据融合系统。

背景技术

目前大多数目标分类与检测研究都涉及到复杂目标，为了充分检测目标信息，就需要采用多源多模态传感器进行信息探测，然后进行融合，便于后续的分类与回归。由于多源多模态传感器因其探测信息机理不同，所探测的信息存在多源异构的特点，且由于大多数情况下目标数据样本较少，因此传统方法难以取得较好的效果。因此如何实现非大样本情况下的多源异构数据融合是一个当前研究的热点和难点。

目前多源异构数据融合方法方面的研究较少，其主要方法思路是：先对不同模态样本进行时空配准，获取对应感兴趣，然后提取特征，合并特征，对特征进行选择或者转换，形成融合后的多模态特征。这种方法思路其缺陷是：

(1)现有研究大多处于理论研究阶段，产品化较少；

(2)现有各种融合方法难以实现对原始信息实现高质量的非线性变换，从而获取高层次特征，以实现对目标的精确完整表征。

(3)现有融合方法需要对多源异构数据进行时空配准等预处理操作，难度大，且需要人工干预，无法实现端到端的处理。

(4)现有融合方法需要根据经验知识进行特征提取，主观性强，稳定性差，自适应性差，难以适应复杂多变情况下的分类和回归要求。

(5)基于传统深度学习的融合方法缺乏对小样本的解决能力，尤其是多模态小样本融合问题。传统的迁移学习不具备对原始信息实现高质量的非线性变换。

发明内容

为了解决上述问题，本发明提供一种基于多模态深度迁移学习机制的多源异构数据融合系统，通过设计多模态深度迁移学习机制实现高效的多源异构数据融合方法与系统，从而有效提高小样本情况下多源异构信息融合的准确性、自适应性和智能化水平。

为实现上述目的，本发明所采用的具体技术方案如下：

一种基于多模态深度迁移学习机制的多源异构数据融合系统，其关键在于包括：信号采集器、处理器以及结果输出模块；

所述信号采集器：用于获取检测对象的多源异构信息，包括多个模态的源信息和目标信息；

所述处理器：分别针对每一种模态建立对应的单模态源深度迁移学习模型和目标深度迁移学习模型，其中单模态源深度迁移学习模型是通过源数据集预先训练得到的，所述目标深度迁移学习模型是通过目标数据集训练得到的，且单模态源深度迁移学习模型中未完全连接的层和参数被迁移至目标深度迁移学习模型中的对应层次中；处理器还将多个目标深度迁移学习模型输出的特征进行选择和融合，然后得到多模态特征并采用分类器或回归器进行分类或回归操作；

所述结果输出模块：用于输出分类器或回归器的判断结果。

可选地，所述信号采集器采集有三个模态的源信息和目标信息，包括人脸信号、步态信号和语音信号。具体实施时，也可以根据已有的数据库以及数据获取的方便性选择其它模态的数据，比如光谱、红外、雷达等，不仅限于应用举例中所提到的三种模态信号。

可选地，所述单模态源深度迁移学习模型包括两层卷积层、两层池化层和三层全连接层。

可选地，所述目标深度迁移学习模型中包括两层卷积层、两层池化层、全局池化层、第一全连接层、批量规范化层、舍弃层和第二连接层，所述两层卷积层、两层池化层是由训练好的单模态源深度迁移学习模型直接迁移而来。

在单模态源深度迁移学习模型和目标深度迁移学习模型中，卷积层、池化层和全连接层的层数可根据具体数据情况优化而定。

可选地，所述卷积层描述为：

其中，M_j代表着对输入特征图进行选择，

代表第l-1层的第i个特征图，对应为第l层中的第i个输入，

代表着第l层输出的第j个特征图，

代表着第l层中第i个输入对应第j个输出的核函数，

代表第l层对应第j个输出的初始偏置。

可选地，所述池化层描述为：

其中，

代表着第l层池化输出的第j个特征图，pool是一个用来求领域平均值或最大值的函数。

可选地，所述批量规范化层中通过加入了β和γ两个训练参数实现批量规范，使其输出均值为0，方差为1，具体过程为：

通过批量规范化层可以得到输出B＝(y₁,y₂,y₃…y_n-1,y_n)，其中x_j表示第一全连接层的第j个输出变量，E(F_c1)表示第一全连接层所有输出的平均值，Var(F_c1)表示第一全连接层所有输出的方差，

为中间变量，y_j为批量规范化层的第j个输出变量。

可选地，所述舍弃层用于减少神经元个数以防止过拟合，具体表示为：

其中，r是满足伯努利分布的独立随机变量，每一个都成为1的概率为p，w_i和b_i分别是权重值和偏置，B为输入变量，

为中间变量，f是激活函数，z_i为舍弃层的第i个输出，通过这一层我们可以得到输出特征图：

D＝(z₁,z₂,z₃…z_n-1,z_n)。

本发明的显著效果是：

本系统通过构建多个模态的单模态深度迁移网络模型自动获取目标高层特征矢量，并进行数据融合处理，有效实现了多源异构数据的融合，解决了样本少的问题，精度高，而且使用方便。

附图说明

图1为本发明实施例提供的多模态信号深度卷积特征融合示意图；

图2为步态单模态深度迁移学习模型；

图3为人脸单模态深度迁移学习模型；

图4为语音单模态深度迁移学习模型；

图5为多模态深度融合模型。

具体实施方式

下面以基于多模态深度迁移学习的多源异构数据融合及帕金森病自动检测系统为例，说明本专利如何实现多源异构数据融合，并用于帕金森病自动检测。图1为本发明专利的示意图。首先，构造源数据集和目标数据集。其次，基于图2-图4，分别针对语音、人脸、步态建立对应的单模态源深度迁移学习模型和目标深度迁移学习模型。然后，基于图5，将三个模态的目标深度迁移学习模型进行融合，从而完成基于多模态深度迁移学习的多源异构数据融合。最后基于融合后的多模态特征，采用分类器或回归器进行分类或回归操作，实现目标分类或数值检测。为了便于描述，本实例中采用的深度神经网络是深度卷积网络(CNN)。

具体而言，将系统分为信号采集器、处理器以及结果输出模块；

首先，利用信号采集器获取相关的数据构造源数据集和目标数据集，本实施例实现了三模态的深度迁移学习模型，这三种模态分别为人脸、步态与语音。源数据集分别来自公共数据库LFW(10000个样本)、CASIA-B(10000个样本)与TIMIT(5000个样本)。目标数据集为医院采集的帕金森病人与正常人的人脸、步态及语音，这三种模态分别有100个样本，帕金森病人与正常人比例为1:1。采用统计分析获取与目标数据集相关性较大的源数据集，从而为深度迁移学习提供迁移对象。以语音样本为例，将TIMIT的5000个样本分为50组，每组100个样本，将每组100样本与目标数据集中的语音样本做相关性分析，取相关性较大的25组样本作为源数据集。

其次，利用处理器别针对每一种模态建立对应的单模态源深度迁移学习模型和目标深度迁移学习模型，本实施例采用卷积神经网络(CNN)模型，由两层卷积层、两层池化层和三层全连接层组成，利用源数据集进行训练，这里的卷积层的每个输出特征图是由多个输入特征图和内核进行卷积；池化层是通过核函数对前一层的输出进行池化处理；全连接层是通过权重来连接所有神经元。

具体而言，在卷积层，先前的特征映射层和训练的内核被卷积，然后输出特征由激活函数形成。每个输出映射由多个输入映射和内核进行卷积，一般可描述为：

其中，M_j代表着对输入特征图进行选择，

代表第l-1层的第i个特征图，对应为第l层中的第i个输入，

代表着第l层输出的第j个特征图，

代表着第l层中第i个输入对应第j个输出的核函数，

代表第l层对应第j个输出的初始偏置。

在池化层中，用核函数对前一层的输出特征图进行池化，可描述为：

其中，

代表着第l层池化输出的第j个特征图，pool是一个用来求领域平均值或最大值的函数，通过使用样本数据库中大量样本来训练预训练模型，我们可以得到参数k和b。

对于CNN应用来说，要得到一个完美的分类器，不仅要设计一个好的网络结构，还需要有足够的标签样本。但现实情况是标签样本的数量是有限的。迁移学习可以有效解决这个问题，它是指在其他大型数据集上预先训练好的深度学习模型的微调。在本系统中，CNN模型即单模态源深度迁移学习模型是在源数据集预先训练得到的。然后将全连接层的结构替换为新的结构，只保留未完全连接的层和参数得到重建模型。为了加速收敛和减少过拟合，在预先训练的模型之后加入了批量规范化层和舍弃层。最后将重建模型应用于目标数据集训练得到单模态目标深度迁移学习模型。

通过迁移学习获得单模态源深度迁移学习模型并将其加载到重建模型相应的卷积层中。因此，可以得到新结构中的非全连接层的输出特征图，将其定义为：

H′＝(h′₁,h′₂,h′₃…h′_n-1,h′_n)。

为减少可训练参数的数量，我们对所有的特征图进行全局池化处理

x_j＝average(h′_j)，

可以得到第一全连接层的输出为

F_c1＝(x₁,x₂,x₃…x_n-1,x_n)。

如果简单的对图层进行归一化会影响分类器的性能，为了解决这个问题，所述重建模型的全连接层中加入了批量规范化层，在批量规范化层中通过加入了β和γ两个训练参数实现批量规范，使其输出均值为0，方差为1。具体过程为

通过批量规范化层可以得到输出B＝(y₁,y₂,y₃…y_n-1,y_n)。

所述舍弃层用于减少神经元个数以防止过拟合，具体可以表示为

其中，r是满足伯努利分布的独立随机变量，每一个都成为1的概率为p，w和b分别是权重值和偏置，f是激活函数，通过这一层我们可以得到输出特征图

D＝(z₁,z₂,z₃…z_n-1,z_n)。

可以得到模型的预测分布

为：

通过最小化预测分布和真实分布之间的交叉熵可以定义目标损失函数为

真实分布函数为

通过

a∈classes可以得到每个样本预测类别，重建模型输出的分类结果为正常和异常两种情况。

将目标数据集应用于重建模型并进行微调得到单模态目标深度迁移学习模型。

然后，基于图5，将三个模态的目标深度迁移学习模型进行融合，从而完成基于多模态深度迁移学习的多源异构数据融合。人脸信号、步态信号、语音信号经过深度迁移网络模型将得到其高层特征f₁、f₂及f₃。将f₁、f₂及f₃进行特征选择，加权融合，得到多模态特征。最后基于融合后的多模态特征，采用分类器或回归器进行分类或回归操作，实现目标分类或数值检测，本实施例最终采用分类器实现目标分类。

最后通过结果输出模块输出分类器的判断结果。

基于上述系统进行数据融合后再进行分类器判断，分类判别效果可以得到明显提升，如表1所示的效果对比数据。从表中可以看出，本发明有效实现了多模态异构数据融合。融合后的分类准确率显著高于单模态下的分类结果。此外，由于本实例中，PD受试者样本较少(仅150个)，有效解决样本少的问题，系统能自动提取目标高层多模态特征，精度高，而且使用方便。因此本发明专利可以有效应用与许多非大样本下的多模态异构数据融合的应用场景。

表1本发明分类结果对比

最后需要说明的是，上述描述为本发明的优选实施例，本领域的普通技术人员在本发明的启示下，在不违背本发明宗旨及权利要求的前提下，可以做出多种类似的表示，这样的变换均落入本发明的保护范围之内。

Claims (7)

1.一种基于多模态深度迁移学习机制的多源异构数据融合系统，其特征在于包括：信号采集器、处理器以及结果输出模块；

所述信号采集器：用于获取检测对象的多源异构信息，包括多个模态的源信息和目标信息；

所述处理器：分别针对每一种模态建立对应的单模态源深度迁移学习模型和目标深度迁移学习模型，其中单模态源深度迁移学习模型是通过源数据集预先训练得到的，所述目标深度迁移学习模型是通过目标数据集训练得到的，且单模态源深度迁移学习模型中未完全连接的层和参数被迁移至目标深度迁移学习模型中的对应层次中；处理器还将多个目标深度迁移学习模型输出的特征进行选择和融合，然后得到多模态特征并采用分类器或回归器进行分类或回归操作；

所述结果输出模块：用于输出分类器或回归器的判断结果；

所述信号采集器采集有三个模态的源信息和目标信息，包括人脸信号、步态信号和语音信号。

2.根据权利要求1所述的基于多模态深度迁移学习机制的多源异构数据融合系统，其特征在于，所述单模态源深度迁移学习模型包括两层卷积层、两层池化层和三层全连接层。

3.根据权利要求2所述的基于多模态深度迁移学习机制的多源异构数据融合系统，其特征在于，所述目标深度迁移学习模型中包括两层卷积层、两层池化层、全局池化层、第一全连接层、批量规范化层、舍弃层和第二连接层，所述两层卷积层、两层池化层是由训练好的单模态源深度迁移学习模型直接迁移而来。

4.根据权利要求3所述的基于多模态深度迁移学习机制的多源异构数据融合系统，其特征在于，所述卷积层描述为：

其中，M_j代表着对输入特征图进行选择，

代表第l-1层的第i个特征图，对应为第l层中的第i个输入，

代表着第l层输出的第j个特征图，

代表着第l层中第i个输入对应第j个输出的核函数，

代表第l层对应第j个输出的初始偏置。

5.根据权利要求4所述的基于多模态深度迁移学习机制的多源异构数据融合系统，其特征在于，所述池化层描述为：

其中，

代表着第l层池化输出的第j个特征图，pool是一个用来求领域平均值或最大值的函数。

6.根据权利要求4所述的基于多模态深度迁移学习机制的多源异构数据融合系统，其特征在于，所述批量规范化层中通过加入了β和γ两个训练参数实现批量规范，使其输出均值为0，方差为1，具体过程为：

通过批量规范化层可以得到输出B＝(y₁,y₂,y₃···y_n-1,y_n)，其中x_j表示第一全连接层的第j个输出变量，E(F_c1)表示第一全连接层所有输出的平均值，Var(F_c1)表示第一全连接层所有输出的方差，

为中间变量，y_j为批量规范化层的第j个输出变量。

7.根据权利要求4所述的基于多模态深度迁移学习机制的多源异构数据融合系统，其特征在于，所述舍弃层用于减少神经元个数以防止过拟合，具体表示为：

r_j～Bernoulli(p)；

其中，r是满足伯努利分布的独立随机变量，每一个都成为1的概率为p，w_i和b_i分别是权重值和偏置，B为输入变量，

为中间变量，f是激活函数，z_i为舍弃层的第i个输出，通过这一层我们可以得到输出特征图：

D＝(z₁,z₂,z₃···z_n-1,z_n)。

Images