CN105142096A - 物联网中基于神经网络的跨媒体数据融合方法 - Google Patents

Abstract

本发明了一种物联网中基于神经网络的跨媒体数据融合方法。包括以下步骤：（1）输入各单一媒体样本数据集和跨媒体样本集（2）对整个物联网网络进行分簇，并将网络初始化成多入单出神经网络（3）根据输入的各单一媒体样本集训练出多入单出神经网络（4）用训练出的神经网络输入层在物联网中采集数据，并将单一媒体数据融合至簇头节点输出，完成单一媒体的数据融合（5）以簇头节点作为新的输入层节点，对新的输入层节点再次分簇，并将其初始化成多入多出神经网络（6）根据跨媒体样本集，训练出多入多出神经网络（7）通过训练出的多入多出神经网络将新输入层的各单一媒体数据融合到sink节点，完成跨媒体的数据融合。

Description

物联网中基于神经网络的跨媒体数据融合方法

技术领域

本发明涉及数据融合领域，具体涉及到一种物联网中基于神经网络的跨媒体数据融合方法。

背景技术

物联网（Internetofthings）是通过智能感知、识别与普适计算等通信感知技术，实现物物相连的互联网。无线传感器网络是物联网的重要组成部分。基于无线传感器网络的物联网有网络规模大，采集数据量庞大，且同种机器（物品）产生的数据高度相似的特点。因此，若将每个节点感知的数据直接发送给sink节点，不但造成网络资源的浪费，而且不能根据用户需求获取所需数据（一般用户在物联网中获取的数据是机器产生的高度相似的单一媒体数据），也不能实现跨媒体的数据融合。针对上述问题，需要寻求新的解决方案。

对无线传感器网络进行分簇具有拓扑管理方便、能量利用高效、数据融合简单等优点。将感知区域内的感知节点划分成多个簇，每个簇通常包括若干个簇头节点和多个簇内成员节点，由簇头节点负责对簇内成员节点感知的数据进行融合，从而减少数据通信量。在一个簇内，成员节点负责采集数据，然后将采集的数据上传至簇头节点，簇头节点承担簇内数据收集、压缩融合处理、各簇头将处理后的数据转发至sink节点。簇内节点的数据经簇头节点压缩融合处理后，大量的冗余数据将被丢弃。

数据融合（datafusion）是无线传感器网络中一种减少传感器节点间的数据通信、降低能耗、延长网络寿命的有效技术手段。数据融合技术对系统的影响主要表现在两个方面:节省能耗、增加时延。实际上，这是一对无法调和的矛盾。也就是说，通过数据融合方法可以节省能耗，但不可避免地增加了数据传输的延迟时间。数据融合技术最早应用于军事领域，目前融合的方法主要分为三类：基于像元级的融合、基于特征级的融合和基于决策级的融合，融合水平依次从低到高。随着数据融合技术的发展，实际应用的需求和研究领域的细分，衍生出新的研究领域--—跨媒体数据融合。跨媒体数据融合作为数据融合的一个子领域，主要解决不同模态媒体间的数据融合问题，这类问题的主要特点是：不同模态媒体间的数据向量维度相差很大，不易统一；不同模态媒体间提取出的特征在内容上相关性很低，融合难度大。目前，根据是否对不同媒体提取的特征向量做中间处理，跨媒体数据融合的方法分为早期跨媒体数据融合和后期跨媒体数据融合两种方案。后期跨媒体数据融合相对早期跨媒体数据融合水平明显要高，处理方法也更加丰富，但纵观目前的研究现状，这些都是远远不够的。因此应用和发明新的方法快速高效的解决上述问题具有重要意义。

神经网络与数据融合具有一个共同的基本特征，即通过对大量的数据进行一定的运算和处理，得到能够反映这些数据特征的结论性的结果。因此，可以利用神经网络的方法来实现和解决数据融合的问题。研究人员在最近几年开展了不少基于神经网络的数据融合方法的研究工作，但这些工作大部分是基于多传感器的应用场合来设计的，针对无线传感器网络应用神经网络的数据融合方法非常少见。相对而言，无线传感器网络的节点规模要明显大于多传感器应用的节点规模，而且无线传感器网络节点受到能量、处理器、存储空间等系统资源的限制，更有技术难度和挑战性。

综上所述，现有物联网中关于数据融合方法都能在一定程度上减少网络的数据传输，从而减少存储空间和冗余数据的传输，但是，如何在大量减少冗余数据传输的同时根据用户需求综合的获取数据，实现跨媒体数据融合，目前尚没有合适的解决方案。

发明内容

针对上述问题，本发明的目的在于，提出物联网中基于神经网络的跨媒体数据融合方法。通过对单一媒体分簇，并将其初始化成多入单出神经网络，对单一媒体进行一次数据融合，然后将簇头作为新的输入层，并初始化成多入多出神经网络，把各簇头的不同媒体数据通过比较相关系数ρ的大小来判断是否将数据传给sink节点，然后sink节点收集数据，从而完成跨媒体的数据融合；此过程不仅能够大量的简化媒体间的数据量，并且能根据用户需求综合获取数据和完成跨媒体间数据融合。

本发明的主要步骤为：首先，在物联网网络中用多入单出神经网络，通过取一段时间t内的均值，把单一媒体数据融合至簇头节点。然后以簇头节点作为多入多出神经网络的输入层，通过计算不同媒体间数据的相关系数，把跨媒体数据融合至sink节点，完成跨媒体的数据融合，其流程如图1所示，其具体步骤包括如下：

步骤一、输入各单一媒体样本数据集和跨媒体样本数据集；

步骤二、对整个物联网进行分簇，并将网络初始化成多入单出神经网络；

步骤三、根据输入的各单一媒体样本数据集训练出多入单出神经网络；

步骤四、用训练出的多入单出神经网络输入层节点在物联网中采集数据，并将单一媒体数据融合至簇头节点输出，完成单一媒体的数据融合；

步骤五、以簇头节点作为新的输入层节点，对新的输入层节点再次分簇，并将其初始化成多入多出神经网络；

步骤六、根据跨媒样本体数据集，训练出多入多出的神经网络；

步骤七、通过多入多出神经网络将新输入层节点的单一媒体数据融合到sink节点，完成跨媒体的数据融合。

本发明具有如下优点：

1、本发明提出在物联网中用神经网络来完成跨媒体数据融合的方法，能减少大量冗余数据，获取用户想要的数据，减少通信量；

2、能克服物联网中获取的数据单一的特点，可根据用户需求完成跨媒体的数据融合。

附图说明

图1是物联网中基于神经网络的跨媒体数据融合方法的流程图；

图2是神经网络训练的流程图；

图3是单一媒体分簇示意图；

图4跨媒体间的数据融合图。

具体实施方式

本发明设计了一种物联网中基于神经网络的跨媒体数据融合方法，结合附图，本发明的具体步骤如下：

步骤一、输入各单一媒体样本数据集和跨媒体样本数据集。

步骤二、对整个物联网网络进行分簇，并将网络初始化成多入单出神经网络，如图3所示，具体步骤如下：

1）将n个感知节点分布在一个半径为的圆形区域，假设所有感知节点初始能量相同，信道为无损信道；

2）设定簇头节点占感知节点总数的比率为（通常为5%––8%）,则所有感知节点按地理位置分为个簇，图3中一共分了7个簇，每个簇划分成一个新的小圆形区域，簇头为距离圆心最近的节点，同一个簇内的节点只采集同一种媒体数据，并根据感知节点所属簇及在簇中的位置对感知节点编号，记为；其中g表示所属簇的编号，h表示感知节点在簇内的编号；

3）把网络中的每个簇初始化成3层的多入单出的神经网络，簇头为输出层，根据簇中各节点的分布情况把距离簇头小于的节点选为隐含层节点（通常为簇内节点的7%––15%），其余节点为输入层节点。输入层节点数据传给隐含层节点，隐含层节点数据经过处理后传给输出层节点。

步骤三、根据输入的各单一媒体样本数据集训练出多入单出神经网络，流程如图2所示，具体步骤如下：

1）参数初始化：根据各样本数据集初始化各层神经元之间的连接权值和（0），初始化隐含层和输出层的阈值a和b，给定学习速率和任意神经元传递函数为输入层第i个节点与隐含层第j个节点的权值，为隐含层第j个节点与输出层第k个节点的层间权值；

2）隐含层输出计算：根据输入的单一媒体向量，输入层和隐含层连接权值以及隐含层阈值a，可以得到隐含层输入为，隐含层输出为；

3）输出层输出计算：根据隐含层输出的，连接权值和阈值b，则输出层输入为，预测神经网络的输出；

4）误差计算：根据预测输出和期望输出Y（为理想状况输出值）计算网络预测误差|；

5）权值更新：根据网络误差与精度要求ε的大小更新网络权值，，当e>ε时，继续更新，否则停止（样本中的数据每更新一次，权值则根据误差更新一次）；

6）阈值更新：根据网络误差e，更新神经元阈值a和b；

7）判断各权值和阈值是否满足要求，若不满足返回步骤2，全部满足则结束。

步骤四、用训练出的多入单出神经网络输入层节点在物联网中采集数据，并将单一媒体数据融合至簇头节点输出，完成单一媒体的数据融合，具体步骤如下：

1）输入层采集的当前数据为，则传给隐含层的数据为；

2）在隐含层节点设定时间t，计算这段时间内隐含层数据的均值。设定节点在t时间内采集k个数据，；

3）计算相邻t时间内数据均值的差，值为△，即△=-，比较△与阈值b的大小；

4）若△>b,隐含层节点将均值传给簇头节点；否则，数据不发送；

5）簇头节点每隔t时间接收一次数据，将单一媒体数据融合到簇头节点。

步骤五、以簇头节点作为新的输入层节点，对新的输入层节点再次分簇，并将其初始化成多入多出神经网络，如图4所示，具体步骤如下：

1）将新的输入层的k个（簇头节点）节点根据地理位置再次分成u个簇（图4中为隐含层中继节点），并根据用户所需要获取数据需求选出v个sink节点（图中选了3个sink节点）；

2）记第k个簇中节点所含信息量为，其中（为传到簇头节点的数据），选取每个簇中含有的信息量最少的节点，即的节点作为新的簇头节点；

3）将网络初始化成三层的多入多出神经网络，k-u-v个非簇头节点为输入层节点，u个簇头节点为隐含层节点，v个sink节点作为输出层节点。

步骤六、根据跨媒体数据集，训练出多入多出的神经网络，具体步骤同步骤三。

步骤七、通过多入多出神经网络将新输入层节点的各单一媒体数据融合到sink节点，完成跨媒体的数据融合，具体步骤如下：

1）记为多入多出神经网络输入层与隐含层间的数据加权权值，为新输入层所含数据，其中n表示第n个节点，则传到隐含层的数据为=；

2）把不同媒体数据用VQ（向量量化）向量化，并用PCA算法统一到同一维度；

3）在隐含层节点计算被融合的不同媒体向量间的相关系数，其中X，Y为由组成的不同媒体数据向量，为X和Y的协方差，,E(X)是Y和X的期望，D（X）是X的方差；

4）设定阈值θ（0≤θ≤1）；

5）比较和θ的大小，若≥θ，则隐含层节点随机选择X和Y中的一个传给sink节点，若<θ，则隐含层节点将X和Y两个向量再次通过特征提取后传给sink节点，完成跨媒体数据的融合。

Claims (6)

1.物联网中基于神经网络的跨媒体数据融合方法，其特征在于，在将单一媒体数据（包括文本、图像、音频、视频等数据）和跨媒体数据融合的过程中先输入各单一媒体数据样本集和跨媒体数据样本集；然后对整个物联网网络进行分簇，并将网络初始化成多入单出神经网络；然后根据输入的各单一媒体样本集训练出多入单出神经网络；然后以训练出的神经网络输入层在物联网中采集数据，并将采集到的数据融合到簇头节点，完成单一媒体的数据融合；再以各簇头节点作为多入多出神经网络的输入层，并对其分簇和初始化新的神经网络；然后再根据跨媒体数据样本集，训练出多入多出的神经网络；最后通过训练出的多入多出神经网络将新的输入层节点数据融合到sink节点，完成跨媒体的数据融合，所述方法至少包括以下步骤：

步骤一、输入各单一媒体样本数据集和跨媒体样本数据集；

步骤二、对整个物联网网络进行分簇，并将网络初始化成多入单出神经网络；

步骤三、根据输入的各单一媒体数据样本集训练出多入单出神经网络；

步骤四、用训练出的多入单出神经网络输入层节点在物联网中采集数据，并将单一媒体数据融合至簇头节点输出，完成单一媒体的数据融合；

步骤五、以簇头节点作为新的输入层节点，对新的输入层节点再次分簇，并将其初始化成多入多出神经网络；

步骤六、根据跨媒体数据样本集，训练出多入多出的神经网络；

步骤七、通过多入多出神经网络将新输入层节点的单一媒体数据融合到sink节点，完成跨媒体的数据融合。

2.根据权利要求1所述的物联网中基于神经网络的跨媒体数据融合方法，其特征在于，步骤二中对整个物联网网络进行分簇，并初始化成多入单出神经网络的过程，至少还包括以下步骤：

1）将n个感知节点分布在一个半径为的圆形区域，假设所有感知节点初始能量相同，信道无损；

2）设定簇头节点占感知节点总数的比率为（通常为5%––8%）,则所有感知节点按地理位置分为个簇，每个簇划分成一个新的小圆形区域，簇头为距离圆心最近的节点，同一个簇内的节点只采取同一种媒体数据，并根据感知节点所属簇及在簇中的位置对感知节点编号，记为，其中g表示所属簇的编号，h表示感知节点在簇内的编号；

3）把网络中的每个簇初始化成3层的多入单出的神经网络，簇头为输出层，根据簇中各节点的分布情况把距离簇头小于的节点选为隐含层节点（通常为簇内节点的7%––15%），其余节点为输入层节点；输入层节点数据传给隐含层节点，隐含层节点数据经过处理后传给输出层节点。

3.根据权利要求1所述的物联网中基于神经网络的跨媒体数据融合方法，其特征在于，神经网络的训练过程中（包括多入单出和多入多出），至少还包括以下步骤：

1）参数初始化：根据各样本数据集初始化各层神经元之间的连接权值和（0），初始化隐含层和输出层的阈值a和b，给定学习速率和任意神经元传递函数为输入层第i个节点与隐含层第j个节点的权值，为隐含层第j个节点与输出层第k个节点的层间权值；

2）隐含层输出计算：根据输入的单一媒体向量，输入层和隐含层连接权值以及隐含层阈值a，可以得到隐含层输入为，隐含层输出为；

3）输出层输出计算：根据隐含层输出的，连接权值和阈值b，则输出层输入为，预测神经网络的输出；

4）误差计算：根据预测输出和期望输出Y（为理想状况输出值）计算网络预测误差|；

5）权值更新：根据网络误差与精度要求ε的大小更新网络权值，，当e>ε时，继续更新，否则停止（样本中的数据每更新一次，权值则根据误差更新一次）；

6）阈值更新：根据网络误差e，更新神经元阈值a和b；

7）判断各权值和阈值是否满足要求，若不满足返回步骤2，全部满足则结束。

4.根据权利要求1所述的物联网中基于神经网络的跨媒体数据融合方法，其特征在于，步骤四中单一媒体的数据融合过程，至少还包括以下步骤：

1）输入层采集的当前数据为，则传给隐含层的数据为；

2）在隐含层节点设定时间t，计算这段时间内隐含层数据的均值；

记t时间内采集k个数据，；

3）相邻两均值做差，值为△，即△=-，比较△与阈值b的大小；

4）若△>b,隐含层将均值传给簇头节点，否则数据不发送；

5）簇头节点每隔t时间接收一次数据，将单一媒体数据融合到簇头节点。

5.根据权利要求1所述的物联网中基于神经网络的跨媒体数据融合方法，其特征在于，步骤五中以簇头节点作为新的输入层节点，对新的输入层节点再次分簇，并将其初始化成多入多出神经网络过程，至少还包括以下步骤：

1）将新的输入层的k个（簇头节点）节点根据地理位置再次分成u个簇，并根据用户所需要获取数据的需求选出v个sink节点；

2）记第k个簇中节点所含信息量为，其中（为传到簇头节点的数据），选取每个簇中含有的信息量最少的节点，即含的节点作为新的簇头节点；

3）将网络初始化成三层的多入多出神经网络，非簇头节点的k-u-v个节点为输入层节点，u个簇头节点为隐含层节点，v个sink节点作为输出层节点。

6.根据权利要求1所述的物联网中基于神经网络的跨媒体数据融合方法，其特征在于步骤七中通过多入多出神经网络将新输入层节点的单一媒体数据融合到sink节点，完成跨媒体的数据融合的过程，至少还包括以下步骤：

1）记为多入多出神经网络输入层与隐含层间的权值，为新输入层所含数据，则传到隐含层的数据为=；

2）把不同媒体数据用VQ（向量量化）向量化，并用PCA算法统一到同一维度；

3）在隐含层节点计算被融合不同媒体向量间的相关系数，其中X，Y为由组成的不同媒体数据向量，cov（X，Y）为X和Y的协方差，，E(X)是Y和X的期望，D（X）是X的方差；

4）设定阈值θ（0≤θ≤1）

5）比较和θ的大小，若≥θ，则隐含层节点只将X和Y中的一个传给sink节点，若<θ，则隐含层节点将X和Y两个向量再次提取特征后传给sink节点，完成跨媒体数据的融合。