CN105142096B - 物联网中基于神经网络的跨媒体数据融合方法 - Google Patents
物联网中基于神经网络的跨媒体数据融合方法 Download PDFInfo
- Publication number
- CN105142096B CN105142096B CN201510497144.7A CN201510497144A CN105142096B CN 105142096 B CN105142096 B CN 105142096B CN 201510497144 A CN201510497144 A CN 201510497144A CN 105142096 B CN105142096 B CN 105142096B
- Authority
- CN
- China
- Prior art keywords
- node
- data
- neural network
- layer
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明了一种物联网中基于神经网络的跨媒体数据融合方法。包括以下步骤:(1)输入各单一媒体样本数据集和跨媒体样本集(2)对整个物联网网络进行分簇,并将网络初始化成多入单出神经网络(3)根据输入的各单一媒体样本集训练出多入单出神经网络(4)用训练出的神经网络输入层在物联网中采集数据,并将单一媒体数据融合至簇头节点输出,完成单一媒体的数据融合(5)以簇头节点作为新的输入层节点,对新的输入层节点再次分簇,并将其初始化成多入多出神经网络(6)根据跨媒体样本集,训练出多入多出神经网络(7)通过训练出的多入多出神经网络将新输入层的各单一媒体数据融合到sink节点,完成跨媒体的数据融合。
Description
技术领域
本发明涉及数据融合领域,具体涉及到一种物联网中基于神经网络的跨媒体数据融合方法。
背景技术
物联网(Internet of things)是通过智能感知、识别与普适计算等通信感知技术,实现物物相连的互联网。无线传感器网络是物联网的重要组成部分。基于无线传感器网络的物联网有网络规模大,采集数据量庞大,且同种机器(物品)产生的数据高度相似的特点。因此,若将每个节点感知的数据直接发送给sink节点,不但造成网络资源的浪费,而且不能根据用户需求获取所需数据(一般用户在物联网中获取的数据是机器产生的高度相似的单一媒体数据),也不能实现跨媒体的数据融合。针对上述问题,需要寻求新的解决方案。
对无线传感器网络进行分簇具有拓扑管理方便、能量利用高效、数据融合简单等优点。将感知区域内的感知节点划分成多个簇,每个簇通常包括若干个簇头节点和多个簇内成员节点,由簇头节点负责对簇内成员节点感知的数据进行融合,从而减少数据通信量。在一个簇内,成员节点负责采集数据,然后将采集的数据上传至簇头节点,簇头节点承担簇内数据收集、压缩融合处理、各簇头将处理后的数据转发至sink节点。簇内节点的数据经簇头节点压缩融合处理后,大量的冗余数据将被丢弃。
数据融合(data fusion)是无线传感器网络中一种减少传感器节点间的数据通信、降低能耗、延长网络寿命的有效技术手段。数据融合技术对系统的影响主要表现在两个方面:节省能耗、增加时延。实际上,这是一对无法调和的矛盾。也就是说,通过数据融合方法可以节省能耗,但不可避免地增加了数据传输的延迟时间。数据融合技术最早应用于军事领域,目前融合的方法主要分为三类:基于像元级的融合、基于特征级的融合和基于决策级的融合,融合水平依次从低到高。随着数据融合技术的发展,实际应用的需求和研究领域的细分,衍生出新的研究领域,跨媒体数据融合。跨媒体数据融合作为数据融合的一个子领域,主要解决不同模态媒体间的数据融合问题,这类问题的主要特点是:不同模态媒体间的数据向量维度相差很大,不易统一;不同模态媒体间提取出的特征在内容上相关性很低,融合难度大。目前,根据是否对不同媒体提取的特征向量做中间处理,跨媒体数据融合的方法分为早期跨媒体数据融合和后期跨媒体数据融合两种方案。后期跨媒体数据融合相对早期跨媒体数据融合水平明显要高,处理方法也更加丰富,但纵观目前的研究现状,这些都是远远不够的。因此应用和发明新的方法快速高效的解决上述问题具有重要意义。
神经网络与数据融合具有一个共同的基本特征,即通过对大量的数据进行一定的运算和处理,得到能够反映这些数据特征的结论性的结果。因此,可以利用神经网络的方法来实现和解决数据融合的问题。研究人员在最近几年开展了不少基于神经网络的数据融合方法的研究工作,但这些工作大部分是基于多传感器的应用场合来设计的,针对无线传感器网络应用神经网络的数据融合方法非常少见。相对而言,无线传感器网络的节点规模要明显大于多传感器应用的节点规模,而且无线传感器网络节点受到能量、处理器、存储空间等系统资源的限制,更有技术难度和挑战性。
综上所述,现有物联网中关于数据融合方法都能在一定程度上减少网络的数据传输,从而减少存储空间和冗余数据的传输,但是,如何在大量减少冗余数据传输的同时根据用户需求综合的获取数据,实现跨媒体数据融合,目前尚没有合适的解决方案。
发明内容
针对上述问题,本发明的目的在于,提出物联网中基于神经网络的跨媒体数据融合方法。通过对单一媒体分簇,并将其初始化成多入单出神经网络,对单一媒体进行一次数据融合,然后将簇头作为新的输入层,并初始化成多入多出神经网络,把各簇头的不同媒体数据通过比较相关系数ρ的大小来判断是否将数据传给sink节点,然后sink节点收集数据,从而完成跨媒体的数据融合;此过程不仅能够大量的简化媒体间的数据量,并且能根据用户需求综合获取数据和完成跨媒体间数据融合。
本发明的主要步骤为:首先,在物联网网络中用多入单出神经网络,通过取一段时间t内的均值,把单一媒体数据融合至簇头节点。然后以簇头节点作为多入多出神经网络的输入层,通过计算不同媒体间数据的相关系数,把跨媒体数据融合至sink节点,完成跨媒体的数据融合,其流程如图1所示,其具体步骤包括如下:
步骤一、输入各单一媒体样本数据集和跨媒体样本数据集;
步骤二、对整个物联网进行分簇,并将网络初始化成多入单出神经网络;
步骤三、根据输入的各单一媒体样本数据集训练出多入单出神经网络;
步骤四、用训练出的多入单出神经网络输入层节点在物联网中采集数据,并将单一媒体
数据融合至簇头节点输出,完成单一媒体的数据融合;
步骤五、以簇头节点作为新的输入层节点,对新的输入层节点再次分簇,并将其初始化
成多入多出神经网络;
步骤六、根据跨媒样本体数据集,训练出多入多出的神经网络;
步骤七、通过多入多出神经网络将新输入层节点的单一媒体数据融合到sink节点,完成
跨媒体的数据融合。
本发明具有如下优点:
1、本发明提出在物联网中用神经网络来完成跨媒体数据融合的方法,能减少大量冗余数据,获取用户想要的数据,减少通信量。
2、能克服物联网中获取的数据单一的特点,可根据用户需求完成跨媒体的数据融合。
附图说明
图1是物联网中基于神经网络的跨媒体数据融合方法的流程图。
图2是神经网络训练的流程图
图3是单一媒体分簇示意图
图4跨媒体间的数据融合图
具体实施方法
本发明设计了一种物联网中基于神经网络的跨媒体数据融合方法,结合附图,本发明的具体步骤如下:
步骤一、输入各单一媒体样本数据集和跨媒体样本数据集。
步骤二、对整个物联网网络进行分簇,并将网络初始化成多入单出神经网络,如图3所示,具体步骤如下:
1)将n个感知节点分布在一个半径为Rm的圆形区域,假设所有感知节点初始能量相同,信道为无损信道;
2)设定簇头节点占感知节点总数的比率为p,通常0.05≤p≤0.08,则所有感知节点按地理位置分为个簇,图3中一共分了7个簇,每个簇划分成一个新的小圆形区域,簇头为距离圆心最近的节点,同一个簇内的节点只采集同一种媒体数据,并根据感知节点所属簇及在簇中的位置对感知节点编号,记为cgh;其中g表示所属簇的编号,h表示感知节点在簇内的编号;
3)把网络中的每个簇初始化成3层的多入单出的神经网络,簇头为输出层,根据簇中各节点的分布情况把距离簇头小于的节点选为隐含层节点,隐含层节点通常占簇内节点的7%–15%,其余节点为输入层节点。输入层节点数据传给隐含层节点,隐含层节点数据经过处理后传给输出层节点。
步骤三、根据输入的各单一媒体样本数据集训练出多入单出神经网络,流程如图2所示,具体步骤如下:
1)参数初始化:根据各样本数据集初始化各层神经元之间的连接权值wij和wjk,其中0≤wij≤1,0≤wjk≤1,初始化隐含层和输出层的阈值a和b,给定学习速率和任意神经元传递函数f(·),这里选线性函数f(x)=nx+p;其中wij为输入层第i个节点与隐含层第j个节点的权值,wjk为隐含层第j个节点与输出层第k个节点的层间权值;
2)隐含层输出计算:根据输入的单一媒体向量xi,输入层和隐含层连接权值wij以及隐含层阈值a,可以得到隐含层输入为隐含层输出为vout=f(uin);
3)输出层输出计算:根据隐含层输出的vout,连接权值wjk和阈值b,则输出层输入为预测神经网络的输出Vout=f(Uin);
4)误差计算:根据预测输出Vout和期望输出Y,其中期望输出Y为理想状况输出值,网络预测误差为e=|Vout-Y|;
5)权值更新:根据网络误差与精度要求ε的大小更新网络权值wij,wjκ,当e>ε时,继续更新,否则停止,更新方式为样本中的数据每更新一次,权值也会根据误差状态更新一次;
6)阈值更新:根据网络误差e,更新神经元阈值a和b;
7)判断各权值和阈值是否满足要求,若不满足,则返回步骤2,全部满足则结束。步骤四、用训练出的多入单出神经网络输入层节点在物联网中采集数据,并将单一媒体数据融合至簇头节点输出,完成单一媒体的数据融合,具体步骤如下:
1)输入层采集的当前数据为xj,则传给隐含层的数据为
2)在隐含层节点设定时间t,计算这段时间内隐含层数据的均值Ek。设定节点在t时间内采集k个数据,则
3)计算相邻t时间内数据均值的差,值为△,即△=Ek-Ek-1,比较△与阈值b的大小;
4)若△>b,隐含层节点将均值Ek传给簇头节点;否则,数据不发送;
5)簇头节点每隔t时间接收一次数据,将单一媒体数据融合到簇头节点;
步骤五、以簇头节点作为新的输入层节点,对新的输入层节点再次分簇,并将其初始化成多入多出神经网络,如图4所示,具体步骤如下:
1)将新的输入层的k个簇头节点作为输入层节点根据地理位置再次分成u个簇(图4中为隐含层中继节点),并根据用户所需要获取数据需求选出v个sink节点(图中选了3个sink节点);
2)记第k个簇中节点所含信息量为Pk,其中Ek为通过多入单出神经网络传到簇头节点的数据,选取每个簇中含有的信息量最少的节点,即Min{Pu}的节点作为新的簇头节点;
3)将网络初始化成三层的多入多出神经网络,此时网络的输入层有k-u-v个节点,u个簇头节点为隐含层节点,v个sink节点作为输出层节点。
步骤六、根据跨媒体数据集,训练出多入多出的神经网络,具体步骤同步骤三。
步骤七、通过多入多出神经网络将新输入层节点的各单一媒体数据融合到sink节点,完成跨媒体的数据融合,具体步骤如下:
1)记wmn为多入多出神经网络输入层与隐含层间的数据加权权值,yn为新输入层所含数据,其中n表示第n个节点,则传到隐含层的数据为
2)把不同媒体数据用VQ向量化,其中VQ为向量量化,并用PCA算法统一到同一维度;
3)在隐含层节点计算被融合的不同媒体向量间的相关系数其中X,Y为由Xn组成的不同媒体数据向量,cov(X,Y)为X和Y的协方差,E(Y),E(X)是Y和X的期望,D(X)是X的方差;
4)设定阈值θ,0≤θ≤1;
5)比较ρi和θ的大小,若ρi≥θ,则隐含层节点随机选择X和Y中的一个传给sink节点,若ρi<θ,则隐含层节点将X和Y两个向量再次通过特征提取后传给sink节点,完成跨媒体数据的融合。
Claims (6)
1.物联网中基于神经网络的跨媒体数据融合方法,其特征在于,在将文本、图像、音频和视频单一媒体数据和跨媒体数据融合的过程中先输入各单一媒体数据样本集和跨媒体数据样本集;然后对整个物联网网络进行分簇,并将网络初始化成多入单出神经网络;然后根据输入的各单一媒体样本集训练出多入单出神经网络;然后以训练出的神经网络输入层在物联网中采集数据,并将采集到的数据融合到簇头节点,完成单一媒体的数据融合;再以各簇头节点作为多入多出神经网络的输入层,并对其分簇和初始化新的神经网络;然后再根据跨媒体数据样本集,训练出多入多出的神经网络;最后通过训练出的多入多出神经网络将新的输入层节点数据融合到sink节点,完成跨媒体的数据融合,所述方法至少包括以下步骤:
步骤一、输入各单一媒体样本数据集和跨媒体样本数据集;
步骤二、对整个物联网网络进行分簇,并将网络初始化成多入单出神经网络;
步骤三、根据输入的各单一媒体数据样本集训练出多入单出神经网络;
步骤四、用训练出的多入单出神经网络输入层节点在物联网中采集数据,并将单一媒体数据融合至簇头节点输出,完成单一媒体的数据融合;
步骤五、以簇头节点作为新的输入层节点,对新的输入层节点再次分簇,并将其初始化成多入多出神经网络;
步骤六、根据跨媒体数据样本集,训练出多入多出的神经网络;
步骤七、通过多入多出神经网络将新输入层节点的单一媒体数据融合到sink节点,完成跨媒体的数据融合。
2.根据权利要求1所述的物联网中基于神经网络的跨媒体数据融合方法,其特征在于,步骤二中对整个物联网网络进行分簇,并初始化成多入单出神经网络的过程,至少还包括以下步骤:
1)将n个感知节点分布在一个半径为Rm的圆形区域,假设所有感知节点初始能量相同,信道无损;
2)设定簇头节点占感知节点总数的比率为p,通常0.05≤p≤0.08,则所有感知节点按地理位置分为个簇,每个簇划分成一个新的小圆形区域,簇头为距离圆心最近的节点,同一个簇内的节点只采取同一种媒体数据,并根据感知节点所属簇及在簇中的位置对感知节点编号,记为cgh,其中g表示所属簇的编号,h表示感知节点在簇内的编号;
3)把网络中的每个簇初始化成3层的多入单出的神经网络,簇头为输出层,根据簇中各节点的分布情况把距离簇头小于的节点选为隐含层节点,隐含层节点通常占簇内节点的7%–15%,其余节点为输入层节点; 输入层节点数据传给隐含层节点,隐含层节点数据经过处理后传给输出层节点。
3.根据权利要求1所述的物联网中基于神经网络的跨媒体数据融合方法,其特征在于,神经网络多入单出和多入多出的训练过程中,至少还包括以下步骤:
1)参数初始化:根据各样本数据集初始化各层神经元之间的连接权值wij和wjk,其中0≤wij≤1,0≤wjk≤1),初始化隐含层和输出层的阈值a和b,给定学习速率和任意神经元传递函数f(·),这里选线性函数f(x)=nx+p;其中wij为输入层第i个节点与隐含层第j个节点的权值,wjk为隐含层第j个节点与输出层第k个节点的层间权值;
2)隐含层输出计算:根据输入的单一媒体向量xi,输入层和隐含层连接权值wij以及隐含层阈值a,可以得到隐含层输入为隐含层输出为vout=f(uin);
3)输出层输出计算:根据隐含层输出的vout,连接权值wjk和阈值b,则输出层输入为预测神经网络的输出Vout=f(Uin);
4)误差计算:根据预测输出Vout和期望输出Y,其中期望输出Y为理想状况输出值,网络预测误差为e=|Vout-Y|;
5)权值更新:根据网络误差与精度要求ε的大小更新网络权值wij,wjk,当e>ε时,继续更新,否则停止,更新方式为样本中的数据每更新一次,权值也会根据误差状态更新一次;
6)阈值更新:根据网络误差e,更新神经元阈值a和b;
7)判断各权值和阈值是否满足要求,若不满足,则返回步骤2,全部满足则结束。
4.根据权利要求1所述的物联网中基于神经网络的跨媒体数据融合方法,其特征在于,步骤四中单一媒体的数据融合过程,至少还包括以下步骤:
1)输入层采集的当前数据为xj,则传给隐含层的数据为
2)在隐含层节点设定时间t,计算这段时间内隐含层数据的均值Ek, 记t时间内采集k个数据,则
3)相邻两均值做差,值为Δ,即Δ=Ek-Ek-1,比较Δ与阈值b的大小;
4)若Δ>b,隐含层将均值Ek传给簇头节点,否则数据不发送;
5)簇头节点每隔t时间接收一次数据,将单一媒体数据融合到簇头节点;
5.根据权利要求1所述的物联网中基于神经网络的跨媒体数据融合方法,其特征在于,步骤五中以簇头节点作为新的输入层节点,对新的输入层节点再次分簇,并将其初始化成多入多出神经网络过程,至少还包括以下步骤:
1)将新的输入层的k个簇头节点作为输入层节点根据地理位置再次分成u个簇,并根据用户所需要获取数据的需求选出v个sink节点;
2)记第k个簇中节点所含信息量为Pk,其中Ek为通过多入单出神经网络传到簇头节点的数据,选取每个簇中含有的信息量最少的节点,即含Min{Pu}的节点作为新的簇头节点;
3)将网络初始化成三层的多入多出神经网络,此时网络的输入层有k-u-v个节点,u个簇头节点为隐含层节点,v个sink节点作为输出层节点。
6.根据权利要求1所述的物联网中基于神经网络的跨媒体数据融合方法,其特征在于步骤七中通过多入多出神经网络将新输入层节点的单一媒体数据融合到sink节点,完成跨媒体的数据融合的过程,至少还包括以下步骤:
1)记wmn为多入多出神经网络输入层与隐含层间的权值,yn为新输入层所含数据,则传到隐含层的数据为
2)把不同媒体数据用VQ向量化,其中VQ为向量量化,并用PCA算法统一到同一维度;
3)在隐含层节点计算被融合不同媒体向量间的相关系数其中X,Y为由Xn组成的不同媒体数据向量,cov(X,Y)为X和Y的协方差,E(Y),E(X)是Y和X的期望,D(X)是X的方差;
4)设定阈值θ,其中0≤θ≤1;
5)比较ρi和θ的大小,若ρi≥θ,则隐含层节点只将X和Y中的一个传给sink节点,若ρi<θ,则隐含层节点将X和Y两个向量再次提取特征后传给sink节点,完成跨媒体数据的融合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510497144.7A CN105142096B (zh) | 2015-08-14 | 2015-08-14 | 物联网中基于神经网络的跨媒体数据融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510497144.7A CN105142096B (zh) | 2015-08-14 | 2015-08-14 | 物联网中基于神经网络的跨媒体数据融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105142096A CN105142096A (zh) | 2015-12-09 |
CN105142096B true CN105142096B (zh) | 2018-10-19 |
Family
ID=54727278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510497144.7A Active CN105142096B (zh) | 2015-08-14 | 2015-08-14 | 物联网中基于神经网络的跨媒体数据融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105142096B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105959987B (zh) * | 2016-04-14 | 2019-05-14 | 北京邮电大学 | 一种提高无线传感器网络能量利用率和服务性能的数据融合算法 |
CN107249171A (zh) * | 2017-06-21 | 2017-10-13 | 深圳市盛路物联通讯技术有限公司 | 一种物联网数据的传输控制方法及系统 |
WO2020187587A1 (en) * | 2019-03-15 | 2020-09-24 | Dolby International Ab | Method and apparatus for updating a neural network |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101556651A (zh) * | 2009-04-15 | 2009-10-14 | 北京航空航天大学 | 一种分簇无线传感器网络内多源数据融合方法 |
CN104679902A (zh) * | 2015-03-20 | 2015-06-03 | 湘潭大学 | 一种结合跨媒体融合的信息摘要提取方法 |
-
2015
- 2015-08-14 CN CN201510497144.7A patent/CN105142096B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101556651A (zh) * | 2009-04-15 | 2009-10-14 | 北京航空航天大学 | 一种分簇无线传感器网络内多源数据融合方法 |
CN104679902A (zh) * | 2015-03-20 | 2015-06-03 | 湘潭大学 | 一种结合跨媒体融合的信息摘要提取方法 |
Non-Patent Citations (1)
Title |
---|
基于神经网络的无线传感器网络数据融合算法;孙凌逸;《传感技术学报》;20110115;第24卷(第1期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN105142096A (zh) | 2015-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109947029B (zh) | 智能家居设备的控制方法、装置及设备 | |
CN110198237A (zh) | 一种无线意图驱动网络的配置方法 | |
Sheraz et al. | Artificial intelligence for wireless caching: Schemes, performance, and challenges | |
CN106162167B (zh) | 基于学习的高效视频编码方法 | |
CN105142096B (zh) | 物联网中基于神经网络的跨媒体数据融合方法 | |
CN105472631A (zh) | 一种业务数据量和/或资源数据量的预测方法及预测系统 | |
Sampathkumar et al. | Majority voting based hybrid ensemble classification approach for predicting parking availability in smart city based on IoT | |
CN107547898B (zh) | 一种能耗-精度可控的传感器双参数分配系统 | |
CN112365366B (zh) | 一种基于智能化5g切片的微电网管理方法及系统 | |
CN107018552A (zh) | 一种选择异构网络接入的方法 | |
CN108900980A (zh) | 一种在异构网络中基于移动性预测的资源分配优化方法 | |
CN111343650A (zh) | 一种基于跨域数据和对抗损失的城市尺度无线业务流量预测方法 | |
Sert et al. | Optimizing the performance of rule-based fuzzy routing algorithms in wireless sensor networks | |
Li et al. | Data partition and rate control for learning and energy efficient edge intelligence | |
Cai et al. | Temporal attention aware dual-graph convolution network for air traffic flow prediction | |
CN109039505A (zh) | 一种认知无线电网络中信道状态转移概率预测方法 | |
Shinkuma et al. | Data assessment and prioritization in mobile networks for real-time prediction of spatial information with machine learning | |
CN117201410A (zh) | 用于物联网的流量管理方法及系统 | |
Wu et al. | Dynamic handoff policy for RAN slicing by exploiting deep reinforcement learning | |
CN114885388A (zh) | 联合rss预测的多业务类型自适应切换判决方法 | |
CN106535104A (zh) | 一种基于流量感知的自适应蓝牙传输方法 | |
He et al. | Multi-Agent Caching Strategy for Spatial-Temporal Popularity in IoV | |
CN104968018A (zh) | 一种基于sdn的wlan接入式负载均衡的优化方法 | |
WO2023011371A1 (en) | Method and system for configuring a threshold value for a handover parameter of a wireless communication system | |
CN108875030B (zh) | 一种基于层次化综合质量指标QoX的上下文不确定性消除系统及其工作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |