CN105656692A - 无线传感网络中基于多示例多标记学习的区域监测方法 - Google Patents

Abstract

本发明公开了无线传感网络中基于多示例多标记学习的区域监测方法，利用Fisher？Kernel对同一时刻的多个传感器节点数据压缩。压缩后，某一时刻，整个无线传感器网络对应一个单示例数据而不再是多示例数据。利用MMD对历史包数据压缩，挑选出最具代表性的包数据，构成一个数据子集。利用快速多示例多标记算法完成对压缩数据的训练和监测区域状态的评估。本发明在经过两层压缩后的传感数据集上构建传感器网络状态预测模型，能够实现快速的网络状态预测。

Description

无线传感网络中基于多示例多标记学习的区域监测方法

技术领域

本发明属于无线传感网络技术和机器学习技术领域，特别涉及了一种基于多示例多标记学习的区域监测方法。

背景技术

作为一种能够对人类未来生活产生深远影响的新兴技术，无线传感器网络(WSNs)技术近年来受到了普遍关注。WSNs技术的应用涉及到了诸多领域，包括国防科技、物联网技术、环境监测、远程控制、星际探索等。对于WSNs的研究意义重大。

大数据时代的一个重要数据来源就是传感器网络。传感器网络的任务在于帮助人们监测某个区域内监测对象的情况，而非具体某个节点的情况，传感器网络中的节点脱离了传感器网络就没有意义了。传感器网络将各节点收集到的数据汇总，人们对这些汇总数据进行处理，从而了解整个监测区域或者某个区块所处状态。WSNs除了拥有分布式、自组织，网络拓扑结构动态变化，可靠性和安全性较差诸多特点外，还包括以下两个显著特点。第一，WSNs产生的传感数据中包含大量冗余信息。由于传感器节点无时无刻都在产生数据的，所以其产生的是流数据，流数据的特点是短时间内数据相关性比较大，包含了大量冗余数据，如何将冗余数据筛选掉，而只对关键数据进行挖掘，这是WSNs技术的重要研究方向。第二，传感器规模大、密度高。传感器网络产生的原因就在于，随着无线通信技术、传感技术以及微电子技术的发展，传感器的体积、能耗变得越来越小，功能变得越来越强大，已经可以实现大批量的传感器生产和部署。数目众多的传感器节点每时每刻都在感知环境并产生数据，一个大型的WSNs汇集的数据量是巨大的。如何对这些海量的传感数据进行筛选和处理已经成为WSNs研究者关注的问题。

传感器是大数据的一个重要来源之一，传感数据是数据挖掘的重要研究对象。数据挖掘是一个过程，其目的在于利用模式识别、统计学理论、机器学习等领域的算法和知识，从大量的数据中搜索隐藏于其中信息。在数据挖掘所利用的众多机器学习算法中，有监督的分类学习是其中的一个重要分支。分类算法是在类别已知的训练样本集上学习得到一个分类模型，然后利用分类模型预测新样本的类别，这类似于人类利用生活经验来预测未来可能发生的事。在WSNs中，可以利用历史的传感数据，训练出一个分类器，当新的传感数据到来，就可以利用分类器对当期传感器网络所处的状态进行评估。

传统的分类算法中，每个样本只有一个类别或标记，但是现实当中一个样本或对象可能同时与多个标记相对应。例如，一则新闻报道可能同时对应『经济』『政治』『环境』三个主题；一张关于沙滩的图片，可能同时还包含有海鸥、天空、轮船等内容；同样的情形在生物领域的蛋白质功能预测中也存在，一种蛋白质分子可能同时具有抗癌、抗感冒等功能；在WSNs中，监测区域出现的状况可能不只一种，否则传感器网络的功能就太过单一了，比如，我们往往希望传感器网络能够同时判断监测区域中是否存在火灾、外来入侵、交通堵塞等情况，如果出现火灾，那么火灾大概出现在监测区域内的哪个部分。由此，产生了多标记学习(MLL)以解决一个样本拥有多个标记的问题。多标记算法已经被成熟地应用到文本分类、图片注释等传统分类领域，并且在一系列新的领域亦取得了成功，包括大分子功能预测、Web挖掘、信息检索和视频语义注释，而多标记学习在WSNs领域的直接应用还未引起足够重视。基于决策树、神经网络、K近邻、支持向量机等传统的分类算法，研究者们提出了许多相应的多标记算法，多标记问题的解决工具已经种类繁多。

多标记学习定义了学习对象在输出空间具有多个语义内容，而复杂的学习对象在拥有复杂的输出空间的同时，其输入空间也会包含复杂的信息。传统的单个示例(特征向量)表示一个样本的模式对于复杂的学习对象来说已经不适应，需要多个示例组成一个包来共同描述学习对象。例如，一本书实际上是由多个章节组成的，每个章节可以是一个示例；一张关于沙滩的图片可以划分成不同的区块，每一个区块都对应着一个语义内容，比如『大海』『沙地』『椰树』。多示例模型对于学习对象的描述更加符合人类对客观世界认识的模式方法，人在判断一张图片主题时，实际上是先看图片的局部内容，然后将局部内容联系在一起判断整张图片的主题。在传感器网络中，整个监测区域是一包，每个传感器节点是一个示例，这样基于传感器网络的区域监测问题就成为了一个多示例多标记学习问题，选取合适的多示例多标记学习算法能够解决传感器网络的大规模数据处理问题。

解决多示例学习问题的一个重要方法是退化。通过将一个包中的多个示例压缩成一个示例，原本的多示例问题就能够转化成传统的单示例多标记问题。退化造成了一定的信息损失，却使得复杂的多示例问题得到简化，大大减少了模型复杂程度，降低开销。在传感器网络中，对多个传感器节点数据的融合将减少传输开销，降低对节点性能的要求。最近，费舍尔核函数(FisherKernel)技术被验证是实现多示例转化成单示例的最有效方法。

数据集成问题是数据处理中的一个重要问题，而许多数据集成任务往往需要解决一个共同问题：如何判断两个数据集是否取自同一个分布。最近，颇受关注的最大平均差异(MMD)指标以核函数为基础，解决了如何衡量任意两个数据集分布是否相同的问题。在传感器网络的冗余数据的筛选问题中，我们希望从原始传感数据集中得到一个数据子集，这个子集与原始数据集的分布尽可能接近。

基于WSNs技术的区域监测问题当前面临的挑战：

(1)基于WSNs的区域监测需要对实时的传感数据快速操作，提取出网络状态信息，复杂的数据操作过程或者算法模型都会降低系统响应速度；

(2)规模庞大的传感器节点实时产生的传感数据是海量的，如何对多个传感器节点数据进行压缩、提取有用信息是一个挑战；

(3)同一时间段内传感器发送的数据非常相似，传感数据存在大量的冗余信息，如何将这些冗余信息筛除是一个挑战。

发明内容

为了解决上述背景技术提出的技术问题，本发明旨在提供无线传感网络中基于多示例多标记学习的区域监测方法，解决了无线传感器网络中海量传感数据压缩和信息挖掘的问题，以及进一步利用挖掘到的信息解决监测区域状态的实时评估的问题。

为了实现上述技术目的，本发明的技术方案为：

无线传感网络中基于多示例多标记学习的区域监测方法，包括两个过程：预测模型构建、网络状态预测与模型更新，

所述模型构建过程如下：

(1)收集T个时刻的传感网络数据，构成数据集D_o＝{(N_t,Y_t)，t＝1,2,...,T}，N_t＝{s_t,1,s_t,2,...，S_t,i,...，S_t,M}表示时刻t时传感器网络收集到的数据，s_t,i表示时刻t时第i个传感器收集的数据，M为整个传感器网络的传感器的总数，Y_t＝{y_t,1,y_t,2,...,y_t,l,...,y_t,L}表示时刻t时传感器网络的状态向量，Y_t有L种需要监测的状态y_t,l，l＝1,2,…,L，y_t,l的取值由人为判断，y_t,l取1表示传感器网络正处于l状态，否则y_t,l取0；

(2)利用最大似然估计求解数据集D_o的混合高斯模型；

(3)对D_o中的所有N_t，利用基于混合高斯模型的FisherKernel核函数，将多示例数据N_t映射成单示例数据f_t，从而得到数据集D＝{(f_t,Y_t),t＝1,2,...,T}；

(4)利用MMD数据集成技术，将数据集D中的冗余数据筛除，得到D的子数据集D_sub；

(5)以D_sub为训练集，训练一个基于快速多示例多标记分类算法的预测模型Y_t＝F_y(f_t)，清空数据集D。

所述模型更新与网络状态预测过程如下：

(i)收集任意时刻的传感网络数据，利用FisherKernel核函数得到其单示例数据f_t；

(ii)将f_t输入到预测模型Y_t＝F_y(f_t)中，估测出网络当前所处状态Y_t，根据估测状态，管理者做出响应动作，同时对Y_t进行人工校验、更正，并将(f_t,Y_t)存入数据集D中；

(iii)重复步骤(ⅰ)、(ⅱ)，直到收集总共T个时刻的传感网络数据，构成新的数据集D＝{(f_t,Y_t),t＝1,...,T}；

(iv)利用MMD数据集成技术，将数据集D中的冗余数据筛除，重新得到D的子数据集D_sub；

(v)根据D_sub更新预测模型Y_t＝F_y(f_t)，清空数据集D。

进一步地，步骤(3)中将多示例数据映射成单示例数据的具体过程如下：

对于某个多示例数据N＝{s₁,s₂,...,s_i,...,s_M}，设整个样本集的概率密度函数p为混合高斯模型，则N取自该混合高斯模型的概率：

$L\left(N\right|\mathrm{\λ})=\underset{i=1}{\overset{M}{\Σ}}\log p\left(s_i\right|\mathrm{\λ})=\underset{i=1}{\overset{M}{\Σ}}log\underset{k=1}{\overset{K}{\Σ}}{\mathrm{\ω}}_k{p}_k\left(s_i\right|\mathrm{\λ})---\left(1\right)$

式(1)中，λ为在样本集上进行最大似然估计得到混合高斯模型的参数，λ＝{ω_k,μ_k,Σ_k,k＝1,...,K}，K为混合高斯模型当中包含单高斯模型的个数，ω_k代表第k个高斯模型占整个混合高斯模型的权重，且满足：μ_k和∑_k分别为第k个高斯模型的均值向量和方差向量；

设p_k为第k个高斯模型的概率密度函数，则有：

$p_k\left(s_i\right|\mathrm{\λ})=\frac{\exp \{-\frac{1}{2}{(s_i-{\mathrm{\μ}}_k)}^T{\mathrm{\Σ}}_k^{-1}(s_i-{\mathrm{\μ}}_k)\}}{{\left(2\mathrm{\π}\right)}^{d/2}{\left|{\mathrm{\Σ}}_k\right|}^{1/2}}---\left(2\right)$

式(2)中，d为传感器数据s_i的维度数目，由贝叶斯定理得到第i个示例取自第k个高斯分布的概率：

${\mathrm{\γ}}_i\left(k\right)=p\left(k\right|s_i,\mathrm{\λ})=\frac{{\mathrm{\ω}}_k{p}_k\left(s_i\right|\mathrm{\λ})}{{\mathrm{\Σ}}_{u=1}^K{\mathrm{\ω}}_u{p}_u\left(s_i\right|\mathrm{\λ})}---\left(3\right)$

根据γ_i(k)求得N的FisherVector

$\begin{array}{c}{f}_{{\mathrm{\ω}}_k}^N=\frac{1}{\sqrt{{\mathrm{\ω}}_k}}{\Σ}_{i=1}^M\left({\mathrm{\γ}}_i\right(k)-{\mathrm{\ω}}_k)\\ f_{{\mathrm{\μ}}_k}^N=\frac{1}{\sqrt{{\mathrm{\ω}}_k}}{\Σ}_{i=1}^M{\mathrm{\γ}}_i\left(k\right)\left(\frac{s_i-{\mathrm{\μ}}_k}{{\Σ}_k^2}\right)\\ f_{{\Σ}_k}^N=\frac{1}{\sqrt{{\mathrm{\ω}}_k}}{\Σ}_{i=1}^M{\mathrm{\γ}}_i\left(k\right)\frac{1}{\sqrt{2}}\[\frac{{(s_i-{\mathrm{\μ}}_k)}^2}{{\Σ}_k^2}-1\]\\ f_{\mathrm{\λ}}^N=(f_{{\mathrm{\ω}}_k}^N,f_{{\mathrm{\μ}}_k}^N,f_{{\Σ}_k}^N)\end{array}---\left(4\right).$

进一步地，步骤(4)的具体过程如下：

对于一个数据集D＝{N₁,N₂,...,N_T}，它的子集D_sub＝{α_tN_t|N_t∈D,t＝1,...,T,α_t∈{0,1}}，α_t为样本选择权重，当子集D_sub中包含了N_t时，α_t取1，否则α_t取0；

将数据集D和D_sub之间的最大平均损失平方的最小值作为目标函数：

式(5)中，N_t′表示取自子集D_sub的数据包，T_s为D_sub中的样本个数，φ(x)为非线性特征映射函数；

求出式(5)的局部最优解，并根据人为设定的阈值σ，得到D_sub＝{N_t|α_t＞σ}。

进一步地，步骤(5)的具体过程：

(a)从D_sub中随机抽取一个样本f_t和它的一个相关标记

y∈{y_t,l|y_t,l∈Y_t,y_t,l＝1}，计算f_t对标记y的打分值F_y(f_t)＝ω_yWf_t，其中，ω_y是标记y的权重向量，W是信息提取矩阵，用来对f_t降维；

(b)从f_t的标记集合中随机抽取一个无关标记计算如果无关标记没有违规，返回步骤(b)；如果 是一个违规的无关标记，记下当前总共抽样次数v，转到步骤(c)；

(c)根据抽样次数v估计模型的误差，利用误差对参数ω_y,W更新；

(d)判断模型是否收敛，如果否，返回步骤(a)，如果是，输出最终模型，结束训练。

进一步地，步骤(c)中利用随机梯度下降法更新参数ω_y,W，更新的公式：

ω_y＝ω_y+γ*error(f_t,y)*Wf_t

${\mathrm{\ω}}_{\stackrel{\‾}{y}}={\mathrm{\ω}}_{\stackrel{\‾}{y}}-\mathrm{\γ}*error(f_t,y)*{\mathrm{Wf}}_t$

$W=W-\mathrm{\γ}*error(f_t,y)*(f_t{\mathrm{\ω}}_{\stackrel{\‾}{y}}-f_t{\mathrm{\ω}}_y)$

上式中，γ为随机梯度下降法的学习速率，error(f_t,y)为根据抽样次数v估计的模型误差，

上式中，error(f_t,y)为根据抽样次数v估计的模型误差，

采用上述技术方案带来的有益效果：

(1)本发明利用多示例压缩技术，解决了无线传感器网络中的数据融合问题，并且没有增加对传感器节点性能的需求；

(2)本发明利用了统计学中的数据集成技术，解决了无线传感器网络中冗余数据筛除的问题，使得海量传感数据挖掘的难度进一步降低；

(3)本发明利用改进后的快速多示例多标记学习算法对海量传感数据进行挖掘，能够高效、自适应地完成区域监测任务。

附图说明

图1是本发明的总体流程图；

图2是本发明训练预测模型的流程图；

图3是本发明预测网络状态和更新预测模型的流程图；

图4是本发明两层压缩数据的示意图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

如图1所示本发明的总体流程图，本发明包括三个过程：数据收集、模型训练/更新，网络状态预测。

首先，需要通过收集到的数据训练出预测模型，如图2所示，步骤如下：

第1步：收集T个时刻的传感网络数据，构成数据集D_o＝{(N_t,Y_t)，t＝1,2,...,T}，N_t＝{s_t,1,s_t,2,...，S_t,i,...，S_t,M}表示时刻t时传感器网络收集到的数据，s_t,i表示时刻t时第i个传感器收集的数据，M为整个传感器网络的传感器的总数，Y_t＝{y_t,1,y_t,2,...,y_t,l,...,y_t,L}表示时刻t时传感器网络的状态向量，Y_t有L种需要监测的状态y_t,l，l＝1,2,…,L，y_t,l的取值由人为判断，y_t,l取1表示传感器网络正处于l状态，否则y_t,l取0。

时刻t的传感器网络中，每个传感器节点收集到的数据s_t,i都是一个示例，整个传感器网络数据构成一个多示例包N_t＝{s_t,i,i＝1,...,M}，使用包来描述时刻t的整个传感器网络；整个监测区域可能会出现不同的状态，一个状态对于一个标记，由此产生给整个传感器网络打上多个相关标记的多标记问题。

第2步：利用最大似然估计求解数据集D_o的混合高斯模型。

第3步：对D_o中的所有N_t，利用基于混合高斯模型的FisherKernel核函数，将多示例数据N_t映射成单示例数据f_t，从而得到数据集D＝{(f_t,Y_t),t＝1,2,...,T}。

解决多示例学习问题的一个重要策略就是退化。将一个包中的多个示例压缩成单示例会造成一定的信息损失，但是使得多示例问题得以简化，提高了算法效率。

FisherKernel是一种利用样本的概率分布来估计样本之间相似性的核函数，对于两个包N₁,N₂，FisherKernel先将它们分别映射成两个FisherVector，然后利用两个FisherVector的内积衡量两个包的相似程度。利用FisherVector来代替原本的包数据，这就完成了对多示例的压缩。

本发明将多示例数据映射成单示例数据的具体过程如下：

对于某个多示例数据N＝{s₁,s₂,...,s_i,...,s_M}，设整个样本集的概率密度函数p为混合高斯模型，则N取自该混合高斯模型的概率：

$L\left(N\right|\mathrm{\λ})=\underset{i=1}{\overset{M}{\Σ}}\log p\left(s_i\right|\mathrm{\λ})=\underset{i=1}{\overset{M}{\Σ}}log\underset{k=1}{\overset{K}{\Σ}}{\mathrm{\ω}}_k{p}_k\left(s_i\right|\mathrm{\λ})---\left(1\right)$

式(1)中，λ为在样本集上进行最大似然估计得到混合高斯模型的参数，λ＝{ω_k,μ_k,∑_k,k＝1,...,K}，K为混合高斯模型当中包含单高斯模型的个数，ω_k代表第k个高斯模型占整个混合高斯模型的权重，且满足：μ_k和∑_k分别为第k个高斯模型的均值向量和方差向量；

设p_k为第k个高斯模型的概率密度函数，则有：

$p_k\left(s_i\right|\mathrm{\λ})=\frac{\exp \{-\frac{1}{2}{(s_i-{\mathrm{\μ}}_k)}^T{\mathrm{\Σ}}_k^{-1}(s_i-{\mathrm{\μ}}_k)\}}{{\left(2\mathrm{\π}\right)}^{d/2}{\left|{\mathrm{\Σ}}_k\right|}^{1/2}}---\left(2\right)$

式(2)中，d为传感器数据s_i的维度数目，由贝叶斯定理得到第i个示例取自第k个高斯分布的概率：

${\mathrm{\γ}}_i\left(k\right)=p\left(k\right|s_i,\mathrm{\λ})=\frac{{\mathrm{\ω}}_k{p}_k\left(s_i\right|\mathrm{\λ})}{{\mathrm{\Σ}}_{u=1}^K{\mathrm{\ω}}_u{p}_u\left(s_i\right|\mathrm{\λ})}---\left(3\right)$

根据γ_i(k)求得N的FisherVector

$\begin{array}{c}{f}_{{\mathrm{\ω}}_k}^N=\frac{1}{\sqrt{{\mathrm{\ω}}_k}}{\Σ}_{i=1}^M\left({\mathrm{\γ}}_i\right(k)-{\mathrm{\ω}}_k)\\ f_{{\mathrm{\μ}}_k}^N=\frac{1}{\sqrt{{\mathrm{\ω}}_k}}{\Σ}_{i=1}^M{\mathrm{\γ}}_i\left(k\right)\left(\frac{s_i-{\mathrm{\μ}}_k}{{\Σ}_k^2}\right)\\ f_{{\Σ}_k}^N=\frac{1}{\sqrt{{\mathrm{\ω}}_k}}{\Σ}_{i=1}^M{\mathrm{\γ}}_i\left(k\right)\frac{1}{\sqrt{2}}\[\frac{{(s_i-{\mathrm{\μ}}_k)}^2}{{\Σ}_k^2}-1\]\\ f_{\mathrm{\λ}}^N=(f_{{\mathrm{\ω}}_k}^N,f_{{\mathrm{\μ}}_k}^N,f_{{\Σ}_k}^N)\end{array}---\left(4\right)$

第4步：利用MMD数据集成技术，将数据集D中的冗余数据筛除，得到D的子数据集D_sub。

WSNs在短时间内收集到的数据往往相似度非常高，包含了大量的冗余信息。为了减少对数据的训练量，适应海量的传感数据情景，需要对传感数据进行冗余信息筛除。

在机器学习中，最大平均损失(MMD)是数据集成的一个重要工具，它用来评价两个数据集分布的相似程度。对于一个数据集D＝{N₁,N₂,...,N_T}以及它的任意一个子集D_sub，它们的MMD的平方的计算方式如下：

${\mathrm{MMD}}_{\mathrm{\φ}}^2(D,D_{sub})=\left|\right|\frac{1}{T}\underset{N_t\∈D}{\Σ}\mathrm{\φ}\left(N_t\right)-\frac{1}{T_s}\underset{N_t^{\′}\∈D_{sub}}{\Σ}\mathrm{\φ}\left(N_t^{\′}\right)|{|}_H^2---\left(5\right)$

其中，N′_t表示取自子集D_sub的数据包，T_s为D_sub中的样本个数，φ(x)为非线性特征映射函数。MMD越大，代表D与D_sub分布越不相同，当MMD取值为0时，说明D完全可以由D_sub代替。D_sub可以利用D表示出来：

D_sub＝{α_tN_t|N_t∈D,t＝1,...,T,α_t∈{0,1}}

其中，α_t为样本选择权重，当子集中包含了N_t时，α_t取1，否则取0。接下来我们只需要最小化MMD²(D,D_sub)就可以找到最好的数据子集来代替原始数据集，优化目标函数如下：

目标函数进行简单变换化简后得：

其中，const为一个只与数据D有关的常数项，使用高斯径向基核函数k(x_i,x_j)有：

K_ij:＝k(N_i,N_j)(8)

${\mathrm{\κ}}_i:=\frac{T}{T_s}\underset{j=1}{\overset{T_S}{\Σ}}k(N_i,N_j)---\left(9\right)$

通过随机梯度下降法就可以得到目标函数的局部最优解，为了方便求解，这里对α_t的取值进行了放松，α_t取0到1之间的值，最终

D_sub＝{N_t|α_t＞σ}(10)

这里的阈值σ根据人的经验设定。

第5步：以D_sub为训练集，训练一个基于快速多示例多标记分类算法的预测模型Y_t＝F_y(f_t)，清空数据集D。

本发明中的网络状态预测模型基于快速多示例多标记算法(MIMLfast)模型，利用有监督学习的思想，在训练集D_sub上训练出一个多标记模型F(f_t)，新的传感数据输入到多标记模型中就能预测出网络状态。MIMLfast算法介绍如下：

MIMLfast为每个标记y(y∈Y)都构建一个打分函数：

F_y(f_t)＝ω_yWf_t(11)

其中，f_t是N_t的FisherVector简写，它的维度设为b，ω_y是标记y的B维权重向量，不同的标记拥有不同的权重向量，W是维度为B×b(B＜b)的信息提取矩阵，用来对f_t降维，所有的标记都共享一个W，这样不同的标记可以相互帮助构建分类模型。F_y(f_t)的值越大，代表f_t拥有标记y的可能性越大，f_t对每一个标记都有一个打分值，即{F₁(f_t),F₂(f_t),...,F_y(f_t),...,F_|Y|(f_t)}，对这些打分值排序，选取打分值较大的若干个标记作为f_t的相关标记。

基于数据集D_sub，使用随机梯度下降法反复迭代训练预测模型，方法如下：

在每一轮迭代，随机抽取一个样本f_t以及它的一个相关标记，组成一个二元组(f_t,y)，然后通过抽样的方法估计f_t的无关标记集合中，无关标记的打分值超过相关标记y的个数v，抽样方法：每次从中随机抽取一个无关样本如果则没有违规，继续下一轮抽样；如果则是一个违规标记，结束抽样过程，记录抽样操作进行的次数即为v。

利用v估计模型的误差，公式如下：

$error(f_t,y)=\underset{j=1}{\overset{v}{\Σ}}\frac{1}{j}---\left(12\right)$

利用误差error(f_t,y)构建基于三元组的损失函数为：

$\begin{array}{c}L(f_t,y,\stackrel{\‾}{y})=error(f_t,y)(1+F_{\stackrel{\‾}{y}}(f_t)-F_y(f_t\left)\right)\\ =error(f_t,y)(1+{\mathrm{\ω}}_{\stackrel{\‾}{y}}{\mathrm{Wf}}_t-{\mathrm{\ω}}_y{\mathrm{Wf}}_t)\end{array}---\left(13\right)$

求解梯度，更新参数

$\begin{array}{c}{\mathrm{\ω}}_y={\mathrm{\ω}}_y+\mathrm{\γ}*error(f_t,y)*{\mathrm{Wf}}_t\\ {\mathrm{\ω}}_{\stackrel{\‾}{y}}={\mathrm{\ω}}_{\stackrel{\‾}{y}}-\mathrm{\γ}*error(f_t,y)*{\mathrm{Wf}}_t\\ W=W-\mathrm{\γ}*error(f_t,y)*(f_t{\mathrm{\ω}}_{\stackrel{\‾}{y}}-f_t{\mathrm{\ω}}_y)\end{array}---\left(14\right)$

γ为随机梯度下降法的学习速率，控制着参数更新的快慢，更新完所有参数后，进入下一轮迭代，抽取新的三元组，直到模型训练完成为止。

预测模型训练好后，重新收集数据，并根据收集到的数据预测网络状态，并更新预测模型，如图3所示，步骤如下：

第1步：收集任意时刻的传感网络数据，利用FisherKernel核函数得到其单示例数据f_t。

第2步：将f_t输入到预测模型Y_t＝F_y(f_t)中，估测出网络当前所处状态Y_t，根据估测状态，管理者做出响应动作，同时对Y_t进行人工校验、更正，并将(f_t,Y_t)存入数据集D中。

第3步：重复步骤(ⅰ)、(ⅱ)，直到收集总共T个时刻的传感网络数据，构成新的数据集D＝{(f_t,Y_t),t＝1,...,T}。

第4步：利用MMD的数据集成技术，将数据集D中的冗余数据筛除，重新得到D的子数据集D_sub。

第5步：根据D_sub更新预测模型Y_t＝F_y(f_t)，清空数据集D。

如图4所示，由于历史传感数据集过大且冗余信息过多，本发明对原始传感数据进行两层压缩，在示例层面(传感器节点层面)，利用多示例退化算法将多个传感器节点收集到的数据压缩成单示例数据；在包层面(传感器网络层面)，利用MMD在保证信息量丢失不多的情况下，挑选出一个历史传感数据的子集，对历史不同时刻的传感数据进行压缩，减少训练量。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.无线传感网络中基于多示例多标记学习的区域监测方法，其特征在于：包括两个过程：预测模型构建、网络状态预测与模型更新，

所述模型构建过程如下：

(1)收集T个时刻的传感网络数据，构成数据集D_o＝{(N_t,Y_t)，t＝1,2,...,T}，N_t＝{s_t,1,s_t,2,...,s_t,i,...,s_t,M}表示时刻t时传感器网络收集到的数据，s_t,i表示时刻t时第i个传感器收集的数据，M为整个传感器网络的传感器的总数，Y_t＝{y_t,1,y_t,2,...,y_t,l,...,y_t,L}表示时刻t时传感器网络的状态向量，Y_t有L种需要监测的状态y_t,l，l＝1,2,…,L，y_t,l的取值由人为判断，y_t,l取1表示传感器网络正处于l状态，否则y_t,l取0；

(2)利用最大似然估计求解数据集D_o的混合高斯模型；

(3)对D_o中的所有N_t，利用基于混合高斯模型的FisherKernel核函数，将多示例数据N_t映射成单示例数据f_t，从而得到数据集D＝{(f_t,Y_t),t＝1,2,...,T}；

(4)利用MMD数据集成技术，将数据集D中的冗余数据筛除，得到D的子数据集D_sub；

(5)以D_sub为训练集，训练一个基于快速多示例多标记分类算法的预测模型Y_t＝F_y(f_t)，清空数据集D；

所述模型更新与网络状态预测过程如下：

(i)收集任意时刻的传感网络数据，利用FisherKernel核函数得到其单示例数据f_t；

(ii)将f_t输入到预测模型Y_t＝F_y(f_t)中，估测出网络当前所处状态Y_t，根据估测状态，管理者做出响应动作，同时对Y_t进行人工校验、更正，并将(f_t,Y_t)存入数据集D中；

(iii)重复步骤(ⅰ)、(ii)，直到收集总共T个时刻的传感网络数据，构成新的数据集D＝{(f_t,Y_t),t＝1,...,T}；

(iv)利用MMD数据集成技术，将数据集D中的冗余数据筛除，重新得到D的子数据集D_sub；

(v)根据D_sub更新预测模型Y_t＝F_y(f_t)，清空数据集D。

2.根据权利要求1所述无线传感网络中基于多示例多标记学习的区域监测方法，其特征在于，步骤(3)中将多示例数据映射成单示例数据的具体过程如下：

对于某个多示例数据N＝{s₁,s₂,...,s_i,...,s_M}，设整个样本集的概率密度函数p为混合高斯模型，则N取自该混合高斯模型的概率：

$L\left(N\right|\mathrm{\λ})=\underset{i=1}{\overset{M}{\Σ}}\log p\left(s_i\right|\mathrm{\λ})=\underset{i=1}{\overset{M}{\Σ}}log\underset{k=1}{\overset{K}{\Σ}}{\mathrm{\ω}}_k{p}_k\left(s_i\right|\mathrm{\λ})---\left(1\right)$

式(1)中，λ为在样本集上进行最大似然估计得到混合高斯模型的参数，λ＝{ω_k,μ_k,Σ_k,k＝1,...,K}，K为混合高斯模型当中包含单高斯模型的个数，ω_k代表第k个高斯模型占整个混合高斯模型的权重，且满足：μ_k和Σ_k分别为第k个高斯模型的均值向量和方差向量；

设p_k为第k个高斯模型的概率密度函数，则有：

$p_k\left(s_i\right|\mathrm{\λ})=\frac{\exp \{-\frac{1}{2}{(s_i-{\mathrm{\μ}}_k)}^T{\mathrm{\Σ}}_k^{-1}(s_i-{\mathrm{\μ}}_k)\}}{{\left(2\mathrm{\π}\right)}^{d/2}|{\mathrm{\Σ}}_k{|}^{1/2}}---\left(2\right)$

式(2)中，d为传感器数据s_i的维度数目，由贝叶斯定理得到第i个示例取自第k个高斯分布的概率：

${\mathrm{\γ}}_i\left(k\right)=p\left(k\right|s_i,\mathrm{\λ})=\frac{{\mathrm{\ω}}_k{p}_k\left(s_i\right|\mathrm{\λ})}{{\mathrm{\Σ}}_{u=1}^K{\mathrm{\ω}}_u{p}_u\left(s_i\right|\mathrm{\λ})}---\left(3\right)$

根据γ_i(k)求得N的Fisher向量

$\begin{array}{c}{f}_{{\mathrm{\ω}}_k}^N=\frac{1}{\sqrt{{\mathrm{\ω}}_k}}{\mathrm{\Σ}}_{i=1}^M\left({\mathrm{\γ}}_i\left(k\right)-{\mathrm{\ω}}_k\right)\\ f_{{\mathrm{\μ}}_k}^N=\frac{1}{\sqrt{{\mathrm{\ω}}_k}}{\mathrm{\Σ}}_{i=1}^M{\mathrm{\γ}}_i\left(k\right)\left(\frac{s_i-{\mathrm{\μ}}_k}{{\mathrm{\Σ}}_k^2}\right)\\ f_{{\mathrm{\Σ}}_k}^N=\frac{1}{\sqrt{{\mathrm{\ω}}_k}}{\mathrm{\Σ}}_{i=1}^M{\mathrm{\γ}}_i\left(k\right)\frac{1}{\sqrt{2}}\[\frac{{\left(s_i-{\mathrm{\μ}}_k\right)}^2}{{\mathrm{\Σ}}_k^2}-1\]\\ f_{\mathrm{\λ}}^N=\left(f_{{\mathrm{\ω}}_k}^N,f_{{\mathrm{\μ}}_k}^N,f_{{\mathrm{\Σ}}_k}^N\right)\end{array}---\left(4\right).$

3.根据权利要求1所述无线传感网络中基于多示例多标记学习的区域监测方法，其特征在于，步骤(4)的具体过程如下：

对于一个数据集D＝{N₁,N₂,...,N_T}，它的子集D_sub＝{α_tN_t|N_t∈D,t＝1,...,T,α_t∈{0,1}}，α_t为样本选择权重，当子集D_sub中包含了N_t时，α_t取1，否则α_t取0；

将数据集D和D_sub之间的最大平均损失平方的最小值作为目标函数：

式(5)中，N′_t表示取自子集D_sub的数据包，T_s为D_sub中的样本个数，φ(x)为非线性特征映射函数；

求出式(5)的局部最优解，并根据人为设定的阈值σ，得到D_sub＝{N_t|α_t＞σ}。

4.根据权利要求1所述无线传感网络中基于多示例多标记学习的区域监测方法，其特征在于，步骤(5)的具体过程：

(a)从D_sub中随机抽取一个样本f_t和它的一个相关标记y∈{y_t,l|y_t,l∈Y_t,y_t,l＝1}，计算f_t对标记y的打分值F_y(f_t)＝ω_yWf_t，其中，ω_y是标记y的权重向量，W是信息提取矩阵，用来对f_t降维；

(b)从f_t的标记集合中随机抽取一个无关标记计算如果无关标记没有违规，返回步骤(b)；如果 是一个违规的无关标记，记下当前总共抽样次数v，转到步骤(c)；

(c)根据抽样次数v估计模型的误差，利用误差对参数ω_y,W更新；

(d)判断模型是否收敛，如果否，返回步骤(a)，如果是，输出最终模型，结束训练。

5.根据权利要求4所述无线传感网络中基于多示例多标记学习的区域监测方法，其特征在于，步骤(c)中利用随机梯度下降法更新参数ω_y,W，更新的公式：

ω_y＝ω_y+γ*error(f_t,y)*Wf_t

${\mathrm{\ω}}_{\stackrel{\‾}{y}}={\mathrm{\ω}}_{\stackrel{\‾}{y}}-\mathrm{\γ}*error(f_t,y)*{\mathrm{Wf}}_t$

$W=W-\mathrm{\γ}*error(f_t,y)*(f_t{\mathrm{\ω}}_{\stackrel{\‾}{y}}-f_t{\mathrm{\ω}}_y)$

上式中，γ为随机梯度下降法的学习速率，error(f_t,y)为根据抽样次数v估计的模型误差，