CN110175680B - 利用分布式异步更新在线机器学习的物联网数据分析方法 - Google Patents

Abstract

本发明属于机器学习技术领域，公开了一种利用分布式异步更新在线机器学习的物联网数据分析方法；利用分布式异步更新在线机器学习的物联网数据分析方法包括：位于网络边缘的从机摄取由各种传感器生成的数据；将处理后的信息发送给主控机；同时，主控机会发送全局模型向量给从机；从机发送本地计算的梯度给主控机；主控机将全局矢量w发送给从机；更新在线学习模型。本发明采用在线学习方法提高其处理流数据的效率和能力，分布式在线学习算法采用主/从架构，其中通过网络交换局部计算的梯度和全局更新的矢量模型；采用具有严格理论支持的异步更新策略减少信息各方之间的交换。

Description

利用分布式异步更新在线机器学习的物联网数据分析方法

技术领域

本发明属于机器学习技术领域，尤其涉及一种利用分布式异步更新在线机器学习的物联网数据分析方法。

背景技术

目前，最接近的现有技术：分布式计算技术，然而几乎所有的分布式计算技术都没有完整统一的标准，且很难解决大规模复杂环境异构问题，所以在实际的应用中，缺乏迎合物联网边缘计算特点(如分布式、层次化、高实时性、设备计算能力由中心至边缘逐级递减)的智能化数据分析处理。另外，分布式算法在面对不断增长的网络模型时，整个平台的安全性和共享性方面的问题会显得极为严重。

物联网系统由临近现场的传感器和智能设备，用于数据传输的网络节点，以及远程云端服务器组成，系统的各个部分呈现出地理上分布范围广，逻辑上分层、从属关系明显的特点。得益于终端智能设备计算能力的提升，以及位于终端设备和云服务器之间的大量中间计算资源的存在，物联网系统能够尽可能地将计算和服务分配至网络边缘，从而扩展了云计算的集中服务模式，更加适用于规模大、地理位置分散及数据密集型的应用和服务。

综上所述，现有技术存在的问题是：现有的面向边缘节点的计算模式在实际应用中，没有迎合物联网边缘计算的特点，另外在面对大规模环境异构问题时，很难实现物联网数据分析所要求的实时性、高效率以及低通信开销等。

解决上述技术问题的难度：网络边缘设备的计算能力有限，而且大量的数据通信开销会增加网络延迟，减慢模型的更新速度，并不能高效、实时地适用于物联网数据分析任务。

解决上述技术问题的意义：能够解决物联网数据分析中边缘设备计算能力不强问题，提供在线、分布式、层次化、高实时性的数据分析方法，降低数据通信开销，加快模型的更新速度，给出一种更加高效的物联网数据分析方案。

发明内容

针对现有技术存在的问题，本发明提供了一种利用分布式异步更新在线机器学习的物联网数据分析方法。

本发明是这样实现的，一种利用分布式异步更新在线机器学习的物联网数据分析方法，所述利用分布式异步更新在线机器学习的物联网数据分析方法包括：

第一步，位于网络边缘的从机摄取由各种传感器生成的数据；将处理后的信息发送给主控机；同时，主控机会发送全局模型向量给从机；

第二步，从机发送本地计算的梯度给主控机；

第三步，主控机将全局矢量w发送给从机；

第四步，更新在线学习模型。

进一步，所述第一步将从机从边缘设备获取的数据流作为一个整体处理，将每个设备与N个从机中的一个相关联；数据集D分布在K上，即数据集D被划分为K个分区；使用符号I表示单位矩阵；给定两个矩阵和/>将M和N的克罗内克积表示为用作/>的简写；

(1)在线学习算法的初始化设置中，每个从机都以顺序的方式收集数据；在第t步，第i个从机接收到的数据表示为：(x_i，t，y_i，t)；其中表示样本是d维向量；y_i，t∈{-1，1}是指它的类标签；另外，第i个从机的分类模型由加权向量/>参数化；

(2)指定主控机节点维护一个复合向量w_t，由连接K个任务的权重组成即：且定期在主控机一侧更新；

(3)对于一个单一的从机，在时间t，从任务i接收数据(x_i，t，y_i，t)，并从主控机接收加权向量w_t；引入一个复合向量φ_t，其中并用/> 表示。

进一步，所述第二步将学习过程表示为正则化风险最小化问题，设计目标函数采用再生核希尔伯特空间：

另外：/>其中/>

(1)对于第i个任务的X_t，定义特征映射如下：

两个实例之间的核积计算为：

(2)如果所有的数据都是预先提供的，将目标指定为上述RKHS中的经验风险最小化的问题，即：

然而，根据在线学习的设置，从第i次迭代中只能得到第t个实例，又可以用表示第t次损失：

对于损失，计算其关于w_t的梯度如下：

对于矩阵A，设置为：

其中：a＝K+b(K-1)，其中b是用户自定义的参数；

化简后：

(3)为第i个从机分配一个大小为m的缓冲区记录最新的数据样本，并在缓冲区满时计算平均梯度，第i个任务的平均梯度计算如下：

其中m是用户自定义的缓冲区大小，B是缓冲的m个示例的索引集。通过调整m控制延迟更新的程度；

将分解为：

其中：

进一步，所述第三步对于主控机，始终保持最新的复合向量W_t和关系矩阵A；使用从机提供的梯度信息更新W_t号，并在需要时将更新后的W_t发送给从机；

(1)从机定期将平均梯度发送给主控机；主控机使用收到的/>计算平均值如下：

(2)主控机保留N个时钟，其中一个时钟对应N个从机，即τ_i，i∈{1，...，N}；其中τ_i表示第i个从机的延迟；在每轮学习中，首先检查最大延迟maxτ_j是否超过允许量τ；如果是，则主控机将等待相应从机的梯度更新模型；否则，主控机将使用来自任何从机的任何最新梯度更新模型。

本发明的另一目的在于提供一种应用所述利用分布式异步更新在线机器学习的物联网数据分析方法的物联网系统。

综上所述，本发明的优点及积极效果为：本发明所提出的利用分布式异步更新在线机器学习的物联网数据分析方法，所有流程都经过的精心设计，能够以异步、分布式和高效的方式工作。本发明设计的系统具有低复杂性、轻的通信开销和高可扩展性，另外它适用于任何分类任务，并可以移植到任何具有中等计算能力设备，在边缘计算范式下执行数据分析。本发明采用在线学习方法提高其处理流数据的效率和能力，而分布式在线学习算法采用主/从架构，其中通过网络交换局部计算的梯度和全局更新的矢量模型。该系统的组件可以是任何计算单元，并且整个数据集在训练上的分类精度与必须转移到集中式云平台上的经典模型相当，但由于采用具有严格理论支持的异步更新策略减少信息各方之间的交换，从而可以有效减少网络数据通信开销，而且在处理不可预测的网络延迟时保持系统健壮。

附图说明

图1是本发明实施例提供的利用分布式异步更新在线机器学习的物联网数据分析方法流程图。

图2是本发明实施例提供的边缘计算的架构图。

图3是本发明实施例提供的仿真系统的体系结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有的面向边缘节点的计算模式在实际应用中，缺乏迎合物联网边缘计算特点(如分布式、层次化、高实时性、设备计算能力由中心至边缘逐级递减)的智能化数据分析系统的问题。本发明设计的系统具有低复杂性、轻的通信开销和高可扩展性，另外它适用于任何分类任务，并可以移植到任何具有中等计算能力设备，在边缘计算范式下执行数据分析。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的利用分布式异步更新在线机器学习的物联网数据分析方法包括以下步骤：

S101：位于网络边缘的从机摄取由各种传感器生成的数据；将处理后的信息发送给主控机；同时，主控机会发送全局模型向量给从机；

S102：从机发送本地计算的梯度给主控机；

S103：主控机将全局矢量w发送给从机；

S104：更新在线学习模型。

在本发明的优选实施例中，步骤S101将从机从边缘设备获取的数据流作为一个整体处理。为此，将每个设备与N个从机中的一个相关联。假设数据集D分布在K上，即数据集D被划分为K个分区，而要求每个分区包含的数据必须是同质的，所有分区的数据就都可以表示在相同的全局特征空间中，并且可以使用分区之间的共享信息增强整个学习过程。因此，原问题就可以转化成在一位主控机的监督下使用N个从机从K个数据源中学习的问题。使用符号I表示单位矩阵。给定两个矩阵和/>将M和N的克罗内克积表示为/>用作/>的简写。

(1)在在线学习算法的初始化设置中，每个从机都以顺序的方式收集数据。一般说，在第t步，第i个从机接收到的数据表示为：(x_i，t，y_i，t)。其中表示样本是d维向量；y_i，t∈{-1，1}是指它的类标签。另外，第i个从机的分类模型由加权向量/>参数化。

(2)由于在学习的过程中涉及到K个任务，故选择相互耦合的方式更新其权重向量。具体说就是，指定主控机节点维护一个复合向量w_t，它由连接K个任务的权重组成即：且定期在主控机一侧更新。

(3)对于一个单一的从机，在时间t，它从任务i接收数据(x_i，t，y_i，t)，并从主控机接收加权向量w_t。为了便于表示，引入一个复合向量φ_t，其中并用/>表示。

在本发明的优选实施例中，步骤S102可以将学习过程表示为正则化风险最小化问题。为了设计目标函数，采用RKHS(再生核希尔伯特空间)：

另外：/>其中/>

(1)对于第i个任务的X_t，定义特征映射如下：

所以两个实例之间的核积可以计算为：

(2)如果所有的数据都是预先提供的，可以将目标指定为上述RKHS中的经验风险最小化的问题，即：

然而，根据在线学习的设置，从第i次迭代中只能得到第t个实例，它又可以用表示第t次损失：

对于上述损失，计算其关于w_t的梯度如下：

对于矩阵A，将其设置为：

其中：a＝K+b(K-1)，其中b是用户自定义的参数。

化简后：

至于权重，可以观察到：第i项任务的权重最大，而其他任务的权重相同；参数b用于权衡权重之间的差异。

(3)上述的过程已经展示了从机如何利用最新的φ_t，w_t和A计算梯度。自然地，将计算的梯度立即传输到主控机以更新模型。但是为了减少快速更新所带的网络流量和计算成本，可以通过定期的传输减慢速度。为第i个从机分配一个大小为m的缓冲区记录最新的数据样本，并在缓冲区满时计算平均梯度。具体而言，第i个任务的平均梯度计算如下：

其中m是用户自定义的缓冲区大小，B是缓冲的m个示例的索引集。通过调整m控制延迟更新的程度：

然而，在实际情况中，不通过网络传输上述(4)的结果。参考(1)式，可以将(4)分解为：

其中：

这样做的目的是传输稀疏矢量可以降低网络成本。

在本发明的优选实施例中，步骤S103对于主控机，它始终保持着最新的复合向量W_t和关系矩阵A。使用从机提供的梯度信息更新W_t，并在需要时将更新后的W_t发送给从机。

(1)如S102部分所述，从机定期将(6)的平均梯度发送给主控机。主控机使用收到的/>计算平均值如下：

(2)为了应对不可预测的网络延迟，让主控机保留N个时钟，其中一个时钟对应N个从机，即τ_i，i∈{1，...，N}。其中τ_i表示第i个从机的延迟。在每轮学习中，首先检查最大延迟maxτ_j是否超过允许量τ。如果是，则主控机将等待相应从机的梯度更新模型。否则，主控机将使用来自任何从机的任何最新梯度更新模型，以此提高分布式在线学习算法的收敛速度。

证明部分：本发明的仿真实验包含了64个数据源，1个主控机和8个从机。另外设置学习率η＝0.01，正则化参数λ＝0.001，以及交互矩阵参数b＝6。最终的实验结果表明，对比单机算法、分布式算法以及本发明所提出的分布式异步更新在线机器学习算法，基于相同规模的数据，在达到相同准确率的情况下，本发明所提出的算法具有更高的效率、几乎无限的水平可扩展性以及相对较低的通信开销。另外，在使用英特尔酷睿i7 2.4GHz CPU和8GBRAM的实验设置中，配备8个从机的分布式异步更新在线机器学习算法能够在几秒钟内处理数十万个样本。因此，很明显，通过将更多的从机引入系统，可以容易地增加这种处理能力。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种利用分布式异步更新在线机器学习的物联网数据分析方法，其特征在于分布式、层次化，所述利用分布式异步更新在线机器学习的物联网数据分析方法包括：

第一步，位于网络边缘的从机摄取由各种传感器生成的数据；将处理后的信息发送给主控机；同时，主控机会发送复合向量w_t给从机；

第二步，从机发送本地计算的梯度给主控机；

第三步，主控机将复合向量w_t发送给从机；

第四步，更新在线学习模型；

所述第一步将从机从边缘设备获取的数据流作为一个整体处理，将每个设备与N个从机中的一个相关联；数据集D分布在K上，即数据集D被划分为K个分区；使用符号I表示单位矩阵；给定两个矩阵和/>将M和N的克罗内克积表示为/> 用作的简写；

(1)在线学习算法的初始化设置中，每个从机都以顺序的方式收集数据；在第t步，第i_t个从机接收到的数据表示为：其中/>表示样本是d维向量；/>是指它的类标签；另外，第i_t个从机的分类模型由加权向量/>参数化；

(2)指定主控机维护一个复合向量w_t，由连接K个任务的权重组成即:

且定期在主控机一侧更新；

(3)对于一个单一的从机节点，在第t步，从任务i_t接收数据并从主控机接收加权向量w_t；引入一个复合向量φ_t，其中/>并用/>表示；

所述第二步将学习过程表示为正则化风险最小化问题，设计目标函数采用再生核希尔伯特空间RKHS：

另外：/>其中/>

(1)对于第i_t个任务的定义特征映射如下：

两个实例之间的核积计算为：

(2)如果所有的数据都是预先提供的，将目标指定为上述再生核希尔伯特空间RKHS中的经验风险最小化的问题，即：

然而，根据在线学习的设置，从第t次迭代中只能得到第i_t个实例，又用于表示第t次损失：

对于损失，计算其关于w_t的梯度如下：

对于矩阵A，设置为：

其中：a＝K+b(K-1)，其中b是用户自定义的参数；

化简后：

(3)为第i个从机分配一个大小为m的缓冲区记录最新的数据样本，并在缓冲区满时计算平均梯度，第i个任务的平均梯度计算如下：

其中m是用户自定义的缓冲区大小，B是缓冲的m个实例的索引集；通过调整m控制延迟更新的程度；

将分解为：

其中：

所述第三步对于主控机，始终保持最新的复合向量W_t和关系矩阵A；使用从机提供的梯度信息更新W_t，并在需要时将更新后的W_t发送给从机；

(1)从机定期将平均梯度发送给主控机；主控机使用收到的/>计算平均值如下：

(2)主控机保留N个时钟，其中一个时钟对应N个从机，即τ_i，i∈{1，...，N}；其中τ_i表示第i个从机的延迟；在每轮学习中，首先检查最大延迟maxτ_j是否超过允许量τ；如果是，则主控机将等待相应从机的梯度更新模型；否则，主控机将使用来自任何从机的任何最新梯度更新模型。

2.一种如权利要求1所述利用分布式异步更新在线机器学习的物联网数据分析方法使用的边缘计算系统，其特征在于分布式、层次化，所述边缘计算系统采用分层布局；包括一个通用的虚拟化设备主控机，提供集中式服务；还包括分配在不同智能终端上的客户端设备从机；从机，用于处理边缘设备产生的大规模的流数据，然后将处理过的相对较小规模的信息传递给主控机；主控机从收到的数据中提取分析整合有用的信息。

3.一种应用权利要求1所述利用分布式异步更新在线机器学习的物联网数据分析方法的物联网系统。