CN105074735B - 通过在多个学习机器之间共享信息来加速学习 - Google Patents

通过在多个学习机器之间共享信息来加速学习 Download PDF

Info

Publication number
CN105074735B
CN105074735B CN201480019759.2A CN201480019759A CN105074735B CN 105074735 B CN105074735 B CN 105074735B CN 201480019759 A CN201480019759 A CN 201480019759A CN 105074735 B CN105074735 B CN 105074735B
Authority
CN
China
Prior art keywords
variable
cluster
network
field regions
router
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480019759.2A
Other languages
English (en)
Other versions
CN105074735A (zh
Inventor
格雷戈瑞·莫穆德
让-菲利普·瓦瑟尔
素格力·达斯古普塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cisco Technology Inc
Original Assignee
Cisco Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cisco Technology Inc filed Critical Cisco Technology Inc
Publication of CN105074735A publication Critical patent/CN105074735A/zh
Application granted granted Critical
Publication of CN105074735B publication Critical patent/CN105074735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

在一个实施例中，确定由多个学习机器(LM)中的每个LM维护的变量。这些LM被托管于网络中的多个现场区域路由器(FAR)上，并且这些变量在FAR之间是可共享的。计算定义变量之间的相关性的多个相关性值。然后，基于多个相关性值计算FAR集群，以使得所集群的FAR与相关的变量相关联，并且该集群允许所集群的FAR共享其各自的变量。

Description

通过在多个学习机器之间共享信息来加速学习
相关申请
本发明要求于2013年2月5日递交、发明人为Mermoud等、题为“ACCELERATEDLEARNING BY SHARING INFORMATION BETWEEN MULTIPLE LEARNING MACHINES”的美国临时申请No.61/761,103和于2013年7月9日递交的美国专利申请No.13/937,631的优先权，这两个申请的内容通过引用被合并于此。
技术领域
本公开总体涉及计算机网络，并且更具体地，涉及在计算机网络内对学习机器的使用。
背景技术
低功率和有损网络(Low power and Lossy Network，LLN)(例如，物联网(IoT)网络)具有大量应用，例如，传感器网络、智能网格、以及智慧城市。LLN面临各种挑战，例如，有损链路、低带宽、低质量收发机、电池操作、低存储和/或处理能力等。这些网络的挑战性因大量的节点(大于“经典的”IP网络的数量级)而加重，因此使得路由、服务质量(QoS)、安全性、网络管理以及流量工程等面临严峻的挑战。
机器学习(ML)关注算法的设计和开发，这些算法作为输入的经验数据(例如，网络统计信息和状态、以及性能指示符)，识别这些数据中复杂的模式，并且根据建模来解决诸如回归(回归在数学上通常极难解决)之类的复杂问题。一般地，这些模式和模型的计算之后被用来自动(即，闭环控制)做出决策或帮助做出决策。ML是用来处理很难的问题(例如，计算机视觉、机器人学、数据挖掘、搜索引擎等)的非常广泛的学科，但最普遍的任务如下：线性和非线性回归、分类、集群、降维、异常检测、优化、关联规则学习。
ML算法中一个非常普遍的模式为使用底层模型M，给定输入数据，其参数被优化以最小化与M相关联的成本函数。例如，在分类的情景中，模型M可以是直线，其将数据分成两类，以使得M＝a*x+b*y+c，并且成本函数将是被错误分类的点的数目。然后ML算法包括对参数a、b、c进行调整，以使得被错误分类的点的数目最小。在优化阶段(或学习阶段)之后，模型M可被很容易地用来对新的数据点进行分类。通常，M是统计模型，并且给定输入数据，成本函数与M的似然成反比。应当注意，上面的示例是对通常具有较高维的更加复杂的回归问题的过分简化。
学习机器(LM)是依赖于一个或多个ML算法的计算实体，该一个或多个ML算法用于执行学习机器尚未被明确编程来执行的任务。具体地，LM能够调整其行为来适应其环境(即，无需先验配置静态规则的“自适应”)。在LLN的情景中，并且更一般地在IoT(或万联网(Internet of Everything，IoE))的情景中，该能力将非常重要，因为网络将面对变化的状况和需求，并且网络对于网络运营商的有效管理而言将变得太大。此外，LLN一般可以根据其所期望的用途和所部署的环境而显著不同。
迄今为止，不论LLN的复杂性的总体水平如何，在“经典的”方法(基于已知的算法)效率低下的情况下或者当数据量不能由人工处理以在考虑参数的数目的情况下预测网络行为时，LM尚未普遍用于LLN。
附图说明
本文的实施例可以通过结合附图参照下文的描述进行更好的理解，其中，相似的参考标号指示等同地或功能上类似的要素，其中：
图1示出了示例通信网络；
图2示出了示例网络设备/节点；
图3示出了图1的通信网络中的示例有向非循环图(DAG)；
图4示出了示例贝叶斯(Bayesian)网络；
图5示出了用于在FAR之间共享信息的示例架构；
图6示出了三个随机变量的示例时间演进；以及
图7示出了用于通过在多个学习机器之间共享信息来加速学习的示例简化过程。
具体实施方式
概述
根据本公开的一个或多个实施例，示出并描述了与通过在多个学习机器之间共享信息来加速学习有关的技术。在一个实施例中，确定由多个学习机器(LM)中的每个学习机器维护的变量。LM被托管于网络中的多个现场区域路由器(FAR)上，并且变量在FAR之间是可共享的。计算定义变量之间的相关性的多个相关性值。然后，基于多个相关性值来计算FAR集群，以使得所集群的FAR与相关的变量相关联，并且该集群允许所集群的FAR共享其各自的变量。
具体实施方式
计算机网络是在地理上分布的节点的集合，这些节点通过分段和通信链路进行互连，以在端节点(例如，个人计算机和工作站或其他设备(例如，传感器等))之间传输数据。从局域网(LAN)到广域网(WAN)的范围内的许多类型的网络是可用的。LAN通常通过位于大致相同的物理位置(例如，建筑物或校园)的专用私有通信链路来连接节点。另一方面，WAN一般通过长距离通信链路(例如，公共载波电话线、光学光路、同步光网络(SONET)、同步数字体系(SDH)链路或诸如IEEE61334、IEEE P1901.2等的电线通信(PLC))来连接地理上分散的节点。此外，移动Ad-Hoc网络(MANET)是一种无线ad-hoc网络，其一般被认为是由无线链路连接的移动路由器(以及相关联的主机)的自配置网络，它们的联合形成了任意的拓扑结构。
具体地，智能对象网络(例如，传感器网络)是具有空间分布的自主设备(例如，传感器、致动器等)的特定类型的网络，这些自主设备以合作的方式监控不同位置处的物理或环境状况，例如，能量/电力消耗、资源消耗(例如，对于高级的测量仪器或“AMI”应用而言，水/气等)、温度、压力、振动、声音、辐射、运动、污染等。其他类型的智能对象包括例如负责开启/关闭引擎或执行任何其他动作的致动器。传感器网络(一种类型的智能对象网络)是典型的共享介质网络，例如，无线或PLC网络。也就是说，除了一个或多个传感器，传感器网络中的每个传感器设备(节点)一般可以装备有无线电收发机或其他通信端口(例如，PLC、微控制器以及诸如电池之类的能量源)。通常，智能对象网络被看作现场区域网络(FAN)、邻居区域网络(NAN)、个人区域网络(PAN)等。一般地，智能对象节点(例如，传感器)上的大小和成本约束导致对诸如能量、存储器、计算速度以及带宽之类的资源的相应约束。
图1是示例计算机网络100的示意性框图，其说明性地包括通过各种通信方法进行互连的节点/设备110(例如，如所示出的标签，“根”、“11”、“12”…“45”以及下面图2中所描述的)。例如，链路105可以是有线链路或共享介质(例如，无线链路、PLC链路等)，其中，诸如路由器、传感器、计算机之类的某些节点110可以例如基于距离、信号强度、当前的操作状态、位置等与其他节点110进行通信。说明性的根节点(例如，FAN的现场区域路由器(FAR))可以通过WAN 130与局部网络互连，其可以容纳一个或多个其他相关的设备，例如，管理设备或服务器150(例如，网络管理服务器(NMS)、动态主机配置协议(DHCP)服务器、约束应用协议(CoAP)服务器等)。本领域技术人员明白，任意数目的节点、设备、链路等可以用于接收机网络，并且本文所示出的视图是出于简化的目的。另外，本领域技术人员还将理解，尽管网络以某一方向示出，尤其具有“根”节点，但网络100仅仅是一示例说明，其不意欲限制本公开。
数据分组140(例如，流量和/或消息)可以使用预定义的网络通信协议(例如，某些已知的有线协议、无线协议(例如，IEEE标准802.15.4、WiFi、蓝牙等)、PLC协议、或其他适当地共享介质协议)在计算机网络100的节点/设备之间进行交换。在该上下文中，协议包括定义节点彼此如何交互的一组规则。
图2是可以被用于本文所描述的一个或多个实施例的示例节点/设备200(例如，如上面图1所示的任意节点或设备)的示意性框图。该设备可以包括通过系统总线250互联的一个或多个网络接口210(例如，有线、无线、PLC等)、至少一个处理器220和存储器240以及电源260(例如，电池、外接电源等)。
(一个或多个)网络接口210包含用于通过耦合至网络100的链路105来传输数据的机械电路、电学电路以及信令电路。网络接口可以被配置为使用各种不同的通信协议来发送和/或接收数据。还应当注意，这些节点可以具有两种不同类型的网络连接210(例如，无线连接和有线/物理连接)，并且此处的视图仅出于说明的目的。另外，尽管网络接口210被示出为与电源260分离，但对于PLC(其中，PLC信号可以被耦合到馈入电源的电力线)，网络接口210可以通过电源260进行通信，或者可以是电源的整体组件。
存储器240包括多个存储位置，这些存储位置可由处理器220和网络接口210寻址，并且用于存储与本文所描述的实施例相关联的数据结构和软件程序。应当注意，某些设备可能具有有限的存储器或者没有存储器(例如，没有用于存储除了在设备和相关联的缓存上操作的程序/处理之外的存储器)。处理器220可以包括适用于运行软件程序和操纵数据结构245的硬件元件或硬件逻辑。操作系统242尤其通过调用支持在设备上运行的服务和/或软件处理的操作来在功能上组织设备，其中，操作系统242的一部分通常驻留在存储器240中并且由处理器来运行。如本文所描述的，这些软件处理和/或服务可以包括路由处理/服务244和说明性的“学习机器”处理248，其可以根据网络100内的特定节点/设备而配置有从智能学习机器算法到仅与智能学习机器进行通信的范围内的功能。还应注意，尽管学习机器处理248被示出为在集中式存储器240中，但替代的实施例可将该处理具体地在网络接口210内操作。
其他处理器和存储器类型(包括各种计算机可读介质)可以被用来存储和运行涉及本文所描述的技术的程序指令，这对本领域技术人员而言是显而易见的。另外，尽管该描述阐述了各种处理，但明确预期各种处理可以被实现为被配置来根据本文的技术(例如，根据类似处理的功能)进行操作的模块。另外，尽管已单独地示出和/或描述了这些处理，但本领域技术人员将理解，这些处理可以是其他处理内的例程或模块。
路由处理(服务)244包含由处理器220运行的计算机可执行指令，以执行由一个或多个路由协议(例如，本领域技术人员将理解的先应式路由协议和反应式路由协议)所提供的功能。这些功能可以在有能力的设备上被配置为对路由/转发表(数据结构245)进行管理，路由/转发表例如包含用来做出路由/转发决策的数据。具体地，在先应式路由中，在计算到网络中任意目的地的路由之前发现并且已知连接，例如，诸如开放最短路径优先(OSPF)、或中间系统到中间系统(ISIS)、或最优链路状态路由(OLSR)之类的链路状态路由。在另一方面，反应式路由发现邻居(即，不具有网络拓扑结构的先验知识)，并且响应于到目的地所需的路由，向网络发送路由请求以确定哪个邻居节点可以用来到达所期望的目的地。示例反应式路由协议可以包括Ad-hoc按需距离矢量(AODV)、动态源路由(DSR)、动态MANET按需路由(DYMO)等。应当注意，在不能或未被配置来存储路由条目的设备上，路由处理244可以仅包括提供源路由技术所必需的机制。也就是说，对于源路由，网络中的其他设备可以确切地告诉具有较少能力的设备将分组发送至哪里，并且具有较少能力的设备简单地按照指导来转发分组。
应当注意，网状网络近几年日益流行并且实用。具体地，诸如无线网络或PLC网络之类的共享介质网状网络通常在被称为低功耗有损网络(LLN)的网络上，LLN是路由器及其互连被约束的一类网络：LLN路由器通常在约束(例如，处理功率、存储器和/或能量(电池))下进行操作，并且其互连说明性地由高损耗速率、低数据速率和/或不稳定性来表征。LLN包括从几十个到几千甚至几百万个LLN路由器的任何事物，并且支持点到点流量(在LLN内的设备之间)、点到多流量(从诸如根节点之类的中央控制点到LLN内的设备的子集)以及多点到点流量(从LLN内的设备到中央控制点)。
LLN的示例实现方式是“物联网”网络。宽松地，术语“物联网”或“IoT”(或“万联网”或“IoE”)可以由本领域技术人员用于指代唯一可标识的对象(事物)及其在基于网络的架构中的虚拟表示。具体地，互联网演进的下一前沿是不仅仅连接计算机和通信设备的能力，还有连接一般“对象”(例如，灯、装置、交通工具、HVAC(采暖、通风和空调)、窗户和窗帘以及百叶窗、门、锁等)的能力。“物联网”因而一般指代诸如传感器和致动器之类的对象(例如，智能对象)通过计算机网络(例如，IP)进行互连，其中，计算机网络可以是公共互联网或私有网络。这样的设备已在工业中使用了数十载，通常以非IP或私有协议的形式使用，这些非IP或私有协议通过协议转换网关的方式而连接到IP网络。随着诸如智能网格、智慧城市、以及建筑和工业自动化以及汽车(例如，其能够互连用于感知像功率质量、轮胎压力和温度之类的事物的上百万的对象并且能够致动引擎和灯)之类的大量应用的出现，扩展适用于这些网络的IP协议极为重要。
在由Winter等提出的题为“RPL：IPv6 Routing Protocol for Low Power andLossy Networks(RPL：用于低功率有损网络的IPv6路由协议)”的互联网工程任务组(IETF)提议标准，请求注解(RFC)6550(2012年3月)中规定的示例协议提供了支持从LLN内的设备到中央控制点(例如，一般地，LLN边界路由器(LBR)、FAR、或“根节点/设备”)的多点到点(MP2P)流量以及从中央控制点到LLN内的设备的点到多点(P2MP)流量(还有点到点或“P2P”流量)。RPL(发音为“ripple”)一般可以被描述为距离矢量路由协议，其除了定义限制控制流量、支持修护等的一组特征之外，还建立用于路由流量/分组140的有向非循环图(DAG)。应当注意，如本领域技术人员可以理解的，RPL还支持多拓扑路由(MTR)的概念，借此，可以根据单独的需求来建立多个DAG以承载流量。
另外，有向非循环图(DAG)是具有某一属性的有向图，该属性使得所有的边以期望不存在循环(回路)的方式来导向。所有的边被包含在指向一个或多个根节点(例如，“簇首(clusterhead)”或“汇集点(sink)”)并且在该一个或多个根节点处终止的路径中，通常用来互连具有较大基础设施(例如，互联网、广域网、或其他域)的DAG的设备。此外，面向目的地的DAG(Destination Oriented DAG，DODAG)是生根于单个目的地的DAG，即，在没有向外的边的单个DAG根处。DAG内的特定节点的“双亲”是该特定节点在去往DAG根的路径上的直接继承者，以使得双亲具有比特定节点自身低的“等级”，其中，节点的等级标识了节点相对于DAG根的位置(例如，节点离根越远，则该节点的等级越高)。还应注意，树是一种DAG，其中，DAG中的每个设备/节点一般具有一个双亲或一个优选双亲。DAG一般可以基于目标函数(OF)(例如，通过DAG处理和/或路由处理244)来建立。目标函数的角色一般用来规定如何建立DAG的规则(例如，双亲的数目、备用双亲，等等)。
图3示出了例如可以通过上面所描述的技术在图1的网络100内建立的示例简化DAG。例如，可以针对每个节点来选定某些链路105以与特定双亲进行通信(因而反之，与孩子(如果存在)进行通信)。这些选定的链路形成DAG 310(如粗线所示)，其从根节点延伸到一个或多个叶子节点(没有孩子的节点)。流量/分组140(图1所示)然后可以以向上至根的方向或向下至叶子节点的方向来穿过DAG 310，如本文具体描述的。
(一个或多个)学习机器技术
如上所述，机器学习(ML)关注算法的设计和开发，这些算法作为输入的经验数据(例如，网络统计信息和状态、以及性能指标)，识别这些数据中的复杂模式，并且根据建模来解决诸如回归之类的复杂问题。ML算法中一个非常普遍的模式为使用底层模型M，给定输入数据，则其参数被优化以最小化与M相关联的成本函数。例如，在分类的情景中，模型M可以是直线，其将数据分成两类，以使得M＝a*x+b*y+c，并且成本函数将是被错误分类的点的数目。ML算法然后包括对参数a、b、c进行调整，以使得被错误分类的点的数目最小。在优化阶段(或学习阶段)之后，模型M可被很容易地用来对新的数据点进行分类。通常，M是统计模型，并且给定输入数据，成本函数与M的似然成反比。
还如上所述，学习机器(LM)是依赖于一个或多个ML算法的计算实体，该一个或多个ML算法用于执行学习机器尚未被明确编程来执行的任务。具体地，LM能够调整其行为来适应其环境。在LLN的情景中，并且更一般地在IoT(或万联网(Internet of Everything，IoE))的情景中，该能力将非常重要，因为网络将面对变化的状况和需求，并且网络对于网络运营商的有效管理而言将变得太大。迄今为止，不论LLN的复杂性的总体水平如何，在“经典的”方法(基于已知的算法)效率低下的情况下或者数据量不能由人工处理以在考虑参数的数目的情况下预测网络行为时，LM尚未普遍用于LLN。
具体地，许多LM可以以概率图模型(也被称为贝叶斯网络(BN))的形式来表达。BN是图G＝(V，E)，其中，V是一组顶点，E是一组边。这些顶点是随机变量，例如，X、Y和Z(见图4)，其联合分布P(X，Y，Z)由条件概率的乘积给出：
(公式1)P(X，Y，Z)＝P(Z|X，Y)P(Y|X)P(X)
公式1中的条件概率由图4中的图的边给出。在LM的情景中，BN被用来构建模型M及其参数。
本文的技术针对加速LM使能的FAR的学习处理。实际上，许多LM使用启发式搜索(例如，遗传算法、粒子群优化、或探求大的、多维的解空间的梯度下降法)。在这样的设置中，共享关于它们的发现的信息允许更快的收敛以及更好的总体结果。在本文的技术中，阐述了用于在托管于大型FAN中的FAR上的LM之间动态地共享信息从而显著提高基于LM的架构的整体性能的架构和一系列机制。
换言之，本文的技术介绍了用于在受约束的环境中的不同FAR上运行的类似LM之间共享信息的架构。该架构阐述了一种方法，通过该方法，被称为分布式学习协调器(DLC)的代理动态地计算托管学习机器的FAR集群，其中，这些学习机器得益于共享知识。除了可用的网络资源之外，DLC还考虑该组LM使用的可共享的变量之间的相关性，以基于与NMS的动态交互来计算集群。此外还使用了反馈机制来动态调整对集群的计算。
在一个实施例中，确定由多个学习机器(LM)中的每个学习机器维护的变量。LM被托管于网络中的多个现场区域路由器(FAR)，并且变量在FAR之间是可共享的。计算定义变量之间的相关性的多个相关性值。然后，基于多个相关性值来计算FAR集群，以使得所集群的FAR与相关的变量相关联，并且该集群允许所集群的FAR共享其各自的变量。
说明性地，本文所描述的技术例如可以根据学习机器处理248通过硬件、软件和/或固件来执行，其中，学习机器处理248可以包含由处理器220(或接口210的独立处理器)运行的计算机可执行指令以(例如，可选地与其他处理结合)执行与本文所描述的技术有关的功能。例如，本文的技术的某些方面可以被作为对常规协议的扩展，例如，对各种通信协议(例如，路由处理244)的扩展，由此，本文的技术的某些方面可以由本领域所理解的运行那些协议的类似组件来处理。另外，尽管本文的技术的某些方面可以从单个节点/设备的角度进行描述，但本文所描述的实施例可以被执行为分布式智能，还可以被称为边缘/分布式计算，例如，除了或代替在服务器150内托管智能，还可以在现场区域网络的节点110内托管智能。
操作上，本文的技术使得能够在LM使能的FAR之间实现信息共享。这些技术的第一方面在于对其支持的LM的类型的说明。任何LM可被看作计算实体，该计算实体维护一系列变量或数据结构的值并且将它们更新为从网络获取的新的经验数据(例如，节点属性和度量、流量测度等)。
首先，本文的技术区分了两种类型的变量：(1)私有型，PAN专用变量，这些变量的值对于每个FAR都应不相同，因为它们使用FAR所负责的PAN的一些特定的属性，和(2)可共享型，FAN范围内的变量，尽管这些变量从经验数据中学习，但其不是PAN专用的，而是这些变量可以在不同的FAR之间共享。在本文的技术中，这种分割在两种广泛使用的LM类型的上下文中进行描述：贝叶斯网络和启发式搜索。
如图4所示，贝叶斯网络是其顶点为随机变量的图，这些随机变量可以被观察到(即，它们与输入数据相对应)或被隐藏(需要使用贝叶斯理论将其从输入数据中推导出来)。这些变量可以表示基本的网络属性(例如，流量、ETX、链路稳定性，等)或者更抽象的量(例如，模型参数)。如果这些隐藏的变量的子集属于FAN范围的范畴，则其可以在邻近的FAR之间共享。这通常是隐藏变量的情形，这些隐藏变量表示预期在整个地理区域内一致的环境参数或网络参数(例如，用户行为、温度、节点故障率、等)。
启发式搜索维护候选解列表(例如，在基因算法的情形中以基因组所描述的个体的形式，或者在粒子群优化或梯度下降法的情形中作为多维解空间中的粒子或点)。例如，在Vasseur等人于2013年2月5日递交的题为“Learning Machine Based Detection ofAbnormal Network Performance(基于学习机器对异常网络性能的检测)”的美国临时专利申请No.61/761,117中，这样的启发式搜索用于探求非线性特征fi(x)的空间，该非线性特征构成将节点属性映射到对该节点的QoS的估计的函数F()。对于每个解(例如，一组特定特征f1(x)，...，fn(x))，可以计算适合性，适合性表示特定解接近最优的程度(例如，产生的函数F()的精确度)。在每次迭代时，对候选解进行估计，并且这些候选解根据其适合性被渐进地更新：很好的解比坏的解变化得更慢，并且后者以其更接近好的解的方式来更新。在并行的设置中，每个算法维护一组本地候选解，并且算法如上面所定义的进行。然而，为了加速处理，最佳解以定期间隔被发送到邻近的FAR。结果，每个本地LM得益于其他LM的发现。因此，本文的技术提供了共享该信息的架构方法，其针对IoT或其他受限网络实现了在大型FAN上的部署。
根据本文的一个或多个实施例，定义了被称为分布式学习协调器(DLC)的代理，其负责针对在至少两个FAR上运行的每个LM确定：(1)必须在不同的FAR之间共享的变量列表；(2)对共享知识的FAR集群的计算；以及(3)在托管于FAR上的LM之间学习信息的速率r。一般参照示出示例架构的图5。
为此，DLC使用新规定的单播或多播IPv6消息来周期性地探测每个FAR的可共享的变量，并且估计共享变量的相关性。如果该相关性高于给定阈值，则DLC创建这些变量的共享集群。应当注意，相关性在动态形成集群上很重要。集群的想法在于动态确定托管于计算引擎(FAR、UCS等)上的可以得益于彼此的一组LM。实际上，如果由一组FAR使用的变量之间的相关性较高，则它们通过共享知识而得益于彼此，因而这些集群的动态形成对于本文的技术是有益的。
相关性是两个随机变量之间的依赖性的测度。通过扩展，Y1和Y2之间的相关性表示通过测量Y2可以预期获得多少关于Y1的信息，反之亦然。其采用-1和1之间的值，而极值(即，接近-l或1)表示较强的依赖性。例如，图6示出了三个变量Y1、Y2和Y3的时间演进，将假设对于某一时刻，它们是在三个不同的FAR上运行的LM的一部分。可以观察到，Y1和Y2看起来彼此更加类似，并且实际上它们的相关性接近一(0.9258)，而Y3与Y1和Y2都很不同，分别具有0.04和-0.2的相关性。在该上下文中，在Y1和Y3的LM之间共享信息毫无意义，因为它们基本上不相关。相反，对Y2的观察可能对Y1的LM有用，因为它们具有强相关动态。
本文技术的另一关键的实施例是通过具有共享速率r的DLC进行动态计算；虽然速率r可以是用户定义的，但是其可以有利地根据共享的变量的动态来进行动态计算。如上面所解释的，对集群的动态计算由变量的动态和托管于一组FAR上的LM所使用的变量之间的相关性来管理。不幸的是，尽管知识可以有利地由一组LMd(分布式LM)进行共享，但现场区域网络的约束性质使得其在IoT中是不可能的。因此，DLC使用又一输入，其在于考虑共享的知识的量、根据可用资源的交换速率r。为此，DLC被连接到某一网络，该网络形成被动路由邻接从而更广泛地收集链路状态数据库(LSDB)或路由拓扑。此外，DLC还可以收集来自NMS的可用于在FAR之间学习共享的网络资源方面的信息。例如，由于NMS通常跟踪网络中的可用资源，因此其还可以通过明确地报告可用于FAR之间的路径的一组网络资源来向DLC提供一些输入。应当注意，这样的信息可以定期地被更新，并且以压缩矩阵形式被提供给DLC，其耦合有策略实施参数(尽管50Kbits/s在FAR X和FAR Y之间是可用的，但不使用大于10Kbits/s，将流量的相应DSCP标记为D1，在早晨2点和4点之间发送，等)。
通过考虑网络可用资源、一组LM使用的可共享变量之前的相关性，DLC能够计算允许以速率r共享知识的FAR集群。
在又一实施例中，DLC还可以用于设置从NMS获得的用户定义的共享集群。一旦创建新的集群，则DLC向FAR发送规定如下内容的消息：
1. Lshared——要共享的变量的列表；
2. Lmates——要进行共享的FAR列表；以及
3.发送数据所必需的速率r。
当接收到该消息时，FAR的编排层(OL)(例如参见由Dasgupta等于2013年2月5日递交的题为“A Pre-Processing Framework Component of Distributed IntelligenceArchitectures(分布式智能架构的预处理框架组成)”的美国临时专利申请No.61/761,124)开启等于1/r的定时器。当定时器时间到时，OL读取Lshared中的变量，并且将其发送至Lmates中的FAR。当接收到来自另一FAR的变量时，OL将其发送至LM，LM在下一迭代时将这些变量合并在其学习处理中。例如，在启发式搜索中，共享的变量通常为其他FAR的最佳候选解的子集。在该情形中，LM可以仅对其自己的候选解和由所集群的FAR共享的那些候选解执行选择步骤，从而使得在选择之后得到相同数目的候选解。
可以使用新型IPv6消息由DLC将该组动态计算的集群随同交换速率一起提供给FAR。在一个实施例中，如果DLC期望根据网络资源周期性地更新r的值，则DLC可以使用一组单播或动态创建每一集群的一组多播组以使得交换速率r保持更新。
本文技术的另一方面是由托管的LM控制的向DLC进行反馈处理。实际上，除了计算变量之间的相关性，DLC可以使用LM自己计算的度量(例如，方差或误差方面的变化)来调整各种共享参数。更一般地，该方面允许LM基于每个变量将其他LM共享的信息的关联性和有用性告知DLC。
图7示出了通过在多个学习机器之间共享信息来加速学习的示例简化过程。如图7所示，过程700可以开始于步骤705，继续到步骤710等，其中，如上面更详细的描述，相关的变量在托管LM的FAR之间共享。
在步骤710处，过程700包括确定由多个LM中的每个LM维护的变量，该多个LM被托管于网络中的多个FAR上。变量在FAR之间是可共享的。在步骤715处，多个相关性值定义变量之间的相关性。然后，在步骤720处，基于多个相关性值计算FAR集群，以使得所集群的FAR与所计算的相关的变量相关联，并且该集群允许所集群的FAR共享其各自的变量。过程700说明性地在步骤725中结束。上面对过程700的步骤执行所依据的技术以及辅助的过程和参数进行了详细的描述。
应当理解，图7中所示的步骤仅仅是用于说明的示例，可以根据需要包括或排除某些步骤。而且，尽管示出了步骤的特定顺序，但该顺序仅仅是说明性的，并且在不背离本文的实施例的范围的情况下可以使用任意合适的步骤安排。
因此，本文所描述的技术提供了通过在多个学习机器之间共享信息来加速学习。具体地，本文的技术通过共享不是FAN专用的信息来加速本地LM的学习处理的准确性和收敛。这些技术在保留了底层环境和/或网络约束的同时还提供了用于在FAR之间共享信息的灵活的架构。
尽管已经示出并且描述了提供通过在多个学习机器之间共享信息来加速学习的说明性实施例，但应当理解，在本文的实施例的精神和范围内，可以做出各种其他的适应和修改。例如，已经针对LLN和相关的协议对实施例进行了描述和示出。然而，这些实施例在其广义上不是限制性的，事实上，可以与其他类型的通信网络和/或协议一起使用。另外，尽管已经针对通信网络的特定情景中的学习机器对实施例进行了描述和示出，但某些技术和/或这些技术的某些方面一般可以在无需涉及通信网络的情况下应用于学习机器，这将被本领域技术人员所理解。
前面的描述针对具体实施例。然而，显而易见的是，可以对所描述的实施例做出其他变化和修改，从而实现其优势中的一些优势或全部优势。例如，应当明确预期，本文所描述的部件和/或元件可以被实现为软件，该软件被存储于具有在计算机、硬件、固件或其组合上运行的程序指令的有形(非暂态)计算机可读介质(例如，盘/CD/RAM/EEPROM/等)。因此，本说明书只通过示例的方式进行，而非以其他方式限制本文的实施例的范围。因此，所附权利要求的目的在于覆盖进入本文的实施例的真正精神和范围内的所有这样的变化或修改。

Claims (18)

1.一种通过在多个学习机器之间共享信息来加速学习的方法，包括：
确定由多个学习机器中的每个学习机器维护的变量，所述多个学习机器被托管于网络中的多个现场区域路由器上，其中，所述变量在所述现场区域路由器之间是可共享的；
计算定义所述变量之间的相关性的多个相关性值；
基于所述多个相关性值计算现场区域路由器集群，其中，所集群的现场区域路由器与相关的变量相关联，并且该集群允许所集群的现场区域路由器共享其各自的变量；以及
确定共享速率，该共享速率定义所述变量由所集群的现场区域路由器共享的速率。
2.如权利要求1所述的方法，还包括：
确定所述多个相关性值中的某一相关性值是否超过预定阈值，其中，所述集群仅在该相关性值超过所述预定阈值时被计算。
3.如权利要求1所述的方法，其中确定所述变量包括：
周期性地向每个现场区域路由器发送消息以针对更新的变量来探测所述现场区域路由器。
4.如权利要求1所述的方法，还包括：
确定所述网络中可用的网络资源，其中，所述共享速率是基于所述可用的网络资源来确定的。
5.如权利要求1所述的方法，还包括：
接收对用户定义的共享速率的指示，其中，所述共享速率是基于所述用户定义的共享速率来确定的。
6.如权利要求1所述的方法，还包括：
基于网络度量来动态调整所述集群。
7.如权利要求6所述的方法，还包括：
从特定学习机器接收关于该特定学习机器所维护的变量的反馈，其中，所述网络度量基于接收到的反馈。
8.如权利要求6所述的方法，还包括：
确定所述网络中可用的网络资源，其中所述网络度量基于所述可用的网络资源。
9.一种通过在多个学习机器之间共享信息来加速学习的装置，包括：
一个或多个网连接口，其与网络进行通信；
处理器，其耦合于所述一个或多个网络接口并且被配置为执行处理；以及
存储器，其被配置为存储包含所述处理器可执行的处理的程序指令，所述处理包括：
确定由多个学习机器中的每个学习机器维护的变量，所述多个学习机器被托管于网络中的多个现场区域路由器上，其中，所述变量在所述现场区域路由器之间是可共享的；
计算定义所述变量之间的相关性的多个相关性值；
基于所述多个相关性值计算现场区域路由器集群，其中，所集群的现场区域路由器与相关的变量相关联，并且该集群允许所集群的现场区域路由器共享其各自的变量；以及
确定共享速率，该共享速率定义所述变量由所集群的现场区域路由器共享的速率。
10.如权利要求9所述的装置，其中所述处理还包括：
确定所述多个相关性值中的某一相关性值是否超过预定阈值，其中，所述集群仅在该相关性值超过所述预定阈值时被计算。
11.如权利要求9所述的装置，其中确定所述变量包括：
周期性地向每个现场区域路由器发送消息以针对更新的变量来探测所述现场区域路由器。
12.如权利要求9所述的装置，其中所述处理还包括：
确定所述网络中可用的网络资源，其中，所述共享速率是基于所述可用的网络资源来确定的。
13.如权利要求9所述的装置，其中所述处理还包括：
接收对用户定义的共享速率的指示，其中，所述共享速率是基于所述用户定义的共享速率来确定的。
14.如权利要求9所述的装置，其中所述处理还包括：
基于网络度量来动态调整所述集群。
15.如权利要求14所述的装置，其中所述处理还包括：
从学习机器接收关于该学习机器所维护的变量的反馈，其中，所述网络度量基于接收到的反馈。
16.如权利要求14所述的装置，其中所述处理还包括：
确定所述网络中可用的网络资源，其中所述网络度量基于所述可用的网络资源。
17.一种存储程序指令的非暂态计算机可读介质，所述程序指令使得计算机执行处理，所述处理包括：
确定由多个学习机器中的每个学习机器维护的变量，所述多个学习机器被托管于网络中的多个现场区域路由器上，其中，所述变量在所述现场区域路由器之间是可共享的；
计算定义所述变量之间的相关性的多个相关性值；
基于所述多个相关性值计算现场区域路由器集群，其中，所集群的现场区域路由器与相关的变量相关联，并且该集群允许所集群的现场区域路由器共享其各自的变量；以及
确定共享速率，该共享速率定义所述变量由所集群的现场区域路由器共享的速率。
18.如权利要求17所述的计算机可读介质，还包括：
确定所述多个相关性值中的某一相关性值是否超过预定阈值，其中，所述集群仅在该相关性值超过所述预定阈值时被计算。
CN201480019759.2A 2013-02-05 2014-02-04 通过在多个学习机器之间共享信息来加速学习 Active CN105074735B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361761103P 2013-02-05 2013-02-05
US61/761,103 2013-02-05
US13/937,631 US9436917B2 (en) 2013-02-05 2013-07-09 Accelerating learning by sharing information between multiple learning machines
US13/937,631 2013-07-09
PCT/US2014/014694 WO2014123917A1 (en) 2013-02-05 2014-02-04 Accelerated learning by sharing information between multiple learning machines

Publications (2)

Publication Number Publication Date
CN105074735A CN105074735A (zh) 2015-11-18
CN105074735B true CN105074735B (zh) 2018-02-13

Family

ID=51260154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480019759.2A Active CN105074735B (zh) 2013-02-05 2014-02-04 通过在多个学习机器之间共享信息来加速学习

Country Status (4)

Country Link
US (1) US9436917B2 (zh)
EP (1) EP2954464B1 (zh)
CN (1) CN105074735B (zh)
WO (1) WO2014123917A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9734457B2 (en) * 2013-12-31 2017-08-15 Cisco Technology, Inc. Learning data processor for distributing learning machines across large-scale network infrastructures
US10015720B2 (en) 2014-03-14 2018-07-03 GoTenna, Inc. System and method for digital communication between computing devices
US10679136B2 (en) 2015-04-23 2020-06-09 International Business Machines Corporation Decision processing and information sharing in distributed computing environment
AU2016204072B2 (en) 2015-06-17 2017-08-03 Accenture Global Services Limited Event anomaly analysis and prediction
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
US11134092B2 (en) 2017-04-12 2021-09-28 International Business Machines Corporation Security for internet of things devices
US11568236B2 (en) 2018-01-25 2023-01-31 The Research Foundation For The State University Of New York Framework and methods of diverse exploration for fast and safe policy improvement
US10944669B1 (en) 2018-02-09 2021-03-09 GoTenna, Inc. System and method for efficient network-wide broadcast in a multi-hop wireless network using packet echos
US10813169B2 (en) 2018-03-22 2020-10-20 GoTenna, Inc. Mesh network deployment kit
US11082324B2 (en) 2018-07-27 2021-08-03 goTenna Inc. Vine: zero-control routing using data packet inspection for wireless mesh networks
CN111209245B (zh) * 2018-11-21 2021-11-16 上海寒武纪信息科技有限公司 数据处理装置、方法及相关产品
WO2020185707A1 (en) 2019-03-08 2020-09-17 goTenna Inc. Method for utilization-based traffic throttling in a wireless mesh network
US11521091B2 (en) * 2019-05-22 2022-12-06 International Business Machines Corporation Leveraging correlation across agents for enhanced distributed machine learning
US11379727B2 (en) * 2019-11-25 2022-07-05 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for enhancing a distributed medical network
CN112398969B (zh) * 2021-01-19 2021-03-19 中国人民解放军国防科技大学 IPv6地址的动态探测方法、装置及计算机设备
US11516311B2 (en) * 2021-01-22 2022-11-29 Avago Technologies International Sales Pte. Limited Distributed machine-learning resource sharing and request routing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1326567A (zh) * 1998-11-16 2001-12-12 艾利森电话股份有限公司 处理系统调度
CN101315626A (zh) * 2007-05-31 2008-12-03 中国科学院自动化研究所 一种复杂系统中非监督聚堆方法
CN101645911A (zh) * 2008-08-05 2010-02-10 北京大学 一种基于动态集群的新闻服务方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7733857B2 (en) * 2004-12-17 2010-06-08 Samsung Electronics Co., Ltd. Apparatus and method for sharing variables and resources in a multiprocessor routing node
US7366111B2 (en) 2005-04-08 2008-04-29 Cisco Technology, Inc. Arrangement for providing optimized connections between peer routers in a tree-based ad hoc mobile network
US7562140B2 (en) 2005-11-15 2009-07-14 Cisco Technology, Inc. Method and apparatus for providing trend information from network devices
US8102775B2 (en) 2007-03-12 2012-01-24 Cisco Technology, Inc. Joining tree-based networks into an autonomous system using peer connections between the tree-based networks
US8824471B2 (en) 2011-06-01 2014-09-02 Cisco Technology, Inc. Maintained message delivery during routing domain migration
US8799510B2 (en) 2011-07-05 2014-08-05 Cisco Technology, Inc. Managing host routes for local computer networks with a plurality of field area routers
US8949959B2 (en) 2012-02-21 2015-02-03 Cisco Technology, Inc. Reduced authentication times for shared-media network migration
US20130236002A1 (en) * 2012-03-08 2013-09-12 Avaya Inc. Using factor analysis to improve work assignment performance

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1326567A (zh) * 1998-11-16 2001-12-12 艾利森电话股份有限公司 处理系统调度
CN101315626A (zh) * 2007-05-31 2008-12-03 中国科学院自动化研究所 一种复杂系统中非监督聚堆方法
CN101645911A (zh) * 2008-08-05 2010-02-10 北京大学 一种基于动态集群的新闻服务方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Optimized Q-learning Model for Distributing traffic in on-chip networks;Fahimeh Farahnakian etal.;《2012 IEEE 3rd international conference on Networked embedded systems for every application(NESEA)》;20121213;第1-8页 *

Also Published As

Publication number Publication date
EP2954464B1 (en) 2022-11-30
CN105074735A (zh) 2015-11-18
US9436917B2 (en) 2016-09-06
WO2014123917A1 (en) 2014-08-14
US20140222726A1 (en) 2014-08-07
EP2954464A1 (en) 2015-12-16

Similar Documents

Publication Publication Date Title
CN105074735B (zh) 通过在多个学习机器之间共享信息来加速学习
CN105075179B (zh) 用于基于学习机器对异常网络性能的检测的方法和装置
CN105075180B (zh) 用于调整网络属性的方法、装置及计算机可读存储介质
CN105900378B (zh) 使用基于早期学习机器的故障预测来触发重新路由的方法和装置
US10277476B2 (en) Optimizing network parameters based on a learned network performance model
CN103999510B (zh) 用于简约连接对象网络的辅助智能路由
US9443204B2 (en) Distributed architecture for machine learning based computation using a decision control point
EP3143721B1 (en) Probing technique for predictive routing in computer networks
CN105052205B (zh) 提供无服务中断的备份网络拓扑
CN103957525B (zh) 车联网中基于分簇信任评估的恶意节点检测方法
EP2954644B1 (en) Dynamically determining node locations to apply learning machine based network performance improvement
US20140222997A1 (en) Hidden markov model based architecture to monitor network node activities and predict relevant periods
CN101321134B (zh) 动态网络条件下的服务质量路由选择方法
Geng et al. A multi-agent reinforcement learning perspective on distributed traffic engineering
Ghosh et al. A cognitive routing framework for reliable communication in IoT for industry 5.0
CN106416183B (zh) 使用分布式分类器的投票策略优化
US20150186775A1 (en) Distributed approach for feature modeling using principal component analysis
US20140222975A1 (en) Learning machine based computation of network join times
Aboubakar et al. Using machine learning to estimate the optimal transmission range for RPL networks
Yu et al. Distributed soft clustering algorithm for IoT based on finite time average consensus
Mughal et al. An intelligent Hybrid‐Q Learning clustering approach and resource management within heterogeneous cluster networks based on reinforcement learning
Ye et al. Roracle: Enabling Lookahead Routing for Scalable Traffic Engineering with Supervised Learning
Modi et al. Multi-Agent Packet Routing (MAPR): Co-Operative Packet Routing Algorithm with Multi-Agent Reinforcement Learning
Gao et al. A Scalable Two-Hop Multi-Sink Wireless Sensor Network for Data Collection in Large-Scale Smart Manufacturing Facilities.
Raj et al. An Analysis on the Implementation of Deep Learning in Wireless Networks

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant