CN111492632B - 用于预测网络节点的状态改变的系统和方法 - Google Patents
用于预测网络节点的状态改变的系统和方法 Download PDFInfo
- Publication number
- CN111492632B CN111492632B CN201780097898.0A CN201780097898A CN111492632B CN 111492632 B CN111492632 B CN 111492632B CN 201780097898 A CN201780097898 A CN 201780097898A CN 111492632 B CN111492632 B CN 111492632B
- Authority
- CN
- China
- Prior art keywords
- node
- measure
- attribute values
- probability
- state change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000008859 change Effects 0.000 title claims abstract description 68
- 238000011156 evaluation Methods 0.000 claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 21
- 238000003066 decision tree Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000007637 random forest analysis Methods 0.000 claims description 4
- 238000012706 support-vector machine Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 12
- 238000012360 testing method Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 101100006584 Mus musculus Clnk gene Proteins 0.000 description 5
- 239000003595 mist Substances 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000007418 data mining Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000007635 classification algorithm Methods 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003449 preventive effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000220317 Rosa Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012517 data analytics Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000246 remedial effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1012—Server selection for load balancing based on compliance of requirements or conditions with available server resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
- H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1029—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Environmental & Geological Engineering (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
在一个方面中，提供了一种由网络节点执行的用于预测网络中的节点(例如，雾节点)的状态改变的概率的方法。网络节点基于节点的属性来确定权重的集合。网络节点使用与节点相关的一个或多个属性值的集合以及所确定的权重的集合来估计节点的状态改变的概率，其中确定权重的集合包括使与节点关联的评估值最大化。
Description
技术领域
公开了与预测网络中的网络节点(诸如例如雾节点)的状态改变相关的实施例。
背景技术
最近，已存在用于支持工业和商业应用两者的物联网(IoT)装置的快速扩张。云计算是IoT框架中的重要范例。为了实现涉及IoT装置的新种类的应用和服务，研究者已引入了将云计算扩展到网络的边缘的雾计算。
雾计算将通过减少时延、增加吞吐量、整合资源、节省能量以及增强安全性和隐私来使若干相关域(包括移动/可穿戴计算、物联网(IoT)以及大数据分析)受益。在大数据分析中，在网络的边缘生成巨量数据。雾计算支持边缘分析，其能够减少大数据分析的延迟并降低数据传输和存储的成本。在IoT应用中，带有内置智能模块的具有到一个或多个传感器的连接的特定装置可充当雾节点。雾节点也可以是具有独特感测和致动能力的不同传感器的集合。雾节点可以包括内置数据库和分析模块，其促进雾节点的激活和决策制定。此类雾节点可以位于诸如山脉或海洋之中的远程位置。在此类远程位置中，尽管气候变化，雾节点必须靠它自己的电池电力维持并且维护功能性。因此，需要在连续的基础上监测雾节点以预料并为及时的状态改变做准备。例如，在由于内部问题或由于外部问题(例如，气候条件)雾节点突然进入不活动状态的情况下，有可能丢失雾节点的特定位置和其它重要的相关细节，这可能在整个网络中造成严重问题。
发明内容
一般地，雾节点连接到云以建立雾联网(fog networking)。因此，雾节点周期性地向云传送信息(例如，以及时的方式传递细节)，因此雾节点的突然故障可能导致至关重要的数据的丢失。在这方面，存在实时监测雾节点以预料并理解雾节点的动态状态改变的需要。
附加地，越来越多的对业务的处理和决策制定正发生在网络的边缘处(即，在雾节点中)。相应地，存在连续地考虑雾节点的状态并使雾节点对于所有业务相关的事务保持完整的需要。例如，如果雾节点的状态改变成不活动模式，则业务可能需要停顿一段时间，并且在雾节点改变回到活动模式之后恢复。因此，在最近的技术转变当中，理解雾节点的关键状态改变的原因并预测其行为是要解决的重要问题。
雾节点的另一令人感兴趣的特性是，不仅地理分布的雾节点能够推断它自己的位置，而且雾节点还能够跟踪终端用户装置以支持移动性。这对于基于位置的服务和应用可能具有显著意义。因此，以连续方式跟踪雾节点(包括其位置)被认为是令人感兴趣的问题。目前，雾节点可在某些时间周期与另一雾节点或云通信。时间周期的长度可以取决于正由雾节点传送的数据和/或雾节点的重要性而变化。简而言之，上面清楚地指示了雾节点当前状态的连续观测和雾计算的重要性。因此，雾网络中雾节点的任何非预期的状态改变可能在特定位置中引起问题。
在雾联网中，每个节点(例如，每个雾节点)应该能够作为用于附近节点的路由器而起作用，并且能够维护功能性以便理解移动性并检测该节点和附近节点的状态的突然改变。公开的实施例中的一些实施例解决如何处置雾网络中雾节点中的突然改变。当前存在有若干提出的数据挖掘技术用于预测最可能流失(churn)的潜在客户，即预测永久状态改变。此类数据挖掘技术包括聚类、关联、规则归纳、遗传算法、决策树和神经网络。应用此类数据挖掘技术来预测雾网络中的雾节点的状态改变可能是有问题的。例如，雾网络的固有特性，诸如：a)低时延和位置感知；b)广泛的地理分布；c)移动性；d)紧密接近的的非常大量的节点；e)无线接入的主要角色；f)流传输(streaming)和实时应用的强存在；以及g)异构性将使使用上面提到的数据挖掘技术来找到网络中的雾节点的状态改变的挑战复杂化。因此，一般的流失和状态改变预测算法将无法找到已经从网络中丢失或已经突然变得不活动的雾节点，或者预测哪些雾节点在下一周期(例如，时间或季节)期间可能不活动。
所公开的实施例的一些方面考虑到雾节点可以是具有独特特征的各种传感器的集合装置的事实。理解不同的传感器功能及其与雾节点内的其它传感器的关系是相当有挑战性的。在一些实例中，传感器中的一个传感器的故障可能导致雾节点的状态改变。值得注意到，当与所有其它不同类型的流失(例如，客户流失、雇员流失等等)相比时，雾节点中的状态改变是罕见事件现象。更具体地，在包括10000个传感器的无线网络中一个传感器失灵的概率小于0.1％。因此，所公开的实施例通过调整预测模型中的概率来解决这种罕见事件现象，即雾节点中的传感器的故障(例如，内部改变)。
所公开的实施例的一些方面考虑到雾节点可受周围环境影响的事实。例如，放置在海洋中用于监测的雾可被水流冲走。因此，所公开的实施例的一些方面预测由于气候条件的改变(例如，外部改变)引起的此类雾节点的状态。
所公开的实施例的一些方面允许通过考虑归因于以下各项的原因而警告用户关于雾节点的状态(例如即将发生的状态改变)：(i)内部改变和(ii)外部改变。
在当前公开的一些方面中，存在由网络节点执行的方法，所述方法用于在实时基础上理解雾节点的状态，并基于连接到雾节点中的每个雾节点的各种传感器的其固有特征来预测相关雾节点的状态改变。相关雾节点的状态改变预测不基于任何一个传感器的决策。
如由当前公开的一些方面描述的解决方案提供：1)运行具有新引发的特征的新学习模型，以确定附连到雾节点的各种传感器的真实状态；2)基于传感器的状态和其它参数值，预测雾节点的可能状态改变，以警告集中式系统执行预防性措施；以及3)为了训练目的而适配基于F-measure的rose采样方法以便解决附属于这种类型的状态改变问题的固有不平衡问题。
根据公开的实施例中的一些实施例，提供了一种在网络节点中实现的方法。用于预测网络中节点的状态改变的概率的方法包括基于节点的属性来确定权重的集合。在一些实施例中，确定权重的集合包括使与节点关联的评估值最大化。在一些实施例中，使与节点关联的评估值最大化可以包括使特定分类器的f-measure最大化。
在一些实施例中，f-measure被定义为：
f-measure＝2*Tp(w)/Np+Mp(w)，
其中Np是实际阳性样本的总数量，Mp(w)是预测为阳性的样本(例如，预测的阳性)的总数量，并且Tp(w)是预测的阳性之中的实际阳性样本的数量，以及其中阳性样本对应于处于操作状态中的节点(例如，y＝1)，并且阴性样本对应于处于非操作状态中的节点(例如，y＝0)。
在一些实施例中，Tp(w)被定义为：
其中Tp(w)仅考虑预测的阳性之中的实际阳性样本(例如yi＝1)的数量。
在一些实施例中，Mp(w)被定义为：
其中Mp(w)考虑预测的阳性之中的实际阳性样本(例如，yi＝1)的数量和预测的阳性之中的阴性样本(例如，yi＝0)的数量。
在一些实施例中，通过计算f-measure的导数并且使f-measure的导数等于零来使f-measure最大化。可以通过基于f-measure的导数来采用梯度下降算法来使f-measure最大化，以确定权重的集合。在一些实施例中，f-measure的导数可以包括Tp(w)的导数和Mp(w)的导数。
在一些实施例中，Tp(w)的导数被定义为：
在一些实施例中，Mp(w)的导数被定义为：
在一些实施例中，函数h(z)被定义为：
所述方法可以进一步包括使用与节点相关的一个或多个属性值的集合以及所确定的权重的集合来估计节点的状态改变的概率。在一些实施例中，使用所确定的权重的集合和一个或多个属性值的集合包括将所确定的权重的集合中的每个权重应用于一个或多个属性值的集合中的对应属性值。
在一些实施例中，过程可以具有附加步骤，其中网络节点基于一个或多个内部属性值的第一集合和一个或多个外部属性值的第二集合来确定一个或多个属性值的集合。在一些实施例中，可以由网络节点进行以下操作来确定一个或多个属性值的集合：获得一个或多个内部属性值的第一集合和一个或多个外部属性值的第二集合；基于所接收的一个或多个内部属性值的第一集合和一个或多个外部属性值的第二集合来采用属性选择算法；以及基于属性选择算法来确定一个或多个属性值的集合。在一些实施例中，属性选择算法是决策树算法、随机森林算法、支持向量机算法和最小绝对收缩和选择算子(LASSO)算法中的至少一个。
在一些实施例中，所述方法可以进一步包括：确定节点的状态改变的所预测的概率的多个概率等级。在一些实施例中，第一概率等级指示节点的状态改变的低风险，第二概率等级指示节点的状态改变的中风险，以及第三概率等级指示节点的状态改变的高风险。
在一些实施例中，节点可以是雾节点。在一些实施例中，预测模型可以用于预测节点的状态改变的概率。在一些实施例中，使用深度学习神经网络来构建用于预测节点的状态改变的概率的预测模型。
所公开的实施例中的一些实施例的一个优点是可以在没有当前网络中的任何中断的情况下实现在工业IoT场景中维护连接的装置中的巨大改变。
所公开的实施例中的一些实施例的另一优点是在维护装置并且不丢失用于分析的任何数据方面，容易扩展在智能家庭或智能城市环境中的消费者IoT中的使用。
所公开实施例中的一些实施例的另一优点是即使在自然灾害期间也不受干扰地设置雾网络中的雾节点。
附图说明
并入本文中并形成说明书的一部分的附图示出了各种实施例。
图1是示出根据一个实施例的过程的流程图。
图2示出了根据一个实施例的函数的曲线图。
图3是示出根据一个实施例的过程的流程图。
图4示出了根据一个实施例的电池电压的曲线图。
图5A示出了根据一个实施例的描绘通过对训练数据集合的分类而获得的混淆矩阵(confusion matrix)的表。
图5B示出了根据一个实施例的描绘通过对测试数据集合的分类而获得的混淆矩阵的表。
图6是示出根据一个实施例的过程的流程图。
图7是根据一些实施例的网络节点的框图。
具体实施方式
如本文中使用的，不定冠词“一(a和an)”意味着至少一个。
如上面解释的，由于雾网络的固有特性，与移动电话流失客户(mobile phonechurner)或金融流失客户(financial churner)相比，理解雾节点状态改变行为更复杂。相应地，用于移动电话流失客户或金融流失客户的预测算法不能用于预测可能的雾节点状态改变。因此，当前公开的一些方面提供了预测可能的雾节点状态改变的新方法。相应地，当前公开的一些方面实现雾节点的当前状态的连续理解(例如，监测)，并且促进雾节点的预测性维护。当前公开的一些方面允许避免由雾节点向不活动模式的突然改变引起的雾网络中的中断。可以由当前公开的一些方面提供对工业IoT应用的显著提升。
当前公开将预测可能的雾节点状态改变的这种方法表示为二分类问题。在一些实施例中，通过考量内部和外部变量来估计节点状态改变的概率。在一些实施例中，当前方法可以假定每个雾节点彼此独立。
在所提出的发明中，根据当前公开的一些方面，传感器和致动器连接在网络中，使得计算被部分地转移到网络的边缘。以分层雾架构构建传感器和致动器的生态系统。在一些实例中，雾节点可能由于某种内部损坏(例如，诸如功率故障或计算问题之类的内部变量)或由于外部条件的改变(例如，诸如风、水流等的外部变量)而从网络断开。基于此类内部和外部变量，本发明的一些实施例可以学习关于雾节点中和雾节点周围的特征，这些特征在雾节点的状态改变成不活动状态时受到影响。
根据一些实施例，以下新颖概念被实现为所提出的发明的一部分。
首先，雾节点改变成不活动状态的概率被认为是罕见事件现象。如上面所解释的，雾节点改变成不活动状态的概率小于0.1％。当前的用于分类的算法是准确度驱动的，这导致偏向多数类。在所提出的解决方案中，f-measure而不是简单准确度被用作分类驱动参数来测量测试准确度，以降低分类器的统计偏差。f-measure主要聚焦在精确度(precision)和召回率(recall)而不是准确度。精确度是与雾节点的预测的状态改变的总数量相比有多少面对状态改变的雾节点真正移至不活动状态的比率。另一方面，召回率是与真正不活动雾节点的总数量相比有多少被预测具有状态改变的雾节点真正移至不活动状态中的比率。由于分类准确度不足以评估在罕见事件采样的情况下模型的鲁棒性，所提出的解决方案对测试的准确度测量使用f-measure。
其次，采用具有新特征的新分类算法(例如，新学习模型)(因为雾节点是具有独特功能性的许多不同传感器的集合)，其中f-measure而不是准确度被作为驱动力，所述准确度可用在其中存在不同少数类的其它分类算法中。
第三，采用多标签分类。更具体地，雾节点的状态改变的整个概率尺度可以被分成不同的块，并且可以向每个概率块指配标签以运行多类分类问题。从这种方法可获得良好的准确度。
图1是示出根据一些实施例的方法100的流程图，该方法100由网络中的网络节点执行，以预测网络中的节点(例如，雾节点)的状态改变的概率。
方法100可以以步骤102开始，其中网络节点识别可能影响雾节点的状态改变的内部因素。例如，内部因素可以包括电池状态等等。
在步骤104中，识别可能影响雾节点的状态改变的外部因素。在一些实施例中，可以识别可能影响雾节点改变成不活动状态或移出其位置的外部因素。例如，可能将雾节点移出其位置的外部因素可以包括气候改变。
在步骤106中，执行变量选择算法以通过考虑雾节点的每个传感器的独特特征来确定重要的影响变量因素(即，内部和/或外部因素)。
在步骤108中，由变量选择算法选择的变量被传递到分类器上，所述分类器将它们分到类别中。在当前公开的上下文中，分类器指具有实现分类(即，将输入变量映射到不同类别)的修改的函数的数学函数。在一些实施例中，修改的函数可以是softmax函数。在此类实施例中，softmax函数可以用于分类和估计雾节点的状态改变的概率。
在步骤110中，作为监督分类算法的结果获得雾节点的可能状态改变的概率。
在步骤112中，使用所获得的可能状态改变的概率来理解雾节点状态改变。在一些实施例中，获得的概率可以用于制定即时决策，诸如将雾节点计算转移到另一节点等。
在一些实施例中，所提出的方法100使用深度学习网络来基于所获得的概率将雾节点分类到不同的类别中。例如，雾节点可以被分类到不同的类别中，诸如，具有可能状态改变的低风险、可能状态改变的中风险以及可能状态改变的高风险的雾节点。如上面解释的，使用f-measure而不是准确度来执行分类，因为雾节点的状态改变被认为是罕见事件现象。
将在以下段落中更详细地解释所提出的方法100。
所提出的方法100的目的是要估计权重向量w，使得分类器的f-measure最大化，因为雾节点的状态改变是罕见事件现象。为了实现此目的，在一些实施例中，f-measure按照权重被参数化并且被定义为如下：
f-measure＝2*Tp(w)/Np+Mp(w)
其中Mp(w)是预测为阳性的样本(例如，预测的阳性)的总数量，Tp(w)是预测的阳性之中的实际阳性样本的数量，并且Np是实际阳性样本的总数量，并且其中阳性样本对应于处于操作状态中的节点(例如，y＝1)，并且阴性样本对应于处于非操作状态中的节点(例如，y＝0)。
在一些实施例中，Tp(w)和Mp(w)的表达式按照指示函数(indicator function)g(z)来被参数化，所述指示函数g(z)被定义为：
然而，函数g(.)不是连续的，并且因此是不可微分的。因此，对g(.)应用近似。在本公开的此上下文中，通过函数h(.)来近似函数g(.)，所述函数h(.)被定义为：
函数h(z)是连续的且可微分的。近似函数h(z)可以如图2中示出地绘制。如图2中示出的，h(z)的曲线图200类似于指示函数，在所述指示函数中对于z<0，值为0，并且对于z>＝0，值为1。
相应地，基于近似函数h(.)，Tp(w)和Mp(w)的表达式被定义为：
在一些实施例中，可以通过计算f-measure的导数并计算最优权重来使分类器的f-measure最大化。使用计算的最优权重，执行分类并估计雾节点的状态改变的概率。例如，softmax函数可用于通过使用所计算的最优权重作为输入来执行分类并且估计状态改变的概率。softmax函数的示例是
如果提供了解析梯度，则可以高效地执行最大化和分类。例如，可以通过计算f-measure的导数来使f-measure最大化。在一些实施例中，f-measure的导数可以包括Tp(w)的导数和Mp(w)的导数。Tp(w)的导数和Mp(w)的导数可以计算为：
在一些实施例中，f-measure的导数可以被获得为：
在一些实施例中，可以通过使f-measure最大化来获得最优权重。在此类实施例中，可以通过使f-measure的导数等于零来使f-measure最大化。相应地，使用上面的所有等式，可以执行所提出的方法以获得最优权重。
在一些实施例中，所获得的最优权重可以用于获得雾节点的可能状态改变的概率。在一些实施例中，所获得的概率可以被分成三个尺度，诸如低风险(0-0.3)、中风险(0.31-0.7)和高风险(0.71-1)。在一些实施例中，这三个尺度(例如，低、中和高风险)可如由用户要求的那样扩展到更多的类别。在一些实施例中，可以基于概率警告用户(例如，操作员)关于雾节点的状态。例如，雾网络可以配置成当获得的概率指示雾节点的状态改变的高风险(0.71-1.0)时警告用户。
图3是示出根据一些实施例的过程300的流程图，所述过程300由网络中的网络节点执行，以预测网络中的节点(例如，雾节点)的状态改变的概率。
过程300可以以步骤302和304开始，在步骤302和304中网络节点接收影响节点的内部变量和外部变量。
在步骤306中，将接收到的内部变量和外部变量输入到变量选择算法中以识别重要变量。也就是说，通过考虑节点的每个传感器的独特特征，变量选择算法被用于确定重要影响因素。在一些实施例中，变量选择算法可以是决策树算法、随机森林算法、支持向量机算法和最小绝对收缩和选择算子(LASSO)算法。
在步骤308中，通过基于在步骤306中获得的输入变量和值来确定输入变量的权重来构造深度学习模型。
在步骤310中，评估深度学习模型的输出，并且计算模型的评估值。在一些实施例中，评估值包括f-measure，所述f-measure是分类器的性质。为了计算f-measure，构造混淆矩阵，如在下面的表中示出的。
在一些实施例中，阳性值可以对应于节点的活动状态，并且阴性值可以对应于节点的不活动状态。在一些实施例中，真阳性(TP)值被定义为在实际值中为阳性的被预测为阳性的值的数量。真阴性(TN)被定义为在实际值中为阴性的被预测为阴性的值的数量。假阴性(FN)被定义为在实际值中为阳性的被预测为阴性的值的数量。假阳性被定义为在实际值中为阴性的被预测为阳性的值的数量。对于好的分类器，FN和FP的值应该是最小的，特别是在罕见事件现象的情况下。也就是说，在其中不活动状态(例如，阴性值)的概率非常小的情况下，FN的值在与其余值相比时应该非常低。随后，f-measure可以被计算为：
基于在步骤310中计算的评估值(f-measure)，通过在步骤314中调整权重来使得评估值被最大化，使用梯度下降方法来计算最优权重。
在步骤312中，使用在步骤314中计算的最优权重来计算节点的状态改变的概率。
在以下段落中描述了上面描述的所提出的解决方案的用例说明。
所提出的解决方案在许多不同领域中具有巨大的应用。所提出的解决方案的一个此类应用是用于“浮标”，其由印度国家海洋技术研究所(NIOT)安装以监测海洋特性。在大多数发达国家，浮标被用于监测船舶的移动。这些浮标包含不同的传感器，例如温度、压力和流速等等。此类传感器是靠电池电力自持的。这些浮标每十五分钟通过卫星部件将测量值从传感器传送到数据中心。基于此传送的数据，可以在实际状态改变之前预测浮标的可能状态改变，使得操作员可以在预料实际状态改变时采取预防性或补救措施。例如，操作员可以在浮标被冲走或移至不活动状态之前制定关于浮标的主动决策。
在此示例中，分析来自位于Provincetown，MA的浮标的数据。由浮标传送的数据由四个变量组成：(i)温度，(ii)压力，(iii)电池，和(iv)波流速度。为了测试所提出的解决方案的性能的目的，如图4中示出的，将人为缺陷添加到电池电压数据中。图4示出根据一些实施例的浮标的电池电压随时间的曲线图400。
如图4中示出的，曲线图400指示在时间间隔2300-2500、5300-5500以及7800-8100期间的快速电池电压降低，这表明在系统中存在故障。类似地，另一人为缺陷被添加到波流速度数据中。此示例描述了罕见事件问题，其中改变成不活动状态的浮标的百分比仅是总数据的5％。
为了更好的分类，在对导出变量执行分类时还考虑到浮标传感器的使用年限(age)。例如，导出变量可以被定义为：
导出变量＝传感器值/传感器的使用年限。
使用此类导出变量允许考虑传感器的使用年限。更具体地，这考虑到随着传感器使用年限增加，传感器失灵的概率也增加。还应该注意到，电池电压是浮标的关键和最重要的因素。也就是说，无论传感器如何，如果电池失效，则整个雾节点失效。相应地，在确定变量的最优权重时，将高重要性分配给电池权重。
使用通过使f-measure最大化来执行分类的所提出的方法来分类上面的数据(6000个样本训练和剩余样本测试)。如上面在图3的步骤310中描述的，基于训练数据集构造混淆矩阵，并且示出为图5A中的表500A。如表500A中示出的，真阳性值(TP)是161，假阴性值(FN)是21，假阳性值(FP)是39，并且真阴性值(TN)是5779。FN和FP的值的比例与TP和TN相比是最小的，这指示非常少量的样本被错误分类。这表明所提出的方法在减少错误分类的样本的数量方面的效率。将在训练数据集上使用的参数应用在测试数据集上，另一混淆矩阵被构造，并且示出为图5B中的表500B。如表500B中示出的，真阳性值(TP)是132，假阴性值(FN)是83，假阳性值(FP)是48，并且真阴性值(TN)是2206。FN和FP的值的比例与TP和TN相比是最小的，这指示非常少量的样本被错误分类。相应地，从表500B中描绘的混淆矩阵的值中显而易见的是仅少量样本被错误分类了，再次表明所提出的方法在应用于测试数据集时的效率。
图5C描绘了表500C，其示出了通过使f-measure最大化(例如，所提出的方法)来分类的所提出的方法与目标是要使准确度最大化的现有方法的比较。一般地，基于接收器操作特性(ROC)曲线下的面积来测量分类器的性能。相应地，如果ROC曲线下的面积高，则认为分类器执行良好。另一方面，如果ROC曲线下的面积低，则认为分类器执行欠佳。如图5C中示出的，测试数据集上的ROC曲线下的面积为0.93(在0-1.0范围之中)。图5C还示出了使用所提出的方法的数据的f-measure被获得为0.85。为了比较目的，使用传统分类方法(例如，现有方法)执行的分类导致ROC曲线下的面积被获得为0.63，并且f-measure被获得为0.63，如图5C中示出的。相应地，与传统的分类方法相比，所提出的方法的获得的ROC曲线下的更高面积指示更好的分类。相应地，相当明显的是，在数据是罕见事件现象的情况下，与现有分类方法相比，所提出的方法更好地分类数据。
图6是示出根据一些实施例的过程600的流程图，所述过程600由网络中的网络节点执行，以预测网络中的节点的状态改变的概率。
过程600可以以步骤602开始，其中网络节点基于节点的属性来确定权重的集合。在一些实施例中，确定权重的集合可以包括使与节点关联的评估值最大化。在一些实施例中，使与节点关联的评估值最大化可以包括使特定分类器的f-measure最大化。
在一些实施例中，f-measure被定义为：
f-measure＝2*Tp(w)/Np+Mp(w)，
其中Np是实际阳性样本的总数量，Mp(w)是预测为阳性的样本(例如，预测的阳性)的总数量，并且Tp(w)是预测的阳性之中的实际阳性样本的数量，并且其中阳性样本对应于处于操作状态中的节点(例如，y＝1)，并且阴性样本对应于处于非操作状态中的节点(例如，y＝0)。
在一些实施例中，Tp(w)被定义为：
其中Tp(w)仅考虑预测的阳性之中的实际阳性样本(例如yi＝1)的数量。
在一些实施例中，Mp(w)被定义为：
其中Mp(w)考虑了预测的阳性之中的实际阳性样本(例如，yi＝1)的数量和预测的阳性之中的阴性样本(例如，yi＝0)的数量。
在一些实施例中，通过计算f-measure的导数并使f-measure的导数等于零来使f-measure最大化。可以通过基于f-measure的导数来采用梯度下降算法来使f-measure最大化，以确定权重的集合。在一些实施例中，f-measure的导数可以包括Tp(w)的导数和Mp(w)的导数。
在一些实施例中，Tp(w)的导数被定义为：
在一些实施例中，Mp(w)的导数被定义为：
在一些实施例中，函数h(z)被定义为：
在步骤604中，网络节点使用与节点相关的一个或多个属性值的集合以及所确定的权重的集合来估计节点的状态改变的概率。在一些实施例中，使用所确定的权重的集合和一个或多个属性值的集合包括将所确定的权重的集合中的每个权重应用于一个或多个属性值的集合中的对应属性值。
在一些实施例中，过程600可以具有附加步骤，其中网络节点基于一个或多个内部属性值的第一集合和一个或多个外部属性值的第二集合来确定一个或多个属性值的集合。在一些实施例中，可以由网络节点进行以下操作来确定一个或多个属性值的集合：获得一个或多个内部属性值的第一集合和一个或多个外部属性值的第二集合；基于所接收的一个或多个内部属性值的第一集合和一个或多个外部属性值的第二集合来采用属性选择算法；以及基于属性选择算法来确定一个或多个属性值的集合。在一些实施例中，属性选择算法是决策树算法、随机森林算法、支持向量机算法和最小绝对收缩和选择算子(LASSO)算法中的至少一个。
在一些实施例中，过程600可以具有附加步骤，其中网络节点确定节点的状态改变的所预测的概率的多个概率等级。在一些实施例中，第一概率等级指示节点的状态改变的低风险，第二概率等级指示节点的状态改变的中风险，并且第三概率等级指示节点的状态改变的高风险。
在一些实施例中，节点可以是雾节点。在一些实施例中，预测模型可以用于预测节点的状态改变的概率。在一些实施例中，使用深度学习神经网络来构建用于预测节点的状态改变的概率的预测模型。
图7是根据一些实施例的节点(例如，网络节点、雾节点)700的框图。如图7中示出的，节点可以包括：数据处理系统(DPS)702，其可以包括一个或多个处理器755(例如，通用微处理器和/或一个或多个其它处理器，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)等等)；耦合到天线722以供在无线通信中使用的无线电传送器705和无线电接收器706；以及本地存储单元(又称为“数据存储系统”)712，其可以包括一个或多个非易失性存储装置和/或一个或多个易失性存储装置(例如，随机存取存储器(RAM))。在其中节点包括通用微处理器的实施例中，可以提供计算机程序产品(CPP)741。CPP 741包括计算机可读介质(CRM)742，其存储包括计算机可读指令(CRI)744的计算机程序(CP)743。CRM 742可以是非暂时性计算机可读介质，诸如但不限于磁媒体(例如，硬盘)、光媒体(例如，DVD)、存储器装置(例如，随机存取存储器、闪速存储器等)等等。在一些实施例中，计算机程序743的CRI744被配置成使得当由数据处理系统702执行时，CRI使节点执行上面描述的步骤(例如，上面参考流程图描述的步骤)。在其它实施例中，节点可以配置成在不需要代码的情况下执行本文中描述的步骤。也就是说，例如，数据处理系统702可以仅由一个或多个ASIC组成。因此，本文中描述的实施例的特征可以以硬件和/或软件来实现。
虽然本文中描述了本公开的各种实施例，但是应该理解，已经仅通过示例并且不是限制的方式呈现了它们。因此，本公开的广度和范围不应该被上面描述的示例性实施例中的任何示例性实施例限制。此外，除非本文中以其它方式指示或以其它方式与上下文明显矛盾，否则由本公开涵盖在其所有可能变体中的上述元件的任何组合。
附加地，虽然上面描述的和在附图中示出的过程被示出为步骤的序列，但是这仅仅是出于说明的目的而进行的。相应地，预期可以添加一些步骤，可以省略一些步骤，可以重新布置步骤的顺序，并且可以并行执行一些步骤。
Claims (17)
1.一种用于预测网络中的节点的状态改变的概率的方法(600)，所述方法在网络节点中执行，包括：
基于所述节点的属性来确定(602)权重的集合；以及
使用与所述节点相关的一个或多个属性值的集合以及确定的权重的集合来估计(604)所述节点的状态改变的所述概率，其中
确定(602)所述权重的集合包括确定使与所述节点关联的评估值最大化的权重，以及
确定的使所述评估值最大化的权重被包括在所述确定的权重的集合中。
2.如权利要求1所述的方法，其中所述节点包括雾节点。
3.如权利要求1或2所述的方法，其中使用预测模型来预测所述节点的状态改变的所述概率。
4.如权利要求1或2所述的方法，其中使与所述节点关联的所述评估值最大化包括：
使特定分类器的f-measure最大化。
5.如权利要求4所述的方法，其中所述f-measure被定义为：
f-measure＝2*Tp(w)/Np+Mp(w)，
其中Np是实际阳性样本的总数量，Mp(w)是预测为阳性的样本的总数量，并且Tp(w)是预测的阳性之中的实际阳性样本的数量，以及
其中阳性样本对应于处于操作状态中的所述节点，并且阴性样本对应于处于非操作状态中的所述节点。
6.如权利要求5所述的方法，其中Tp(w)被定义为：
其中Mp(w)被定义为：
7.如权利要求6所述的方法，其中使所述f-measure最大化包括计算所述f-measure的导数并且使所述f-measure的所述导数等于零。
8.如权利要求7所述的方法，其中使所述f-measure最大化进一步包括：
基于所述f-measure的所述导数来采用梯度下降算法来确定所述权重的集合。
9.如权利要求7所述的方法，其中所述f-measure的所述导数包括：
(i)所述Tp(w)的导数，被定义为：
(ii)所述Mp(w)的导数被定义为：
10.如权利要求6所述的方法，其中函数h(z)被定义为：
11.如权利要求1所述的方法，其中
使用所述确定的权重的集合和所述一个或多个属性值的集合包括将所述确定的权重的集合中的每个权重应用于所述一个或多个属性值的集合中的对应属性值。
12.如权利要求1所述的方法，所述方法进一步包括：
基于一个或多个内部属性值的第一集合和一个或多个外部属性值的第二集合来确定所述一个或多个属性值的集合。
13.如权利要求12所述的方法，其中确定所述一个或多个属性值的集合包括：
获得所述一个或多个内部属性值的第一集合和所述一个或多个外部属性值的第二集合；
基于所接收的一个或多个内部属性值的第一集合和所述一个或多个外部属性值的第二集合来采用属性选择算法；以及
基于所述属性选择算法来确定所述一个或多个属性值的集合。
14.如权利要求13所述的方法，其中所述属性选择算法是决策树算法、随机森林算法、支持向量机算法和最小绝对收缩和选择算子算法中的至少一个。
15.如权利要求3所述的方法，其中使用深度学习神经网络来构建用于预测所述节点的状态改变的所述概率的所述预测模型。
16.如权利要求1所述的方法，所述方法进一步包括：
确定所述节点的状态改变的所预测的概率的多个概率等级。
17.如权利要求16所述的方法，其中第一概率等级指示所述节点的状态改变的低风险，第二概率等级指示所述节点的状态改变的中风险，以及第三概率等级指示所述节点的状态改变的高风险。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/IN2017/050611 WO2019123471A1 (en) | 2017-12-22 | 2017-12-22 | System and method for predicting the state changes of network nodes |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111492632A CN111492632A (zh) | 2020-08-04 |
| CN111492632B true CN111492632B (zh) | 2023-04-28 |
Family
ID=66993248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780097898.0A Active CN111492632B (zh) | 2017-12-22 | 2017-12-22 | 用于预测网络节点的状态改变的系统和方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11570238B2 (zh) |
| EP (1) | EP3729765B1 (zh) |
| CN (1) | CN111492632B (zh) |
| WO (1) | WO2019123471A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4026300A4 (en) * | 2019-09-06 | 2022-10-05 | Telefonaktiebolaget LM Ericsson (publ) | SYSTEM AND METHOD FOR STRENGTHENING THE VEEG FOR 5G LATENCY CRITICAL IOT APPLICATIONS |
| US12019699B2 (en) * | 2021-10-07 | 2024-06-25 | Demostack, Inc. | Visual recorder for demonstrations of web-based software applications |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6633852B1 (en) * | 1999-05-21 | 2003-10-14 | Microsoft Corporation | Preference-based catalog browser that utilizes a belief network |
| CN103106279A (zh) * | 2013-02-21 | 2013-05-15 | 浙江大学 | 一种同时基于节点属性以及结构关系相似度的聚类方法 |
| CN104361531A (zh) * | 2014-11-14 | 2015-02-18 | 广东电网有限责任公司电力调度控制中心 | 变电站自动化系统的高风险故障设备的识别方法和系统 |
| CN105764162A (zh) * | 2016-05-10 | 2016-07-13 | 江苏大学 | 一种基于多属性关联的无线传感器网络异常事件检测方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6928459B1 (en) * | 2000-07-18 | 2005-08-09 | International Business Machines Corporation | Plurality of file systems using weighted allocation to allocate space on one or more storage devices |
| US7484132B2 (en) * | 2005-10-28 | 2009-01-27 | International Business Machines Corporation | Clustering process for software server failure prediction |
| US8171134B2 (en) * | 2009-03-18 | 2012-05-01 | At&T Intellectual Property I, L.P. | Methods and apparatus to characterize and predict network health status |
| US9912683B2 (en) * | 2013-04-10 | 2018-03-06 | The United States Of America As Represented By The Secretary Of The Army | Method and apparatus for determining a criticality surface of assets to enhance cyber defense |
| US10404547B2 (en) | 2014-02-27 | 2019-09-03 | Intel Corporation | Workload optimization, scheduling, and placement for rack-scale architecture computing systems |
| US9674046B2 (en) | 2014-10-21 | 2017-06-06 | At&T Intellectual Property I, L.P. | Automatic detection and prevention of network overload conditions using SDN |
| CN106708952B (zh) * | 2016-11-25 | 2019-11-19 | 北京神州绿盟信息安全科技股份有限公司 | 一种网页聚类方法及装置 |
| US10853143B2 (en) * | 2017-03-09 | 2020-12-01 | Guardicore Ltd. | Automatic segmentation of data-center applications |
| US10742750B2 (en) * | 2017-07-20 | 2020-08-11 | Cisco Technology, Inc. | Managing a distributed network of function execution environments |
| US20190079898A1 (en) * | 2017-09-12 | 2019-03-14 | Actiontec Electronics, Inc. | Distributed machine learning platform using fog computing |
| CN108108603A (zh) * | 2017-12-04 | 2018-06-01 | 阿里巴巴集团控股有限公司 | 登录方法及装置和电子设备 |
| US11689959B2 (en) * | 2020-01-24 | 2023-06-27 | Vmware, Inc. | Generating path usability state for different sub-paths offered by a network link |
-
2017
- 2017-12-22 WO PCT/IN2017/050611 patent/WO2019123471A1/en unknown
- 2017-12-22 EP EP17935603.5A patent/EP3729765B1/en active Active
- 2017-12-22 US US16/956,277 patent/US11570238B2/en active Active
- 2017-12-22 CN CN201780097898.0A patent/CN111492632B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6633852B1 (en) * | 1999-05-21 | 2003-10-14 | Microsoft Corporation | Preference-based catalog browser that utilizes a belief network |
| CN103106279A (zh) * | 2013-02-21 | 2013-05-15 | 浙江大学 | 一种同时基于节点属性以及结构关系相似度的聚类方法 |
| CN104361531A (zh) * | 2014-11-14 | 2015-02-18 | 广东电网有限责任公司电力调度控制中心 | 变电站自动化系统的高风险故障设备的识别方法和系统 |
| CN105764162A (zh) * | 2016-05-10 | 2016-07-13 | 江苏大学 | 一种基于多属性关联的无线传感器网络异常事件检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3729765A1 (en) | 2020-10-28 |
| CN111492632A (zh) | 2020-08-04 |
| EP3729765B1 (en) | 2024-07-10 |
| WO2019123471A1 (en) | 2019-06-27 |
| US20200336536A1 (en) | 2020-10-22 |
| EP3729765A4 (en) | 2020-12-30 |
| US11570238B2 (en) | 2023-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112561191B (zh) | 预测模型的训练、预测方法、装置、设备、程序和介质 | |
| CN113038386B (zh) | 基于学习模型的设备定位 | |
| CN109348497B (zh) | 无线传感器网络链路质量预测方法 | |
| Samek et al. | The convergence of machine learning and communications | |
| Janssen et al. | Comparing machine learning algorithms for RSS-based localization in LPWAN | |
| Elsherbiny et al. | 4G LTE network throughput modelling and prediction | |
| Kaur et al. | Energy efficient IoT-based cloud framework for early flood prediction | |
| Nasridinov et al. | Event detection in wireless sensor networks: Survey and challenges | |
| CN111492632B (zh) | 用于预测网络节点的状态改变的系统和方法 | |
| Dahiya et al. | Efficient green solution for a balanced energy consumption and delay in the iot-fog-cloud computing | |
| CN118015839B (zh) | 一种高速公路路域风险预测方法及装置 | |
| CN115037559A (zh) | 一种基于流量的数据安全监测系统、电子设备及存储介质 | |
| Yang | A SDN-based traffic estimation approach in the internet of vehicles | |
| Zeng et al. | Remaining useful life prediction for rotating machinery based on dynamic graph and spatial–temporal network | |
| CN112434887B (zh) | 一种结合网络核密度估计和svm的供水管网风险预测方法 | |
| Wajid et al. | Flood Prediction System Using IOT & Artificial Neural Network | |
| Zhang et al. | Detection and classification of anomalous events in water quality datasets within a smart city-smart bay project | |
| Miao et al. | MSFS: multiple spatio-temporal scales traffic forecasting in mobile cellular network | |
| CN115456168B (zh) | 强化学习模型的训练方法、能耗确定方法和装置 | |
| Aman et al. | Influence-driven model for time series prediction from partial observations | |
| Aman et al. | Addressing data veracity in big data applications | |
| Alzahrani et al. | [Retracted] Network Traffic Forecasting in Network Cybersecurity: Granular Computing Model | |
| Hafeez et al. | Using dynamic perceptually important points for data reduction in IoT | |
| Indhumathi et al. | IoT-Enabled Weather Monitoring and Rainfall Prediction using Machine Learning Algorithm | |
| Aldalahmeh et al. | Fast distributed detection, localization, and estimation of a diffusive target in wireless sensor networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |