CN113114480B - 一种数据的上报方法及相关设备 - Google Patents

一种数据的上报方法及相关设备 Download PDF

Info

Publication number
CN113114480B
CN113114480B CN202010027285.3A CN202010027285A CN113114480B CN 113114480 B CN113114480 B CN 113114480B CN 202010027285 A CN202010027285 A CN 202010027285A CN 113114480 B CN113114480 B CN 113114480B
Authority
CN
China
Prior art keywords
model
data
values
sampling data
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010027285.3A
Other languages
English (en)
Other versions
CN113114480A (zh
Inventor
苏迪
陈锐
戴新宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010027285.3A priority Critical patent/CN113114480B/zh
Priority to EP21150455.0A priority patent/EP3849140B1/en
Priority to US17/144,421 priority patent/US20210216685A1/en
Publication of CN113114480A publication Critical patent/CN113114480A/zh
Application granted granted Critical
Publication of CN113114480B publication Critical patent/CN113114480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/27Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02Standardisation; Integration
    • H04L41/0213Standardised network management protocols, e.g. simple network management protocol [SNMP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/147Network analysis or design for predicting network behaviour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/02Capturing of monitoring data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请实施例公开了一种数据的上报方法及相关设备,该方法可用于网络监控领域,网络设备(或网管设备)在获取到采样数据集后,利用采样数据集中的一部分采样数据对模型集中的各个模型进行训练得到各个模型所包括的参变量的值,利用采样数据集中的另一部分采样数据对各个模型进行验证以得到模型对应的偏差最小的那个模型(即第一模型),之后网管设备仅通过该第一模型及第一模型包括的参变量的值就能预测网络设备上真实的监控数据的趋势状况,并且网络设备只上报第一模型的标识及第一模型对应参变量的值的方式有效减少了网络设备的数据上报量,减轻了带宽压力,从而节省了数据回传带宽。

Description

一种数据的上报方法及相关设备
技术领域
本申请涉及网络监控领域,尤其涉及一种数据的上报方法及相关设备。
背景技术
网络监控,是指针对局域网内的网络设备(如,计算机、手机等)进行监视和控制,简单网络管理协议(Simple Network Management Protocol,SNMP)方式、命令行界面(Command-Line Interface,CLI)方式等传统的网络监控方式主要包括如下几个方面的不足:1)网管设备通过拉模式来获取网络设备的监控数据,这样就不能同时监控大量网络设备,限制了网络增长;2)监控数据的获取精度是分钟级别,要提高获其精度就只能加大对网络设备的查询频率,但这会导致网络设备的中央处理器(Central Processing Unit,CPU)利用率高而影响网络设备的正常运行;3)由于网络传输时延的存在,获取到的网络设备监控数据的准确性会受影响。
为解决上述问题,网络遥测(Telemetry)技术应运而生,网络遥测技术可以满足大规模、高性能的网络监控需求,在网络遥测技术中,网络设备向网管设备上报监控数据的方式主要有两种:1)周期上报,即网络设备按照预设周期将自身的当前周期的数据上报至网管设备;2)阈值上报,即触发式上报,当网络设备的数据超出阈值范围,则网络设备上报该异常的数据。
在上述的数据上报方式中,存在如下问题:周期上报方式的上报量大,会占用较多的网络设备的CPU、内存和网络带宽,从而加重上报负担;而阈值上报方式由于只上报异常数据,网管设备并不能获取到网络设备中阈值内数据的变化状况。
发明内容
本申请第一方面提供了一种数据的上报方法及相关设备,该方法可用于网络监控领域,使得网管设备仅通过模型及模型包括的参变量的值就能预测网络设备上真实的监控数据的趋势状况,并且网络设备只上报模型的标识及模型对应参变量的值的方式有效减少了网络设备的数据上报量,减轻了带宽压力,从而节省了数据回传带宽。
基于此,本申请实施例提供以下技术方案:
第一方面,本申请实施例提供了一种数据的上报方法,具体包括:首先,第一设备(如,网管设备、网络设备中的一个)获取到预设周期内的采样数据集,该采样数据集包括有多个采样数据,获取到的采样数据集是指所述预设周期对应的采样时长内所获得的多个采样数据,如,预设周期设置为每隔10分钟获取一次采集数据集,那么获取到的采集数据集就是当前10分钟内所采集到的数据。需要说明的是,该预设周期可根据需要自行设置,具体此次不做限定。之后,第一设备根据上述获取到的采样数据集,从模型集中获取第一模型和第一模型包括的参变量的值,该模型集包括第一设备和第二设备(如,网管设备、网络设备中的另一个)均支持的一个或多个模型。最后,第一设备将确定好的第一模型的标识(即模型标识)以及第一模型的参变量的值发送给第二设备,若第二设备存在该第一模型,这样第二设备可以根据该标识就可以识别出在第二设备上对应的是哪个模型,之后将对应的参变量的值代入该模型。
在本申请上述实施方式中,由于第一设备和第二设备都具备该模型及该模型包括的参变量的值,那么第一设备或第二设备均可通过该模型以及模型包括的参变量的值对接下来的监控数据进行预测,从而掌握真实的监控数据的趋势状况。
结合本申请实施例第一方面,在本申请实施例第一方面的第一种实现方式中,第一设备根据采样数据集从模型集中获取第一模型和第一模型包括的参变量的值具体可以通过如下方式:首先,第一设备会根据预设算法从采样数据集获取第一数据集和第二数据集,该第一数据集/第二数据集均包括多个采样数据中的至少一个采样数据,该第一数据集用于训练模型,该第二数据集用于验证模型的准确性。之后,第一数据集中的各个采样数据作为训练数据对模型集中的各个模型(模型集中的任意一个模型此时均可称为第二模型)进行训练,以得到各个模型包括的参变量的值;第二数据集中的各个采样数据则作为验证数据对已经确定了参变量的值的模型进行准确性验证,也就是验证各个模型对应的偏差,即将第二数据集中的采样数据输入各个模型得到预测数据,由此比较各个模型得到的预测数据与真实的实际数据的差值之和是否小于预设值。最后,若模型集中存在模型对应的偏差小于预设值,那么第一设备就会将该模型作为上述所述的第一模型,该模型包括的参变量的值就为该第一模型包括的参变量的值。
在本申请上述实施方式中,阐述了第一设备根据采样数据集从模型集中获取第一模型和第一模型包括的参变量的值具体可以通过采样数据集对模型集中的各个模型先训练、再验证,选择模型对应的偏差小于预设值的模型作为第一模型,具备灵活性。
结合本申请实施例第一方面,在本申请实施例第一方面的第二种实现方式中,第一设备根据采样数据集从模型集中获取第一模型和第一模型包括的参变量的值具体还可以通过如下方式:首先,第一设备会根据预设算法从采样数据集获取第一数据集和第二数据集,该第一数据集/第二数据集均包括多个采样数据中的至少一个采样数据,该第一数据集用于训练模型,该第二数据集用于验证模型的准确性。第一设备根据第一数据集获取第二模型包括的参变量的值和第三模型包括的参变量的值,之后第一设备根据第二数据集和第二模型包括的参变量的值,获取第二模型对应的偏差,第二模型对应的偏差为根据第二模型、第二模型包括的参变量的值和第二数据集包括的采样数据确定的预测数据与实际数据的差值之和;此外,第一设备还将根据第二数据集和第三模型包括的参变量的值,获取第三模型对应的偏差,第三模型对应的偏差为根据第三模型、第三模型包括的参变量的值和第二数据集包括的采样数据确定的预测数据与实际数据的差值之和;最后,第一设备根据第二模型对应的偏差和第三模型对应的偏差,确定第一模型,第一模型为第二模型和第三模型中较小的偏差所对应的模型,第一模型包括的参变量的值为第二模型和第三模型中较小的偏差所对应的模型包括的参变量的值。
在本申请上述实施方式中,第一设备也要先根据预设算法从采样数据集获取第一数据集和第二数据集,并利用该第一数据集和第二数据集求得各个模型包括的参变量的值以及各个模型对应的偏差,第一设备获取到各个模型包括的参变量的值以及各个模型对应的偏差之后,不需要再判断各个模型对应的偏差是否小于预设值,而是直接将各个模型对应的偏差进行比较,取对应偏差最小的模型作为第一模型。本申请上述实施方式提供了另外一种确定第一模型的方式,具备可选择性。
结合本申请实施例第一方面的第二种实现方式,在本申请实施例第一方面的第三种实现方式中,第二模型对应的偏差小于或等于第一阈值,第三模型对应的偏差小于或等于所述第一阈值。
在本申请上述实施方式中,还可先判断求得的各个模型对应的偏差是否在某个预设阈值(可称为第一阈值),这样进一步提高了模型的精确度。
结合本申请实施例第一方面、第一方面的第一种实现方式至第三种实现方式,在本申请实施例第一方面的第四种实现方式中,若第一设备为网管设备,第二设备为网络设备,则第一设备还可向第二设备发送第一模型。
在本申请上述实施方式中,若第二设备为网络设备,则该第二设备可能不存在该第一模型(即第二设备可支持第一模型,但是在第二设备上没有该第一模型),则第一设备还可进一步向该第二设备发送第一模型,这样第一设备和第二设备上都有该第一模型,即第一设备和第二设备均可通过该模型以及模型包括的参变量的值对接下来的监控数据进行预测,从而掌握真实的监控数据的趋势状况。
结合本申请实施例第一方面、第一方面的第一种至第四种实现方式,在本申请实施例第一方面的第五种实现方式中,不管是在当前的预设采样周期还是之后的采样周期,若存在异常采样数据,那么第一设备还会获取该异常采样数据,异常采样数据包括实际数据和作为自变量的数据,该异常采样数据为根据作为自变量的数据和第一模型获得的预测数据与实际数据间的偏差大于第二阈值的采样数据。
在本申请上述实施方式中,阐述了第一设备还会根据第二阈值从采样数据中甄别出异常采样数据,具备灵活性。
结合本申请实施例第一方面的第五种实现方式,在本申请实施例第一方面的第六种实现方式中,若第一设备为网络设备、第二设备为网管设备,则第一设备获取异常采样数据的方式可以是第二设备根据采集到的采样数据和第二阈值计算得到该异常采样数据,之后该第一设备将该异常采样数据上报至第二设备;若第一设备为网管设备、第二设备为网络设备,则第一设备获取异常采样数据的方式可以是第一设备根据第二设备上报的采样数据和第二阈值直接确定出异常采样数据。
在本申请上述实施方式中,当第一设备属于不同的设备类型时,获得异常采样数据的方式也不一样,具备兼容性。
结合本申请实施例第一方面的第五种实现方式至第六种实现方式,在本申请实施例第一方面的第七种实现方式中,第一设备用异常采样数据所包括的实际数据替换第一模型中根据作为自变量的数据和第一模型确定的预测数据。
在本申请上述实施方式中,当确定了第一模型以及第一模型包括的参变量的值之后,只要在任意一个采样周期内存在超过第一模型对应的偏差范围的采样数据(即大于等于第二阈值的采样数据),第一设备会获取该异常采样数据(即真实监控到的实际数据),并用该异常采样数据替换第一模型中根据作为自变量的数据和第一模型确定的预测数据,从而降低一些不准确的预测数据对第一模型的影响,实现对第一模型的修正。
结合本申请实施例第一方面、第一方面的第一种实现方式至第三种实现方式、第五种实现方式至第六种实现方式,在本申请实施例第一方面的第八种实现方式中,若第一设备为网络设备,第二设备为网管设备,首先第一设备会确定自身所支持的一个或多个模型(可称为第一候选模型集),并将该第一候选模型集发送至第二设备;之后,第二设备根据该第一候选模型集及第二候选模型集确定需要同步至第一设备的一个或多个模型(即上述所述的模型集),其中,第二候选模型集为第二设备所支持的模型;最后,第二设备向第一设备发送该模型集以及该模型集中各个模型的标识(即模型标识),这样,第一设备和第二设备上就均具有相同的模型集及模型集中各个模型的标识,模型标识就可用于识别模型的具体表达形式。
在本申请上述实施方式中,是由网络设备执行从模型集中确定出第一模型的步骤,此时,网络设备和网管设备都需具备模型集,网管设备需要将模型集同步至网络设备。
结合本申请实施例第一方面、第一方面的第一种实现方式至第七种实现方式,在本申请实施例第一方面的第九种实现方式中,若第一设备为网管设备、第二设备为网络设备,由于获取第一模型的步骤是由第一设备执行,那么第一设备只需确定第一设备和第二设备均支持的一个或多个模型(即上述所述的模型集),该模型集中的各个模型及模型集中各个模型的标识存在于第一设备上,至于该模型集是否存在于第二设备上并不限定,若第二设备上存在第一模型,那么第一设备后续只需向第二设备发送第一模型的标识即可,若第二设备上不存在第一模型,那么第一设备确定了该第一模型后就可向第二设备发送该第一模型以及该第一模型的标识。
在本申请上述实施方式中,是由网管设备执行从模型集中确定出第一模型的步骤,此时,只需保证网管设备具备模型集,网管设备不需要将模型集同步至网络设备。
本申请实施例第二方面提供一种设备,该设备作为第一设备,具有实现上述第一方面或第一方面任意一种可能实现方式的方法的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
本申请实施例第三方面还提供一种设备,该设备作为第一设备,可以包括:处理器和存储器,该存储器和该处理器通过总线系统连接;其中,存储器用于存储程序和指令,处理器用于调用该存储器中存储的程序和指令执行本申请实施例第一方面以及第一方面中由第一设备执行的任一可实现方式中的步骤。
本申请实施例第四方面还提供一种设备,该设备作为第二设备,可以包括:处理器和存储器,该存储器和该处理器通过总线系统连接;其中,存储器用于存储程序和指令,处理器用于调用该存储器中存储的程序和指令执行本申请实施例第一方面以及第一方面中由第二设备执行的任一可实现方式中的步骤。
本申请实施例第五方面提供一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机可以执行上述第一方面以及第一方面任意一种可能实现方式的方法。
本申请实施例第六方面提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机可以执行上述第一方面以及第一方面任意一种可能实现方式的方法。
附图说明
图1为Telemetry静态订阅业务流程的示意图;
图2为Telemetry动态订阅业务流程的示意图;
图3为本申请实施例数据的上报方法的一个示意图;
图4为本申请网络监控系统的架构的一个示意图;
图5为本申请实施例数据的上报方法的具体实现方式的一个示意图;
图6为本申请实施例数据的上报方法的具体实现方式的流程示意图;
图7为本申请的模型上报方式与周期上报方式、阈值上报方式的对比示意图;
图8为本申请实施例数据的上报方法的具体实现方式的另一示意图;
图9为本申请实施例第一设备的一个示意图;
图10为本申请实施例相关设备的一个示意图。
具体实施方式
本申请实施例提供了一种数据的上报方法及相关设备,用于第一设备(如,网管设备、网络设备中的一个)与第二设备(如,网管设备、网络设备中的另一个)之间只通过交互预设周期内的采样数据集确定模型以及该模型包括的参变量的值,最后就可直接通过该模型及模型包括的参变量的值预测真实的网络设备上监控数据的趋势状况,从而有效减少了数据上报量,减轻了带宽压力。
下面结合附图,对本申请的实施例进行描述。本领域普通技术人员可知,随着技术的发展和新场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
在介绍本实施例之前,首先介绍在本申请实施例中可能出现的概念。应理解的是,相关的概念解释可能会因为本申请实施例的具体情况有所限制,但并不代表本申请仅能局限于该具体情况,在不同实施例的具体情况可能也会存在差异,具体此处不做限定。
Telemetry:直译为网络遥测技术,主要负责系统中各组件资源使用率等关键数据,如,可以为网络监控系统提供实时监控数据,该监控数据具体可以包括云服务器使用情况数据、块存储/对象存储数据、包括带宽/路由等在内的网络相关数据、用户管理/认证等相关的数据等。网络遥测技术可以支持系统管理更多的设备,通过该技术获取到的监控数据精度更高、更实时,并且监控过程对设备自身功能和性能影响小,为网络问题的快速定位、网络质量优化调整提供了最重要的大数据基础。网络遥测技术在网络监控系统中的具体应用可以包括Telemetry静态订阅和Telemetry动态订阅。
Telemetry静态订阅:Telemetry静态订阅是指网络设备作为客户端,网管设备内的采集器作为服务端,由网络设备主动发起到采集器的连接,进行监控数据的采集上送。具体的业务流程请参阅图1,Telemetry静态订阅业务流程包括五个步骤,步骤1为动态配置阶段:网管设备内的控制器通过命令行配置支持Telemetry的网络设备(如,图1中的设备1、设备2、……、设备n),订阅数据源,完成数据采集;步骤2为推送采样数据或自定义事件阶段:网络设备依据控制器的配置要求,将采集完成的数据或自定义事件,上报给采集器进行接收和存储;步骤3为读取数据阶段:网管设备内的分析器读取采集器存储的采样数据或自定义事件;步骤4为分析数据阶段:分析器对读取到的采样数据或自定义事件进行分析,并将分析结果发给控制器,便于控制器对网络进行配置管理,及时调优网络;步骤5为调整网络参数阶段:控制器将网络需要调整的配置下发给网络设备,配置下发生效后,新的采样数据或自定义事件又会继续上报到采集器,此时网络设备可以分析调优后的网络效果是否符合预期,直到调优完成后,整个业务流程形成闭环。
Telemetry动态订阅:Telemetry动态订阅是指网络设备作为服务端,网管设备内的采集器作为客户端发起到网络设备的连接,由网络设备进行监控数据采集上送。具体的业务流程请参阅图2,Telemetry动态订阅业务流程包括五个步骤,步骤1为动态配置阶段:支持Telemetry的网络设备(如,图2中的设备1、设备2、……、设备n)在完成的相关配置后,由采集器下发动态配置到网络设备,完成数据采集;步骤2为推送采样数据或自定义事件阶段:网络设备依据采集器的配置要求,将采集完成的数据或自定义事件上报给采集器进行接收和存储;步骤3为读取数据阶段:网管设备内的分析器读取采集器存储的采样数据;步骤4为分析数据阶段:网管设备内的分析器分析读取到的采样数据,并将分析结果发给控制器,便于控制器对网络进行配置管理,及时调优网络。步骤5为调整网络参数阶段:控制器将网络需要调整的配置下发给网络设备,配置下发生效后,新的采样数据又会上报到采集器,此时网管设备可以分析调优后的网络效果是否符合预期,直到调优完成后,整个业务流程形成闭环。
目前已有的支持Telemetry的网络设备的监控数据上报方式(即上述所述的周期上报、阈值上报)就是基于上述Telemetry静态订阅或Telemetry动态订阅完成,在上述的数据上报方式中,周期上报方式的上报量大,会占用较多的网络设备的CPU、内存和网络带宽,从而加重上报负担;而阈值上报方式由于只上报异常数据,网管设备并不能获取到网络设备中阈值内数据的变化状况。基于此,本申请实施例首先提供了一种数据的上报方法,具体请参阅图3:
301、第一设备获取预设采样周期内的采样数据集。
首先第一设备(如,网管设备、网络设备中的一个)获取到预设周期内的采样数据集,该采样数据集包括有多个采样数据,获取到的采样数据集是指所述预设周期对应的采样时长内所获得的多个采样数据,如,预设周期设置为每隔10分钟获取一次采集数据集,那么获取到的采集数据集就是当前10分钟内所采集到的数据。需要说明的是,该预设周期可根据需要自行设置,具体此次不做限定。
需要说明的是,在本申请的一些实施方式中,若第一设备为网管设备、第二设备为网络设备,那么第一设备获取预设采样周期内的采样数据集的方式可以是由第二设备采集后再上报至第一设备;若第一设备为网络设备、第二设备为网管设备,那么第一设备获取预设采样周期内的采样数据集的方式就可以是第一设备直接进行采集得到。也就是说,第一设备的类型不同,那么第一设备获取所述采样数据集的方式也不同,具体此处对第一设备如何获取预设采样周期内的采样数据集不做限定。
302、第一设备根据采样数据集,从模型集中获取第一模型和第一模型包括的参变量的值。
之后,第一设备根据上述获取到的采样数据集,从模型集中获取第一模型和第一模型包括的参变量的值,该模型集包括第一设备和第二设备(如,网管设备、网络设备中的另一个)均支持的一个或多个模型。示例性地,首先第一设备会确定第一设备和第二设备上均支持的模型(如,模型类型、模型数量、模型标识等信息)信息,并把这些模型信息确定为模型集,当第一设备获取到所述采样数据集后,就会将该采样数据集应用于模型集中的各个模型,用于得到各个模型包括的参变量的值,之后,再根据需要从各个模型中确定出符合需求(如,预测数据与真实数据整体偏差最小、模型所包括的参变量的值最小等)的模型(即第一模型)以及该第一模型包括的参变量的值。
需要说明的是,由于第一设备和第二设备上具有的模型可能不完全相同(如,第一设备具有的模型而第二设备不具备),此时就需要对第一设备和第二设备上的模型进行同步,当第一设备、第二设备的类型不同时,同步的方式也不尽相同,下面分别进行说明:
a、若第一设备为网络设备、第二设备为网管设备。
这种情况下,首先,第一设备确定自身所支持的一个或多个模型(可称为第一候选模型集),并将该第一候选模型集发送至第二设备;之后,第二设备根据该第一候选模型集及第二候选模型集确定需要同步至第一设备的一个或多个模型(即上述所述的模型集),其中,第二候选模型集为第二设备所支持的模型;最后,第二设备向第一设备发送该模型集以及该模型集中各个模型的标识(即模型标识),这样,第一设备和第二设备上就均具有相同的模型集及模型集中各个模型的标识,模型标识就可用于识别模型的具体表达形式。
b、若第一设备为网管设备、第二设备为网络设备。
这种情况下,由于获取第一模型的步骤是由第一设备执行,那么第一设备只需确定第一设备和第二设备均支持的一个或多个模型(即上述所述的模型集),该模型集中的各个模型及模型集中各个模型的标识存在于第一设备上,至于该模型集是否存在于第二设备上并不限定,若第二设备上存在第一模型,那么第一设备后续只需向第二设备发送第一模型的标识即可,若第二设备上不存在第一模型,那么第一设备确定了该第一模型后就可向第二设备发送该第一模型以及该第一模型的标识。
还需要说明的是,在本申请的一些实施方式中,第一设备根据采样数据集从模型集中获取第一模型和第一模型包括的参变量的值具体也可以有如下几种方式:
a、通过采样数据集对模型集中的各个模型先训练、再验证,选择模型对应的偏差小于预设值的模型作为第一模型。
首先,第一设备会根据预设算法从采样数据集获取第一数据集和第二数据集,该第一数据集/第二数据集均包括多个采样数据中的至少一个采样数据,该第一数据集用于训练模型,该第二数据集用于验证模型的准确性。例如,该预设算法可以是将采样数据集中的采样数据按照预设比例(如,7:3,5:5等)分割为第一数据集(如,第一数据集中的采样数据量占70%、50%等)和第二数据集(如,第二数据集中的采样数据量占30%、50%等),该预设算法也可以是选取采样数据集中预设周期中间段时长内获取到的采样数据作为第一数据集(如,若预设周期为10分钟,那么中间段时长就为第3分钟至第7分钟对应的时长内采集到的数据)、预设周期首尾段时长内获取到的采样数据作为第二数据集(如,若预设周期为10分钟,那么首尾段时长就分别为第1分钟至2分钟、第8分钟至第10分钟对应的时长内采集到的数据),具体本申请实施例对如何根据预设算法从采样数据集中获取第一数据集和第二数据集不做限定。
之后,第一数据集中的各个采样数据作为训练数据对模型集中的各个模型(模型集中的任意一个模型此时均可称为第二模型)进行训练,以得到各个模型包括的参变量的值;第二数据集中的各个采样数据则作为验证数据对已经确定了参变量的值的模型进行准确性验证,也就是验证各个模型对应的偏差,即将第二数据集中的采样数据输入各个模型得到预测数据,由此比较各个模型得到的预测数据与真实的实际数据的差值之和是否小于预设值,该差值之和越小,则模型对应的偏差就越小,反之,该差值之和越大,则模型对应的偏差就越大。需要说明的是,所述模型对应的偏差指的是第二数据集中各个采样数据代入模型后计算得到的预测数据与实际数据之间的偏差之和,可以是各个预测数据与实际数据求差值后再求得的平均值,也可以是各个预测数据与实际数据求比值后再求得的平均值,也可以是差值(指的是各个预测数据与实际数据之间求得的差值)与实际数据求比值后再求得的平均值,具体此处对模型对应偏差的具体表现形式不做限定。此外,还需要说明的是,该预设值也是根据用户需求自行设置,若要求精度高,则预设值可以设置的小一些,若对精度要求不高,则预设值可以设置的大一些,具体此次不做限定。
最后,若模型集中只存在一个模型对应的偏差小于预设值,那么第一设备就会将该模型作为上述所述的第一模型,该模型包括的参变量的值就为该第一模型包括的参变量的值;若模型集中存在至少两个模型对应的偏差小于预设值,则第一设备可以有多种方式从上述至少两个模型中确定出一个模型为第一模型,如,可以任意选取其中一个模型作为上述所述的第一模型,也可以选取参变量的数量或取值最小的那个模型作为上述所述的第一模型,还可以选择对应的偏差最小的模型为作为第一模型,具体此次对多个模型的偏差均小于预设值时,第一设备如何从中选择一个模型作为的第一模型的方式不做限定。
为便于理解上述确定第一模型及第一模型包括的参变量的值的方式,此处举例进行说明,假设第一设备为网管设备、第二设备为网络设备,第一设备和第二设备均支持的模型集包括3个模型函数表达式,分别为:y=k*x、y=p*x+q以及y=a*x2+b*x+c。其中上述三个模型函数的x称为自变量或定义域,y称为因变量或值域,k、p、q、a、b、c分别为这三个模型函数的参变量,若第二设备在预设周期内获取到的采样数据集中包括(1,2)、(2,4)、(2,5)、(3,6)、(4,8)、(6,12)、(7,14)、(8,15)这八个采样数据,那么第二设备将采集到的上述采样数据集上报至第一设备,第一设备按照5:5的比例将上述采样数据集分为第一数据集和第二数据集,其中,第一数据集包括(1,2)、(2,4)、(2,5)、(3,6)四个采样数据,第二数据集包括(4,8)、(6,12)、(7,14)、(8,15)四个采样数据,之后,第一设备将第一数据集中(1,2)、(2,4)、(2,5)、(3,6)四个采样数据的横坐标数据和纵坐标数据分别作为上述三个模型函数的自变量和因变量,以求得各个参变量(即k、p、q、a、b、c)的取值,在得到各个模型的参变量的取值之后,再通过第二数据集中的(4,8)、(6,12)、(7,14)、(8,15)四个采样数据来验证上述模型是否可行,即验证模型包括的参变量的值是否合适、模型的偏差是否在能接受的偏差范围之内。以模型函数y=k*x为例,第一数据集中(1,2)、(2,4)、(2,5)、(3,6)代入该模型函数,计算得到k=2,之后再利用第二数据集中(4,8)、(6,12)、(7,14)、(8,15)代入y=2x来验证该模型是否合适,当x=4(或6、7)时,通过该模型的得到的预测数据为y=8,此时实际数据也是y=8(或12、14),说明针对这个采样数据该模型不存在偏差;当x=8时,通过该模型的得到的预测数据为y=16,此时实际数据是y=15,说明针对这个采样数据该模型存在一定的偏差,若设定模型对应的偏差指的是差值(指的是各个预测数据与实际数据之间求得的差值)与实际数据求比值后再求得的平均值(也可称为偏差百分比),则该偏差百分比为(0/8)+(0/12)+(0/14)+(1/15)=6.7%。类似地,采用上述示例中的方式同样可以求得y=p*x+q以及y=a*x2+b*x+c这两个模型包括的参变量的值以及模型对应的偏差百分比(此次不予赘述),假设求得的y=p*x+q的偏差百分比为8.0%,y=a*x2+b*x+c的偏差百分比为9.5%。若预设值为7.0%,则只有y=2x对应的偏差百分比小于预设值(即6.7%<7.0%),则确定该y=2x为上述所述的第一模型,参变量2就是第一模型包括的参变量的值;若预设值为9.0%,则y=2x和y=p*x+q这两个模型对应的偏差百分比均小于预设值(即6.7%<9.0%、8.0%<9.0%),则可以随意从这两个模型中选择一个模型作为第一模型,也可以选择偏差百分比较小的y=2x作为第一模型,还可以选择参变量个数较多的y=p*x+q作为第一模型,具体怎么选择不做限定。
b、通过采样数据集对模型集中的各个模型先训练、再验证,选择模型对应的偏差取值最小的模型作为第一模型。
这种方式下,第一设备也要先根据预设算法从采样数据集获取第一数据集和第二数据集,并利用该第一数据集和第二数据集求得各个模型包括的参变量的值以及各个模型对应的偏差,求得各个模型包括的参变量的值以及各个模型对应的偏差的方式与上述a方式中所涉及的方法类似,此处不予赘述。此处不同是,第一设备获取到各个模型包括的参变量的值以及各个模型对应的偏差之后,不需要再判断各个模型对应的偏差是否小于预设值,而是直接将各个模型对应的偏差进行比较,取对应偏差最小的模型作为第一模型。
为便于理解,依然以上述三个模型函数为例进行说明,上述示例中可知求得的y=2x偏差百分比为6.7%,y=p*x+q的偏差百分比为8.0%,y=a*x2+b*x+c的偏差百分比为9.5%,y=2x的偏差百分比最小,则第一设备直接确定该y=2x为第一模型,参变量2就为第一模型包括的参变量的值。
需要说明的是,在上述b方式中,虽然直接确定对应偏差最小的模型为第一模型,但若用户对精度需求很高,可能导致模型集中的每个模型都不能很好的预测真实的监控数据的趋势变化,如,若用户需求是模型对应的偏差百分比要低于5.0%,那么,上述三个模型集中对应偏差最小的模型函数y=2x的偏差百分比都达到了6.7%,这种情况就不能很好的响应用户需求。因此,为了进一步提高精确度,在本申请的一些实施方式中,还可先判断求得的各个模型对应的偏差是否在某个预设阈值(可称为第一阈值)内,例如,若第一阈值设置为9.0%,那么上述三个模型函数均符合条件,在小于或等于第一阈值的前提下,再选择对应偏差最小的模型作为第一模型。
还需要说明的是,在本申请实施例中,第一阈值可以是各个预测数据与实际数据求差值后再求得的平均值小于某个值,也可以是各个预测数据与实际数据求比值后再求得的平均值小于某个值,也可以是差值(指的是各个预测数据与实际数据之间求得的差值)与实际数据求比值后再求得的平均值小于某个值(即上述所述的偏差百分比),具体此处对第一阈值的具体表现形式不做限定。此外,还需要说明的是,该第一阈值也是根据用户需求自行设置,若要求精度高,则第一阈值可以设置的小一些,若对精度要求不高,则第一阈值可以设置的大一些,具体此次不做限定。
303、第一设备向第二设备发送第一模型的标识及第一模型包括的参变量的值。
最后,第一设备将确定好的第一模型的标识(即模型标识)以及第一模型的参变量的值发送给第二设备,若第二设备存在该第一模型(如,第二设备为网络设备、网管设备等),这样第二设备可以根据该标识就可以识别出在第二设备上对应的是哪个模型,之后将对应的参变量的值代入该模型。由于第一设备和第二设备都具备该模型及该模型包括的参变量的值,那么第一设备或第二设备均可通过该模型以及模型包括的参变量的值对接下来的监控数据进行预测,从而掌握真实的监控数据的趋势状况。
需要说明的是,在本申请的一些实施方式中,若第二设备为网络设备,则该第二设备可能不存在该第一模型(即第二设备可支持第一模型,但是在第二设备上没有该第一模型),则第一设备还可进一步向该第二设备发送第一模型,这样第一设备和第二设备上都有该第一模型,即第一设备和第二设备均可通过该模型以及模型包括的参变量的值对接下来的监控数据进行预测,从而掌握真实的监控数据的趋势状况。
在本申请上述实施方式中,由于第一设备与第二设备之间仅交互第一模型的标识以及第一模型包括的参变量的值,这样使得第一设备与第二设备仅需交互少量数据(远少于周期上报方式的数据量)就能预测真实的监控数据的趋势状况,减轻了带宽压力,从而节省了数据回传带宽。
需要说明的是,在本申请的一些实施方式中,上述第二数据集中的各个采样数据是作为验证数据对各个模型进行验证的,也就是说根据第二数据集中的各个采样数据确定的预测数据与实际数据之间的偏差是否在偏差范围(也可称为第二阈值)内,若第二数据集中的采样数据较多,那么就可能存在大于第二阈值的采样数据,这些大于第二阈值的采样数据就称为异常采样数据,异常采样数据包括实际数据和作为自变量的数据,也就是说,异常采样数据为根据作为自变量的数据和第一模型获得的预测数据与实际数据间的偏差大于第二阈值的采样数据。此外,除了在当前的预设采样周期内可能存在异常采样数据,在之后的采样周期(可称为目标采样周期,目标采样周期内的采样数据集可称为目标采样数据集)内也可能会出现大于第二阈值的采样数据,这些在之后的采样周期内获取到的大于第二阈值的采样数据也称为异常采样数据。不管是在当前的预设采样周期还是之后的采样周期,若存在异常采样数据,那么第一设备就会获取该异常采样数据。具体地,若第一设备为网络设备、第二设备为网管设备,则第一设备获取异常采样数据的方式可以是第二设备根据采集到的采样数据和第二阈值计算得到该异常采样数据,之后该第一设备将该异常采样数据上报至第二设备;若第一设备为网管设备、第二设备为网络设备,则第一设备获取异常采样数据的方式可以是第一设备根据第二设备上报的采样数据和第二阈值直接确定出异常采样数据,具体此次对第一设备如何获取异常采样数据不做限定。
还需要说明的是,在本申请的一些实施方式中,第一设备获取到异常采样数据之后,将会用该异常采样数据包括的实际数据替换第一模型中根据作为自变量的数据和通过第一模型确定预测数据。为便于理解,依然以上述三个模型函数的示例进行说明,假设第一设备根据上述本申请实施例上述方式确定了y=2x为第一模型,若在之后的某个采样周期内,获得了一个采样数据为(6,15),其中,6作为自变量,通过该模型函数得到的预测数据为12,那么偏差百分比为(15-12)/15=20%,假设第二阈值设置为16%,那么该采样数据(6,15)就属于异常采样数据,第一设备会将该采样数据中的实际数据替换到预测数据,即用异常采样数据(6,15)替换掉预测数据(6,12)。
还需要说明的是,在本申请实施例中,第二阈值可以是各个预测数据与实际数据求差值后再求得的平均值大于某个值,也可以是各个预测数据与实际数据求比值后再求得的平均值大于某个值,也可以是差值(指的是各个预测数据与实际数据之间求得的差值)与实际数据求比值后再求得的平均值大于某个值(即上述所述的偏差百分比),具体此处对第二阈值的具体表现形式不做限定。此外,还需要说明的是,该第二阈值也是根据用户需求自行设置,若要求精度高,则第二阈值可以设置的小一些,若对精度要求不高,则第一阈值可以设置的大一些,具体此次不做限定。
在本申请上述实施方式中,当确定了第一模型以及第一模型包括的参变量的值之后,只要在任意一个采样周期内存在超过第一模型对应的偏差范围的采样数据(即大于第二阈值的采样数据),第一设备会获取该异常采样数据(即真实监控到的实际数据),并用该异常采样数据替换第一模型中根据作为自变量的数据和第一模型确定的预测数据,从而降低一些不准确的预测数据对第一模型的影响,实现对第一模型的修正。
需要说明的是,在本申请上述实施方式中,这种数据上报方法可以应用在多种系统中,当应用的系统不同,第一设备和第二设备就可以是不同类型的终端设备。下面以该数据上报方法应用在网络监控系统中为例进行详细说明,需要注意的是,本申请实施例中的网络监控系统的架构可以是如图1或图2中所示的架构,即网管设备包括有控制器、采集器、分析器;网络监控系统的架构也可以是如图4所示,即网络设备不区别具体的模块(即不存在控制器、采集器、分析器这些具体功能的模块),上述所述的数据上报方法均基于图4中网管设备中的某一个或多个实体单元与网络设备进行交互来实现,为便于阐述,以下所涉及的网络监控系统的架构均采用如图1或图2中所示的架构(即网管设备包括有控制器、采集器、分析器),下面对本申请实施例的数据上报方法应用在数据监控系统中的具体实现方式进行说明。
一、第一设备为网络设备、第二设备为网管设备时,数据上报方法的具体实现方式。
在本申请实施例中网络设备可以是一个或多个,为便于阐述,图5的网络监控系统中以一个网络设备(即图5中的电脑)为例,对整个数据上报方法的具体流程进行阐述,针对系统中的其他网络设备,数据上报的方式是类似的,此次不予赘述。在本申请实施例中,数据上报方法具备包括五个步骤,请参阅图5。
步骤1:网管设备和网络设备进行模型协商阶段。
在本申请的技术方案下,首先网络设备和网管设备对双方都支持的一个或多个模型进行同步。同步的方式具体可以是在网管设备侧定义一个获取模型信息的rpc(可称为get-model-info),当网络设备新上线或网络设备断线后重连时,网管设备内的控制器可以通过携带该rpc的消息下发该rpc以获取网络设备所支持的模型的相关信息(如,支持的模型类型、数量、模型标识、模型的具体表达式等信息),rpc可以定义如下:
Figure BDA0002362929190000121
其中,model-set是一个列表节点,通过name指明是哪个模型(name即上述所述的模型的标识),info是anydata类型,用来承载模型和模型所包括的参变量,当网络设备上具备模型时,则网管设备的控制器可以通过该rpc获取网络设备所支持的全部模型的相关信息,之后,控制器基于网络设备所支持的模型以及网管设备自身所支持的模型,确定出模型集(包括一个或多个网络设备和网管设备均支持的模型)。
当网络设备不具有模型时,控制器可通过下述rpc设置模型,该rpc为set-model-info。rpc定义如下:
Figure BDA0002362929190000122
类似地,model-set是一个列表节点,通过name指明是哪个模型(name即上述所述的模型的标识),info是anydata类型,用来承载模型和模型所包括的参变量。控制器可通过上述set-model-info设置一个或多个模型,设置好的这一个或多个模型就构成所述的模型集,该模型集包括一个或多个网络设备和网管设备均支持的模型。
步骤2:网管设备下发配置阶段。
本申请实施例自定义一个telemetry.yang文件,基于共同的模型集,telemetry.yang文件用于承载网络设备(如,网络设备的控制器)下发的配置参数。其中,model-prediction容器节点用来容纳配置信息,enable以true或false作为参数,代表是否使能基于模型预测上报方式,即网络设备是否开启从模型集中确定第一模型的功能。如果没有定义该声明,默认为false,此时deviation为空;当enabled为true时意味网络设备开启模型预测(即网络设备开启从模型集中确定第一模型的功能,这个确定的过程就可称为模型预测)功能,此时deviation不能为空。deviation容器中percent定义当前实际数据与预测数据的偏差百分比,value定义当前实际数据与预测数据偏差值,period代表网络设备向网管设备上报从模型集中确定好的第一模型。statue-exception代表控制器是否开启异常采样数据上报模式,默认是true代表开启异常采样数据上报模式。model-training容器中learning time代表网络设备的开始学习时间,即预设采样周期,网络设备在该时间段内采集采样数据。sliding window代表网络设备滑动窗口大小,采样数据就是基于这个动态窗口采集到的数据,sliding distance为滑动步长,代表网络设备上述滑动窗口按照预设周期进行移动。其中,telemetry.yang文件定义如下:
Figure BDA0002362929190000131
类似地,基于同一个网络监控系统下的每个网络设备,若每个网络设备都已通过上述步骤1获取到模型集内的各个模型,那么每个网络设备都可通过引入的方式将上述telemetry文件引入自己的.yang模型中,设置enable为true,再根据自身需求按照如上方式填写详细的配置参数。
步骤3:网络设备从模型集中确定第一模型阶段。
网络设备通过上述telemetry.yang文件获取到各个配置参数后,就会根据该配置参数从模型集中确定出第一模型,确定第一模型的过程分为两个阶段:1)模型训练阶段;2)模型验证阶段。下面分别对这两个阶段进行说明。
1)模型训练阶段。
网络设备根据已知的模型集和配置下发的model-prediction节点信息,执行模型初始化;之后,网络设备侧根据learning time对应的时间内的采样数据集,将采样数据集内的采样数据按照预设比例分成预测数据和验证数据(如,7:3)。通过预测数据对模型进行训练得到模型所包括的参变量的值,类似地,对模型集中的每个模型都进行上述训练以得到各个模型所包括的参变量的值,根据滑动速率(sliding distance)依次向前滑动增长至滑动窗口的长度,最后稳定至滑动窗口大小。
例如,以流量监控场景为例,对于已具有模型集的网络设备,网络设备从控制器获取到如下一个配置参数:
Figure BDA0002362929190000132
Figure BDA0002362929190000141
其中,enabled为true时意味网络设备开启模型预测(即网络设备开启从模型集中确定第一模型的功能,这个确定的过程就可称为模型预测)功能,diviation中的percent的20代表预测数据偏离网络设备采集到的实际数据平均值的百分比,value为10代表当前时刻获取到的预测数据与实际数据差值为10兆,period为60表示网络设备以60s为一个周期,周期上报相关数据(如,周期上报模型信息、周期上报异常采样数据等)。status-exception为true表示控制器支持网络设备异常数据上报。model-training节点learning time为600表示网络设备前600s进行模型学习时间(即在600s的周期时间内获取采样数据集并对各个模型进行训练),滑动窗口(sliding window)表示网络设备维持的滑动窗口大小,86400s即24h代表一天,滑动步长(sliding distance)代表滑动窗口每5s移动一次。
下面以流量监控为例说明如何确定模型所包括的参变量的值,网络设备在模型协商阶段获取到控制器下发的模型集,假设该模型集中包括有自回归滑动平均模型(Auto-Regressive Moving Average Model,ARMA)和支持向量回归(Support VectorRegression,SVR)。以确定ARMA所包括的参变量的值为例,已知ARMA的模型函数的表达式为
Figure BDA0002362929190000142
其中,该表达式中的运算阶数d未在表达式中体现。网络设备对learning time采集到的多个采样数据按照7:3比例分成预测数据和验证数据,网络设备利用该预测数据和验证数据通过上述所述的模型训练得到ARIMA模型函数表达式中的模型所包括的参变量的值(p,q,d)。类似地,SVR也同样采用上述预测数据和验证数据得到SVR所包括的参变量的值,具体此处不予赘述。
2)模型验证阶段。
通过上述模型训练阶段确定了网络设备上模型集中各个模型包括的参变量的值,接下来利用采用数据集中的验证数据对各个模型进行验证,以确定对应的模型是否能够预测接下来真实的监控数据的变化趋势。当模型集中,真实的监控数据与通过模型得到的预测数据误差最小时,说明对应的该模型能很好地拟合真实值,那么确定误差最小的模型为第一模型。如何利用验证数据对各个模型进行验证在图3对应的实施例中已详细说明,具体此处不予赘述。
步骤4:上报阶段。
网络设备根据上述步骤3确定了第一模型之后,就会将该第一模型的标识上报至网管设备,由于模型集在网络设备和网管设备上都具有,那么网管设备获取到网络设备发送的第一模型的标识后,就可以根据该标识识别出对应的模型为第一模型,之后,网管设备就可以直接利用该第一模型以及该第一模型所包括的参变量的值对接下来网络设备上真实的监控数据进行预测,以得到真实的监控数据的变化趋势。
需要说明的是,在一些具体的实现方式中,网络设备还可以根据控制器配置下发的上报周期参数period进行上报,即在每个周期内,网络设备都会采集对应周期时长内的数据作为采样数据集,然后周期性按照上述步骤3的过程从模型集中确定出第一模型,由于每个周期确定出的第一模型都是根据当前周期的采样数据确定的,因此当前周期确定的第一模型(如,当前周期确定的第一模型为模型A)与上一个周期确定的第一模型(如,上一个周期确定的第一模型为模型B)可能不一样,但每个周期内确定的第一模型对应的偏差都是最小的,因此周期性确定第一模型并上报第一模型的标识的方式更精确。具体地,网络设备根据第一模型计算得到预测数据F(x)prediction,而实时采集得到的当前真实数据为F(x)。当|F(x)-F(x)prediction|÷F(x)≤percent或|F(x)-F(x)prediction|≤value,说明通过该模型得到的预测数据能较好的描述出真实的监控数据的取值,此时,网络设备只需周期上报该模型的标识(即上述rpc中的name)和该模型所包括的参变量的值即可。网管设备(如,网管设备的采集器)通过根据接收到的模型标识确定对应的第一模型,并根据该第一模型及第一模型包括的参变量的值对此周期内的监控数据进行预测得到此周期内的预测数据。此时需要在telemetry.yang文件中增加model-info节点,name代表第一模型名称,info是指第一模型所包括的参变量的值,周期上报的telemetry.yang文件定义如下:
Figure BDA0002362929190000151
步骤5:异常上报阶段。
若网络设备在任意周期内获取到的采样数据符合|F(x)-F(x)prediction|÷F(x)>percent且|F(x)-F(x)prediction|>value条件,则确定符合该条件的采样数据为异常采样数据,说明通过已上报的第一模型得到的预测数据不能很好的描述出真实的监控数据的取值,此时,网络设备将该异常采样数据上报至网管设备(如,上报至网管设备的采集器),采集器将接收到的该异常采样数据替代第一模型中对应的自变量以及根据该自变量得到的预测数据(即对第一模型进行校正)。此时需要在telemetry.yang文件中增加exception-info节点,name代表第一模型名称,info是指第一模型包括的参变量的值,exception-value代表当前获得的异常采样数据的真实值,即异常上报的telemetry.yang文件定义如下:
Figure BDA0002362929190000161
由步骤1-5可知,网络设备与网管设备在完成模型协商后,网络设备便获得双方都支持的模型集,紧接着,网络设备对模型集中的每个模型都需要进入训练阶段和验证阶段,最终得到最佳的模型(即第一模型),然后进入上报阶段和异常上报阶段,网络设备侧的整体流程具体请参阅图6,此处不予赘述。
为了更好的理解本申请技术方案的优势,如图7所示,将本申请技术方案与目前已有的周期上报、阈值上报进行对比分析,网络流量监控系统中上报周期是1S,以本方案上报周期为5分钟为例,采集数据的频率为1个/秒,从图7中可以看出,周期上报的方式需要全量上报5分钟内采集的所有数据,即需要上报300个采样数据;而阈值上报仅需上报超出阈值(即超出虚线)的数据约100个;而通过本申请的模型上报方式就仅需要上报确定的第一模型的标识和模型所包括的参变量的值(即一个数据),从而大大减少了数据上报量,实现了大幅度压缩上报数据的体量,减少数据上报压力,而且能扩大上报周期。
综上所述,当第一设备为网络设备、第二设备为网管设备时,网络设备和网管设备之间首先需要同步模型集,即保证网络设备和网管设备上都具备同样的一个或多个模型,之后由网络设备从模型集中确定出第一模型,并将第一模型的标识以及第一模型包括的参变量的值上报至网管设备,由网管设备根据该标识识别出第一模型,并进一步通过该第一模型预测网络设备上真实的监控数据的变化趋势,当网络设备获取到异常采样数据时,网络设备就会将获取到的异常采样数据上报至网管设备,以使网管设备利用该异常采样数据替换掉通过第一模型得到的预测数据,使网络监控的方式更加精确和灵活。
二、第一设备为网管设备、第二设备为网络设备时,数据上报方法的具体实现方式。
类似地,在本申请实施例中网络设备可以是一个或多个,为便于阐述,图8的网络监控系统中以一个网络设备(即图8中的电脑)为例,对整个数据上报方法的具体流程进行阐述,当第一设备作为网管设备时,从模型集中确定第一模型的步骤就由网管设备执行,在本申请实施例中,数据上报方法具备也包括五个步骤,请参阅图8。
步骤1:网管设备和网络设备进行模型协商阶段。
在本申请的技术方案下,由于从模型集中确定第一模型的步骤是由网管设备执行,那么网管设备侧也可执行一个获取模型信息的rpc(可称为get-model-info),当网络设备新上线或网络设备断线后重连时,网管设备内的控制器可以通过携带该rpc的消息下发该rpc以获取网络设备所支持的模型的相关信息(如,支持的模型类型、数量、模型标识、模型的具体表达式等信息),该rpc的定义与上述类似,此处不予赘述。
网管设备获取到网络设备所支持的模型的相关信息后,将会进一步根据自身所支持的候选模型集以及网络设备所支持的候选模型集确定出一个模型集,该模型集中包括有双方都支持的模型,与上述步骤1不同的是,在申请的技术方案下,网管设备只需将该模型集保存在自身即可,而不需要发送至网络设备。
步骤2:网管设备从模型集中确定第一模型阶段。
与上述步骤3类似,不同的地方仅在于,网络设备获取到预设周期内的采样数据集后,直接将该采样数据集上报至网管设备,由网管设备基于该采样数据集对模型集中的各个模型进行训练和验证,最终从模型集中确定出第一模型以及第一模型包括的参变量的值。训练和验证的步骤与上述步骤3类似,此处不予赘述。
步骤3:网管设备下发配置阶段。
本申请实施例在上述步骤2中的telemetry.yang文件中新增control-model容器用来承载网络设备(如,网络设备的控制器)下发的配置参数,该配置参数中具有第一模型包括的参变量的值和第一模型的标识,其中,name就代表从模型集中所选取的一个模型,enable、diviation、period和statue-exception与上述步骤2中的指代含义相同,此处不予赘述。
Figure BDA0002362929190000171
需要说明的是,在本申请实施例中,由于网络设备并未在一开始获取网管设备确定的模型集,当网络设备不具备第一模型时(即网络设备通过网管设备下发的name查找不到对应的第一模型,说明网管设备不具备第一模型),网管设备还需要在下发配置后进一步向网络设备发送第一模型;若网络设备通过网管设备下发的name查识别到对应的第一模型,说明网管设备具备第一模型,此时网管设备无需再向网络设备发送第一模型。
步骤4:网络设备计算对比阶段。
网络设备确定第一模型之后,将根据获取到的配置参数对任意周期获取到的采样数据F(x)与通过第一模型运算得到预设数据F(x)prediction进行计算对比,当|F(x)-F(x)prediction|÷F(x)≤percent或|F(x)-F(x)prediction|≤value,说明通过该第一模型得到的预测数据能较好的描述出真实的监控数据的取值,此时,网络设备无需向网管设备上报数据。
步骤5:异常上报阶段。
若网络设备在任意周期内获取到的采样数据符合|F(x)-F(x)prediction|÷F(x)>percent且|F(x)-F(x)prediction|>value条件,则确定符合该条件的采样数据为异常采样数据,说明通过已上报的第一模型得到的预测数据不能很好的描述出真实的监控数据的取值,此时,网络设备将该异常采样数据上报至网管设备(如,上报至网管设备的采集器),采集器将接收到的该异常采样数据替代第一模型中对应的自变量以及根据该自变量得到的预测数据(即对第一模型进行校正)。在本申请实施例中,网络设备上报异常采样数据的方式与上述步骤5中异常上报的telemetry.yang文件类似,其中,name和info为空,只有exception-value有数据(即该异常采样数据),该异常上报的telemetry.yang文件定义如下:
Figure BDA0002362929190000181
综上所述,当第一设备为网管设备、第二设备为网络设备时,此时只需确保网管设备和网络设备均支持的模型集存在于网管设备上即可,网管设备获取网络设备上报的采样数据集后,将由网管设备根据该采样数据集从模型集中确定出第一模型以及该第一模型包括的参变量的值,这样网管设备就可通过该第一模型预测网络设备上真实的监控数据的变化趋势,此外,网管设备还会将该第一模型的标识及参变量的值以配置参数的形式发送至网络设备(若网络设备上不存在第一模型,还将进一步向网络设备发送第一模型),以使得网络设备通过该第一模型判定是否存在异常采样数据,当网络设备获取到异常采样数据时,网络设备就会将获取到的异常采样数据上报至网管设备,这样网管设备会利用该异常采样数据替换掉通过第一模型得到的预测数据,使网络监控的方式更加精确和灵活。
本申请实施例可以根据上述数据的上报方法的示例对第一设备(如,网络设备、网管设备)进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
例如,图9示出了一种第一设备的示意图,本申请实施例提供的第一设备可以包括:
第一获取模块901,用于获取预设采样周期内的采样数据集,该采样数据集包括多个采样数据;
第二获取模块902,用于根据该采样数据集,从模型集中获取第一模型和该第一模型包括的参变量的值,该模型集包括该第一设备和第二设备均支持的一个或多个模型;
发送模块903,用于向该第二设备发送该第一模型的标识以及该第一模型包括的参变量的值。
优选的,在本申请的一些实施方式中,该第二获取模块902具体用于:
根据预设算法,从该采样数据集中获取第一数据集和第二数据集,该第一数据集包括该多个采样数据中的至少一个采样数据,该第二数据集包括该多个采样数据中的至少一个采样数据;
根据该第一数据集,获取第二模型包括的参变量的值;
根据该第二数据集和该第二模型包括的参变量的值,获取该第二模型对应的偏差,该第二模型对应的偏差为根据该第二模型、该第二模型包括的参变量的值和该第二数据集包括的采样数据确定的预测数据与实际数据的差值之和;
在该第二模型对应的偏差小于预设值时,将该第二模型作为该第一模型,该第一模型包括的参变量的值为该第二模型包括的参变量的值。
优选的,在本申请的一些实施方式中,该第二获取模块902具体用于:
根据预设算法,从该采样数据集中获取第一数据集和第二数据集,该第一数据集包括该多个采样数据中的至少一个采样数据,该第二数据集包括该多个采样数据中的至少一个采样数据;
根据该第一数据集,获取第二模型包括的参变量的值和第三模型包括的参变量的值;
根据该第二数据集和该第二模型包括的参变量的值,获取该第二模型对应的偏差,该第二模型对应的偏差为根据该第二模型、该第二模型包括的参变量的值和该第二数据集包括的采样数据确定的预测数据与实际数据的差值之和;
根据该第二数据集和该第三模型包括的参变量的值,获取该第三模型对应的偏差,该第三模型对应的偏差为根据该第三模型、该第三模型包括的参变量的值和该第二数据集包括的采样数据确定的预测数据与实际数据的差值之和;
根据该第二模型对应的偏差和该第三模型对应的偏差,确定该第一模型,该第一模型为该第二模型和该第三模型中较小的偏差所对应的模型,该第一模型包括的参变量的值为该第二模型和该第三模型中较小的偏差所对应的模型包括的参变量的值。
优选的,在本申请的一些实施方式中,该第二模型对应的偏差小于或等于第一阈值,该第三模型对应的偏差小于或等于该第一阈值。
优选的,在本申请的一些实施方式中,若该第一设备为网管设备,该第二设备为网络设备,则该发送模块903还用于:
向该第二设备发送该第一模型。
优选的,在本申请的一些实施方式中,该第二获取模块902还用于:
获取采样数据集中的异常采样数据,该异常采样数据包括实际数据和作为自变量的数据,该异常采样数据为根据该作为自变量的数据和该第一模型获得的预测数据与该实际数据间的偏差大于第二阈值的采样数据。
优选的,在本申请的一些实施方式中,该第二获取模块902具体还用于:
接收该第二设备发送的该异常采样数据;
或,
根据该第二数据集和该第二阈值,计算获得该异常采样数据。
优选的,在本申请的一些实施方式中,若该第一设备为网管设备,则该第二获取模块902具体还用于:
用该异常采样数据所包括的实际数据替换该第一模型中根据该作为自变量的数据和该第一模型确定的预测数据。
优选的,在本申请的一些实施方式中,该第一设备为网络设备,该第二获取模块902还用于:
向该第二设备发送第一候选模型集,并获取该第二设备发送的第四模型和第四模型的标识,该第一候选模型集包括该第一设备所支持的模型,该第四模型和该第四模型的标识由该第二设备根据第二候选模型集以及该第一候选模型集确定,该第二候选模型集包括该第二设备所支持的模型,该第四模型为该模型集内需要同步至该第一设备的模型。
优选的,在本申请的一些实施方式中,该第一设备为网管设备,该第二获取模块902还用于:
获取该第二设备发送的第一候选模型集,该第一候选模型集包括该第二设备所支持的模型;
根据第二候选模型集以及该第一候选模型集,获得第五模型和第五模型的标识,该第二候选模型集包括该第一设备所支持的模型,该第五模型为模型集内任意一个模型。
图9对应的实施例中的第一设备具体的功能以及结构用于实现前述图3图8中由第一设备进行处理的步骤,具体此处不予赘述。
如图10所示,为本申请实施例相关设备(即可以是第一设备,也可以是第二设备)的一个示意图,为便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该设备1000可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,CPU)1022(例如,一个或一个以上处理器)和存储器1032,一个或一个以上存储应用程序1042或数据1044的存储介质1030(例如一个或一个以上海量存储设备)。其中,存储器1032和存储介质1030可以是短暂存储或持久存储。存储在存储介质1030的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。例如,若该设备1000为网管设备,那么对应的指令操作可以是:获取预设采样周期内的采样数据集,该采样数据集由第二设备(如,网络设备)向该网络设备发送,之后,根据该采样数据集从模型集中获取第一模型和第一模型包括的参变量的值,最后,向第二设备(如,网络设备)发送该第一模型的标识以及该第一模型包括的参变量的值。类似地,若该设备1000为网络设备,那么对应的操作指令可以是:采集预设采样周期内的采样数据集,并根据该采样数据集从模型集中确定第一模型和第一模型包括的参变量的值,之后向第二设备(如,网管设备)发送该第一模型的标识以及该第一模型包括的参变量的值。
更进一步地,中央处理器1022可以设置为与存储介质1030通信,在设备1000上执行存储介质1030中的一系列指令操作。
设备1000还可以包括一个或一个以上电源1026,一个或一个以上有线或无线网络接口1050,一个或一个以上输入输出接口1058,和/或,一个或一个以上操作系统1041,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
若该设备1000为第一设备,那么上述图3至图8对应的实施例中由第一设备所执行的步骤可以基于该图10所示的结构实现;若该设备1000为第二设备,那么上述图3至图8对应的实施例中由第二设备所执行的步骤也可以基于该图10所示的结构实现,具体此处不做限定。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。

Claims (22)

1.一种数据的上报方法,其特征在于,包括:
第一设备获取预设采样周期内的采样数据集,所述采样数据集包括多个采样数据;
所述第一设备根据所述采样数据集从模型集中确定第一模型和所述第一模型包括的参变量的值,所述模型集包括所述第一设备和第二设备均支持的多个模型,所述第一模型包括的参变量的值为所述第一模型的模型参数的取值;
所述第一设备向所述第二设备发送所述第一模型的标识以及所述第一模型包括的参变量的值。
2.根据权利要求1所述的方法,其特征在于,所述第一设备根据所述采样数据集从模型集中确定第一模型和所述第一模型包括的参变量的值包括:
所述第一设备根据预设算法,从所述采样数据集中获取第一数据集和第二数据集,所述第一数据集包括所述多个采样数据中的至少一个采样数据,所述第二数据集包括所述多个采样数据中除所述第一数据集之外的至少一个采样数据;
所述第一设备利用所述第一数据集训练第二模型,以确定所述第二模型包括的参变量的值,所述第二模型包括的参变量的值为所述第二模型的模型参数的取值,所述第二模型为所述模型集中的任意一个;
所述第一设备利用所述第二数据集和所述第二模型包括的参变量的值验证所述第二模型,获取所述第二模型对应的偏差,所述第二模型对应的偏差为所述第二模型输出的预测数据与实际数据的差值之和;
所述第一设备在所述第二模型对应的偏差小于预设值时,将所述第二模型作为所述第一模型,所述第一模型包括的参变量的值为所述第二模型包括的参变量的值。
3.根据权利要求1所述的方法,其特征在于,所述第一设备根据所述采样数据集从模型集中确定第一模型和所述第一模型包括的参变量的值包括:
所述第一设备根据预设算法,从所述采样数据集中获取第一数据集和第二数据集,所述第一数据集包括所述多个采样数据中的至少一个采样数据,所述第二数据集包括所述多个采样数据中除所述第一数据集之外的至少一个采样数据;
所述第一设备利用所述第一数据集训练第二模型和第三模型,以确定所述第二模型包括的参变量的值和所述第三模型包括的参变量的值,所述第二模型包括的参变量的值为所述第二模型的模型参数的取值,所述第三模型包括的参变量的值为所述第三模型的模型参数的取值,所述第二模型和所述第三模型为所述模型集中的任意两个;
所述第一设备利用所述第二数据集和所述第二模型包括的参变量的值验证所述第二模型,获取所述第二模型对应的偏差,所述第二模型对应的偏差为所述第二模型输出的预测数据与实际数据的差值之和;
所述第一设备利用所述第二数据集和所述第三模型包括的参变量的值验证所述第三模型,获取所述第三模型对应的偏差,所述第三模型对应的偏差为所述第三模型输出的预测数据与实际数据的差值之和;
所述第一设备根据所述第二模型对应的偏差和所述第三模型对应的偏差,确定所述第一模型,所述第一模型为所述第二模型和所述第三模型中较小的偏差所对应的模型,所述第一模型包括的参变量的值为所述第二模型和所述第三模型中较小的偏差所对应的模型包括的参变量的值。
4.根据权利要求3所述的方法,其特征在于,所述第二模型对应的偏差小于或等于第一阈值,所述第三模型对应的偏差小于或等于所述第一阈值。
5.根据权利要求1-4任一所述的方法,其特征在于,所述第一设备为网管设备,所述第二设备为网络设备,所述方法还包括:
所述第一设备向所述第二设备发送所述第一模型。
6.根据权利要求1-4中任一所述的方法,其特征在于,所述方法还包括:
所述第一设备获取采样数据集中的异常采样数据,所述异常采样数据包括实际数据和作为自变量的数据,所述异常采样数据为根据所述作为自变量的数据和所述第一模型获得的预测数据与所述实际数据间的偏差大于第二阈值的采样数据。
7.根据权利要求6所述的方法,其特征在于,所述第一设备获取采样数据集中的异常采样数据包括:
所述第一设备接收所述第二设备发送的所述异常采样数据;
或,
所述第一设备根据第二数据集和所述第二阈值,计算获得所述异常采样数据。
8.根据权利要求6所述的方法,其特征在于,所述第一设备为网管设备,所述方法还包括:
所述第一设备用所述异常采样数据所包括的实际数据替换所述第一模型中根据所述作为自变量的数据和所述第一模型确定的预测数据。
9.根据权利要求1-4中任一项所述的方法,其特征在于,所述第一设备为网络设备,所述方法还包括:
所述第一设备向所述第二设备发送第一候选模型集,所述第一候选模型集包括所述第一设备所支持的模型;
所述第一设备获取所述第二设备发送的第四模型和第四模型的标识,所述第四模型和所述第四模型的标识由所述第二设备根据第二候选模型集以及所述第一候选模型集确定,所述第二候选模型集包括所述第二设备所支持的模型,所述第四模型为所述模型集内需要同步至所述第一设备的模型。
10.根据权利要求1-4中任一项所述的方法,其特征在于,所述第一设备为网管设备,所述方法还包括:
所述第一设备获取所述第二设备发送的第一候选模型集,所述第一候选模型集包括所述第二设备所支持的模型;
所述第一设备根据第二候选模型集以及所述第一候选模型集,获得第五模型和第五模型的标识,所述第二候选模型集包括所述第一设备所支持的模型,所述第五模型为所述模型集内任意一个模型。
11.一种用于数据上报的第一设备,其特征在于,包括:
第一获取模块,用于获取预设采样周期内的采样数据集,所述采样数据集包括多个采样数据;
第二获取模块,用于根据所述采样数据集从模型集中确定第一模型和所述第一模型包括的参变量的值,所述模型集包括所述第一设备和第二设备均支持的多个模型,所述第一模型包括的参变量的值为所述第一模型的模型参数的取值;
发送模块,用于向所述第二设备发送所述第一模型的标识以及所述第一模型包括的参变量的值。
12.根据权利要求11所述的设备,其特征在于,所述第二获取模块具体用于:
根据预设算法,从所述采样数据集中获取第一数据集和第二数据集,所述第一数据集包括所述多个采样数据中的至少一个采样数据,所述第二数据集包括所述多个采样数据中除所述第一数据集之外的至少一个采样数据;
利用所述第一数据集训练第二模型,以确定所述第二模型包括的参变量的值,所述第二模型包括的参变量的值为所述第二模型的模型参数的取值,所述第二模型为所述模型集中的任意一个;
利用所述第二数据集和所述第二模型包括的参变量的值验证所述第二模型,获取所述第二模型对应的偏差,所述第二模型对应的偏差为所述第二模型输出的预测数据与实际数据的差值之和;
在所述第二模型对应的偏差小于预设值时,将所述第二模型作为所述第一模型,所述第一模型包括的参变量的值为所述第二模型包括的参变量的值。
13.根据权利要求11所述的设备,其特征在于,所述第二获取模块具体用于:
根据预设算法,从所述采样数据集中获取第一数据集和第二数据集,所述第一数据集包括所述多个采样数据中的至少一个采样数据,所述第二数据集包括所述多个采样数据中除所述第一数据集之外的至少一个采样数据;
利用所述第一数据集训练第二模型和第三模型,以确定所述第二模型包括的参变量的值和所述第三模型包括的参变量的值,所述第二模型包括的参变量的值为所述第二模型的模型参数的取值,所述第三模型包括的参变量的值为所述第三模型的模型参数的取值,所述第二模型和所述第三模型为所述模型集中的任意两个;
利用所述第二数据集和所述第二模型包括的参变量的值验证所述第二模型,获取所述第二模型对应的偏差,所述第二模型对应的偏差为所述第二模型输出的预测数据与实际数据的差值之和;
利用所述第二数据集和所述第三模型包括的参变量的值验证所述第三模型,获取所述第三模型对应的偏差,所述第三模型对应的偏差为所述第三模型输出的预测数据与实际数据的差值之和;
根据所述第二模型对应的偏差和所述第三模型对应的偏差,确定所述第一模型,所述第一模型为所述第二模型和所述第三模型中较小的偏差所对应的模型,所述第一模型包括的参变量的值为所述第二模型和所述第三模型中较小的偏差所对应的模型包括的参变量的值。
14.根据权利要求13所述的设备,其特征在于,所述第二模型对应的偏差小于或等于第一阈值,所述第三模型对应的偏差小于或等于所述第一阈值。
15.根据权利要求11-14中任一项所述的设备,其特征在于,若所述第一设备为网管设备,所述第二设备为网络设备,则所述发送模块还用于:
向所述第二设备发送所述第一模型。
16.根据权利要求11-14中任一项所述的设备,其特征在于,所述第二获取模块还用于:
获取采样数据集中的异常采样数据,所述异常采样数据包括实际数据和作为自变量的数据,所述异常采样数据为根据所述作为自变量的数据和所述第一模型获得的预测数据与所述实际数据间的偏差大于第二阈值的采样数据。
17.根据权利要求16所述的设备,其特征在于,所述第二获取模块具体还用于:
接收所述第二设备发送的所述异常采样数据;
或,
根据第二数据集和所述第二阈值,计算获得所述异常采样数据。
18.根据权利要求16所述的设备,其特征在于,若所述设备为网管设备,则所述第二获取模块具体还用于:
用所述异常采样数据所包括的实际数据替换所述第一模型中根据所述作为自变量的数据和所述第一模型确定的预测数据。
19.根据权利要求11-14中任一项所述的设备,其特征在于,所述第一设备为网络设备,所述第二获取模块还用于:
向所述第二设备发送第一候选模型集,并获取所述第二设备发送的第四模型和第四模型的标识,所述第一候选模型集包括所述第一设备所支持的模型,所述第四模型和所述第四模型的标识由所述第二设备根据第二候选模型集以及所述第一候选模型集确定,所述第二候选模型集包括所述第二设备所支持的模型,所述第四模型为所述模型集内需要同步至所述第一设备的模型。
20.根据权利要求11-14中任一项所述的设备,其特征在于,所述第一设备为网管设备,所述第二获取模块还用于:
获取所述第二设备发送的第一候选模型集,所述第一候选模型集包括所述第二设备所支持的模型;
根据第二候选模型集以及所述第一候选模型集,获得第五模型和第五模型的标识,所述第二候选模型集包括所述第一设备所支持的模型,所述第五模型为所述模型集内任意一个模型。
21.一种电子设备,包括处理器和存储器,所述处理器与所述存储器耦合,其特征在于,
所述存储器,用于存储程序;
所述处理器,用于执行所述存储器中的程序,使得所述设备执行如权利要求1-10中由所述第一设备执行的任一项所述的方法。
22.一种计算机可读存储介质,存储指令,当所述指令在计算机上运行时,使得计算机执行如权利要求1-10中任一项所述的方法。
CN202010027285.3A 2020-01-10 2020-01-10 一种数据的上报方法及相关设备 Active CN113114480B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010027285.3A CN113114480B (zh) 2020-01-10 2020-01-10 一种数据的上报方法及相关设备
EP21150455.0A EP3849140B1 (en) 2020-01-10 2021-01-07 Data reporting method and related device
US17/144,421 US20210216685A1 (en) 2020-01-10 2021-01-08 Data reporting method and related device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010027285.3A CN113114480B (zh) 2020-01-10 2020-01-10 一种数据的上报方法及相关设备

Publications (2)

Publication Number Publication Date
CN113114480A CN113114480A (zh) 2021-07-13
CN113114480B true CN113114480B (zh) 2023-06-06

Family

ID=74105867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010027285.3A Active CN113114480B (zh) 2020-01-10 2020-01-10 一种数据的上报方法及相关设备

Country Status (3)

Country Link
US (1) US20210216685A1 (zh)
EP (1) EP3849140B1 (zh)
CN (1) CN113114480B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11669381B1 (en) 2021-11-15 2023-06-06 International Business Machines Corporation Real-time error debugging
CN114979242A (zh) * 2022-05-18 2022-08-30 中国电信股份有限公司 一种动态订阅数据的方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109392002A (zh) * 2017-08-11 2019-02-26 华为技术有限公司 一种上报网络性能参数的方法及设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6430615B1 (en) * 1998-03-13 2002-08-06 International Business Machines Corporation Predictive model-based measurement acquisition employing a predictive model operating on a manager system and a managed system
US8036760B2 (en) * 2005-10-04 2011-10-11 Fisher-Rosemount Systems, Inc. Method and apparatus for intelligent control and monitoring in a process control system
CN109660419B (zh) * 2018-10-08 2022-06-17 平安科技(深圳)有限公司 预测网络设备异常的方法、装置、设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109392002A (zh) * 2017-08-11 2019-02-26 华为技术有限公司 一种上报网络性能参数的方法及设备

Also Published As

Publication number Publication date
US20210216685A1 (en) 2021-07-15
EP3849140B1 (en) 2024-04-24
EP3849140A1 (en) 2021-07-14
CN113114480A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN107204894B (zh) 网络业务质量的监控方法及装置
WO2020087926A1 (zh) 一种数据采集处理方法、装置及系统
CN113114480B (zh) 一种数据的上报方法及相关设备
CN113568743A (zh) 物联网设备的管理方法、装置、介质及电子设备
CN111966289B (zh) 基于Kafka集群的分区优化方法和系统
CN114268640A (zh) 云边协同的工业物联网智能路由系统
CN113971066A (zh) 一种Kubernetes集群资源动态调整方法及电子设备
CN110740146B (zh) 一种调度缓存节点的方法、装置及计算机网络系统
CN105052076B (zh) 一种基于云计算的网元管理系统及网元管理方法
CN114980302B (zh) 一种设备反向集成的接入、管理方法、系统和计算机设备
WO2019206100A1 (zh) 一种特征工程编排方法及装置
CN108924007B (zh) 通信运营信息的大数据采集及存储系统和方法
CN102026228B (zh) 通信网络性能数据的统计方法和设备
EP4080924B1 (en) Injecting analytics into network repository function (nrf) for automated management of 5g
CN110659180A (zh) 基于集群技术的数据中心基础设施管理系统
KR20220042928A (ko) 복수의 액세스 네트워크 장치들에 대한 자동 구성 네트워크를 구현하는 방법 및 이를 수행하는 전자 장치
US20230403652A1 (en) Graph-based systems and methods for controlling power switching of components
CN103414595A (zh) 电力调度数据网链路监测系统拓扑图生成方法
CN107147694B (zh) 一种信息处理方法和装置
CN117750408B (zh) 一种基于物联网的通信故障嗅探方法
WO2023119623A1 (ja) 管理装置、通信システム、制御方法、及び非一時的なコンピュータ可読媒体
CN118381788B (zh) 一种电能表模块化升级方法、介质及电子装置
WO2021259286A1 (zh) 切片业务处理方法及装置、网络设备和可读存储介质
CN117348491B (zh) 基于工业互联网的联网设备数据采集系统、方法
WO2024082706A1 (zh) 数据处理方法、设备、系统及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant