CN111466103B - 用于网络基线的生成和适配的方法和系统 - Google Patents

用于网络基线的生成和适配的方法和系统 Download PDF

Info

Publication number
CN111466103B
CN111466103B CN201780097537.6A CN201780097537A CN111466103B CN 111466103 B CN111466103 B CN 111466103B CN 201780097537 A CN201780097537 A CN 201780097537A CN 111466103 B CN111466103 B CN 111466103B
Authority
CN
China
Prior art keywords
violation
network
baseline
metric
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780097537.6A
Other languages
English (en)
Other versions
CN111466103A (zh
Inventor
R·米江彼
A·阿萨纳
M·科伊瓦南
傅海泳
朱钦隽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Shanghai Bell Co Ltd
Nokia Solutions and Networks Oy
Original Assignee
Nokia Shanghai Bell Co Ltd
Nokia Solutions and Networks Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Shanghai Bell Co Ltd, Nokia Solutions and Networks Oy filed Critical Nokia Shanghai Bell Co Ltd
Publication of CN111466103A publication Critical patent/CN111466103A/zh
Application granted granted Critical
Publication of CN111466103B publication Critical patent/CN111466103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports
    • H04L43/067—Generation of reports using time frame reporting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/20—Arrangements for monitoring or testing data switching networks the monitoring system or the monitored elements being virtualised, abstracted or software-defined entities, e.g. SDN or NFV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0681—Configuration of triggering conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/40—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Debugging And Monitoring (AREA)

Abstract

提供了用于网络基线的生成和适配的系统、方法、装置和计算机程序产品。一种方法可以包括：生成未来时间段内的一个或多个网络度量的预测值；使用预测值和/或历史数据生成针对(多个)网络度量的基线；使用至少一种时间序列分析技术来评估(多个)网络度量以检测网络状况的变化，以及使用历史数据、机器学习和/或时间序列分析技术使基线适配检测到的网络状况的变化。

Description

用于网络基线的生成和适配的方法和系统
技术领域
某些实施例总体上可以涉及有线或无线通信网络，包括但不限于局域网或广域网，诸如互联网。例如，一些实施例总体上可以涉及无线或蜂窝通信系统，诸如但不限于通用移动电信系统(UMTS)地面无线电接入网络(UTRAN)、长期演进(LTE)演进的UTRAN(E-UTRAN)、高级LTE(LTE-A)、LTE-A Pro和/或第五代(5G)无线电接入技术或新无线电(NR)接入技术。例如，各种实施例可以涉及用于这种通信网络的网络基线的生成和适配。
背景技术
通用移动电信系统(UMTS)地面无线电接入网络(UTRAN)是指包括基站或节点B以及例如无线电网络控制器(RNC)的通信网络。UTRAN允许用户设备(UE)与核心网络之间的连接。RNC为一个或多个节点B提供控制功能。RNC及其对应的节点B称为无线电网络子系统(RNS)。在E-UTRAN(演进的UTRAN)的情况下，空中接口设计、协议架构和多址原理比UTRAN的更为新颖，并且不存在RNC并且无线电接入功能由演进的节点B(eNodeB或eNB)或很多eNB提供。例如，在协作多点传输(CoMP)和双连接(DC)的情况下，单个UE连接涉及多个eNB。
与前几代相比，长期演进(LTE)或E-UTRAN提高了效率和服务，提供了更低的成本，并且提供了新的频谱机会。特别地，LTE是一种3GPP标准，其提供的上行链路峰值速率为例如至少每载波每秒75兆比特(Mbps)并且其提供的下行链路峰值速率为例如至少每载波每秒300Mbps。LTE支持从20MHz到1.4MHz的可扩展载波带宽，并且支持频分双工(FDD)和时分双工(TDD)两者。载波聚合或上述双连接还允许同时在多个分量载波上操作，因此使性能(诸如每用户的数据速率)成倍增长。
如上所述，LTE还可以提高网络中的频谱效率，从而允许载波在给定带宽上提供更多的数据和语音服务。因此，除了高容量语音支持，LTE还旨在满足高速数据和媒体传输的需求。LTE的优势包括例如高吞吐量、低延迟、在同一平台中的FDD和TDD支持、改善的最终用户体验、以及简单的架构，从而可以降低运营成本。
3GPP LTE的某些另外的版本(例如，LTE Rel-10、LTE Rel-11)针对国际移动通信高级(IMT-A)系统，其在本文中为方便起见简称为高级LTE(LTE-A)。
LTE-A针对扩展和优化3GPP LTE无线电接入技术。LTE-A的目标是通过更高的数据速率和更低的延迟以降低的成本来提供显著增强的服务。LTE-A是一种更优化的无线电系统，其可以满足高级IMT的国际电信联盟无线电(ITU-R)要求，同时保持向后兼容性。在LTERel-10中引入的LTE-A的关键特征之一是载波聚合，它允许通过两个或更多LTE载波的聚合来提高数据速率。3GPP LTE的下一版本(例如，LTE Rel-12、LTE Rel-13、LTE Rel-14，LTE Rel-15)的目标是进一步改进专用服务，缩短延迟，并且满足接近5G的要求。
第五代(5G)或新无线电(NR)无线系统是指下一代(NG)无线电系统和网络架构。5G也被称为IMT-2020系统。据估计，5G将提供约10-20Gbit/s或更高的比特率。5G将至少支持增强型移动宽带(eMBB)和超可靠低延迟通信(URLLC)。预计5G还可以将网络扩展性提高到数十万个连接。预期5G的信号技术将具有更大的覆盖范围以及频谱和信令效率。预计5G将提供极端的宽带和超强健的低延迟连接以及大规模网络以支持物联网(IoT)。随着IoT和机器对机器(M2M)通信的日益普及，对满足低功耗、低数据速率和长电池寿命需求的网络的需求将日益增长。注意，在5G或NR中，节点B或eNB可以称为下一代或5G节点B(gNB)。
通信系统向5G的演进将使网络变得更大且更复杂。此外，预计5G网络将支持各种垂直领域，诸如智能电网、智能城市、联网汽车、eHealth等，这将使通信系统与当前系统相比成为社会的更加必不可少的重要组成部分。因此，确保这样的社会关键基础设施的高可靠性和可用性将至关重要。而且，为了支持交付预期数据速率所需要的性能要求，必须有效地运营和管理网络。
发明内容
一个实施例涉及一种方法，该方法可以包括生成未来时间段内的至少一个网络度量的预测值。该生成可以包括使用历史数据、机器学习或时间序列分析技术中的至少一种来生成预测值。该方法还可以包括：使用预测值或历史数据中的至少一项生成针对至少一个网络度量的基线；使用至少一种时间序列分析技术来评估至少一个网络度量以检测网络状况的变化，以及使用历史数据、机器学习或时间序列分析技术中的至少一种使基线适应检测到的网络状况的变化。
在一个实施例中，该方法还可以包括使用至少一种时间序列分析技术，根据未来时间段内的至少一个网络度量的预测值来确定可变性。在某些实施例中，基线的适配可以包括周期性地确定至少一个网络度量的趋势并且当趋势的变化被检测到时，修改基线。
根据一些实施例，基线可以包括上限和下限，并且该方法还可以包括将至少一个网络度量的当前观察值与基线进行比较，以及当至少一个网络度量的当前观察值在基线的上限以上或在基线的下限以下时检测违背。
在某些实施例中，该方法可以包括将基线的每个过去检测到的违背作为记录存储在知识库中，其中知识库中的每个记录可以包括发生违背的时间段、违背的持续时间、和/或违背的最大程度。根据一个实施例，当违背被检测到时，该方法可以包括检查知识库以确定是否存在与存储在知识库中的检测到的违背类似的违背。当在知识库中未找到类似的违背时，该方法可以包括生成警报并且在知识库中针对检测到的违背创建记录。当在知识库中找到类似的违背时，该方法可以包括监测导致该违背遵循该类似违背的记录的至少一个网络度量，以确认检测到的违背不表示网络中的异常。
根据一些实施例，当警报被生成时，该方法还可以包括：向网络管理员发送所述警报；接收指示触发该警报的违背是否表示网络中的异常的响应；以及更新知识库将响应存储在违背的记录中。在一个实施例中，该方法还可以包括：根据度量之间的对准将至少一个网络度量分配给集群，以及基于该集群对知识库中的记录进行分组。
在一个实施例中，该方法可以包括将预测值存储在存储器中以与至少一个网络度量的未来预测一起使用。在某些实施例中，预测值的生成可以包括周期性地生成预测值，并且对至少一个网络度量的评估还可以包括连续地评估至少一个网络度量以检测网络状况的变化。
另一实施例涉及一种装置，该装置可以包括用于生成未来时间段内的至少一个网络度量的预测值的生成部件。生成部件可以包括用于使用历史数据、机器学习或时间序列分析技术中的至少一种来生成预测值的部件。该装置还可以包括用于使用预测值或历史数据中的至少一项来生成针对至少一个网络度量的基线的生成部件；用于使用至少一种时间序列分析技术来评估至少一个网络度量以检测网络状况的变化的评估部件；以及用于使用历史数据、机器学习或时间序列分析技术中的至少一项来使基线适配检测到的网络状况的变化的适配部件。
另一实施例涉及一种装置，该装置可以包括至少一个处理器和包括计算机程序代码的至少一个存储器。至少一个存储器和计算机程序代码可以被配置为与至少一个处理器一起使该装置至少：生成未来时间段内的至少一个网络度量的预测值，例如，使用历史数据、机器学习或时间序列分析技术中的至少一项；使用预测值或历史数据中的至少一项来生成针对至少一个网络度量的基线；使用至少一种时间序列分析技术来评估至少一个网络度量以检测网络状况的变化；以及使用历史数据、机器学习或时间序列分析技术中的至少一种使基线适应检测到的网络状况的变化。
另一实施例涉及一种体现在非瞬态计算机可读介质上的计算机程序。该计算机程序在由处理器执行时可以使处理器执行过程，该过程包括：生成未来时间段内的至少一个网络度量的预测值，例如，使用历史数据、机器学习或时间序列分析技术中的至少一种；使用预测值或历史数据中的至少一项生成针对至少一个网络度量的基线；使用至少一种时间序列分析技术来评估至少一个网络度量以检测网络状况的变化；以及使用历史数据、机器学习或时间序列分析技术中的至少一项来使基线适配检测到的网络状况的变化。
附图说明
为了适当地理解本发明，应当参考附图，在附图中：
图1示出了根据一个实施例的系统的示例框图；
图2示出了根据一个实施例的过程的框图；
图3示出了根据一个实施例的描绘基线违背建模的示例的图；
图4a示出了根据一个实施例的方法的流程图；
图4b示出了根据另一实施例的方法的流程图；以及
图5示出了根据一个实施例的装置的框图。
具体实施方式
将容易理解，如本文中的附图中一般性地描述和示出的，本发明的组件可以以各种不同的配置来布置和设计。因此，如在附图中表示并且在下面描述的，下面对用于网络基线的生成和适配的系统、方法、装置和计算机程序产品的实施例的详细描述并非旨在限制本发明的范围，而是表示本发明的所选择的实施例。
在整个说明书中描述的本发明的特征、结构或特性可以在一个或多个实施例中以任何合适的方式组合。例如，在整个说明书中，短语“某些实施例”、“一些实施例”或其他类似语言的使用是指以下事实：结合该实施例描述的特定特征、结构或特性可以被包括在本发明的至少一个实施例中。因此，在整个说明书中，短语“在某些实施例中”、“在一些实施例中”、“在其他实施例中”或其他类似语言的出现不一定全都是指同一组实施例，并且所描述的特征、结构或特性在一个或多个实施例中可以以任何合适的方式组合。
另外，如果需要，下面讨论的不同功能或步骤可以以不同的顺序和/或彼此同时执行。此外，如果需要，所描述的功能或步骤中的一个或多个可以是可选的或可以组合。这样，以下描述应当被认为仅是本发明的原理、教导和实施例的说明，而不是对其的限制。
确保必要水平的可靠性、可用性和操作效率需要实时地监测网络系统的能力。这对于检测或预测网络性能何时偏离设定基线以执行预防或纠正措施可能是必需的。最新的监测应用要求网络管理员和/或专家提供或确定可以用作确定异常行为的基础的网络基线。网络基线可以是指例如可以用作确定异常网络行为的基础的网络性能阈值。换言之，当网络性能偏离基线太远时，认为网络行为异常。
在建立监测解决方案时面临的最大挑战之一是确定这些网络基线的手动过程。该过程通常包括使用历史数据，即，在给定时间内监测每个度量(诸如带宽、吞吐量、延迟、附件成功率、切换失败率、CPU或内存使用率、错误率、抖动等)的值以确定观察到的最大值和/或最小值，这些值然后被用作度量的基线的上限和/或下限。但是，当前用于确定和设置网络基线的方法是静态且不可扩展的。
为可观的网络中的每个监测的度量确定和设置这样的基线所需要的努力是巨大的。随着网络变得越来越复杂并且需要实时操作，这样的动作需要网络管理员的大量时间。因此，通常仅在网络元件安装时确定网络基线，而从未对其进行调节(即，静态的)，或者在某些情况下，针对某些度量从未确定基线，而是使用供应商默认值(诸如“CPU利用率不应当超过60％”)，并且在元件的整个生命周期内都不得改变。如果将基线设置得很高，则会带来可靠性和可用性的风险；而如果将值设置得非常低，则会带来运行效率的风险(就资源利用率低和多个虚假警报而言)。
当给定度量的监测值偏离设定基线时，监测应用通常会发出警报，该警报由网络管理员进行响应。由监测应用生成的很多警报都是虚假警报，因为它们不一定表示系统运行中的实际异常。随着网络的规模和复杂性不断增加以支持IoT，网络管理员不再能够响应于由监测应用生成的每个警报。这就要求要么应当限制被监测设备和/或度量的数目，要么必须将基线设置得足够宽，以减少每个度量的误报数目。但是，这两种选择都对可靠性、可用性和运营效率构成威胁。因此，本文中讨论的实施例提供了一种用于监测节点或应用从所生成的警报中进行学习的机制，使得随着时间的流逝，可以减少虚假警报的数目而不会负面地影响可靠性和效率。
因此，某些实施例涉及一种方法和系统，该方法和系统用于自动生成网络基线并且使网络基线适配网络状况的变化，并且从历史基线违背中学习以优化警报的数目并且限制网络管理员的负担。在一个实施例中，提供了一种用于网络基线生成的方法和系统，其中从一个或多个网络元件和度量收集数据。对于每个度量，可以由机器学习或分析算法使用所收集的数据来生成给定的未来时间段内的度量的预测值。根据一个实施例，时间序列分析技术可以用于确定度量在未来时间段内的可变性。预测值和可变性然后可以用于生成定义的未来时段内的度量的初始基线(例如，上限和下限)。在某些实施例中，可以对网络中的所有度量应用或重复该过程。
如本文中使用的，根据某些实施例，网络元件可以是任何逻辑或物理电信实体。这些可以包括物理和/或虚拟网络实体，诸如无线电网络控制器、基站、接入点、服务网关、移动性管理实体、路由器或交换机等。对于每个元件，实施例可以监测和收集一个或多个度量，诸如带宽、吞吐量、延迟、附件成功率、切换失败率、CPU或内存使用率、错误率、抖动等。假定(多个)被监测网络由E个元件和所有元件上的M个度量组成，某些实施例可以在时间t获取元件e∈E的度量m∈M的值xt me。在时段T内，所收集的数据可以用以下公式中给出的时间序列来表示：
Figure SMS_1
根据一个实施例，可以根据以下公式确定时间段T'≥T内的基线的上限阈值L和下限阈值U：
Figure SMS_2
Figure SMS_3
在一个实施例中，例如，T'可以在T的结尾处开始并且持续一周(168小时)。然而，在其他实施例中，时间段T'可以是一小时、一天、几天或几周、或任何其他合适的时间段。
附加实施例可以提供一种用于周期性地使(多个)所生成的基线(即，上限和下限阈值)适配网络状况的变化的方法和系统。为此，对于每个度量，实施例可以包括周期性地确定过去时间段内的度量的观察值的总体趋势(例如，向上、向下或平坦)。可以使用一种或多种时间序列分析方法(诸如分解)来确定度量的观察趋势。在一个实施例中，可以存储每个确定的趋势并且将其与先前确定的趋势进行比较以确定观察的总体趋势是否已经改变。根据某些实施例，在检测到趋势变化时，以上讨论的基线生成方法可以用于使用最新的度量观察来重新生成基线。
一些实施例还可以包括从基线违背中学习。例如，一个实施例还可以并入一种用于从先前生成的警报中学习以指导将来的警报生成的方法。根据该实施例，可以将几个相似的度量(就起伏和流量的大小和特征而言)进行聚类。该度量集群可以确保在生成警报时将同一集群中的度量视为一个度量，并且从而确保对于被认为相似的警报，对于集群中的所有度量仅发出一个警报。
另外的实施例可以提供一种方法和系统，该方法和系统用于通过并入从网络管理员或专家到监测系统的反馈回路来确定给定警报是否类似于先前的警报。根据该实施例，每当生成警报时，专家可以例如以“是”或“否”的形式向系统提供关于给定警报是否是操作异常的真实表示的反馈。通过将这样的反馈并入知识库中，监测系统可以从所有生成的警报中学习，从而对于给定群集中的度量，不会重复类似的警报，并且即使对于相同的度量，也不会在它们被标记为虚假时不止一次地发出具有相似特性的警报。
图1示出了根据一个实施例的系统100的示例框图。如图1的示例所示，系统100可以包括被配置为从网络元件120收集关于一个或多个度量的数据的监测应用110。在一个实施例中，监测应用110还可以被配置为当所收集的数据的观察值在设定基线之外时，生成和/或向专家130发送警报。专家130可以通过提供关于所生成警报的有效性的反馈来与监测应用110交互。系统100还可以包括用于存储所处理的度量数据和/或实现本文中描述的方法的逻辑的若干计算机程序的可读和可写存储介质150。在一个实施例中，系统100可以包括在其上运行有本文中描述的方法的逻辑的至少一种计算介质或处理器140。被监测元件120、监测应用110、计算介质140和存储介质150可以是物理或虚拟元件，并且可以是单独的元件(例如，通过应用程序编程接口(API)连接)，或者可以驻留在同一服务器上。
图2示出了描绘根据一个实施例的过程的步骤的框图。在一个实施例中，图2的过程步骤可以由图1所示的系统100执行，该系统100包括例如监测应用110和计算介质(例如，处理器)140。如图2所示，该过程可以至少分四个步骤来完成，包括数据预处理205、预测210、分解215和学习增强220。实施例还可以包括图2的四个框之间的交互、与被配置为从网络元件收集数据并且将其提供给数据预处理205的网络监测应用110的交互、以及可选的与可以接收所生成的警报的通知并且提供有关警报的反馈的专家的交互。
数据预处理205可以包括多种数据预处理技术，诸如数据聚合和规范化。通过理解被监测度量值受由网络承载的业务的影响，从而促进聚合。由于可能会在大于一小时的时间范围内预期业务的确定性变化(基于实践经验和电信中的“繁忙时间业务”概念)，因此聚合可以包括对观察值求平均以获取每小时平均值。聚合还可以使度量值的随机变化最小化。但是，这并不排除其他聚合时间标度。
由于某些监测值(以及因此平均值)可能具有非常大的幅度，因此希望将输入数据重新缩放到统一的范围内。对于对输入数据规模敏感的很多分析和机器学习方法(诸如神经网络)，这可能是必需的。归一化方法的一个非限制性示例涉及将观察值转换为平均值近似为0的结果，而标准偏差在接近1的范围内。这确保了预测过程着重于结构相似性/相异性而不是幅度。
预测步骤210可以将针对给定元件的每个度量从预处理步骤开始覆盖给定时间段(例如，一个星期)的顺序观察作为输入，并且可以针对给定未来时间段(例如，一个星期)输出针对相同度量的预测观察。换言之，预测210可以获取过去一周的观察，并且可以输出针对接下来一周的预测。为此，预测210可以包括一种方法(将在广泛的度量范围上进行概括)，该方法应用基于机器学习的方法或算法。为此目的的一个示例可以利用神经网络的长短期记忆(LSTM)结构。但是，可以使用任何其他机器学习方法。可以通过使用历史数据来训练任何这样的算法或模型。预测过程210可以周期性地和迭代地运行以对每个度量进行预测。在一个实施例中，可以对预测步骤210的最终输出进行后处理以逆转可以在数据预处理步骤205中执行的归一化。例如，在一个实施例中，预测步骤210的最终输出可以根据以下公式进行后处理，其中yt me是预测值：
Figure SMS_4
分解步骤215可以用于两个目标，包括为每个度量生成网络基线，以及使这些基线不断适配网络状况的变化。为了实现这两个目标，分解215可以使用诸如时间序列分解等方法将给定时段内的给定度量的观察分解成其趋势和可变性(或噪声)。
为了将预测转换成网络基线，分解步骤215可以确定对于任何给定度量的观察的可变性。为此，可以使用分解的观察的噪声分量。由于机器学习预测方法(诸如神经网络)经过训练可以概括为将输入映射到输出，因此它们的预测通常会尝试消除噪声。因此，可以将噪声用作衡量度量与预测值之间正常变化的量度以创建上下限。分解的噪声的标准偏差(σme)可以被确定为高于和低于预测值的最大许可偏差，从而得出网络运行基线。作为一个示例，每个度量的观察值可以被分解为三个加性分量，诸如
Figure SMS_5
其中rt me、st me和nt me分别是趋势、季节和噪声分量。趋势rt me可以根据以下公式被确定为阶k+1的中心加权移动平均值，其中k＝168(假定观察时段为一个周期)：
Figure SMS_6
其中n＝k/2，并且所有观察的权重cj由1/k给出，除了第一和最后的观察，其中权重c-n和cn由1/2k给出。在一个实施例中，每当基于以下描述的适配来更新给定度量的预测模型时，就可以更新(多个)基线。在一个实施例中，可以根据以下公式确定每个度量的预测的下边界lt me和上边界ut me：
Figure SMS_7
Figure SMS_8
为了最小化生成预测所需要的时间并且因此确保实时预测，在每次预测之后，可以将所生成的预测模型存储在存储器中以与针对同一度量的未来预测一起使用。但是，为了确保预测模型随着网络的发展而保持准确(即，考虑到业务趋势或网络拓扑和组件的变化)，适配可以涉及主动检查给定度量的观察趋势是否自从创建上一预测模型以来已经改变(例如，从增加到减少，从恒定到增加，等等)。为此，在一个实施例中，分解步骤215可以包括周期性地(例如，每周一次)确定每个度量的趋势的斜率。斜率的正值表示增加趋势，而负值表示减少趋势。为了确定观察到的度量的趋势的变化，分解步骤215随时间跟踪这些斜率，并且将当前斜率与前一斜率进行比较。当斜率从正变为负(或从负变为正)时，检测趋势的变化，从而触发预测模型与所考虑度量的最新数据相适应。在一个实施例中，可以存在用于使预测模型适应趋势变化的附加考虑，使得如果检测到的趋势变化导致违背当前设置的基线，则如果从专家或其知识库表明该违背不是由异常引起的，则执行适应。该实施例旨在避免从异常观察来重新创建模型。
当任何度量的观察值超出设定的上限和下限基线时，系统可以将其检测为违背。学习增强组件220的目的是促进一种机制，在该机制中，专家通过在警报发生时提供反馈来增强预测基线，使得系统可以从其发出的所有警报中学习。学习增强220然后可以使用该信息来决定是否发出未来警报。考虑到每个网络中很多度量的行为可能相似(例如，两个节点的CPU利用率可能同时具有相似的大小以及波峰和波谷，因为网络中的业务会在同一锯中影响它们)，因此，学习增强220可以被配置为确保针对给定度量发出的警报可以被用作学习关于“相似”度量做出未来决定的基础。为了实现这些目标，学习增强220可以由三个子系统组成：(1)知识库，(2)警报生成，和(3)度量聚类，如下所述。
根据一个实施例，知识库(KB)可以包含过去发生的所有违背的记录和/或来自专家的反馈。KB中存储的信息可以用作在检测到违背之后做出是否应当生成警报的决策的基础。图3示出了基线违背建模的示例，该示例示出了如何将违背转换为KB中的条目。具体地，图3的示例描绘了具有四个违背A、B、C和D的度量。在该示例中，每个违背可以被建模为具有参数α、β和γ的三元组，其中α是发生违背的时间段，β是违背的持续时间，γ是违背的最大程度。该信息可以与专家对每个度量群集的响应一起存储在KB中。在一个实施例中，在生成任何警报之前，可以检查KB以确认针对所考虑的群集在KB中不存在当前违背。根据一些实施例，如果违背的α值落在同一时间范围内(例如，从0000hrs到0600hrs)，β小于且γ小于知识库中相同集群中项目的现有条目的对应值，则可以认为该违背与另一违背相似。
在一个实施例中，对于每个度量，系统可以连续地将实际观察与其基线进行比较，以便确定观察是否表示违背操作边界，即，观察值是否在设定基线的上边界305以上或在设定基线的下边界310以下。当检测到违背时，应当决定是否要发出警报。因此，并非对设定基线的所有违背都会引发警报。为了做出这一决定，一个实施例使用KB。例如，当检测到违背时，首先检查所考虑的度量在KB中是否具有条目。如果未找到任何条目，则生成警报并且在KB中创建新条目以填充可用值(诸如度量标识和α)，并且等待直到其他值(诸如β和γ)变为可用于更新它们。当领域专家(例如，网络管理员)接收到警报时，要求他们以“是”或“否”答复来关于该违背是否表示异常来做出响应。另一方面，如果在违背之后给定度量已经在KB中具有至少一个条目，则针对KB中所有现有条目评估当前违背以建立相似性。根据该实施例，可以将当前违背的三个参数中的每个与该度量的每个现有条目的对应参数进行比较。作为一个示例，考虑到(∝′，β′，γ′)和(∝″，β″，γ″)分别是每个现有条目的KB参数和当前观察，如果对于任何现有条目，∝′＝∝″并且β′≤β″并且γ′≤γ″，并且其异常列为“否”，则没有生成警报。
给定网络中的很多元件可能以类似方式受到网络动态的影响。例如，服务功能链中以顺序方式处理分组的虚拟网络功能(VNF)在几乎同时发生的它们的度量(诸如CPU和带宽)的观察中会出现起伏。这表示，相邻节点中托管的两个VNF的CPU使用率将具有相似的大小，并且在相似的时间具有波峰和波谷。在这种情况下，当节点之一违背给定度量(例如，CPU)的设定基线时，很有可能在相邻节点中也发生违背行为。出于这个原因，一个实施例还可以包括一种对度量进行分组的方法，使得警报生成基于度量集群而不是单个度量。根据该实施例，每个度量可以被附加到群集(群集可以具有一个或多个度量)，并且KB中的规则基于群集标识符(ID)而不是单个度量ID被存储。因此，当发生违背时，可以针对其中包含当前度量的群集执行对KB中条目的搜索。
聚类度量可以用于至少两个目的。第一，由于KB条目被分组，其减少了必须被保留在KB中的条目的数目。第二，由于对于给定度量集群，给定违背被响应一次，因此它减少了可以向专家呈现的虚假警报的数目。为了对度量进行聚类，一个实施例被配置为寻找在给定时间段内所有度量观察中的观察之间的对准。这可以使用时间序列分析(诸如动态时间扭曲)或机器学习(诸如k均值或贝叶斯推断)等方法来进行。使用度量之间的对准，确定提供所有度量之间的相似度的度量的数值。如果两个或更多个度量之间的相似距离小于设定常数，则它们被聚类在一起。
图4a示出了根据一个实施例的用于生成和适配网络基线的方法的示例过程流程图。图4a的方法可以由网络元件或网络节点执行，诸如路由器、交换机、接入点、基站、无线电网络控制器、节点B、演进型节点B(eNB)、5G节点B(gNB)、下一代节点B(NG-NB)、WLAN接入点、移动性管理实体(MME)、服务网关(SGW)、应用服务器或订阅服务器等。
如图4a的示例所示，该方法可以包括：在400处，计算或生成未来时间段内的一个或多个网络度量的预测值。生成400可以包括使用历史数据、机器学习和/或时间序列分析技术来生成预测值。根据一个实施例，可以周期性地生成预测值。在一个实施例中，该方法可以包括将预测值存储在存储器中以与(多个)度量的未来预测一起使用。
在一个实施例中，该方法还可以包括：在401处，使用预测值和/或历史数据生成(多个)网络度量的基线。基线可以指示或包括(多个)网络度量的上限和/或下限，例如，如以上讨论的图3的示例所示。该方法还可以包括：在402处，使用例如至少一种时间序列分析技术来评估(多个)网络度量以检测网络状况的变化。在一个实施例中，(多个)网络度量可以被连续地或周期性地评估。该方法然后可以包括：在403处，使用历史数据、机器学习和/或时间序列分析技术来改变基线或使基线适应检测到的网络状况的变化。基线的适配403可以包括周期性地确定至少一个网络度量的趋势，并且当检测到趋势的变化时修改基线。
在一个实施例中，该方法还可以包括使用至少一种时间序列分析技术根据未来时间段内的(多个)网络度量的预测值来确定可变性。根据一些实施例，该方法还可以包括：将(多个)网络度量的当前观察值与基线进行比较；以及当(多个)网络度量的当前观察值在基线的上限以上或在基线的下限以下时，检测违背。在某些实施例中，该方法还可以包括将基线的每个过去检测到的违背作为记录存储在KB中。如上面讨论的图3所示，KB中的每个记录可以包括发生违背的时间段、违背的持续时间和/或违背的最大程度。
在一个实施例中，当检测违背时，该方法可以包括检查KB以确定是否存在与存储在KB中的检测到的违背类似的违背。当在KB中未找到类似的违背时，该方法可以包括生成警报并且在KB中为检测到的违背创建新记录。当在KB中找到类似的违背时，该方法可以包括监测导致该违背遵循该类似违背的记录的(多个)网络度量，以确认检测到的违背不表示网络中的异常。
根据某些实施例，当生成警报时，该方法可以包括：向网络管理员发送所述警报；接收指示触发警报的违背是否表示网络中的异常的响应；以及更新知识库以将响应存储在违背的记录中。在一些实施例中，该方法还可以包括根据度量之间的对准将(多个)网络度量分配给集群，以及基于该集群对KB中的记录进行分组。
图4b示出了根据另一实施例的方法的示例过程流程图。如图4b中所示，该方法在404处开始，并且在405处，可以使用历史数据来生成例如度量集群、预测模型和度量基线的初始集合，例如，如图4a所示。这些参数可以由该系统使用，直到必须并入新的度量或检测到趋势的变化。可以针对每个度量执行以下步骤。
继续图4b，在410处，可以周期性地监测度量，并且可以预处理所接收的数据并将其存储在数据库或存储器中。在415处，可以确定最近的观察趋势。在420处，可以将所确定的趋势与先前的趋势进行比较以确定趋势是否存在变化。如果趋势变化被检测到，则重新评估度量对任何聚类的成员资格。在425处，该评估的结果可以导致保留在同一集群中，加入不同的集群，或者开始新的集群。另外，在425处，可以使用最新观察来更新度量的预测模型和基线。另一方面，如果趋势没有改变，则在430处，可以将观察值与当前基线进行比较，并且如果其在设定边界内，则该系统等待进行下一观察。如果监测值在设定边界之外，则在440处，可以检查KB以找到度量所属的群集的条目的存在。如果不存在任何条目，则在450处，可以创建条目并且生成警报。如果在440处找到至少一个条目，则针对遵循KB中所有这样的条目来密切地监测该度量，直到在445处确认它不表示异常，或者确认它表示异常，在这种情况下，在450处生成警报。最后，在450处生成警报时，KB可以被更新，并且在455处可以并入专家的响应。该过程然后可以在460处结束。
图5示出了根据一个实施例的装置10的示例。在一个实施例中，装置10可以是通信网络中或服务于该网络的节点、主机或服务器。例如，装置10可以是路由器、交换机、接入点、基站、无线电网络控制器、节点B、演进型节点B(eNB)、5G节点B(gNB)、下一代节点B(NG-NB)、WLAN接入点、移动性管理实体(MME)、服务网关(SGW)、与无线电接入网络(诸如UMTS网络、LTE网络或5G无线电接入技术)相关联的应用服务器或订阅服务器。应当注意，本领域普通技术人员应当理解，装置10可以包括图5中未示出的组件或特征。
如图5所示，装置10可以包括用于处理信息并且执行指令或操作的处理器12。处理器12可以是任何类型的通用或专用处理器。虽然在图5中示出了单个处理器12，但是根据其他实施例，可以利用多个处理器。实际上，作为示例，处理器12可以包括以下中的一种或多种：通用计算机、专用计算机、微处理器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、和基于多核处理器架构的处理器。
处理器12可以执行与装置10的操作相关联的功能，该功能可以包括例如天线增益/相位参数的预编码、形成通信消息的各个比特的编码和解码、信息的格式化、以及对装置10的总体控制，包括与通信资源的管理有关的过程。
装置10还可以包括或耦合到存储器14(内部或外部)(其可以耦合到处理器12)以存储可以由处理器12执行的信息和指令。存储器14可以包括易失性存储器24和和/或非易失性存储器25。因此，存储器14可以是一个或多个存储器，并且可以是适合于本地应用环境的任何类型，并且可以使用任何合适的易失性或非易失性数据存储技术来实现，诸如基于半导体的存储器设备、磁存储器设备和系统、光存储器设备和系统、固定存储器和可移动存储器。例如，易失性存储器24可以包括诸如动态或静态RAM等随机存取存储器(RAM)。非易失性存储器25可以包括例如只读存储器(ROM)、闪存和/或机械盘，诸如硬盘或光盘。因此，存储器14可以包括以下各项的任何组合：随机存取存储器(RAM)、只读存储器(ROM)、诸如磁盘或光盘等静态存储器、硬盘驱动器(HDD)、或任何其他类型的非瞬态机器或计算机可读介质。存储在存储器14中的指令可以包括在由处理器12执行时使得装置10能够执行本文中描述的任务的程序指令或计算机程序代码。
在一些实施例中，装置10还可以包括或耦合到一个或多个天线15以向装置10发射信号和/或从装置10接收信号和/或数据。装置10还可以包括或耦合到被配置为发射和接收信息的收发器18。收发器18可以包括例如可以耦合到(多个)天线15的多个无线电接口。无线电接口可以对应于多种无线电接入技术，包括以下中的一种或多种：GSM、NB-IoT、LTE、5G、WLAN、Bluetooth、BT-LE、NFC、射频标识符(RFID)、超宽带(UWB)等。无线电接口可以包括用于生成符号以经由一个或多个下行链路进行传输并且用于接收符号(例如，经由上行链路)的组件，诸如滤波器、转换器(例如，数模转换器等)、映射器、快速傅立叶变换(FFT)模块等。这样，收发器18可以被配置为将信息调制到载波波形上以供(多个)天线15发射，并且解调经由(多个)天线15接收的信息以供装置10的其他元件进一步处理。收发器18可以能够直接发射和接收信号或数据。
在一个实施例中，存储器14可以存储在由处理器12执行时提供功能的软件模块。例如，该模块可以包括为装置10提供操作系统功能的操作系统。存储器14还可以存储一个或多个功能模块(诸如应用或程序)以为装置10提供附加功能。例如，在一个实施例中，存储器14可以存储监测应用，诸如图1所示的监测应用110。注意，装置10的组件可以以硬件实现，或者被实现为硬件和软件的任何合适的组合。
在一个实施例中，如上所述，装置10可以是网络节点、网络元件或服务器。根据某些实施例，装置10可以由存储器14和处理器12控制以执行与本文中描述的任何实施例相关联的功能。例如，在一些实施例中，装置10可以由存储器14和处理器12控制以执行图1-4所示的方法或框图中的至少任何一个。
根据示例实施例，装置10可以由存储器14和处理器12控制以计算或生成未来时间段内的一个或多个网络度量的预测值。预测值可以例如通过使用历史数据、机器学习和/或时间序列分析技术来计算。根据一个实施例，预测值可以被周期性地生成和/或可以被存储在存储器中以与(多个)度量的未来预测一起使用。
在一个实施例中，装置10可以由存储器14和处理器12控制以使用预测值和/或历史数据来确定或生成(多个)网络度量的基线。基线可以指示或包括(多个)网络度量的上限和/或下限，例如，如以上讨论的图3的示例所示。在一些实施例中，装置10还可以由存储器14和处理器12控制以使用例如至少一种时间序列分析技术来评定或评估(多个)网络度量以检测网络状况的变化。在一个实施例中，(多个)网络度量可以被连续地或周期性地评估。根据一个实施例，装置10可以由存储器14和处理器12控制以使用历史数据、机器学习和/或时间序列分析技术来改变基线或使基线适应检测到的网络状况的变化。在一个实施例中，装置10可以由存储器14和处理器12控制以通过周期性地确定至少一个网络度量的趋势和/或当检测到趋势的变化时修改基线来改变或适配基线。
根据一个实施例，装置10可以由存储器14和处理器12控制以使用至少一种时间序列分析技术根据未来时间段内的(多个)网络度量的预测值来确定可变性。在一些实施例中，装置10可以由存储器14和处理器12控制以将(多个)网络度量的当前观察值与基线进行比较，并且当(多个)网络度量的当前观察值在基线的上限以上或在基线的下限以下时，检测违背。在某些实施例中，装置10可以由存储器14和处理器12控制以将基线的每个过去检测到的违背作为记录存储在KB中。如上面讨论的图3所示，KB中的每个记录可以包括发生违背的时间段、违背的持续时间和/或违背的最大程度。
在一个实施例中，当检测违背时，装置10可以由存储器14和处理器12控制以检查KB以确定是否存在与存储在KB中的检测到的违背类似的违背。如以上详细讨论的，如果发生违背的时间段落在同一时间范围内(例如，从0000hrs到0600hrs)，并且持续时间和最大幅度小于KB中现有条目的对应值，则可以认为该违背与另一违背相似。
当在KB中未找到类似的违背时，则装置10可以由存储器14和处理器12控制以生成警报并且在KB中为检测到的违背创建新记录。当在KB中找到类似的违背时，则装置10可以由存储器14和处理器12控制以监测导致该违背遵循该类似违背的记录的(多个)网络度量以确认检测到的违背不表示网络中的异常。
根据某些实施例，当警报被生成时，装置10可以由存储器14和处理器12控制以向网络管理员或专家发送所述警报，从网络管理员/专家接收指示触发警报的违背是否表示网络中的异常的响应，并且更新知识库以将响应存储在违背的记录中。在一些实施例中，装置10可以由存储器14和处理器12控制以根据度量之间的对准将(多个)网络度量分配给集群，并且基于该集群将KB中的记录进行分组。
因此，本发明的实施例提供了若干技术改进、增强和/或优点。例如，作为某些实施例的结果，能够更好地实时地监测网络。因此，确保并且改善了网络及其节点的可靠性、可用性和/或操作效率。另外，某些实施例可以减少虚假警报的数目并且限制网络管理员的负担。这样，本发明的实施例可以提高网络和网络节点的性能和吞吐量，包括例如接入点、基站/eNB/gNB和移动设备或UE。因此，本发明实施例的使用导致通信网络及其节点的功能得到改善。
在一些实施例中，本文中描述的任何方法、过程、信令图或流程图的功能可以通过存储在存储器或其他计算机可读或有形介质中的软件和/或计算机程序代码或代码部分来实现，并且由处理器执行。
在一些实施例中，一种装置可以与至少一个软件应用、模块、单元或实体一起被包括或与其相关联，该软件应用、模块、单元或实体被配置为(多个)算术运算，或者被配置为其程序或部分(包括添加或更新的软件例程)，由至少一个操作处理器执行。程序(也称为程序产品或计算机程序，包括软件例程、小程序和宏)可以存储在任何装置可读数据存储介质中，并且包括执行特定任务的程序指令。
一种计算机程序产品可以包括一个或多个计算机可执行组件，当程序运行时，该计算机可执行组件被配置为执行实施例。一个或多个计算机可执行组件可以是至少一个软件代码或其部分。实现实施例的功能所需要的修改和配置可以作为(多个)例程来执行，该例程可以实现为添加或更新的(多个)软件例程。(多个)软件例程可以下载到装置中。
软件或计算机程序代码或其部分可以是源代码形式、目标代码形式或某种中间形式，并且可以存储在可以是能够承载程序的任何实体或设备的某种载体、分发介质或计算机可读介质中。这样的载体包括例如记录介质、计算机存储器、只读存储器、光电和/或电载体信号、电信信号和软件分发包。取决于所需要的处理能力，计算机程序可以在单个电子数字计算机中执行，或者可以分布在多个计算机中。计算机可读介质或计算机可读存储介质可以是非瞬态介质。
在其他实施例中，该功能可以由装置(例如，装置10或装置20)中包括的硬件或电路系统执行，例如通过使用专用集成电路(ASIC)、可编程门阵列(PGA)、现场可编程门阵列(FPGA)、或硬件和软件的任何其他组合。在又一实施例中，该功能可以被实现为信号，即可以由从互联网或其他网络下载的电磁信号来承载的无形手段。
根据一个实施例，诸如节点、设备或对应组件等装置可以被配置为电路系统、计算机或微处理器(诸如单芯片计算机元件)或芯片组，其至少包括用于提供算术运算的存储容量的存储器和用于执行该算术运算的运算处理器。
本领域普通技术人员将容易理解，如上所述的本发明可以以不同顺序的步骤和/或以与所公开的配置不同的配置的硬件元件来实践。因此，尽管已经基于这些优选实施例描述了本发明，但是对于本领域技术人员而言很清楚的是，在不脱离本发明的精神和范围的情况下，某些修改、变型和替代构造将是很清楚的。因此，为了确定本发明的界限，应当参考所附权利要求。

Claims (11)

1.一种用于通信的方法，包括：
生成未来时间段内的至少一个网络度量的预测值，其中所述生成包括使用历史数据、机器学习或时间序列分析技术中的至少一项；
使用所述预测值或所述历史数据中的至少一项来生成针对所述至少一个网络度量的基线，其中所述基线包括上限和下限；
使用所述时间序列分析技术来评估所述至少一个网络度量以检测网络状况的变化；
使用历史数据、机器学习或时间序列分析技术中的所述至少一项来使所述基线适配检测到的所述网络状况的所述变化；
将所述至少一个网络度量的当前观察值与所述基线进行比较；
当所述至少一个网络度量的所述当前观察值在所述基线的所述上限以上或者在所述基线的所述下限以下时，检测到违背；
将所述基线的每个过去检测到的违背作为记录存储在知识库中，其中所述记录包括发生所述违背的时间段、所述违背的持续时间或所述违背的最大程度中的至少一项；以及
当检测到违背时，使用所述知识库做出是否引发警报的决定。
2.一种用于通信的装置，包括：
用于执行根据权利要求1所述的方法的部件。
3.一种用于通信的装置，包括：
至少一个处理器；以及
至少一个存储器，包括计算机程序代码，
所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述装置至少
生成未来时间段内的至少一个网络度量的预测值，其中所述生成包括使用历史数据、机器学习或时间序列分析技术中的至少一项；
使用所述预测值或所述历史数据中的至少一项来生成针对所述至少一个网络度量的基线，其中所述基线包括上限和下限；
使用所述时间序列分析技术来评估所述至少一个网络度量以检测网络状况的变化；
使用历史数据、机器学习或时间序列分析技术中的所述至少一项来使所述基线适配检测到的所述网络状况的所述变化；
将所述至少一个网络度量的当前观察值与所述基线进行比较；
当所述至少一个网络度量的所述当前观察值在所述基线的所述上限以上或者在所述基线的所述下限以下时，检测到违背；
将所述基线的每个过去检测到的违背作为记录存储在知识库中，其中所述记录包括发生所述违背的时间段、所述违背的持续时间或所述违背的最大程度中的至少一项；以及
当检测到违背时，使用所述知识库做出是否引发警报的决定。
4.根据权利要求3所述的装置，其中所述至少一个存储器和所述计算机程序代码还被配置为与所述至少一个处理器一起使所述装置至少使用所述至少一种时间序列分析技术，根据所述未来时间段内的所述至少一个网络度量的所述预测值来确定可变性。
5.根据权利要求3或4所述的装置，其中所述至少一个存储器和所述计算机程序代码还被配置为与所述至少一个处理器一起使所述装置至少：周期性地确定所述至少一个网络度量的趋势，以及
当所述趋势的变化被检测到时，修改所述基线。
6.根据权利要求3或4所述的装置，其中当违背被检测时，所述至少一个存储器和所述计算机程序代码还被配置为与所述至少一个处理器一起使所述装置至少：
检查所述知识库以确定是否存在与存储在所述知识库中的检测到的所述违背类似的违背；
当在所述知识库中未找到类似的违背时，生成警报并且在所述知识库中针对检测到的所述违背创建记录；以及
当在所述知识库中找到类似的违背时，监测导致所述违背遵循所述类似的违背的所述记录的所述至少一个网络度量，以确认检测到的所述违背不表示所述网络中的异常。
7.根据权利要求6所述的装置，其中当警报被生成时，所述至少一个存储器和所述计算机程序代码还被配置为与所述至少一个处理器一起使所述装置至少：
向网络管理员发送所述警报；
接收响应，所述响应指示触发所述警报的所述违背是否表示所述网络中的异常；以及
更新所述知识库以将所述响应存储在所述违背的所述记录中。
8.根据权利要求3或4所述的装置，其中所述至少一个存储器和所述计算机程序代码还被配置为与所述至少一个处理器一起使所述装置至少：
根据度量之间的对准将所述至少一个网络度量分配给集群；以及
基于所述集群对所述知识库中的记录进行分组。
9.根据权利要求3或4所述的装置，其中所述至少一个存储器和所述计算机程序代码还被配置为与所述至少一个处理器一起使所述装置至少：
将所述预测值存储在存储器中以与所述至少一个网络度量的未来预测一起使用。
10.根据权利要求3或4所述的装置，其中所述预测值被周期性地生成，并且其中所述至少一个网络度量被连续地评估以检测所述网络状况的变化。
11.一种非瞬态计算机可读介质，其上存储有计算机程序，其中所述计算机程序在由处理器执行时使所述处理器执行用于通信的方法的步骤，包括：
生成未来时间段内的至少一个网络度量的预测值，其中所述生成包括使用历史数据、机器学习或时间序列分析技术中的至少一项；
使用所述预测值或所述历史数据中的至少一项来生成针对所述至少一个网络度量的基线，其中所述基线包括上限和下限；
使用所述时间序列分析技术来评估所述至少一个网络度量以检测网络状况的变化；
使用历史数据、机器学习或时间序列分析技术中的所述至少一项来使所述基线适配检测到的所述网络状况的变化；
将所述至少一个网络度量的当前观察值与所述基线进行比较；
当所述至少一个网络度量的所述当前观察值在所述基线的所述上限以上或者在所述基线的所述下限以下时，检测到违背；
将所述基线的每个过去检测到的违背作为记录存储在知识库中，其中所述记录包括发生所述违背的时间段、所述违背的持续时间或所述违背的最大程度中的至少一项；以及
当检测到违背时，使用所述知识库做出是否引发警报的决定。
CN201780097537.6A 2017-12-08 2017-12-08 用于网络基线的生成和适配的方法和系统 Active CN111466103B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/115234 WO2019109338A1 (en) 2017-12-08 2017-12-08 Methods and systems for generation and adaptation of network baselines

Publications (2)

Publication Number Publication Date
CN111466103A CN111466103A (zh) 2020-07-28
CN111466103B true CN111466103B (zh) 2023-06-13

Family

ID=66750752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780097537.6A Active CN111466103B (zh) 2017-12-08 2017-12-08 用于网络基线的生成和适配的方法和系统

Country Status (5)

Country Link
US (1) US11228503B2 (zh)
EP (1) EP3721588B1 (zh)
CN (1) CN111466103B (zh)
ES (1) ES2955083T3 (zh)
WO (1) WO2019109338A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3762869A4 (en) * 2018-03-09 2022-07-27 Zestfinance, Inc. SYSTEMS AND METHODS FOR PROVIDING ASSESSMENT OF A MACHINE LEARNING MODEL THROUGH DECOMPOSITION
US11736498B1 (en) * 2019-08-29 2023-08-22 Trend Micro Incorporated Stateful detection of cyberattacks
WO2021046610A1 (en) * 2019-09-12 2021-03-18 Farmbot Holdings Pty Ltd System and method for data filtering and transmission management
CN112445682B (zh) * 2021-02-01 2021-05-11 连连（杭州）信息技术有限公司 一种系统监控方法、装置、设备及存储介质
US11714695B2 (en) * 2021-07-30 2023-08-01 Microsoft Technology Licensing, Llc Real time detection of metric baseline behavior change
CN114422403A (zh) * 2021-12-23 2022-04-29 中国人民解放军63921部队 一种基于数据基线的时延越限告警方法
US11601344B1 (en) * 2021-12-29 2023-03-07 At&T Intellectual Property I, L.P. Cloud gateway outage risk detector
WO2023196819A1 (en) * 2022-04-05 2023-10-12 Ivanti, Inc. Digital employee experience index
US12088472B2 (en) * 2022-04-18 2024-09-10 Ust Global (Singapore) Pte. Limited System and method of managing events of temporal data
CN115454778B (zh) * 2022-09-27 2023-08-08 浙江大学 大规模云网络环境下的时序指标异常智能监控系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6597777B1 (en) * 1999-06-29 2003-07-22 Lucent Technologies Inc. Method and apparatus for detecting service anomalies in transaction-oriented networks
US6611726B1 (en) 1999-09-17 2003-08-26 Carl E. Crosswhite Method for determining optimal time series forecasting parameters
US6453265B1 (en) 1999-12-28 2002-09-17 Hewlett-Packard Company Accurately predicting system behavior of a managed system using genetic programming
CA2634328C (en) * 2003-01-24 2011-08-16 Pratt & Whitney Canada Corp. Method and system for trend detection and analysis
CN101267362B (zh) 2008-05-16 2010-11-17 亿阳信通股份有限公司 一种性能指标值正常波动范围的动态确定方法及其装置
US20110161048A1 (en) 2009-12-31 2011-06-30 Bmc Software, Inc. Method to Optimize Prediction of Threshold Violations Using Baselines
US9047559B2 (en) * 2011-07-22 2015-06-02 Sas Institute Inc. Computer-implemented systems and methods for testing large scale automatic forecast combinations
US8832267B2 (en) * 2012-08-07 2014-09-09 Ca, Inc. System and method for adaptive baseline calculation
US9235556B2 (en) * 2012-12-26 2016-01-12 Hewlett Packard Enterprise Development Lp Adaptive baseline based on metric values
US10332139B2 (en) * 2013-03-14 2019-06-25 Feedvisor Ltd. Dynamic re-pricing of items on electronic marketplaces and/or online stores
US20140343891A1 (en) * 2013-05-17 2014-11-20 fybr Distributed remote sensing system sensing device
CN103746750B (zh) * 2013-08-23 2016-06-01 西华大学 无线电监测电磁态势预测系统
US9319911B2 (en) * 2013-08-30 2016-04-19 International Business Machines Corporation Adaptive monitoring for cellular networks
CN104486141B (zh) * 2014-11-26 2018-10-23 国家电网公司 一种误报自适应的网络安全态势预测方法
US10911318B2 (en) * 2015-03-24 2021-02-02 Futurewei Technologies, Inc. Future network condition predictor for network time series data utilizing a hidden Markov model for non-anomalous data and a gaussian mixture model for anomalous data
WO2017190808A1 (en) 2016-05-06 2017-11-09 Telefonaktiebolaget Lm Ericsson (Publ) Coding of network element performance data for transmission
US10318669B2 (en) * 2016-06-16 2019-06-11 International Business Machines Corporation Adaptive forecasting of time-series
US20190007285A1 (en) * 2017-06-28 2019-01-03 Cpacket Networks Inc. Apparatus and Method for Defining Baseline Network Behavior and Producing Analytics and Alerts Therefrom
US11182394B2 (en) * 2017-10-30 2021-11-23 Bank Of America Corporation Performing database file management using statistics maintenance and column similarity

Also Published As

Publication number Publication date
EP3721588C0 (en) 2023-08-09
US20210168042A1 (en) 2021-06-03
EP3721588A1 (en) 2020-10-14
ES2955083T3 (es) 2023-11-28
US11228503B2 (en) 2022-01-18
EP3721588A4 (en) 2021-07-21
EP3721588B1 (en) 2023-08-09
CN111466103A (zh) 2020-07-28
WO2019109338A1 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
CN111466103B (zh) 用于网络基线的生成和适配的方法和系统
US12052145B2 (en) Predicting network communication performance using federated learning
US20220051139A1 (en) Wireless device, a network node and methods therein for training of a machine learning model
US11985527B2 (en) Systems and methods for autonomous network management using deep reinforcement learning
EP4387316A1 (en) Communication method and apparatus
WO2023191682A1 (en) Artificial intelligence/machine learning model management between wireless radio nodes
US20240056836A1 (en) Methods and apparatuses for testing user equipment (ue) machine learning-assisted radio resource management (rrm) functionalities
CN113905385B (zh) 无线电资源参数配置
US20240249199A1 (en) Verifying an action proposed by a reinforcement learning model
US20240172283A1 (en) Methods and nodes in a communications network
US20230164629A1 (en) Managing a node in a communication network
WO2024169745A1 (zh) 一种通信方法、装置及系统
US20240259872A1 (en) Systems and methods for providing a robust single carrier radio access network link
US20240196230A1 (en) Artificial intelligence radio function model management in a communication network
US20240187877A1 (en) Artificial intelligence radio function model management in a communication network
WO2023168589A1 (en) Machine learning models for predictive resource management
EP4386620A1 (en) Model test method and apparatus
WO2024124477A1 (en) Techniques for beam management
WO2023245515A1 (en) Monitoring method and wireless communication device
WO2024079509A1 (en) Kpi-driven hardware and antenna calibration alarm threshold optimization using machine learning
TW202339458A (zh) 干擾分佈壓縮與重建
KR20240137581A (ko) 간섭 분포 압축 및 재구성
WO2023192409A1 (en) User equipment report of machine learning model performance
WO2023165685A1 (en) Anomaly detection and anomaly classification with root cause
EP4420282A1 (en) Adaptive prediction of time horizon for key performance indicator

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant