CN109196820A - 根据机器数据预测问题事件 - Google Patents

根据机器数据预测问题事件 Download PDF

Info

Publication number
CN109196820A
CN109196820A CN201780032340.4A CN201780032340A CN109196820A CN 109196820 A CN109196820 A CN 109196820A CN 201780032340 A CN201780032340 A CN 201780032340A CN 109196820 A CN109196820 A CN 109196820A
Authority
CN
China
Prior art keywords
prediction
machine data
historical
data
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780032340.4A
Other languages
English (en)
Inventor
A·阿克亚马克
H·乌尊阿里奥格鲁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia of America Corp
Nokia USA Inc
Original Assignee
Nokia USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia USA Inc filed Critical Nokia USA Inc
Publication of CN109196820A publication Critical patent/CN109196820A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H04L41/5019—Ensuring fulfilment of SLA
    • H04L41/5025—Ensuring fulfilment of SLA by proactively reacting to service quality change, e.g. by reconfiguration after service quality degradation or upgrade
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开总体上揭示了一种问题事件预测能力。所述问题事件预测能力可以被配置为基于各种类型的异步机器数据(例如，警报、警示、触发、机器日志、机器消息、诊断日志、诊断消息等以及其各种组合)来预测各种类型的问题事件(例如，客户问题、客户标签、客户中断、网络问题、网络标签、网络中断等以及其各种组合)。所述问题事件预测能力可以被配置为基于历史机器数据来生成问题预测规则集并且将所述问题预测规则应用到观察到的机器数据以预测各种类型的问题事件。

Description

根据机器数据预测问题事件
技术领域
本公开总体上涉及通信网络领域，更具体地但不排他地涉及对与经由通信网络递送的服务相关联的问题事件的预测。
背景技术
可以使用各种类型的通信网络来递送各种类型的服务。例如，可以经由如基于互联网协议的通信网络等通信网络来递送如语音和数据服务等服务。在许多情况下，与服务或用于递送服务的通信网络相关联的问题可以被网络与服务提供商检测到，报告给网络与服务提供商等。然而，不利的是，此些问题通常仅是在发生之后被识别出，并且因此，对此些问题的任何响应仅仅是反应性的。
发明内容
本公开总体上揭示了一种用于预测问题事件的问题事件预测能力。
在至少一些实施例中，提供了一种设备。所述设备包含处理器和通信地连接到所述处理器的存储器。所述处理器被配置成接收与装置相关联的历史问题事件数据，其中所述装置包含网络装置或客户装置。所述处理器被配置为接收由所述装置生成的历史机器数据。所述处理器被配置为基于预测时期来在与所述装置相关联的所述历史问题事件数据与由所述装置生成的所述机器数据之间创建时间关联。所述处理器被配置为基于与所述装置相关联的所述历史问题事件数据与由所述装置生成的所述机器数据之间的所述时间关联来生成与所述装置相关联的问题预测规则。在至少一些实施例中，提供了一种相应的方法。
在至少一些实施例中，提供了一种设备。所述设备包含处理器和通信地连接到所述处理器的存储器。所述处理器被配置为接收问题预测规则集和指示观察窗口的长度的信息。所述指示所述观察窗口的所述长度的信息是基于用于基于历史问题数据和历史机器数据的分析来创建所述问题预测规则中的至少一个的分析时段的长度。所述处理器被配置为接收由所述观察窗口内的装置生成的机器数据。所述处理器被配置为基于确定所述机器数据与所述问题预测规则中的一个相匹配来识别与所述装置相关联的预测问题事件。在至少一些实施例中，提供了一种相应的方法。
附图说明
结合附图，通过考虑以下详细说明，可以容易理解本文的教导，在附图中：
图1描绘了被配置为支持问题事件的预测的示范性通信系统；
图2描绘了用于通过创建问题预测规则和应用问题预测规则来支持问题事件的预测的方法的一个实施例；
图3描绘了用于生成被配置用于预测问题事件的问题预测规则集的方法的一个实施例；
图4描绘了用于使历史问题数据和历史机器数据相关联的关联进程的第一实施例的第一方面，其中历史机器数据基于在报告历史问题数据的时间之前的预测时期而被关联到历史问题数据；
图5描绘了用于使历史问题数据和历史机器数据相关联的关联进程的第一实施例的第二方面，其中幻像问题数据被生成为历史问题数据并且历史机器数据基于在估计幻像问题数据已经发生的时间之前的预测时期而被关联到幻像问题数据；
图6描绘了用于使历史问题数据和历史机器数据相关联的关联进程的第二实施例，其中历史机器数据基于在报告历史问题数据的时间之前的预测时期而被关联到历史问题数据，并且其中预测时期是可变的且可变性是基于网络或服务的已知特性；
图7描绘了用于使历史问题数据和历史机器数据相关联的关联进程的第三实施例，其中历史机器数据基于在报告历史问题数据的时间之前的预测时期而被关联到历史问题数据，并且其中预测时期是可变的且可变性是基于机器数据到达率的阈值；
图8描绘了用于使历史问题数据和历史机器数据相关联的关联进程的第四实施例的第一方面，其中历史机器数据基于在报告历史问题数据的时间之前的预测时期而被关联到历史问题数据，并且其中机器数据创建时间被调制为表示机器数据的递送的延迟；
图9描绘了用于使历史问题数据和历史机器数据相关联的关联进程的第四实施例的第二方面，其中历史机器数据基于在报告历史问题数据的时间之前的预测时期而被关联到历史问题数据，并且其中机器数据创建时间被调制为表示机器数据的批量递送；
图10描绘了用于使历史问题数据和历史机器数据相关联的关联进程的第五实施例，其中历史机器数据基于用于对机器数据进行分组的两级时间分级而被关联到历史问题数据，其中两级时间分级作为滑动时间窗口前进；
图11描绘了用于使历史问题数据和历史机器数据相关联的关联进程的第六实施例，其中历史机器数据基于用于对机器数据进行分组的两级时间分级而被关联到历史问题数据联，其中两级时间分级作为滑动时间窗口前进并且其中模式检查间隔应用于后处理以减少复制模式数量；
图12描绘了用于使历史问题数据和历史机器数据相关联的关联进程的第七实施例，其中历史机器数据基于用于对机器数据进行分组的两级时间分级而被关联到历史问题数据，并且其中两级时间分级的预测时期是可变的且可变性是基于网络或服务的已知特性；
图13描绘了用于使历史问题数据和历史机器数据相关联的关联进程的第八实施例，其中历史机器数据基于用于对机器数据进行分组的两级时间分级而被关联到历史问题数据，并且其中两级时间分级的预测时期是可变的且可变性是基于机器数据达到率的阈值；
图14描绘了用于应用问题预测规则集来预测问题事件的方法的一个实施例；
图15描绘了应用问题预测进程以便基于观察到的机器数据以及问题预测规则来识别预测问题事件的一个实施例；并且
图16描绘了适于用于执行本文所描述的各种功能的计算机的高级框图。
为了促进理解，在可能的情况下，已经使用了相同的参考标号来指代附图常见的相同元件。
具体实施方式
本公开总体上揭示了一种问题事件预测能力。所述问题事件预测能力可以被配置为基于各种类型的异步机器数据(例如，警报、警示、触发、机器日志、机器消息、诊断日志、诊断消息等以及其各种组合)来预测各种类型的问题事件(例如，客户问题、客户标签(customer ticket)、客户中断、网络问题、网络标签、网络中断等以及其各种组合)。所述问题事件预测能力可以被配置为基于历史机器数据来生成问题预测规则集并且将所述问题预测规则应用到观察到的机器数据以预测各种类型的问题事件。问题事件预测能力的这些和各种其它实施例以及潜在优势可以通过参考图1的示范性通信系统来进一步理解。
图1描绘了被配置为支持问题事件的预测的示范性通信系统。
通信系统100包含通信网络(CN)110、一组客户装置(CD)120、一组支持系统(SS)130-1到130-S(统称为SS 130)以及问题预测系统(PPS)140和关联的一组问题预测元件(PPE)150。
CN 110被配置为支持通信系统100内的各种类型的通信。CN 110可以被配置为支持向CD 120递送各种服务(例如，语音服务、有线电视服务、互联网服务、数据服务、联网服务等以及其各种组合)。CN 110可以被配置为支持SS 130与CD 120之间的各种通信以使SS130能够为CD 120提供各种支持功能(例如，服务供应功能、客户关怀功能等以及其各种组合)。CN 110可以被配置为支持PPS 140的各种通信以支持问题事件(例如，针对CN 110的装置、针对CD 120等以及其各种组合)和相关功能(例如，响应于预测问题事件启动的动作等)的预测。CN 110可以通过各种方式实施，这可以取决于所支持的服务类型、CD 120的客户装置类型、SS 130的支持系统类型等以及其各种组合。
如图1所描绘的CN 110包含各种网络装置(ND)112-1到112-N(统称为ND 112)。ND112的装置类型可以因不同类型的通信网络而变化。例如，ND 112可以包含网络元件、转发元件、控制元件等以及其各种组合。例如，ND 112可以包含桥接器、交换器、路由器、无线接入装置(例如，长期演进(LTE)中的演化节点B(eNodeB))、LTE服务网关(SGW)、LTE分组数据网络(PDN)网关(PGW)、LTE移动管理实体(MME)等。CN 110可以使用各种其它类型的装置来支持各种其它类型的通信。
ND 112-1到112-N分别包含PPE 150-N1到150-NN(统称为PPE 150-N)，所述PPE被配置为支持用于预测通信系统100中的问题事件的各种问题预测功能。应了解，不同的ND112可以包含以不同方式(例如，支持不同的问题预测特征)配置的PPE 150-N。
CD 120包含被配置为支持各种服务或经由CN 110接收各种服务的客户装置。如上文所指出的，此些服务可以包含语音服务、有线服务、互联网服务、数据服务、联网服务等以及其各种组合。
CD 120可以包含各种类型的装置。例如，CD 120可以包含客户端装置(例如，机顶盒、电视机、台式计算机、膝上型计算机、平板计算机、游戏系统、智能电话、智能电器、物联网(IoT)装置等以及其各种组合)、客户网络装置(例如，网关、路由器、交换器、桥接器、调制解调器等)等。
CD 120可以布置成各种方式。例如，CD 120可以与客户位置相关联，或CD 120可能不一定与客户位置相关联。应了解，此些客户位置可以包含住宅客户的住宅客户位置、商业客户的商业客户位置、企业客户的企业客户位置等以及其各种组合。例如，CD 120可以与CN110间接通信(例如，经由客户网络装置，如网关或其它客户网络装置)或可以与CN 110直接通信(例如，为了与CN 110通信而不得不依赖于客户网关的蜂窝使能的智能电话或平板计算机)。应注意，CD 120的至少一些此些布置描绘在图1中，如下文进一步讨论的。
如上文所指出的，CD 120可以布置成各种方式。例如，客户位置121-1展示了以下布置：其中客户位置121-1处的客户网关装置(举例来说，CD 120-11)作为支持客户位置121-1处的一组客户端装置(举例来说，CD 120-12和120-13)的网关进行操作。例如，客户位置121-2展示了以下布置：其中一组客户端装置(举例来说，CD 120-21、120-22和120-23)经由独立于客户位置121-2处的任何客户网关装置的CN 110进行通信。例如，CD 120-3展示了经由CN 110进行通信并且独立于任何关联客户位置的客户端装置。应了解，尽管图1所描绘的CD 120表示CD 120的某些布置，但是可以使用CD 120的各种其它布置或部署。应了解，虽然展示了特定数量的CD 120，但是可以存在各种其它数量的CD 120。
CD 120包含PPE 150-C(举例来说，每个CD 120分别包含PPE 150-C)，所述PPE被配置为支持用于预测通信系统100中的预测问题事件的各种问题预测功能。应了解，虽然主要关于每个CD 120包含对应的PPE 150-C的实施例呈现，但是CD 120的子集可以包含PPE150-C。应了解，不同的CD 120可以包含以不同方式(例如，支持不同的问题预测特征)配置的PPE 150-C。
SS 130包含可以提供各种类型的支持系统功能的各种支持系统。SS 130可以被配置为向CN 110、CD 120等提供支持系统功能。例如，SS 130可以包含操作支持系统(OSS)、业务服务系统(BSS)等。例如，SS 130可以包含元件管理系统(EMS)、网络管理系统(NMS)等。例如，SS 130可以包含网络供应系统或支持网络供应功能的系统、服务供应系统或支持服务供应功能的系统、故障监测系统或支持故障监测功能的系统、故障管理系统或支持故障管理功能的系统、客户关怀系统或支持客户关怀功能的系统、主动性客户关怀系统或支持主动客户关怀功能的系统等以及其各种组合。SS 130可以被配置为向CN 110、CD 120等提供各种其它支持功能。
PPS 140和PPE 150被配置为配合以支持通信系统100中的问题事件的预测。PPS140和PPE 150被配置为配合以支持针对CN 110(举例来说，针对ND 112)和CD 120的问题事件的预测。
PPS 140和PPE 150被配置为配合以支持被配置为用于预测通信系统100中的问题事件的问题预测规则集的生成。PPS 140可以被配置为基于从SS 130接收的历史问题事件数据和从PPE 150接收的历史机器数据来生成问题预测规则集。问题预测规则集可以包含：基于CN 110的ND 112上的PPE 150-N的历史机器数据生成并且被配置为用于预测与CN 110相关联的问题事件的一或多个问题预测规则、基于CD 120上的PPE 150-C的历史机器数据生成并且被配置为用于预测与CD 120相关联的问题事件的一或多个问题预测规则、基于CN110的ND 112上的PPE 150-N的历史机器数据和基于CD 120上的PPE 150-C的历史机器数据生成并且被配置为用于预测与CN 110或CD 120相关联的问题事件的一或多个问题预测规则等以及其各种组合。
PPS 140和PPE 150被配置为配合以支持通信系统100中的问题事件的预测。
PPS 140和PPE 150可以被配置为配合以支持通信系统100中的问题事件的集中预测。对通信系统100中的问题事件的集中预测可以由PPS 140基于PPS 140所生成的问题预测规则集来执行。PPS 140可以被配置为通过以下来在PPS 140处在本地执行问题预测：从通信系统100中的PPE 150(例如，CN 110的ND 112上的PPE 150-N、CD 120上的PPE 150-C等)接收机器数据，将接收到的机器数据与问题预测规则进行比较以确定接收到的机器数据是否与问题预测规则中的任何一个相匹配，并且基于确定接收到的机器数据与问题预测规则中的一个相匹配来识别预测问题事件。
PPS 140和PPE 150可以被配置为配合以支持通信系统100中的问题事件的分布式预测。对通信系统100中的问题事件的分布式预测可以由PPE 150基于PPE 150从PPS 140接收的预测规则集来执行。应了解，PPS 140可以为每个PPE 150提供相同的问题预测规则集，或PPS 140可以为不同的PPE 150提供不同的问题预测规则集。PPS 150可以被配置成通过以下来在PPE 150处在本地执行问题预测：从PPS 140接收问题预测规则集，观察PPE 150所运行的装置处(并且任选地来自一或多个其它装置)的机器数据，将观察到的机器数据与问题预测规则进行比较以确定观察到的机器数据是否与问题预测规则中的任何一个相匹配，并且基于确定观察到的机器数据与问题预测规则中的一个相匹配来识别预测问题事件。
PPS 140和PPE 150可以被配置为配合以提供各种其它问题预测功能以支持通信系统100中的问题事件的预测。
应了解，图1的通信系统100可以通过各种其它方式实施以支持通信系统100中的问题事件的预测。
图2描绘了用于通过创建问题预测规则和应用问题预测规则来支持问题事件的预测的方法的一个实施例。应了解，虽然主要呈现为连续地执行，但是方法200的功能的至少一部分可以同时地或按照与图2所呈现的顺序不同的顺序执行。
在框201处，方法200开始。
在框210处，生成问题预测规则集以用于预测问题事件。基于历史问题数据和历史机器数据来生成问题预测规则集。问题预测规则集被配置为用于基于观察到的机器数据来预测问题事件。问题预测规则集可以通过集中式问题预测系统(例如，图1的PPS 140)生成。关于图3，呈现了用于生成问题预测规则集的方法的示范性实施例。
在框220处，将问题预测规则集应用于预测问题事件。问题预测规则集被应用于基于观察到的机器数据来预测问题事件。问题预测规则集可以通过集中式问题预测系统(例如，图1的PPS 140)、通过在网络装置(例如，PPE 150-N)或客户装置(例如，PPE 150-C)上运行的问题预测元件等以及其各种组合来应用。关于图14，呈现了用于应用问题预测规则集的方法的示范性实施例。
在框299处，方法200结束。
图3描绘了用于生成被配置为用于预测问题事件的问题预测规则集的方法的一个实施例。图3的方法300可以用于提供图2的框210。应了解，虽然主要呈现为连续地执行，但是方法300的功能的至少一部分可以同时地或按照与图3所呈现的顺序不同的顺序执行。
在框301处，方法300开始。
在框310处，接收历史问题数据和历史机器数据。
历史问题数据可以包含历史网络问题数据、历史客户问题、历史问题信息和历史机器数据等以及其各种组合。
历史网络问题数据可以包含报告的网络问题、报告的网络中断、网络问题、网络中断、网络标签等以及其各种组合。历史网络问题数据可以从为网络提供网络支持功能的支持系统(例如，图1的SS 130)、网络的网络装置(例如，图1的ND 112)等以及其各种组合接收。
历史客户问题数据可以包含报告的客户问题、报告的客户中断、客户问题、客户中断、客户标签等以及其各种组合。历史客户问题数据可以从为网络提供客户支持功能的支持系统(例如，图1的SS 130)、客户装置(例如，图1的CD 120)等以及其各种组合接收。
针对给定问题，历史问题数据可以包含问题的标记或标号、问题的描述、问题的时间戳或其它时间数据(例如，报告网络问题或中断的时间、检测到网络问题或中断的时间、创建网络标签的时间等)等以及其各种组合。
历史机器数据可以包含历史网络机器数据、历史客户机器数据等以及其各种组合。
历史网络机器数据可以包含可以从通信网络中的网络装置(例如，图1的ND 112)收集到的各种类型的机器数据。例如，历史网络机器数据可以包含警报、警示、触发、机器日志、机器消息、诊断日志、诊断消息等以及其各种组合。
历史客户机器数据可以包含可以从客户装置(例如，图1的CD 120或其它合适的客户装置)收集到的各种类型的机器数据。例如，历史客户机器数据可以包含警报、警示、触发、机器日志、机器消息、诊断日志、诊断消息等以及其各种组合。
针对机器数据的给定实例，历史客户机器数据可以包含机器数据的标记或标号、机器数据的唯一签名、机器数据的时间戳或其它时间数据等以及其各种组合。
应了解，可以接收各种其它类型的历史问题数据或历史机器数据。
在框320处，使用历史问题数据和历史机器数据来执行相关进程以生成相关的历史问题和机器数据。使历史问题信息和历史机器数据相关以提供相关的历史问题和机器数据可以包含：合并历史问题信息和历史机器数据使得对应于特定网络片段(例如，网络装置、网络装置组等)的历史问题数据与和那个网络片段相关联的历史机器数据相匹配，从而使得对应于特定客户片段(例如，客户装置、客户位置、客户位置组)的历史问题数据与和那个客户片段相关联的历史机器数据相匹配，等等以及其各种组合。
在框330处，使用相关的历史问题和机器数据来执行关联进程以生成关联的历史问题和机器数据。使相关的历史问题信息和历史机器数据相关联以提供关联的历史问题和机器数据可以包含：在历史问题数据与历史机器数据之间创建时间关联。历史问题数据与历史机器数据之间的时间关联可以指示特定历史问题数据、在历史问题数据之前的特定历史机器数据(例如，使得对那个机器数据的观察可以指示对那个问题数据所指示的问题的可能预测)。应了解，出于各种原因，彼此关联的问题数据和机器数据可以在时间或空间意义上彼此显著解耦。例如，网络问题通常通过网络监测系统来报告并且报告时间由于使用的监测进程而可以变化很大，客户问题通常记录在客户关怀中心并且报告时间由于客户行为而可以变化很大，机器数据的递送可受到各方面的局限(例如，网络中的数据收集活动上的限制等)，等等。如下文关于图4到图13所进一步讨论，关联进程可以被配置为使用各种实施例来处理历史问题数据和历史机器数据的解耦性质。应了解，虽然这些各种实施例主要呈现在特定类型的问题数据(即，标签)和特定类型的机器数据(即，日志)的上下文中，但是各种实施例可以用于在各种其它类型的问题数据与各种其它类型的机器数据之间创建时间关联。
在框340处，使用关联的历史问题和机器数据来执行规则挖掘进程以生成所生成问题预测规则的集合和与所生成问题预测规则的集合相关联的性能度量集。
规则挖掘进程被配置为分析关联的历史问题和机器数据以生成所生成问题预测规则的集合。通常，可以基于识别关联的历史问题和机器数据(例如，特定机器数据集通常在关联问题事件之前)中的模式来识别和生成问题预测规则。通常，问题预测规则可以采取(机器数据1、机器数据2、.......、机器数据n→问题类型T)的形式，其中“→”符号指示基于机器数据的指示集合(或模式)来预测某个问题类型。
规则挖掘进程被配置为分析关联的历史问题和机器数据以及所生成问题预测规则的集合，以便生成与所生成问题预测规则的集合相关联的性能度量集。性能度量集可以被配置为用于确定选择所生成问题预测规则中的哪一个作为应用于预测问题事件的问题预测规则。性能度量可以包含覆盖度量(例如，解释的关联的数量)、置信度量(例如，肯定解释的关联的比率)、提升度量(例如，对随机选择的预测能力的改善的指示)等以及其各种组合。
规则挖掘进程可以使用数据分析法而被实施为标准规则提取进程。在至少一些实施例中，例如，规则挖掘进程可以是基于市场的分析进程。
在框350中，使用所生成问题预测规则的集合和与所生成问题预测规则的集合相关联的性能度量集来执行规则选择进程，以便从所生成问题预测规则的集合中选择所选问题预测规则的集合。所选问题预测规则的集合可以基于性能度量集而选自所生成问题预测规则的集合。所选问题预测规则的集合可以包含所有所生成问题预测规则或所生成问题预测规则的子集。然后，所选问题预测规则可以被部署并应用于基于观察到的机器数据来预测问题事件。应注意，虽然主要关于以下实施例呈现：其中所选问题预测规则的集合是基于性能度量集来选自所生成问题预测规则的集合，但是所选问题预测规则的集合可以基于可以结合或代替性能度量集使用的其它选择标准(例如，与每个预测规则的应用相关联的成本、基于关于系统的领域知识和其它已知信息对预测规则的适用性的测度等以及其各种组合)来选自所生成问题预测规则的集合。
在框399处，方法300结束。
应了解，虽然主要关于以下实施例呈现：其中问题预测规则子集是基于性能度量来选自生成的问题预测规则集以提供应用于预测问题的问题预测规则集，但是在至少一些实施例中，生成的问题预测规则集可以用作应用于预测问题的问题预测规则集。
如本文所讨论的，使用相关的历史问题和机器数据来执行关联进程以生成关联的历史问题和机器数据。使相关的历史问题信息和历史机器数据相关联以提供关联的历史问题和机器数据可以包含：在历史问题数据与历史机器数据之间创建时间关联。如上文所讨论的，被相关以提供相关的历史问题和机器数据的历史问题数据和历史机器数据仍然可以在时间上解耦，从而使得可能难以在历史问题数据与历史机器数据之间建立预测关系。如上文所讨论的，关联进程可以被配置为使用各种实施例(在下文中称为第一实施例到第八实施例)来处理历史问题数据和历史机器数据的解耦性质。通常，第一、第二、第三和第四实施例可被视为“回顾(look-back)”实施例(例如，在时间上从历史问题数据中的参考问题事件回顾)，而第五、第六、第七和第八实施例可被视为展望(look-ahead)实施例(例如，在时间上展望到历史问题数据中的参考问题事件)。应了解，虽然这些各种实施例主要呈现在特定类型的问题数据(即，标签)和特定类型的机器数据(即，日志)的上下文中，但是各种实施例可以用于在各种其它类型的问题数据与各种其它类型的机器数据之间创建时间关联。应了解，虽然这些各种实施例主要单独地呈现，但是可以使用这些实施例的各种组合。
在关联进程的第一实施例中，通过生成回顾时间窗口来将机器日志在时间上关联到标签或在标签的标签创建时间之前的预测时期(E)。在这个预测时期E生成的机器日志基于生成所述机器日志的时间而被关联到标签以便用作标签的预测器。应注意，这可被视为以标签为中心的方法。这个方法展示在图4(第一实施例的第一方面，其中真实标签存在)和图5(第一实施例的第二方面，其中真实标签不存在，但是，相反，代替真实标签创建了幻像标签以便确定关联)中。
在第一实施例中，标签时间不需要与发生一或多个故障和/或一或多个中断的实际时间相对应，并且预测时期E不需要与系统或服务处于故障状态相一致。更具体地，预测时期E的长度可以对应于不同的客户情况。例如，E＝1小时的预测时期可以对应于客户立即观察到问题并进行呼叫。相比之下，例如，E＝48小时的预测时期可以对应于周末不在并且在回来并注意到问题后进行呼叫的客户。应了解，较短的预测时期E长度可能错过对应于问题的一些机器日志，并且较长的预测时期E长度可能包含与标签无关的暂时性机器日志。对于规则选择，可以进行对预测时期E的各个长度的探索。
在第一实施例中，关联算法产生平衡关联集以用于规则挖掘。标签与机器日志之间存在如下三组关联：
第1组：机器日志在预测时期E被触发的标签。在图4中，这个组是通过预测时期E内的机器日志来展示的。这个组表示规则的真肯定。这个组的实例关联是(机器数据3,机器数据4,标签)。
第2组：无机器日志被触发或机器日志在预测时期E之外被触发的标签。在图4中，这个组是通过预测时期E之外的机器日志来展示的。这个组表示规则的真否定，因为这些标签无法通过机器日志来预测。这个组的实例关联是(无日志,标签)。
第3组：无相应标签的被触发的机器日志。在这个实施例中，这个组是通过代替不存在的标签创建幻像标签而生成的。幻像标签的目的是识别预测时期E内发生的未导致标签被打开的机器日志模式，从而在无参考标签创建时间可用时基本上锚定预测时期E的位置。由于缺乏这一参考，幻像标签的标签创建时间可以基于历史数据问题集中的最小和最大观察标签创建来确定(例如，基于标签创建时间在历史数据问题集中的最小和最大观察标签创建时间所限定的时段中的历史分布来随机抽取)。预测时期E在幻像标签之前生成，并且选择那个时间窗口内的机器日志。这个进程展示在图5中。这个组表示规则的假肯定。这个组的实例关联是(机器数据10,机器数据11,无标签)。
在关联进程的第二实施例中，使用与第一实施例中相同或类似的关联技术。然而，预测时期E的长度是可变、不固定的，并且预测时期E的长度的可变性是在基于网络或服务的已知特性来调用关联进程之前限定的。这一可变性可以反映例如客户在当天不同时间呼叫的倾向。例如，可以将预测时期E的长度设定为在夜间时间较长、在工作时间中等并且在黄金时间较短。可变长度到预测时期E的这一类型分配的实例示出在图6中。预测时期E的长度的可变性可以通过各种其它方式来限定。应了解，预测时期E的可变长度可以去除对研究最佳规则性能的多个时期长度的需要。
在关联进程的第三实施例中，使用与第一实施例中相同或类似的关联技术。然而，预测时期E的长度是可变、不固定的，并且预测时期E的长度的可变性是基于标签到达率的阈值来限定的。计算数据集中的标签到达率(例如，当天每小时)，并且建立一或多个到达率阈值。如图7所示，可以设定每个标签到达率阈值各自的预测时期E，其中较短的时期长度用于较高阈值并且较长的时期长度用于较低阈值。例如，较高的标签到达率可以反映例如多个客户迅速注意到服务中断，从而提示较短的时期长度。类似地，例如，较低的标签到达率可以反映例如客户较晚注意到服务中断，从而提示较长的时期长度。应了解，可变时期长度可以去除对研究最佳规则性能的多个时期长度的需要。
在关联进程的第四实施例中，使用与第一实施例中相同的关联技术。然而，机器日志创建时间被调制为模拟收集机器日志的可能操作方面。应注意，可以采用多种类型的调制。在至少一些实施例中，第一类型调制表示消息日志递送的延迟，并且固定或随机延迟可以在与标签相关联之前添加到机器日志生成时间。与第一类型调制相关联的延迟机器日志展示在图8中。第二类型调制表示消息日志的批量递送，由此多个机器日志以周期性间隔或具有随机添加的延迟的周期性间隔批量收集和递送。与这个第二类型调制相关联的机器日志的批量递送展示在图9中。应了解，机器日志创建时间的调制可以使关联进程所生成的预测能够更好地模拟操作方面。
在关联进程的第五实施例中，使用了两级时间分级。第一级分级通过在被称为机器日志范围R的时间范围内发生的那些来对计算机日志进行分组。第二级分级使用属于一组日志之后的时间长度的预测时期E来试图将这组日志与最终打开的标签相关联。然后从最早记录的日志时间开始到标签创建时间，使两级时间分级作为滑动时间窗口前进，并且为每个窗口记录关联。图10中展示了这一进程。如果在日志组的预测时期时间E的时间长度内标签已经打开，则情况被视为真肯定。如果在日志组的预测时期时间E的时间长度内并无标签已经打开，则情况被视为假肯定。如果标签没有与其相关联的机器日志，则情况被视为真否定。以这一方式，平衡集自动创建。图10中还展示了使用滑动窗口生成的关联集。如在第一实施例中一样，预测时期E的时间长度可以对应于不同的客户情况。例如，E＝1小时的时期可以对应于客户立即观察到问题并进行呼叫。相比之下，例如，E＝48小时的时期可以对应于周末不在并且在回来并注意到问题后进行呼叫的客户。应注意，预测时期E的较短时期长度可能错过对应于问题的一些机器日志，并且较长的时期长度可能包含与标签无关的暂时性机器日志。对于规则选择，可以进行对预测时期E的各个时期长度的探索。可以基于有多频繁地生成复制日志来选择机器日志的机器日志范围R。对各种机器日志范围的探索也可以针对规则选择进行。
在关联进程的第六实施例中，使用与第五实施例中相同或类似的关联技术。然而，在应用两级滑动窗口之后，使用模式检查间隔C作为后处理步骤，以减少复制模式的数量(所述复制模式可以是复制的“真肯定”模式或复制的“假肯定”模式)。图11中展示了这一进程(展示了对假肯定模式的检测)。模式检查间隔捕获在相同时间间隔C期间发生的重复机器数据模式的多个不同实例，并丢弃复制模式。与两级时间分级类似，模式检查间隔也可以作为滑动窗口前进。可以基于有多频繁地生成复制机器日志来选择模式检查间隔C的时间长度。
在关联进程的第七实施例中，使用与第五或第六实施例中相同或类似的关联技术。然而，第二级预测时期E的长度是可变、不固定的，并且预测时期E的长度的可变性是在基于网络或服务的已知特性来调用关联进程之前限定的。这一可变性可以反映例如客户在当天不同时间呼叫的倾向。例如，可以将预测时期E的长度设定为在夜间时间较长、在工作时间中等并且在黄金时间较短。可变长度到预测时期E的这一类型分配的实例示出在图12中。预测时期E的长度的可变性可以通过各种其它方式来限定。应了解，预测时期E的可变长度可以去除对研究最佳规则性能的多个时期长度的需要。
在关联进程的第八实施例中，使用与第五或第六实施例中相同或类似的关联技术。然而，第二级预测时期E的长度是可变、不固定的，并且预测时期E的长度的可变性是基于标签到达率的阈值来限定的。计算数据集中的标签到达率(例如，当天每小时)，并且建立一或多个到达率阈值。如图13所示，可以设定每个标签到达率阈值各自的预测时期E，其中较短的时期长度用于较高阈值并且较长的时期长度用于较低阈值。例如，较高的标签到达率可以反映例如多个客户迅速注意到服务中断，从而提示较短的时期长度。类似地，例如，较低的标签到达率可以反映例如客户较晚注意到服务中断，从而提示较长的时期长度。应了解，可变时期长度可以去除对研究最佳规则性能的多个时期长度的需要。
应了解，虽然关联进程的各个实施例在本文中主要单独地呈现为属于不同实施例，但是本文所呈现的关联进程的各个实施例可以出于各种目的以各种组合使用。
图14描绘了用于应用问题预测规则集来预测问题事件的方法的一个实施例。图14的方法1400可以通过被配置为应用问题预测规则集来预测问题事件的任何装置(例如，问题预测系统、网络装置、客户装置等)来执行。图14的方法1400可以用于提供图2的框220。应了解，虽然主要呈现为连续地执行，但是方法1400的功能的至少一部分可以同时地或按照与图14所呈现的顺序不同的顺序执行。
在框1401处，方法1400开始。
在框1410处，接收问题预测信息。
问题预测信息包含被配置为用于被装置用来预测问题事件的信息。
问题预测信息包含被装置应用于预测问题事件(例如，与那个装置相关联的问题事件、与一或多个其它装置相关联的问题事件等以及其各种组合)的问题预测规则集。
问题预测信息包含指示在观察生成的机器数据时装置所使用的观察窗口W的长度的信息(例如，观察窗口W的长度或可以被装置用来确定观察窗口W的长度的信息)。观察窗口W或指示观察窗口W的信息对于关联过程的不同实施例而言可以是不同的。观察窗口W的长度可以是基于用于基于历史问题数据和历史机器数据的分析来创建问题预测规则中的至少一个的分析时段的长度，所述分析时段对于关联进程的不同实施例而言可以是不同的。例如，分析时段可以是用作从参考问题事件的回顾时间间隔的预测时期E(例如，针对基于关联进程的第一、第二、第三或第四实施例生成的问题预测规则)。例如，分析时段可以是用作前进到参考问题事件的展望时间间隔的机器数据范围R(例如，针对基于关联进程的第五、第六、第七或第八实施例生成的问题预测规则)。
问题预测信息可以包含指示预测所预测问题事件在其内发生的预测时间P的信息(例如，预测时间P或可以用于确定预测时间P的信息)。预测时间P是预测所预测问题事件在其内发生的时间窗口或时间长度(例如，规则模式在预测窗口中的匹配是对问题将有可能在预测时间P内发生的预测)。因为预测时间P是预测所预测问题事件在其内发生的时间窗口或时间长度，因此预测时间P还指示在其内可以采取主动动作(例如，以防止预测问题发生、以在预测问题实际上确实发生时减少预测问题的严重性等)的时间窗口。预测时间P或指示预测时间P的信息对于关联进程的不同实施例而言可以是不同的。例如，预测时间P可以通过以下来设定：计算在某个时期中的最后一条机器数据(例如，问题指示符，如警报或警示)与标签时间之间的平均时间差并且基于这个值来设定预测时间P(例如，针对基于关联进程的第一、第二、第三或第四实施例生成的问题预测规则)。例如，预测时间P可以是用作到参考问题事件的展望时间间隔(结合机器日志范围R)的预测时期E(例如，针对基于关联进程的第五、第六、第七和第八实施例生成的问题预测规则)。
问题预测信息可以包含指示可以被激活的延时定时器H的信息(例如，延时定时器H或可以用于确定延时定时器H的信息)。延时定时器H可以被激活以防止复制的预测问题响应动作启动(例如，防止复制的自我修复动作、复制的通知等)。延时定时器H或指示延时定时器H的信息对于关联进程的不同实施例而言可以是不同的。例如，可以将延时定时器H设定为预测时期长度E(例如，针对基于关联进程的第一、第二、第三或第四实施例生成的问题预测规则)。例如，可以将延时定时器H设定为模式检查间隔C(例如，针对基于关联进程的第五、第六、第七和第八实施例生成的问题预测规则)。
可以通过各种方式来接收问题预测信息。可以在本地接收(例如，从本地存储装置)或可以远程地接收(例如，经由通信网络从远程装置)问题预测信息。例如，在由问题预测系统(例如，图1的PPS 140)来应用问题预测规则集的情况下，问题预测信息可以通过问题预测系统来确定并且因此可以已经可用在用于预测问题事件的问题预测系统的存储装置中。例如，在由如网络装置(例如，图1的ND 112)或客户装置(例如，图1的CD 120)等装置来应用问题预测规则集的情况下，可以从装置的存储设备在本地接收(例如，其中问题预测信息可以已经从问题预测系统提供到装置以供装置用于预测问题事件)或可以远程地接收(例如，经由通信网络从问题预测系统或其它适合的系统或装置)问题预测信息。应了解，可以通过各种其它方式来接收问题预测信息。
在框1420处，接收观察到的机器数据。观察到的机器数据可以包含在观察窗口内生成的机器数据。
观察到的机器数据可以在本地或远程地生成。例如，在由问题预测系统(例如，图1的PPS 140)来应用问题预测规则集的情况下，观察到的机器数据可以由问题预测系统从各种装置接收，所述各种装置可以包含网络装置(例如，图1的ND 112)、客户装置(例如，图1的CD 120)等以及其各种组合。例如，在由如网络装置(例如，图1的ND 112)或客户装置(例如图1的CD 120)等装置来应用问题预测规则集的情况下，观察到的机器数据可以由装置在观察到的机器数据在装置处生成的意义上在本地接收(例如，从一或多个监测元件或装置的其它部件接收)、可以由装置从一或多个远程装置(例如，接收由网络装置服务的客户装置生成的机器数据的网络装置、接收由服务客户装置的网络装置生成的机器数据的客户装置等)远程地接收等以及其各种组合。
如上文所指示的，可以实时或近实时地观察在观察窗口内生成的观察到的机器数据。例如，可以实时或近实时地观察在观察窗口内生成的观察到的机器数据，其中问题预测规则集被装置应用于预测与装置相关联的问题事件，并且机器数据在生成时在装置处可用。例如，可以近实时地观察在观察窗口内生成的观察到的机器数据，其中问题预测规则集被装置应用于预测与一或多个其它装置相关联的问题事件(例如，通过问题预测系统来识别与网络装置和/或客户装置相关联的预测问题事件、通过问题预测系统来识别与一或多个客户装置相关联的预测问题事件等)，并且因此，应用问题预测规则的装置所需的机器数据的至少一部分可能需要在装置预测问题事件时从所述一或多个其它装置接收。应了解，观察窗口可以是从当前时间的回顾、从先前时间的回顾等。
可以通过各种其它方式来接收在观察窗口内生成的观察到的机器数据。
在框1430处，基于问题预测信息和观察到的机器数据(所述观察到的机器数据包含落入观察窗口内的生成的机器数据)来识别预测问题事件。可以基于问题预测规则集以及基于观察到的机器数据来识别预测问题事件。
可以基于问题预测进程的执行来识别预测问题事件。问题预测进程可以将观察到的机器数据与问题预测规则进行比较以确定观察到的机器数据是否与问题预测规则中的任何一个相匹配。这可以包含关于观察到的机器数据的模式是否与问题预测规则的参考机器数据的模式相匹配的确定。模式可以包含常见机器数据、包含包括机器数据之间的时间关联(例如，其间具有时间长度或其间具有落入阈值范围内的时间长度的机器日志)的常见机器数据等。可以通过参考简单实例来进一步理解问题预测进程。例如，假设问题预测规则如下：(机器数据1,机器数据4,机器数据6→问题类型T)。在这个实例中，如果观察到的机器数据的第一集合包含[机器数据1,机器数据3,机器数据6]，则观察到的机器数据将不会导致在问题预测规则上相匹配。在这个实例中，如果观察到的机器数据的第二集合包含[机器数据1,机器数据4,机器数据6]，则观察到的机器数据将导致在问题预测规则上相匹配并且问题类型T将被预测。在这个实例中，如果观察到的机器数据的第三集合包含[机器数据1,机器数据2,机器数据4,机器数据6,机器数据8]，则观察到的机器数据将导致在问题预测规则上相匹配并且问题类型T将被预测。应了解，问题预测规则的参考机器数据可以采取各种其它形式，并且因此，观察到的机器数据与问题预测规则在问题预测进程中的比较可以通过各种其它方式来执行。关于图15描绘了基于观察到的机器数据和问题预测规则来使用问题预测进程识别预测问题事件的示范性实施例。
预测问题事件可以是对客户问题的预测、对客户标签的预测、对客户中断的预测、对网络问题的预测、对网络标签的预测、对网络中断的预测等以及其各种组合。
在框1499处，方法1400结束。
应了解，虽然主要关于预测问题响应动作并未基于预测问题事件的识别而启动的实施例呈现，但是在至少一些实施例中，预测问题响应动作基于预测问题事件的识别而启动。被启动的预测问题响应可以从用于识别预测问题事件的问题预测规则中识别(例如，基于不同的预测问题事件规则来预测不同的预测问题事件可能导致不同类型的预测问题响应动作启动)。预测问题响应动作可以包含以下中的一或多种：在本地执行自我修复进程，触发将在远程装置(例如，预测问题事件被网络装置检测到的客户装置、预测问题事件被客户装置检测到的网络装置、客户关怀中心装置、呼叫中心装置等以及其各种组合)处被执行的自我修复进程，生成并传播一或多个通知(例如，从客户装置到网络装置、从网络装置到上游网络装置、从客户装置或网络装置到上游网络装置、从客户装置或网络装置到操作支持系统、从客户装置或网络装置到主动关怀系统、从问题预测系统到操作支持系统或主动关怀系统等以及其各种组合)。预测问题响应动作可以包含：经由一或多个管理系统来启动对一或多个消息的呈现或对一或多个用户的警示，启动对一或多个消息的递送或对一或多个用户的一或多个用户装置的警示等以及其各种组合。预测问题响应动作可以包含各种其它类型的响应动作，这可以取决于各种因素(例如，被识别的预测问题时间的类型、识别预测问题时间的位置(例如，客户装置、网络装置、管理系统等)等以及其各种组合)。
应了解，虽然主要关于识别预测问题事件的实施例呈现(出于清晰的目的)，但是可能需要在识别预测问题事件之前的时间内对观察到的机器数据进行评估。应了解，对于要关于问题预测规则集进行评估的观察到的机器数据的给定集合，方法1400可以适于包含以下框：其中做出关于预测问题时间是否基于观察到的机器数据的给定集合以及问题预测规则集而被识别的确定并且识别预测问题事件(并且对预测问题事件的监测继续)或未识别预测问题事件(并且再次，对预测问题事件的监测继续)。
图15描绘了应用问题预测进程以便基于观察到的机器数据以及问题预测规则来识别预测问题事件的一个实施例。
如图15所描绘的，问题预测进程1510访问问题预测规则集1520，接收观察窗口W中生成的机器数据1530并且将观察窗口W中生成的机器数据1530与问题预测规则1520进行比较以识别匹配问题预测规则集1540(以及因此匹配问题预测规则所指示的预测问题规则集)。
如上文所指出的，问题预测进程1510基于观察窗口W来操作，并且任选地如下文进一步讨论的，还可以基于一或多个额外参数(例如，预测时间P、延时定时器H等以及其各种组合)来操作。应注意，如下文进一步讨论的，问题预测进程1510的操作参数的值可以是基于关联进程的哪个实施例用于生成问题预测进程1510所应用的问题预测规则集1520。
问题预测进程1510被配置为检测观察窗口W中生成的机器数据。在任何时间ti，问题预测进程1510维持时段(ti-W,ti)中生成的机器数据集。将这个机器数据集与问题预测规则中的机器数据模式进行比较。如果观察窗口W中观察到的机器数据模式与问题预测规则中的一个的机器数据模式相匹配，则问题预测规则是相匹配的并且因此问题预测规则的预测问题事件被识别。在当前时段结束时，问题预测进程1510前进到下一时段ti+1＝ti+Δt(其中Δt是时间增量)并且仅考虑时段(ti+1–W,ti+1)内观察到的机器数据，同时还丢弃在新时段之外的较旧的机器数据。在关联进程的第一、第二、第三和第四实施例中，问题预测进程1510的观察窗口W可以通过以下来设定：计算在某一时期中生成的机器数据之间的最大时间差并且基于这个值来设定观察窗口W(例如，将W设定为计算值或为是计算值的函数的值)。在关联进程的第五、第六、第七和第八实施例中，可以将问题预测进程1510的观察窗口W设定为机器日志范围R。应了解，可以通过其它方式来设定问题预测进程1510的观察窗口W。
问题预测进程1510可以被配置为基于预测时间参数(例如，如上文所讨论的预测时间P)来操作。在至少一些实施例中，与匹配的问题预测规则相关联的预测问题事件具有与其相关联的预测时间P。预测时间P是预测所预测问题事件在其内发生的时间窗口或时间长度(例如，规则模式在预测窗口中的匹配是对问题将有可能在预测时间P内发生的预测)。因为预测时间P是预测所预测问题事件在其内发生的时间窗口或时间长度，因此预测时间P还指示在其内可以采取主动动作(例如，以防止预测问题发生、以在预测问题实际上确实发生时减少预测问题的严重性等)的时间窗口。在关联进程的第一、第二、第三和第四实施例中，问题预测进程1510的预测时间P可以通过以下来设定：计算在某个时期中的最后一条机器数据(例如，问题指示符，如警报或警示)与标签时间之间的平均时间差并且基于这个值来设定预测时间P(例如，将预测时间P设定为计算值或为是计算值的函数的值)。在关联进程的第五、第六、第七和第八实施例中，可以将问题预测进程1510的预测时间P设定为预测时期长度E。应了解，可以通过其它方式来设定问题预测进程1510的预测时间P。
问题预测进程1510可以被配置为基于延时时间参数(例如，如上文所讨论的延时定时器H)来操作。在至少一些实施例中，延时定时器H可以被激活以防止复制的预测问题响应动作启动(例如，防止复制的自我修复动作、复制的通知等)。在延时定时器H期间，应当防止或抑制复制的预测问题响应动作启动(例如，在本地激活、被延迟为通知等)。在关联进程的第一、第二、第三和第四实施例中，可以将问题预测进程1510的延时定时器H设定为预测时期长度E。在关联进程的第五、第六、第七和第八实施例中，可以将问题预测进程1510的延时定时器H设定为模式检查间隔C。应了解，可以通过其它方式来设定问题预测进程1510的延时定时器H。
应了解，各种其它操作参数可以被问题预测进程1510用于基于观察到的机器数据以及问题预测规则来识别预测问题事件。
应了解，虽然在本文中主要关于以下实施例呈现：其中问题预测在特定类型的通信系统的上下文中提供并且包含针对客户装置的问题预测，但是在至少一些实施例中，问题预测可以在各种其它类型的通信系统的上下文中提供并且可以包含或可以不包含针对客户装置的问题预测(例如，预测无线提供商的核心无线网内的问题、预测服务提供商的自主系统(AS)内的问题、预测企业网内的问题、预测数据中心网内的问题等)。因此，应了解，本文所呈现的问题预测能力的各个实施例可以适于通过各种类型的通信系统中的各种类型的装置来预测问题。
图16描绘了适于用于执行本文所描述的各种功能的计算机的高级框图。
计算机1600包含通信地连接的处理器1602(例如，中央处理单元(CPU)、具有一组处理器核心的处理器、处理器的处理器核心等)和存储器1604(例如，随机存取存储器(RAM)、只读存储器(ROM)等)。
计算机1600还可以包含配合元件1605。配合元件1605可以是硬件装置。配合元件1605可以是可以装载到存储器1604中并由处理器1602执行以实施如本文所讨论的功能的进程(在这一情况下，例如，配合元件1605(包含关联的数据结构)可以存储在非暂时性计算机可读存储媒体如存储装置或其它存储元件(例如，磁性驱动器、光学驱动器等)上)。
计算机1600还可以包含一或多个输入/输出装置1606。输入/输出装置1606可以包含以下中的一或多个：用户输入装置(例如，键盘、小键盘、鼠标、麦克风、相机等)、用户输出装置(例如，显示器、扬声器等)、一或多个网络通信装置或元件(例如，输入断开、输出端口、接收器、发射器、收发器等)、一或多个存储装置(例如，磁带驱动器、软盘驱动器、硬盘驱动器、致密盘驱动器等)等以及其各种组合。
应了解，图16的计算机1600可以表示适于实施本文所描述的功能元件、本文所描述的功能元件的一部分等以及其各种组合的通用架构和功能。例如，计算机1600可以提供适于实施ND 112、CD 120、SS 130、PPS 140、PPE 150等中的一或多个的通用架构和功能。
应了解，本文所呈现的功能可以在软件(例如，通过在一或多个处理器上实施软件、用于在通用计算机上执行(例如，通过由一或多个处理器来执行)以提供专用计算机等)中实施和/或可以在硬件(例如，使用通用计算机、一或多个专用集成电路(ASIC)和/或任何其它硬件同等物)中实施。
应了解，本文所讨论的功能中的至少一些作为软件方法可以在硬件内实施，例如作为与处理器配合以执行各种功能的电路系统。应了解，本文所描述的功能/元件的一部分可以实施为计算机程序产品，其中计算机指令在被计算机处理时采取计算机的操作从而使得本文所描述的方法和/或技术被调用和/或以其它方式提供。用于调用各种方法的指令可以存在固定或可去除的媒体(例如，非暂时性计算机可读存储媒体)中，经由广播或其它信号承载媒体中的数据流来传输和/或存储在根据指令来操作的计算装置内的存储器内。
应了解，除非另有指示(例如，使用“否则”或“或在替代方案”)，如本文所使用的术语“或”是指非排他性“或”。
权利要求中详细说明了各个实施例的各个方面。以下编号的条款中详细说明了各个实施例的那些和其它方面：
1.一种设备，其包括：
处理器和通信地连接到所述处理器的存储器，所述处理器被配置为：
接收问题预测规则集和指示观察窗口的长度的信息，其中所述指示所述观察窗口的所述长度的信息是基于用于基于历史问题数据和历史机器数据的分析来创建所述问题预测规则中的至少一个的分析时段的长度；
接收由所述观察窗口内的装置生成的机器数据；以及
基于确定所述机器数据与所述问题预测规则中的一个相匹配来识别与所述装置相关联的预测问题事件。
2.根据条款1所述的设备，其中所述分析时段包括用作从问题事件的回顾时间间隔的预测时期或用作前进到问题事件的展望时间间隔的机器数据范围。
3.根据条款1所述的设备，其中所述处理器被配置为：
接收指示预测问题事件预测在其内发生的预测时间的长度的信息。
4.根据条款3所述的设备，其中所述预测时间的所述长度是基于在创建所述问题预测规则中的至少一个期间观察到的、在某个时期中的最后一条机器数据记录与所报告问题事件的时间之间的平均时间差。
5.根据条款3所述的设备，其中所述预测时间的所述长度是基于所述分析时段的所述长度，其中所述分析时段包括用作从问题事件的回顾时间间隔的预测时期。
6.根据条款1所述的设备，其中所述处理器被配置为：
接收指示期间应当防止复制的预测问题响应动作启动的延时定时器的长度的信息。
7.根据条款6所述的设备，其中所述延时定时器的所述长度是基于所述分析时段的所述长度，其中所述分析时段包括用作从问题事件的回顾时间间隔的预测时期。
8.根据条款6所述的设备，其中所述延时定时器的所述长度是基于被配置为滑动窗口以检查在创建所述问题预测规则中的至少一个期间的复制模式的模式检查间隔。
9.一种方法，其包括：
接收问题预测规则集和指示观察窗口的长度的信息，其中所述指示所述观察窗口的所述长度的信息是基于用于基于历史问题数据和历史机器数据的分析来创建所述问题预测规则中的至少一个的分析时段的长度；
接收由所述观察窗口内的装置生成的机器数据；以及
基于确定所述机器数据与所述问题预测规则中的一个相匹配来识别与所述装置相关联的预测问题事件。
10.一种设备，其包括：
处理器和通信地连接到所述处理器的存储器，所述处理器被配置为：
接收与装置相关联的历史问题事件数据，所述装置包括网络装置或客户装置；
接收由所述装置生成的历史机器数据；
基于预测时期来在与所述装置相关联的所述历史问题事件数据与由所述装置生成的所述机器数据之间创建时间关联；以及
基于与所述装置相关联的所述历史问题事件数据与由所述装置生成的所述机器数据之间的所述时间关联来生成与所述装置相关联的问题预测规则。
11.根据条款11所述的设备，为了在与所述装置相关联的所述历史问题事件数据与由所述装置生成的所述机器数据之间创建所述时间关联，所述处理器被配置为：
在所述历史问题事件数据内识别与所述装置相关联并且具有与其相关联的报告时间的问题事件；
确定与所述问题事件相关联的所述报告时间之前的预测时期；
从所述历史机器数据中识别落入所述预测时期内的一或多个机器数据记录；以及
通过在所述问题事件与落入所述预测时期内的所述一或多个机器数据记录之间创建关联来创建所述时间关联。
12.根据条款10所述的设备，为了在与所述装置相关联的所述历史问题事件数据与由所述装置生成的所述机器数据之间创建所述时间关联，所述处理器被配置为：
在所述历史问题事件数据内识别与所述装置相关联并且具有与其相关联的报告时间的问题事件；
确定与所述问题事件相关联的所述报告时间之前的预测时期；
从所述历史机器数据中识别落在所述预测时期外的一或多个机器数据记录；以及
通过在所述问题事件与落在所述预测时期外的所述一或多个机器数据记录之间创建关联来创建所述时间关联。
13.根据条款10所述的设备，为了在与所述装置相关联的所述历史问题事件数据与由所述装置生成的所述机器数据之间创建所述时间关联，所述处理器被配置为：
在所述历史问题事件数据内识别与所述装置相关联并且具有与其相关联的报告时间的问题事件；
确定与所述问题事件相关联的所述报告时间之前的预测时期；
根据所述历史机器数据来确定无机器数据记录落入所述预测时期内；以及
通过在所述问题事件与无机器数据记录落入所述预测时期内的指示之间创建关联来创建所述时间关联。
14.根据条款10所述的设备，为了在与所述装置相关联的所述历史问题事件数据与由所述装置生成的所述机器数据之间创建所述时间关联，所述处理器被配置为：
在所述历史机器数据内识别一或多个机器数据记录；
根据所述历史问题事件数据来确定无问题事件与所述一或多个机器数据记录相关联；
基于确定无问题事件与所述一或多个机器数据记录相关联来创建幻像问题事件，所述幻像问题事件具有与其相关联的幻像报告时间，所述幻像报告时间是基于问题事件报告时间在所述历史问题事件数据中的历史分布来确定的；
确定与所述幻像问题事件相关联的所述幻像报告时间之前的预测时期；以及
通过在所述一或多个机器数据记录与无问题事件与所述一或多个机器数据记录相关联的指示之间创建关联来创建所述时间关联。
15.根据条款10所述的设备，其中所述处理器被配置为：
基于所述历史问题事件数据的当日时间或所述历史问题事件数据中的问题事件的到达率中的至少一个来确定所述预测时期的长度。
16.根据条款10所述的设备，其中所述历史机器数据包括具有与其相关联的创建时间的机器报告，其中所述处理器被配置为：
基于第一类型调制或第二类型调制中的至少一个来调制与所述机器报告相关联的所述创建时间，所述第一类型调制表示所述机器报告的递送的延迟，所述第二类型调制表示与至少一个其它机器报告的批量递送中所述机器报告的递送。
17.根据条款10所述的设备，其中所述处理器被配置为基于机器数据范围来在与所述装置相关联的所述历史问题事件数据与由所述设备生成的所述机器数据之间创建所述时间关联。
18.根据条款17所述的设备，为了在与所述装置相关联的所述历史问题事件数据与由所述装置生成的所述机器数据之间创建所述时间关联，所述处理器被配置为：
在所述历史问题事件数据内识别与所述装置相关联并且具有与其相关联的报告时间的问题事件；
对由所述装置生成的所述机器数据的使对应创建时间发生在所述机器数据范围内的机器记录集进行分组；以及
通过基于关于与所述问题事件相关联的所述报告时间是否落入在所述机器数据范围之后的时间窗口内的确定创建关联来创建所述时间关联，其中所述时间窗口是所述预测时期。
19.根据条款18所述的设备，其中所述处理器被配置为：
使所述机器数据范围在朝向所述问题事件的所述报告时间的方向上作为滑动窗口前进；以及
使模式检查间隔作为滑动窗口前进以检查基于所述机器数据范围的前进识别的复制模式。
20.一种方法，其包括：
由处理器接收与装置相关联的历史问题事件数据，所述装置包括网络装置或客户装置；
由所述处理器接收由所述装置生成的历史机器数据；
由所述处理器基于预测时期来在与所述装置相关联的所述历史问题事件数据与由所述装置生成的所述机器数据之间创建时间关联；以及
由所述处理器基于与所述装置相关联的所述历史问题事件数据与由所述装置生成的所述机器数据之间的所述时间关联来生成与所述装置相关联的问题预测规则。
应了解，虽然本文已经示出并详细描述了合并本文所呈现的教导的各个实施例，但是本领域技术人员可以很容易地设计出仍然合并了这些教导的许多其它不同的实施例。

Claims (10)

1.一种设备，其包括：
处理器和通信地连接到所述处理器的存储器，所述处理器被配置为：
接收问题预测规则集和指示观察窗的长度的信息，其中所述指示所述观察窗的所述长度的信息是基于用于基于历史问题数据和历史机器数据的分析来创建所述问题预测规则中的至少一个的分析时段的长度；
接收由装置在所述观察窗内生成的机器数据；并且
基于确定所述机器数据与所述问题预测规则中的一个相匹配来识别与所述装置相关联的预测问题事件。
2.根据权利要求1所述的设备，其中所述分析时段包括用作从问题事件的回顾时间间隔的预测时期或用作前进到问题事件的展望时间间隔的机器数据范围。
3.根据权利要求1所述的设备，其中所述处理器被配置为：
接收指示预测问题事件预测在其内发生的预测时间的长度的信息。
4.根据权利要求3所述的设备，其中所述预测时间的所述长度是基于在创建所述问题预测规则中的至少一个期间观察到的、在某个时期中的最后一条机器数据记录与所报告问题事件的时间之间的平均时间差。
5.根据权利要求3所述的设备，其中所述预测时间的所述长度是基于所述分析时段的所述长度，其中所述分析时段包括用作从问题事件的回顾时间间隔的预测时期。
6.根据权利要求1所述的设备，其中所述处理器被配置为：
接收指示期间应当防止重复的预测问题响应动作启动的延时定时的长度的信息。
7.根据权利要求6所述的设备，其中所述延时定时的所述长度是基于所述分析时段的所述长度，其中所述分析时段包括用作从问题事件的回顾时间间隔的预测时期。
8.根据权利要求6所述的设备，其中所述延时定时的所述长度是基于被配置为滑动窗以检查在创建所述问题预测规则中的至少一个期间的重复图案的图案检查间隔。
9.一种方法，其包括：
接收问题预测规则集和指示观察窗的长度的信息，其中所述指示所述观察窗的所述长度的信息是基于用于基于历史问题数据和历史机器数据的分析来创建所述问题预测规则中的至少一个的分析时段的长度；
接收由装置在所述观察窗内生成的机器数据；以及
基于确定所述机器数据与所述问题预测规则中的一个相匹配来识别与所述装置相关联的预测问题事件。
10.一种设备，其包括：
处理器和通信地连接到所述处理器的存储器，所述处理器被配置为：
接收与装置相关联的历史问题事件数据，所述装置包括网络装置或客户装置；
接收由所述装置生成的历史机器数据；
基于预测时期来在与所述装置相关联的所述历史问题事件数据与由所述装置生成的所述机器数据之间创建时间关联；并且
基于与所述装置相关联的所述历史问题事件数据与由所述装置生成的所述机器数据之间的所述时间关联来生成与所述装置相关联的问题预测规则。
CN201780032340.4A 2016-06-29 2017-06-05 根据机器数据预测问题事件 Pending CN109196820A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/196,264 US20180005127A1 (en) 2016-06-29 2016-06-29 Predicting problem events from machine data
US15/196,264 2016-06-29
PCT/US2017/035872 WO2018005012A1 (en) 2016-06-29 2017-06-05 Predicting problem events from machine data

Publications (1)

Publication Number Publication Date
CN109196820A true CN109196820A (zh) 2019-01-11

Family

ID=59071106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780032340.4A Pending CN109196820A (zh) 2016-06-29 2017-06-05 根据机器数据预测问题事件

Country Status (4)

Country Link
US (1) US20180005127A1 (zh)
EP (1) EP3479525A1 (zh)
CN (1) CN109196820A (zh)
WO (1) WO2018005012A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10990616B2 (en) * 2015-11-17 2021-04-27 Nec Corporation Fast pattern discovery for log analytics
US10163269B2 (en) * 2017-02-15 2018-12-25 Adobe Systems Incorporated Identifying augmented reality visuals influencing user behavior in virtual-commerce environments
WO2020038548A1 (en) * 2018-08-20 2020-02-27 Telefonaktiebolaget Lm Ericsson (Publ) Improving immune system of sites using generative adversarial networks and reinforcement learning
US11200103B2 (en) 2018-10-26 2021-12-14 International Business Machines Corporation Using a machine learning module to perform preemptive identification and reduction of risk of failure in computational systems
US11200142B2 (en) 2018-10-26 2021-12-14 International Business Machines Corporation Perform preemptive identification and reduction of risk of failure in computational systems by training a machine learning module
US20200213203A1 (en) * 2019-01-02 2020-07-02 Cisco Technology, Inc. Dynamic network health monitoring using predictive functions
CN109885456A (zh) * 2019-02-20 2019-06-14 武汉大学 一种基于系统日志聚类的多类型故障事件预测方法及装置
US11288117B2 (en) * 2019-08-06 2022-03-29 Oracle International Corporation Predictive system remediation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101483547A (zh) * 2009-02-12 2009-07-15 中国人民解放军信息工程大学 一种网络突发事件度量评估方法及系统
EP2375637A1 (en) * 2010-03-22 2011-10-12 British Telecommunications Public Limited Company Network routing adaptation based on failure prediction
US20130190095A1 (en) * 2008-11-18 2013-07-25 Spielo International ULC Faults and Performance Issue Prediction
CN103996077A (zh) * 2014-05-22 2014-08-20 中国南方电网有限责任公司电网技术研究中心 一种基于多维时间序列的电气设备故障预测方法
CN104809051A (zh) * 2014-01-28 2015-07-29 国际商业机器公司 用于预测计算机应用中的异常和故障的方法和装置
WO2016018382A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Creating a security report for a customer network

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020091972A1 (en) * 2001-01-05 2002-07-11 Harris David P. Method for predicting machine or process faults and automated system for implementing same
US7451210B2 (en) * 2003-11-24 2008-11-11 International Business Machines Corporation Hybrid method for event prediction and system control
US20080126881A1 (en) * 2006-07-26 2008-05-29 Tilmann Bruckhaus Method and apparatus for using performance parameters to predict a computer system failure
WO2009045218A1 (en) * 2007-10-04 2009-04-09 Donovan John J A video surveillance, storage, and alerting system having network management, hierarchical data storage, video tip processing, and vehicle plate analysis
US9246768B2 (en) * 2008-06-18 2016-01-26 Camber Corporation Systems and methods for a simulated network attack generator
US9736041B2 (en) * 2013-08-13 2017-08-15 Nec Corporation Transparent software-defined network management
US20150278823A1 (en) * 2014-04-01 2015-10-01 Alcatel-Lucent Usa Inc. Classification of device problems of customer premises devices
US10129168B2 (en) * 2014-06-17 2018-11-13 Analitiqa Corporation Methods and systems providing a scalable process for anomaly identification and information technology infrastructure resource optimization
EP3131234B1 (en) * 2015-08-14 2018-05-02 Accenture Global Services Limited Core network analytics system
US9699205B2 (en) * 2015-08-31 2017-07-04 Splunk Inc. Network security system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130190095A1 (en) * 2008-11-18 2013-07-25 Spielo International ULC Faults and Performance Issue Prediction
CN101483547A (zh) * 2009-02-12 2009-07-15 中国人民解放军信息工程大学 一种网络突发事件度量评估方法及系统
EP2375637A1 (en) * 2010-03-22 2011-10-12 British Telecommunications Public Limited Company Network routing adaptation based on failure prediction
CN104809051A (zh) * 2014-01-28 2015-07-29 国际商业机器公司 用于预测计算机应用中的异常和故障的方法和装置
CN103996077A (zh) * 2014-05-22 2014-08-20 中国南方电网有限责任公司电网技术研究中心 一种基于多维时间序列的电气设备故障预测方法
WO2016018382A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Creating a security report for a customer network

Also Published As

Publication number Publication date
US20180005127A1 (en) 2018-01-04
WO2018005012A1 (en) 2018-01-04
EP3479525A1 (en) 2019-05-08

Similar Documents

Publication Publication Date Title
CN109196820A (zh) 根据机器数据预测问题事件
Mayzaud et al. A distributed monitoring strategy for detecting version number attacks in RPL-based networks
CN101257388B (zh) 非法外联检测方法、装置及系统
CN110460732B (zh) 网络质量监控方法、装置及通信服务器
US20130007151A1 (en) Determination of a spammer through social network characterization
CN108780418A (zh) 用于使用流分析实时测量网络问题的有效客户影响的系统和方法
EP3222004B1 (en) Diagnostic testing in networks
WO2016188187A1 (zh) 无源光网络告警检测方法及装置
Ramanathan et al. Sympathy: a debugging system for sensor networks [wireless networks]
Nguyen et al. Absence: Usage-based failure detection in mobile networks
US9124489B2 (en) Method, apparatus and system for setting a size of an event correlation time window
EP3460769A1 (en) System and method for managing alerts using a state machine
Chakraborty et al. System Failure Prediction within Software 5G Core Networks using Time Series Forecasting
CN105393593B (zh) 一种接入终端切换监听频点的方法及接入终端
Pereira et al. AI Use Cases in Operational Support System and Business Support System
Albaghdadi et al. Event storm detection and identification in communication systems
CN113300914A (zh) 网络质量监测方法、装置、系统、电子设备和存储介质
CN111385162B (zh) 网络探测方法、装置、计算机设备和存储介质
JP2004104540A (ja) ネットワーク性能障害分析支援システム
JP6513001B2 (ja) 故障検知装置、故障検知方法、及びプログラム
Wu et al. Mining face-to-face interaction networks using sociometric badges: Evidence predicting productivity in it configuration
DUMAN et al. Performance Metrics and Monitoring Tools for Sustainable Network Management
CN109995618A (zh) 网络存活监控方法、装置、设备与计算机可读存储介质
Corici et al. Practical performance degradation mitigation solution using anomaly detection for carrier-grade software networks
CN114268568B (zh) 一种网络流量监控方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190111

RJ01 Rejection of invention patent application after publication