CN105051718A - 监视-挖掘-管理循环 - Google Patents

监视-挖掘-管理循环 Download PDF

Info

Publication number
CN105051718A
CN105051718A CN201480003990.2A CN201480003990A CN105051718A CN 105051718 A CN105051718 A CN 105051718A CN 201480003990 A CN201480003990 A CN 201480003990A CN 105051718 A CN105051718 A CN 105051718A
Authority
CN
China
Prior art keywords
event
excavation
entity
management
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480003990.2A
Other languages
English (en)
Other versions
CN105051718B (zh
Inventor
P·佩里欧来里斯
E·阿克初林
J·克拉森斯
I·J·G·D·桑托斯
O·纳诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105051718A publication Critical patent/CN105051718A/zh
Application granted granted Critical
Publication of CN105051718B publication Critical patent/CN105051718B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G06F11/3082—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by aggregating or compressing the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/301—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is a virtual computing platform, e.g. logically partitioned systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/86—Event-based monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Factory Administration (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

描述了一种监视-挖掘-管理循环，例如以用于管理数据中心、制造过程、工程过程或其他过程。在各示例中，作为连续自动化循环来执行以下步骤：接收来自所观察的系统的原始事件；监视所述原始事件并将它们转换为复杂事件；挖掘所述复杂事件并对结果进行推理；基于所述挖掘作出一组提议动作；以及通过向所述系统应用所提议动作中的一个或多个来管理所观察的系统。在各示例中，连续自动化循环进行，同时原始事件被持续从所观察的系统接收并被监视。在一些示例中，描述了包括编程语句的应用编程接口，所述编程语句允许用户实现监视-挖掘-管理循环。

Description

监视-挖掘-管理循环
背景
监视来自过程的观察的数据流并寻求使用该观察来管理该过程在许多应用领域中是有用的。例如，数据中心管理、制造过程控制、工程过程控制、存货管理、和其他的。
通常，监视基础结构、理解所做的观察以及决定如何适配该观察或相应地重新配置该观察可以是冗长而昂贵的过程。导航遍历日志文件和踪迹以执行对故障的根理由分析可能是漫长且沉闷的。即使在管理员使用工具化时，经常需要在监视领域和挖掘领域之间人工交替以传输在日志和踪迹中收集的数据，使其经历某种挖掘算法，决定如何解释该挖掘并对所观察到的结果作出反应。通常还有以下情况：基于过去监视的观察而不是系统的实际实时状态来作出管理动作。
数字时代的到来以使得大规模数据获取和在线处理成为现代系统的关键组成部分。数据流管理系统(DSMS)使得系统能够发出长期运行的连续查询，该查询实时地高效地监视和处理流。DSMS被用于宽应用范围中的数据处理，例如，算法式股票交易。
一些先前的方法已寻求执行监视、管理和离线挖掘(以此次序)的过程。监视数据以检测感兴趣的模式，所述模式被用来管理和执行业务动作。原始数据被聚集并离线存储。历史数据随后被挖掘以确定新模式(或对现有模式的修改)，该新模式被反馈回监视阶段。历时离线数据挖掘可以发现新的图表模式或现有图表模式的细化。此方法涉及一些人工步骤并且因此很缓慢。在其中共享想要对其数据进行更快洞察的世界中，此人工方法是不够的。
下面描述的实施例不限于解决监视来自过程的观察数据流的已知系统的任何或所有缺点的实现。
发明内容
下面呈现了本发明的简要概述，以便向读者提供基本理解。本概述不是本公开的穷尽概览，并且不标识本发明的关键/重要元素或描述本说明书的范围。其唯一的目的是以简化形式呈现此处所公开的精选概念，作为稍后呈现的更详细的描述的序言。
期望监视-挖掘-管理周期，例如以用于管理数据中心、制造过程、工程过程或其他过程。在各示例中，作为连续自动化循环来执行以下步骤：接收来自所观察系统的原始事件；通过将所述原始事件转换为复杂事件来监视所述原始事件；挖掘所述复杂事件并对结果做出推理；基于所述挖掘作出提议一组动作；以及通过向所观察的系统应用所述提议动作中的一个或多个动作来管理该系统。在各示例中，连续自动化循环在原始事件被连续地从所观察的系统接收并被监视的同时进行。在一些示例中，描述了应用编程接口，该应用编程接口包括允许用户实现监视-挖掘-管理循环的编程语句。通过结合附图参考以下详细描述，可易于领会并更好地理解许多附带特征。
附图简述
根据附图阅读以下具体实施方式，将更好地理解本发明，在附图中：
图1以抽象方式示出监视-管理-挖掘循环，其中各个步骤是实时或近乎实时地执行的；
图2示意性地示出必须处理一天之内可变的负载的数据中心；
图3示出被应用于图2的数据中心优化场景的监视-管理-挖掘循环。
图4解说用于实现图1-3中描述的概念的API的实体；以及
图5解说可在其中实现监视-挖掘-管理系统的实施例的示例性基于计算的设备。
在各个附图中使用相同的附图标记来指代相同的部件。
具体实施方式
下面结合附图提供的详细描述旨在作为本发明示例的描述，并不旨在表示可以构建或使用本发明示例的唯一形式。本描述阐述了本发明示例的功能，以及用于构建和操作本发明示例的步骤的序列。然而，可以通过不同的示例来实现相同或等效功能和序列。
虽然在本文中将本发明的示例描述并示出为在台式计算系统中实现，但是所描述的系统只是作为示例而非限制来提供的。本领域的技术人员将会明白，本发明示例适合在各种不同类型的计算系统中的应用。
一些实施例涉及计算机实现的方法，其中以下步骤是作为连续自动化循环执行的。从所观察的系统接收原始事件。原始事件被监视并转换为复杂事件。复杂事件被挖掘并对结果执行推理。随后基于该挖掘作出一组提议动作。通过向所观察的系统应用所提议动作来管理该系统，同时原始事件被持续从所观察的系统接收并被监视。
术语“连续自动化循环”意思是一个方法步骤的输出被自动切循环地用作下一方法步骤的输入，以此类推。
在一些实施例中，监视、挖掘和管理步骤是实时或近乎实时地(尽可能快地)执行的，以使得对一个步骤的输入是基于前一步骤的输出的，很少或没有时间延迟。
在一些实施例中，上述循环的各步骤是以事件驱动或基于事件的方式执行的。原始事件作为流被接收且通过事件流处理技术来执行从原始事件到复杂事件的转换。在一些实施例中，所有方法步骤的输入和输出(诸如挖掘事结果和挖掘输入数据等)被建模为事件。
在一些实施例中，使用数据流管理系统(DSMS)来执行该方法。DSMS是一种控制数据流中的数据的维护和查询的计算机程序。DSMS的特征是对数据流执行连续查询的能力。使用DSMS来管理数据流大体类似于使用数据库管理系统(DBMS)来管理传统数据库。传统数据库查询执行一次并返回对于给定时间点的一组结果。相反，随着新数据进入该流，连续查询随时间继续执行。连续查询的结果随着新数据的出现而被更新。
事件流处理(ESP)是被设计来辅助事件驱动的信息系统的构造的一组技术。ESP技术包括事件可视化、事件数据库、事件驱动中间件、以及事件处理语言，或复杂事件处理(CEP)。实践中，术语ESP和CEP经常互换使用。
术语(数据)“挖掘”是指尝试发现大数据集中的模式的过程。其利用在人工智能、机器学习、统计以及数据库系统的交叉点处的方法。(数据)挖掘过程的总体目标是从数据集中提取信息并将其转换为可理解的结构以供进一步使用。
在一些实施例中，微软StreamInsightTM作为数据流管理系统被用于监视。StreamInsightTM是可被用来开发和部署复杂事件处理(CEP)应用的平台。其高吞吐量流处理架构使得用户能够实现稳健而高效的事件处理应用。事件流源通常包括来自制造应用、财务交易应用、Web分析以及操作分析的数据。通过使用StreamInsightTM，可开发出CEP应用，所述CEP应用通过减小提取、分析以及相关数据的成本并且通过针对条件、机会和缺陷来近乎即时地监视、管理和挖掘数据来从此原始数据中得到商业价值。
通过使用StreamInsightTM与其他技术集成地开发CEP应用，可监视来自多个源的数据以寻找有意义的模式、趋势、例外和机会。数据可在当该数据在飞行中时——即，不首先存储该数据——被递增地分析和相关，从而产生非常低的等待时间。可从多个源聚集无缝相关的事件并随时间执行高度复杂的分析。
然而，不一定使用StreamInsightTM。可使用本文中所述的能够监视数据流的任何数据流管理系统。
上述循环包括三个主要阶段：监视、挖掘和管理(3M)系统的那些阶段。在一些实施例中，这些阶段被自动化以使得一个阶段的输出成为下一阶段的输入，从而产生连续的循环。在此循环内，监视成为挖掘技术的输入以理解一个人的系统并获得洞察以及关于其状态的推理。挖掘过程的决定作为管理过程的输入，该管理过程反应以维持系统健康且可操作。此有可能导致自愈系统，因为关于故障的观察可被用来进行相应的推理和反应。
在一些实施例中，原始事件由日志或踪迹(中的改变)来表示。在监视过程中，原始事件被转换，例如聚集，并处理以从该原始事件创建复杂事件。在其他实施例中，原始事件由个体传感器读数或用户动作(诸如web点击)来表示。
在挖掘过程中，通过应用特定技术和算法来分析监视步骤中产生的复杂事件。随后，对结果执行推理。挖掘过程的结果是与正被观察的系统有关的一组提议动作、推荐和决定。在一些实施例中，挖掘过程通过复杂处理来执行，诸如模式识别、统计分析或机器学习。
挖掘过程之后是管理过程，该管理过程接收挖掘过程的输出作为输入。管理是负责在实际系统仍旧持续被监视时向该系统应用来自前一步骤的决定或提议的过程。
在一些实施例中，管理包括执行修复、更新、备份和配置。
在一些实施例中，管理包括在服务用户请求的一组服务器中部署和移除服务器。在一些实施例中，管理师基于统计约束的。在一些实施例中，统计约束是执行所提议动作所涉及的成本。在一些实施例中，统计约束至少是所部署的服务器的最大数量、每天所花电力的最大量、部署服务器所花现金的最大量中的至少一者。
在一些实施例中，通过客户端-服务器方法执行流传输，在该方法中流传输引擎位于所观察服务器上而流传输客户端位于监视系统上。在其他实施例中，流传输引擎在云中，而事件源位于所观察的系统上。
在一些实施例中，上面描述的3M循环被用于基于这三个阶段的自动化来构建自我管理系统，其中在各阶段之间有很少延迟且有很小的反应时间。自我管理是计算机系统用以管理器其自己的操作而无需人类干预的过程。实践中，通常仍需要人类干预。因此，在一些实施例中，人类干预被最小化或使其任务对人类更容易。例如，需要人类确认或提交由系统所建议的一组改变。自我管理技术预期将遍布整个下一代网络管理系统。现代联网计算机系统的不断增长的复杂性当前是其扩展中的最大的限制。大公司计算机系统的不断增加的异构性、移动计算机设备的包括、以及不同联网技术(比如WLAN、蜂窝电话网络、以及移动自组织网络)的组合式的传统的、人工的管理非常困难、耗时、且易于出错。“自我管理”还包括以下方面：“自我配置”，指的是各组件的自动配置；“自我治愈”，指的是故障的自动发现和纠正，自动应用所有动作来使系统回归正常操作；以及“自我优化”，指的是对资源进行自动监视和控制以确保关于所定义的要求发挥最优功能。
现在希望实现如上所述的3M循环的用户必须寻求传统编程语言，传统编程语言不提供对实现上述3M循环的专门支持。然而，为了使用户更易于实现3M循环，一些实施例涉及包括允许用户实现监视-挖掘-管理循环的编程命令的应用编程接口。该应用编程接口包括以下实体：数据源实体，其使用户能够表达要被观察的监视数据源；特征提取实体，其允许用户表达要从原始数据提取的特征集合；模型应用实体，其允许用户将模型应用于从特征提取创建的复杂事件；以及动作实体，其允许用户描述对所观察基础结构的管理操作。在一些实施例中，编程语句是声明式结构。在声明式编程中，计算的逻辑被表达而不描述其控制流。应用此类型的编程语言描述该程序实现什么而不是描述如何来实现它(如何实现留给该语言的实现)。这与命令式编程不同，在命令式编程中算法按照显式的步骤来实现。
在一些实施例中，监视语句用它所监视的组件的类型作为输入。
在一些实施例中，编程语句包括将管理操作与来自特征提取的结果相关联的编程语句。
现在回到图1，其以抽象方式解说了监视-挖掘-管理循环。观察系统1并从其生成原始事件，所述原始事件随后被监视并转换成复杂事件。在挖掘过程3中将包括先验知识和目标的模型与该复杂事件进行比较，并由该挖掘过程推导出推荐、推断和决定。(例如，目标可以是SLA，其宣称系统要每秒服务1000个客户请求或者系统在操作时花费不超过X量的能量)。这些推荐、推断和决定被输入到管理元件4，该管理元件将所述推荐、推断和决定与语句约束进行比较。在所示示例中，语句约束是个体动作(诸如最终在所观察的系统上执行的修复和配置)的执行所涉及的成本。整个循环是事件驱动的，且该循环是实时或近乎实时地执行的而不是对历史数据执行的。对所观察的系统执行的动作是基于最近事件的。所述步骤被一个接一个地自动执行，而无需人工或人类干预。
图2示意性地解说了示例性客户端-服务器结果，其中多个客户端10.1-10.3向数据中心15的服务器14.1-14.5发送请求12.1–12.3，所述服务器接收请求12，处理所述请求并将响应发送回请求方客户端10。数据中心15是用于容纳服务器14和相关联组件(诸如电信(交换机、路由器等)和存储系统)的设施。其包括冗余或备份电源、冗余或备份数据通信连接、环境控制(例如，空调，火灾抑制)以及安全设备。数据中心15还包括数据中心管理系统16，在该系统上运行的应用监视数据中心15的当前负载和其他参数。数据中心管理系统16管理数据中心15并且与监视-挖掘-管理引擎19处于连接，该监视-挖掘-管理引擎提供本说明书中所述的监视、挖掘、和管理功能性。通常，数据中心15的负载在一天内随时间改变。例如，负载在晚上期间比在白天期间小。存在具有更多请求(增加的负载)的峰值时间和具有更少负载(更小负载)的时间。在峰值时间期间，需要附加服务器14.6,14.7来在增加负载下满足服务水平协议。每个服务器14具有与之相关联的成本。因为负载在一天内变化且可用于处理请求的服务器14的数量也变化，所以客户端请求的队列也是可变的。
图3示出如何向图2中描述的数据中心场景应用监视-挖掘-管理循环。利用所述3M循环，尝试在一天的时间上优化根据某个服务水平协议(SLA)所部署的服务器14的数量，所述SLA定义了提供的服务质量。SLA是服务合同的一部分，所述服务合同正式地定义了服务的水平。实践中，术语SLA有时被用来指代合同规定的(服务或性能的)递送时间。数据中心服务提供方通常将在其与客户的合同的条款内包括服务水平协议来以普通语言术语定义出售的服务的水平。在此情况下，SLA通常将具有按照故障间平均时间(MTBF)、平均修复时间或平均恢复时间(MTTR)；各种数据速率；吞吐量；抖动；或类似可测量细节的技术定义。在本示例中，客户端和数据中心提供方之间的SLA定义了如果在所有时间每个客户端10均在1秒内被服务是否满足该协议。
在本示例中，所观察的系统20是具有服务器14的数据中心15，云计算应用在该服务器上运行。云计算应用可以是任何适当类型的。所观察的系统20所接收的客户端请求被监视。在所示示例中，原始事件是队列的大小，更精确而言是队列大小随时间的波动。复杂事件是在时间上的平均值，在所示示例中是在10分钟的时段上的平均值。执行挖掘过程24，其中使用贝叶斯模型，贝叶斯模型在个定平均值以及一天中的时间的情况下预测队列大小。该模型使用先验知识(诸如历史/经验数据以及来自监视过程24的输入)来预测队列大小将如何波动。同时将要求在1秒内服务所有客户端的SLA纳入考虑。挖掘过程24输出关于在任何一个时间要部署的服务器的数量的推荐以便满足SLA。该推荐被传递至管理过程26，该管理过程与所观察的系统20交互并根据它接收到的推荐来部署或移除服务器，同时监视过程22继续监视队列大小。此连续循环确保了满足SLA且优化成本。监视过程22和管理过程26封装与向其应用该循环的所观察的系统交互的那些组件，同时挖掘过程24正在执行分析。取决于场景，挖掘可以更智能且更复杂。类似机器学习、模式识别和统计等算法可起主要作用，而约束推理(用于作出关于什么将发生的关键决定并自动化管理过程)也可以是挖掘过程的一部分。
参考图2和3描述的循环是事件驱动的，且各阶段一个接一个地直接执行，以使得对该系统执行的动作是基于仅非常新近发生的事件的。
图2和3中呈现的循环可被认为是复杂事件处理、建模工具和管理基础结构的集成。监视可由诸如ReactiveFrameworkTM以及StreamInsightTM或允许复杂事件处理的任何其他监视应用等应用来执行。挖掘应用24可以使用诸如SolverFoundationTM和DMXTM或任何其他挖掘应用来实现。管理应用26可以使用诸如OrchestratorTM、BizTalkTM、HydrationTM、WorkflowfoundationTM或任何其他管理应用来实现。
图4示意性地解说了应用编程接口30及其实体，其使得用户能够以统一方式对参考图1-3描述的概念进行高效编程。该API包含声明性语言构造(编程语句、编程命令、编程接口声明)以开发和执行监视-挖掘-管理循环。
API30包含数据源实体31，该数据源实体使得用户能够表达所述监视是要观察的什么源。换言之，该实体允许用户指定原始事件来自何处以及被应用于所述原始事件的任何初始处理。
API30还包含特征提取实体32。API30提供声明性元素以允许用户表达要从来自数据源的原始数据提取的特征集。
而且，API30包含模型应用实体33，该模型应用实体提供声明性元素以允许用户将模型应用于从早先过滤过程(特征提取)创建的复杂事件数据。
最终，API30包含动作/操作实体34，该动作/操作实体(基于前一步骤的结果)描述对所观察基础结构的管理操作。该管理基础结构能够协调所接收的决定/推荐。
下面的代码样本是用于实现如图2和3中所示的数据中心优化实施例中的监视-管理-挖掘循环的解说性代码行。
1.监视
监视语句以其监视的组件的类型作为输入(在此情况下是队列信息)。以下是使用StreamInsightTM的声明性监视语句：
MonitoringStatement<ClientQueueInformation>monitoringStatement＝newMonitoringStatement<ClientQueueInformation>(
(rawEvents)＝>fromeinrawEvents.HoppingWindow(
TimeSpan.FromMinutes(60),
TimeSpan.FromMinutes(60))
selecte.MyAggregationOperator())；
上述代码行用类型ClientQueueInformation(客户端队列信息)初始化监视步骤。在内部在此代码行之后，StreamInsightTM将部署该查询，即，开始观察(经由被称为观察者的特定对象)来自该队列的事件并初始化类型ClientQueueInformation的所有相关输入/输出网络适配器。它还获得每小时时间窗内的所有事件并应用某种聚集。假定StreamInsightTM将准备好部署并在运行。以上语句设置监视方面。
2.挖掘
下一代码行分析来自客户端队列的原始信息片段。
vardecision＝fromeinmonitoringStatement.Stream
selecte.RunInferModel(InferenceModel,SLA))；
来自监视状态的聚集事件被获取作为输入并被发送至推断模型，该推断模型还以贝叶斯模型(其预测客户端请求波动)和捕捉SLA的对象作为输入。行"selecte.RunInferFromModel(InferenceModel,SLA)"是挖掘发生的地方。此行的输出是部署/移除决定。基于此决定，服务器部署将在该系统上被管理。可包括对传入事件流执行复杂处理的进一步算法。
上述代码行的输出是决定流，所述决定流(在此模型中)表示推断模型关于服务器的部署和移除所做的决定。
3.管理
最终，反应或管理部分可被表达为下面的行：
ManagementOperationmanagementOperation1＝newManagementOperation("ServerDeployment",typeof(DeployServerOperation))；
ManagementOperationmanagementOperation2＝newManagementOperation("ServerRemoval",typeof(RemoveServerOperation))；
typeof(RemoveServerOperation)和typeof(DeployServerOperation)参数捕捉执行的实际代码。该代码与数据中心配置管理器16交互，并代表3M引擎19执行实际管理操作。
managementOperation1.TriggeredBy(fromeindecision.Stream
wheree.decision＝＝"Deploy"selecte)；
managementOperation2.TriggeredBy(fromeindecision.Stream
wheree.decision＝＝"Remove"selecte)；
这最后两行将管理操作与从挖掘过程的评估期望的特定结果链接起来。所以，当决定为“部署”时managementOperation1被触发，而当决定为“移除”时managementOperation2被触发。
以上行集合可被用来使用声明性语言方法基于事件处理、挖掘和管理操作来创建监视-挖掘-管理循环。可添加作为监视语句的一部分被触发的更多管理操作或可添加监视语句。
作为替换或补充，本文所述的功能可至少部分地由一个或多个硬件逻辑组件来执行。例如，但非限制，可被使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、程序专用的集成电路(ASIC)、程序专用的标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)，图形处理单元。
图5解说可以被实现为任何形式的计算和/或电子设备，并且其中可以实现监视-挖掘-管理系统的实施例的示例性基于计算的设备500的各组件。
基于计算的设备500包括一个或多个处理器502，所述处理器可以是微处理器、控制器或任何其他适当类型的处理器，以用于处理计算机可执行指令以控制该设备的操作，以便监视从另一实体观察到的观察数据流、从所述观察挖掘信息、以及使用所挖掘的信息来管理其他实体。在一些示例中，例如在使用片上系统架构的示例中，处理器502可以包括一个或多个固定功能块(亦称加速器)，这些块以硬件(而非软件或固件)来实现监视-挖掘-管理方法的一部分。包括操作系统504或任何其他适当平台的平台软件可在基于计算的设备处提供。提供监视-挖掘-管理引擎508，该引擎能够实现如本文所述的监视-挖掘-管理循环。提供数据存储510，该数据存储可存储来自数据流的观察、所挖掘的模式以及来自该数据流的其他复杂事件信息、管理指令、服务水平协议、用户可配置参数、其他参数、或其他信息。
可以使用可由基于计算的设备500访问的任何计算机可读介质来提供计算机可执行指令。计算机可读介质可以包括例如诸如存储器500等计算机存储介质和通信介质。诸如存储器512等计算机存储介质包括以用于存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EPROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者可用于存储信息以供计算设备访问的任何其他非传输介质。相反，通信介质可以以诸如载波或其他传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或者其他数据。如本文所定义的，计算机存储介质不包括通信介质。因此，计算机存储介质不应被解释为本质上是传播信号。传播信号可存在于计算机存储介质中，但是传播信号本身不是计算机存储介质的示例。虽然在基于计算的设备500中示出了计算机存储介质(存储器512)，然而应当理解，该存储可以是分布式的或位于远处并经由网络或其他通信链路(例如，使用通信接口514)来访问。
基于计算的设备500还包括输入/输出控制器516，该输入/输出控制器被布置成向显示设备518输出显示信息，该显示设备可与基于计算的设备500分开或集成。该显示信息可以提供图形用户界面。输入/输出控制器516还被安排成接收并处理来自一个或多个设备的输入，如用户输入设备520(例如，鼠标、键盘、相机、话筒、或其他传感器)。在一些示例中，用户输入设备520可以检测语音输入、用户姿势或其他用户动作，并且可以提供自然用户界面(NUI)。该用户输入可被用来控制监视-挖掘-管理引擎，以设置参数值、查看结果、输入服务水平协议以及用于其他目的。在一实施例中，如果显示设备518是触敏显示设备，那么它还可担当用户输入设备520。输入/输出控制器516还可向除显示设备之外的设备输出数据，例如，本地连接的打印设备。
输入/输出控制器516、显示设备518以及可任选地用户输入设备520可包括使用户能够按自然的、免受诸如鼠标、键盘、遥控器等输入设备所施加的人工约束的方式与基于计算的设备交互的NUI技术。可以提供的NUI技术的示例包括但不限于依赖于语音和/或话音识别、触摸和/或指示笔识别(触敏显示器)、屏幕上和屏幕附近的姿势识别、空中姿势、头部和眼睛跟踪、语音和话音、视觉、触摸、姿势、以及机器智能的那些技术。可被使用NUI技术的其他示例包括意图和目的理解系统，使用深度相机(如立体相机系统、红外相机系统、rgb相机系统、以及这些的组合)的运动姿势检测系统，使用加速度计/陀螺仪的运动姿势检测，面部识别，3D显示，头部、眼睛和注视跟踪，沉浸式增强现实和虚拟现实系统，以及用于使用电场传感电极(EEG和相关方法)的感测大脑活动的技术。
此处所使用的术语“计算机”或“基于计算的设备”是指带有处理能力以便它可以执行指令的任何设备。本领域技术人员可以理解，这样的处理能力被结合到许多不同设备，并且因此术语每个“计算机”和“基于计算的设备”包括个人电脑、服务器、移动电话(包括智能电话)、平板电脑、机顶盒、媒体播放器、游戏控制台、个人数字助理和许多其它设备。
本文描述的方法可由有形存储介质上的机器可读形式的软件来执行，例如计算机程序的形式，该计算机程序包括在该程序在计算机上运行时适用于执行本文描述的任何方法的所有步骤的计算机程序代码装置并且其中该计算机程序可被包括在计算机可读介质上。有形存储介质的示例包括计算机存储设备，计算机存储设备包括计算机可读介质，诸如盘(disk)、拇指型驱动器、存储器等而不包括所传播的信号。传播信号可存在于有形存储介质中，但是传播信号本身不是有形存储介质的示例。软件可适于在并行处理器或串行处理器上执行以使得各方法步骤可以按任何合适的次序或同时执行。
这承认，软件可以是有价值的，单独地可交换的商品。它旨在包含运行于或者控制“哑”或标准硬件以实现所需功能的软件。它还旨在包含例如用于设计硅芯片，或者用于配置通用可编程芯片的HDL(硬件描述语言)软件等“描述”或者定义硬件配置以实现期望功能的软件。
本领域技术人员会认识到，用于存储程序指令的存储设备可分布在网络上。例如，远程计算机可以存储被描述为软件的进程的示例。本地或终端计算机可以访问远程计算机并下载软件的一部分或全部以运行程序。可另选地，本地计算机可以根据需要下载软件的片段，或在本地终端上执行一些软件指令，并在远程计算机(或计算机网络)上执行另一些软件指令。本领域的技术人员还将认识到，通过利用本领域的技术人员已知的传统技术，软件指令的全部，或一部分可以通过诸如DSP、可编程逻辑阵列等等之类的专用电路来实现。
对精通本技术的人显而易见的是，此处给出的任何范围或设备值可以被扩展或改变，而不会丢失寻求的效果。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。
可以理解，上文所描述的优点可以涉及一个实施例或可以涉及多个实施例。各实施例不仅限于解决任何或全部所陈述的问题的那些实施例或具有任何或全部所陈述的优点那些实施例。进一步可以理解，对“一个”项目的引用是指那些项目中的一个或多个。
此处所描述的方法的步骤可以在适当的情况下以任何合适的顺序，或同时实现。另外，在不偏离此处所描述的主题的精神和范围的情况下，可以从任何一个方法中删除各单独的框。上文所描述的任何示例的各方面可以与所描述的其他示例中的任何示例的各方面相结合，以构成进一步的示例，而不会丢失寻求的效果。
此处使用了术语“包括”旨在包括已标识的方法的框或元件，但是这样的框或元件不包括排它性的列表，方法或设备可以包含额外的框或元件。
可以理解，上面的描述只是作为示例给出并且本领域的技术人员可以做出各种修改。以上说明、示例和数据提供了对各示例性实施例的结构和使用的全面描述。虽然上文以一定的详细度或参考一个或多个单独实施例描述了各实施例，但是，在不偏离本说明书的精神或范围的情况下，本领域的技术人员可以对所公开的实施例作出很多更改。

Claims (10)

1.一种计算机实现的方法，其中作为连续的自动化循环来执行以下步骤：
接收来自所观察的系统的原始事件；
监视所述原始事件并将所述原始事件转换为复杂事件；
挖掘所述复杂事件并对结果进行推理；
基于所述挖掘作出一组提议动作；以及
通过向所述系统应用所述提议动作来管理所观察的系统，同时原始数据被持续地从所观察的系统接收并被监视。
2.如权利要求1所述的方法，其特征在于，所述监视、挖掘和管理步骤是实时或近乎实时地执行的，且对一步骤的输入是基于前一步骤的输出的，很少时间延迟或没有时间延迟。
3.如权利要求1或2所述的方法，其特征在于，所述原始事件是作为流接收的，且从原始事件到复杂事件的转换是由事件流处理技术执行的。
4.如前述权利要求中任一项所述的方法，其特征在于，从原始事件到复杂事件的所述转换包括所述原始事件的聚集和处理。
5.如前述权利要求中任一项所述的方法，其特征在于，所述挖掘包括执行统计分析、模式识别和机器学习中的至少一者。
6.如前述权利要求中任一项所述的方法，其特征在于，所述原始事件是用户请求队列的长度的改变，而所述挖掘包括使用贝叶斯模型来估计所述队列的长度。
7.如权利要求6所述的方法，其特征在于，所述挖掘进一步包括接收服务水平协议并包括预测所述服务水平协议是否将被满足。
8.如前述权利要求中任一项所述的方法，其特征在于，基于所述挖掘的所提议的动作被表示为流。
9.一种监视-挖掘-管理引擎，包括：
通信接口，所述通信接口被安排成接收来自所观察的系统的原始事件；
处理器，所述处理器被配置成通过将所述原始事件转换为复杂事件来监视所述原始事件；
所述处理器被安排成挖掘所述复杂事件并对结果进行推理；
所述处理器被安排成基于所述挖掘作出一组提议动作，以及
通过向所述系统应用所述提议动作来管理所述所观察的系统，同时原始事件被持续从所述所观察的系统接收并被监视，其中所述引擎被安排成实时或近乎实时地执行所述监视、挖掘和管理步骤，并且对一步骤的输入基于前一步骤的输出，有很少或没有时间延迟。
10.一种应用编程接口，所述应用编程接口包括编程语句，所述编程语句允许用户实现监视-挖掘-管理循环，所述应用编程接口包括以下实体：
数据源实体，所述数据源实体使得所述用户能够表达要被观察的监视数据的源；
特征提取实体，所述特征提取实体允许用户表达要从原始数据提取的一组特征；
模型应用实体，所述模型应用实体允许用户将模型应用到从所述特征提取中创建的复杂事件；以及
动作实体，所述动作实体允许用户描述对所观察的基础结构的管理操作。
CN201480003990.2A 2013-01-05 2014-01-03 用于监视-挖掘-管理循环的方法和系统 Active CN105051718B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/734,961 US10095978B2 (en) 2013-01-05 2013-01-05 Monitor-mine-manage cycle
US13/734,961 2013-01-05
PCT/US2014/010120 WO2014107547A2 (en) 2013-01-05 2014-01-03 Monitor-mine-manage cycle

Publications (2)

Publication Number Publication Date
CN105051718A true CN105051718A (zh) 2015-11-11
CN105051718B CN105051718B (zh) 2018-08-28

Family

ID=50031539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480003990.2A Active CN105051718B (zh) 2013-01-05 2014-01-03 用于监视-挖掘-管理循环的方法和系统

Country Status (5)

Country Link
US (2) US10095978B2 (zh)
EP (1) EP2941718B1 (zh)
CN (1) CN105051718B (zh)
BR (1) BR112015015946A2 (zh)
WO (1) WO2014107547A2 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10755242B2 (en) * 2016-09-23 2020-08-25 Intel Corporation Bitcoin mining hardware accelerator with optimized message digest and message scheduler datapath
CN110401553B (zh) * 2018-04-25 2022-06-03 阿里巴巴集团控股有限公司 服务器配置的方法和装置
CN114882611A (zh) * 2022-04-26 2022-08-09 湖南柿竹园有色金属有限责任公司 基于控制系统实现设备维护的数据推送方法
CN115688053B (zh) * 2022-12-30 2023-08-11 速度科技股份有限公司 一种基于数据融合矿山环境动态监测管理方法及系统
CN116450381B (zh) * 2023-06-15 2023-09-08 蔚来汽车科技(安徽)有限公司 复杂事件处理方法、电子设备、存储介质及车辆

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070220063A1 (en) * 2005-12-30 2007-09-20 O'farrell William J Event data translation system
US20090164443A1 (en) * 2007-12-19 2009-06-25 Ramos Jo A Database performance mining
CN102141919A (zh) * 2010-01-28 2011-08-03 北京邮电大学 模块化java应用软件在线更新系统及方法
US20120030160A1 (en) * 2010-07-27 2012-02-02 Oracle International Corporation Method and system for providing decision making based on sense and respond

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6690645B1 (en) * 1999-12-06 2004-02-10 Nortel Networks Limited Method and apparatus for active queue management based on desired queue occupancy
US7426267B1 (en) * 2003-09-04 2008-09-16 Contactual, Inc. Declarative ACD routing with service level optimization
US20060168107A1 (en) * 2004-03-16 2006-07-27 Balan Rajesh K Generalized on-demand service architecture for interactive applications
US8639796B2 (en) 2004-12-16 2014-01-28 Hewlett-Packard Development Company, L.P. Monitoring the performance of a streaming media server using server-side and client-side measurements
US7567975B2 (en) 2005-03-16 2009-07-28 Oracle International Corporation Incremental evaluation of complex event-condition-action rules in a database system
US20060229923A1 (en) 2005-03-30 2006-10-12 International Business Machines Corporation Definition of workflow patterns using complex event processing
US7644148B2 (en) * 2005-05-16 2010-01-05 Hewlett-Packard Development Company, L.P. Historical data based workload allocation
TWI337715B (en) 2006-11-08 2011-02-21 Inst Information Industry Method and system for complex event processing
CN101075917B (zh) * 2007-07-16 2010-08-25 华为技术有限公司 一种预测网络攻击行为的方法及装置
US8078556B2 (en) * 2008-02-20 2011-12-13 International Business Machines Corporation Generating complex event processing rules utilizing machine learning from multiple events
US8185488B2 (en) 2008-04-17 2012-05-22 Emc Corporation System and method for correlating events in a pluggable correlation architecture
US7818370B2 (en) 2008-05-20 2010-10-19 Bea Systems, Inc. Event server using clustering
US9185020B2 (en) * 2009-04-30 2015-11-10 Reservoir Labs, Inc. System, apparatus and methods to implement high-speed network analyzers
US8321450B2 (en) 2009-07-21 2012-11-27 Oracle International Corporation Standardized database connectivity support for an event processing server in an embedded context
US20110078303A1 (en) * 2009-09-30 2011-03-31 Alcatel-Lucent Usa Inc. Dynamic load balancing and scaling of allocated cloud resources in an enterprise network
US20110239229A1 (en) 2010-03-26 2011-09-29 Microsoft Corporation Predicative and persistent event streams
US9112733B2 (en) 2010-11-22 2015-08-18 International Business Machines Corporation Managing service level agreements using statistical process control in a networked computing environment
US8381218B2 (en) 2010-11-30 2013-02-19 Microsoft Corporation Managing groups of computing entities
US9317341B2 (en) 2011-05-24 2016-04-19 Microsoft Technology Licensing, Llc. Dynamic attribute resolution for orchestrated management
US8909785B2 (en) * 2011-08-08 2014-12-09 International Business Machines Corporation Smart cloud workload balancer
US9225772B2 (en) * 2011-09-26 2015-12-29 Knoa Software, Inc. Method, system and program product for allocation and/or prioritization of electronic resources
US9349103B2 (en) * 2012-01-09 2016-05-24 DecisionQ Corporation Application of machine learned Bayesian networks to detection of anomalies in complex systems
US9015530B2 (en) * 2012-06-26 2015-04-21 Phani Chiruvolu Reliably testing virtual machine failover using differencing disks
US10324773B2 (en) * 2015-09-17 2019-06-18 Salesforce.Com, Inc. Processing events generated by internet of things (IoT)

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070220063A1 (en) * 2005-12-30 2007-09-20 O'farrell William J Event data translation system
US20090164443A1 (en) * 2007-12-19 2009-06-25 Ramos Jo A Database performance mining
CN102141919A (zh) * 2010-01-28 2011-08-03 北京邮电大学 模块化java应用软件在线更新系统及方法
US20120030160A1 (en) * 2010-07-27 2012-02-02 Oracle International Corporation Method and system for providing decision making based on sense and respond

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIAOHUI GU，ET AL.: "Online Anomaly Prediction for Robust Cluster Systems", 《IEEE INTERNATIONAL CONFERENCE ON DATA ENGINEERING》 *

Also Published As

Publication number Publication date
US20190034806A1 (en) 2019-01-31
US10095978B2 (en) 2018-10-09
EP2941718B1 (en) 2020-07-15
EP2941718A2 (en) 2015-11-11
WO2014107547A3 (en) 2014-09-12
BR112015015946A2 (pt) 2017-07-11
CN105051718B (zh) 2018-08-28
US20140195465A1 (en) 2014-07-10
EP2941718A4 (en) 2017-04-05
WO2014107547A2 (en) 2014-07-10
US11080159B2 (en) 2021-08-03

Similar Documents

Publication Publication Date Title
Pan et al. A BIM-data mining integrated digital twin framework for advanced project management
CN111562769B (zh) 用于工业数字孪生的ai扩展和智能模型验证
US20190370671A1 (en) System and method for cognitive engineering technology for automation and control of systems
Li et al. A new methodology to support group decision-making for IoT-based emergency response systems
EP3495951B1 (en) Hybrid cloud migration delay risk prediction engine
US20200090085A1 (en) Digital twin graph
US11080159B2 (en) Monitor-mine-manage cycle
CN104035392A (zh) 在过程控制系统中的大数据
CN109214704A (zh) 一种分布式智能化运维平台、方法、装置及可读存储介质
US20180276508A1 (en) Automated visual information context and meaning comprehension system
EP3920042A1 (en) Hybrid cloud integration deployment and management
CN103581339A (zh) 基于云计算的存储资源分配监控处理方法
CN114297935A (zh) 基于数字孪生的机场航站楼离港优化运行仿真系统及方法
CN116614385A (zh) 基于数字孪生的业务调度路径规划方法、装置和设备
Edson Creating the internet of your things
CN110300002A (zh) 一种可视化的分布式运维方法及装置
Ma et al. An ontology-based data-model coupling approach for digital twin
Raj et al. Expounding the edge/fog computing infrastructures for data science
CA3013582A1 (en) Strategic improvisation design for adaptive resilience
CN114693131A (zh) 配件机器人的故障处理方法及装置
Alam et al. Internet of things (IoT) as key enabler for efficient business processes
Mishra et al. Adoption of Sustainable Digital Technologies in Industry 4.0
CN109657958A (zh) 数字化信息系统的建模方法及数字化信息系统
Wang et al. Multi-Tier Computing-Enabled Digital Twin in 6G Networks
US20230128173A1 (en) Modularized digital twin creation for physical infrastructure of computing environment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant