CN107004185A - 用于数据流促动的控制的管线生成 - Google Patents
用于数据流促动的控制的管线生成 Download PDFInfo
- Publication number
- CN107004185A CN107004185A CN201580069039.1A CN201580069039A CN107004185A CN 107004185 A CN107004185 A CN 107004185A CN 201580069039 A CN201580069039 A CN 201580069039A CN 107004185 A CN107004185 A CN 107004185A
- Authority
- CN
- China
- Prior art keywords
- data
- pipeline
- pipeline configuration
- data stream
- configuration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 229910001369 Brass Inorganic materials 0.000 claims abstract description 52
- 239000010951 brass Substances 0.000 claims abstract description 52
- 230000009897 systematic effect Effects 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 50
- 238000004458 analytical method Methods 0.000 claims description 30
- 238000004891 communication Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 18
- 238000007405 data analysis Methods 0.000 description 19
- 238000003860 storage Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 10
- 238000013461 design Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000033228 biological regulation Effects 0.000 description 5
- 230000000644 propagated effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000008713 feedback mechanism Effects 0.000 description 3
- 230000002688 persistence Effects 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 241001269238 Data Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001932 seasonal effect Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000000528 statistical test Methods 0.000 description 2
- TVEXGJYMHHTVKP-UHFFFAOYSA-N 6-oxabicyclo[3.2.1]oct-3-en-7-one Chemical compound C1C2C(=O)OC1C=CC2 TVEXGJYMHHTVKP-UHFFFAOYSA-N 0.000 description 1
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 238000009415 formwork Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000009394 selective breeding Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/085—Retrieval of network configuration; Tracking network configuration history
- H04L41/0853—Retrieval of network configuration; Tracking network configuration history by actively collecting configuration information or by backing up configuration information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0876—Aspects of the degree of configuration automation
- H04L41/0883—Semiautomatic configuration, e.g. proposals from system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
- H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Automation & Control Theory (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Human Computer Interaction (AREA)
- Environmental & Geological Engineering (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
描述了一种控制系统，所述控制系统接收从一个系统观测到的加有时间标记的传感器数据的实况数据流。所述控制系统访问来自实况数据流的加有时间标记的传感器数据的存储库。生成用于分析实况数据流的多种管线配置。每一种管线配置包括用于分析数据的多个组件、所述组件的顺序以及每一个组件的一项或更多项参数的值。通过把管线配置应用于来自存储库的数据而对所述管线配置进行评估。基本事实选择器被配置成接收包括基本事实数据的用户输入，所述基本事实数据是来自所述加有时间标记的传感器数据的存储库的加有标签的数据项目。使用基本事实数据对管线配置进行重新评估，以便选择管线配置之一。使用在实况数据流上执行的所选择的管线配置之一的输出来实现控制。
Description
背景技术
可以对通过经验从计算网络、制造系统、电信网络以及其他装置观测到的传感器数据的实况数据流进行分析，以便促进对于这些系统的管理和控制。通常来说，所述分析涉及使用组件（比如统计计算组件、分类组件以及其他组件）的管线对传感器数据进行处理。针对特定应用域设计和配置所述管线的任务要求一个人的团队（比如数据科学家、机器学习工程师以及其他人）的专业知识。由于在应用域专家与数据科学家之间一般需要几次反复，因此这是耗时的、复杂的并且成本高昂。在这一来回过程期间，来自实况流传感器数据分析的输出可能是不适当、错误或者不准确的，并且这进而对电信网络、制造系统等等的控制造成损害。
后面描述的实施例不限于解决用于使用数据流分析进行控制的已知管线生成过程的任何或所有缺点的实现方式。
发明内容
以下内容呈现了本公开的简化概要以便为读者提供基本的理解。本概要不意图标识出所要求保护的主题的关键特征或必要特征，也不意图被用来限制所要求保护的主题的范围。其唯一目的是以简化形式呈现本文所公开的概念的选择，以作为稍后呈现的更加详细的描述的前导。
描述了一种具有通信接口的控制系统，所述通信接口接收从将被控制的系统观测到的加有时间标记的传感器数据的实况数据流。所述控制系统具有：被配置成访问来自实况数据流的加有时间标记的传感器数据的存储库的上传器；以及被配置成生成用于分析实况数据流（或者从实况数据流保留的数据）的多种管线配置的配置管理器。每一种管线配置包括用于分析数据的多个组件、所述组件的顺序以及（如果可适用的话）每一个组件的一项或更多项参数的值。所述配置管理器被配置成通过把管线配置应用于来自存储库的数据而对所述管线配置进行评估。基本事实（ground truth）选择器被配置成接收包括基本事实数据的用户输入，所述基本事实数据是来自所述加有时间标记的传感器数据的存储库的加有标签的数据项目或者是所选时间间隔内的加有标签的数据项目群组。所述配置管理器被配置成使用基本事实数据对管线配置进行重新评估并且基于所述重新评估来选择管线配置之一，从而使得可以使用在实况数据流上执行的管线配置中的所选择的管线配置的输出来控制所述将被控制的系统。
在一些示例中，在处理实况数据流的管线的节点处自动实施所选择的管线配置，以便促动对于从中观测到实况数据流的系统的控制，例如控制在线邮箱的供应、控制电信网络、控制无线局域网、控制云服务的节点。
因为许多伴随的特征通过参考结合附图考虑的以下详细描述而变得更好理解，所以它们将更容易被认识到。
附图说明
通过根据附图阅读以下详细描述，将会更好地理解本描述，其中：
图1是在电子邮件服务器控制系统中与分析计算节点部署在一起的管线生成器的示意图；
图2是图1的管线生成器处的一种方法的流程图；
图3是管线生成器处的另一种方法的流程图；
图4是示出由用户录入基本事实数据的图形用户界面的示意图；
图5是管线生成阶段期间的更加详细的管线生成器的示意图；
图6是操作化（operationalization）之后的图5的管线生成器的示意图；
图7是管线生成器处的另一种方法的流程图；
图8图示出了可以在其中实施管线生成器的实施例的示例性的基于计算的设备。
相同的附图标记被用来在附图中标示相同的部分。
具体实施方式
后面结合附图提供的详细描述意图作为本示例的描述，而不意图表示可以构造或利用本示例的仅有的形式。本描述阐述了所述示例的功能以及用于构造和操作所述示例的步骤序列。但是通过不同的示例可以实现相同或等效的功能和序列。
虽然在本文中将本示例描述并且图示成实施在电子邮件服务器控制系统中，但是提供所描述的系统是作为示例而非限制。本领域技术人员将认识到，本示例适合于应用在各种不同类型的控制系统中，比如医学设备控制系统、机器人系统、电信网络控制系统、计算机网络安全系统。
本发明人已经发现，可能自动化用以控制电子邮件服务器（或其他系统）的实况数据流分析管线的设计和操作化。通过自动化设计，可能实现准确的高性能控制，而不需要专业的机器学习工程师和数据科学家。人为错误的可能性被去除，从而使得所得到的分析管线非常适合于应用域，被发现比其他情况更加快速，并且给出更加准确和高效的控制。附加地，通过向电子邮件服务器或其他系统发送命令可以自动实施设计。在一些示例中，自动化的设计和操作化动态地即时（on-the-fly）发生，从而即使正被控制的装备改变，也连续地改进性能。数据分析管线是连接在一起的一个或更多数据处理组件。在一些示例中，所述组件被串联连接，从而使得管线中的早前组件的输出被用作管线的紧接的后续组件的输入。数据分析管线把传感器数据的时间系列当作输入，所述时间系列是数字（numerical）或类别（categorical）值的加有时间标记的流，所述值可以是历史的或实况的。数据分析管线对传感器数据的时间系列进行处理，这是通过从数据提取出特征以及例如识别出预期之外的数据的间隔或者数据中的模式。
图1是在电子邮件服务器114控制系统112中与数据分析节点120部署在一起的管线生成器100的示意图。多个电子邮件服务器114由控制系统112控制，控制系统112能够智能地平衡在电子邮件服务器114之间的负荷（考虑到比如可用容量、通信链路的容量、电子邮件账户的特性之类的多个因素），例如对于邮箱供应设定电子邮件服务器的配置参数，并且在一些示例中配置如何互连电子邮件服务器。控制系统112从传感器110接收数据，传感器110可以位于电子邮件服务器114处或者可以远离电子邮件服务器114。所述传感器监测电子邮件服务器的可用容量、电子邮件服务器的吞吐量、误差量度（error metric）以及其他性能数据。在一些示例中，所述传感器监测通信量水平或者电子邮件服务器的通信链路的其他容量指标。
控制系统112包括用以允许其基于未经处理的传感器数据来控制电子邮件服务器114的规则、标准或阈值。附加地或替换地，控制系统112从实施在一个或更多数据分析节点120中的数据分析管线的告警组件122和/或控制组件124接收指令。所述数据分析节点是实施由管线的各个组件规定的计算的计算节点。对于涉及巨大量实时数据的web规模部署，计算可以被分布在多个计算节点上。在一些示例中，数据分析节点120是数据中心的节点。
来自传感器110的数据被输入到在数据分析节点120处的数据分析管线。例如，来自传感器110的数据通过负荷平衡器116和数据摄取节点118被输入到管线。通过考虑数据摄取节点的可用容量和其他因素，负荷平衡器116在多个数据摄取节点118之间分配传感器数据。数据摄取节点118对传感器数据进行预处理，以便例如把传感器数据转换成兼容的测量单元、把传感器数据转换成兼容的小数位的数目、去除噪声、重新格式化数据、对准传感器数据的时间标记数值。
在一些示例中，计算机实施的数据存留组件108把从传感器110流送的传感器数据110中的一些传感器数据拷贝到数据存储库106。可以在规定的时间间隔内随机选择或者通过其他方式选择将要拷贝的数据。所述数据存储库可由管线生成器100访问。
管线的输出包括从输入数据流计算的更高水平的数字值或类别值的输出流。所述输出流由告警组件122用来触发针对操作员的告警（比如视觉或可听告警）或者发送到控制系统112的错误消息。所述输出流由控制组件124用来生成将要发送到控制系统112的指令以便控制电子邮件服务器。
管线生成器能够访问模板和组件的库104。模板包括多个处理步骤、用于每一个处理步骤的可能组件的列表、处理步骤之间的连接（数据流程）、每个组件的参数列表以及每项参数的值范围或可能值。
组件是用在计算加有时间标记的数据的一项或更多项特征的数据分析管线中的数据处理组件。组件可以被参数化，这是因为其把一项或更多项参数的值当作输入。所述参数例如有窗口尺寸、随机地还是按照规定方式取得样本、将要计算的平均值是哪种类型或者其他参数。组件的一个非穷举示例列表是：移动平均值计算组件、计算时间系列的规定窗口中的数字值的导数的组件、检测时间系列的季节性特征（比如根据一天当中的时间、一个月当中的日期特征的预期变量值）的组件、保持时间系列值的分布的组件、针对随着时间保持的时间系列的分布实施当前读数的统计测试的组件、包括信号处理滤波器（比如低通或高通滤波器）的组件、回归量组件（regressor component）、线性预测器组件、自回归模型组件、分类器、用于降维的组件。
管线生成器包括被配置成从人类操作员接收基本事实数据的用户反馈机制102。基本事实数据包括由人类操作员为来自数据存储库106的一个或更多数据项目或者为数据存储库106中的加有时间标记的数据的一定时间间隔内的多个接连的数据项目所指派的标签（或其他值）。所述标签（或其他值）例如表明加有标签的数据是否属于特定类别（比如异常或正常）。在贝叶斯方法的情况下，基本事实数据包括针对表示数据的随机变量的状态的概率值。为了便于由人类操作员输入基本事实标签或其他值，所述用户反馈机制可以生成来自数据存储库106的数据中的至少一些数据的图形显示，其中叠加有通过由管线生成器生成的管线从数据存储库106的数据计算的输出。管线生成器可以接收按照注释形式的基本事实数据，所述注释针对在显示器上以图形方式示出的来自数据存储库的数据。例如通过点击和拖曳来选择值的范围，或者通过点击以选择单独的点。
管线生成器100是完全自动化的。其使用模板和组件库104以及关于各个组件的参数值的规则、阈值或约束来生成许多可能的管线。管线生成器使用来自数据存储库106的数据对可能的管线进行评估，并且可选地使用来自用户反馈机制102的基本事实数据。例如，可以在等待用户反馈时计算初始评估，并且在用户反馈变为可用时重新计算评估。在一些示例中，管线生成器对可能的管线进行排序。管线生成器使用评估结果选择可能的管线中的至少一条管线。
管线生成器向数据分析节点120发送命令，以便在所述数据分析节点中的一个或更多数据分析节点处实例化所选择的管线。一旦被实例化，所选择的管线就在所述数据分析节点中的一个或更多数据分析节点处变为可操作，并且对于电子邮件服务器114或其他装置的控制被改进。这可以在数据分析节点的实况操作期间进行，从而避免对于电子邮件服务器114（或者取决于应用域的其他实体）的控制的中断。
图2是图1的管线生成器100处的一种方法的流程图。管线生成器访问分析目标200。这例如可以是，为了检测时间系列中的异常。在另一个示例中，其可以是，为了检测彼此相关的时间系列中的模式。所述分析目标可以被预先配置或者可以由操作员规定。在一些示例中，管线生成器通过评价传感器数据的特性来从多个选项当中自动选择分析目标。通过这种方式，人类操作员能够通过简单的方式部署实况数据流分析系统，而不需要在机器学习或数据科学方面的专家。例如，人类操作员能够使用单一代码行来规定分析目标和实况数据流的源。通过使用该单一代码行，管线生成器能够自动设计适当的管线（其基于所提供的反馈/基本事实针对应用定制），部署管线，并且连续地即时更新和细化管线。
管线生成器根据分析目标生成多条可能的管线。在本文档中稍后给出了关于这如何做的更多细节。管线生成器在可能的管线的组件和配置上扫描202。例如，所述扫描包括在可能的管线上进行的搜索，所述搜索是通过在（来自数据存储库106的）数据样本上执行204可能的管线并且对结果进行评价而进行的。
管线生成器接收用户反馈206。在一些情况下，用户反馈包括，由用户基于评估结果和/或排序对管线的选择。在一些情况下，包括基本事实数据的用户反馈由管线生成器接收，所述管线生成器使用基本事实数据对可能的管线种的至少一些可能的管线进行重新评估。所述重新评估的结果被管线生成器用来自动选择管线之一。通过发送命令或指令以便在分析节点120处实例化所选择的管线来操作化208所选择的管线。
图3是数据流促动的控制系统（比如图1的布置）处的流程图。这种方法例如可以在图2的方法之后发生。在图2的方法中，所选择的管线被操作化。此时，使用分析节点120在实况数据流上执行300所选择的管线。作为结果，使用来自告警122组件和/或控制124组件和控制系统112的输出来控制302电子邮件服务器114。传感器110感测来自电子邮件服务器114的更多数据，数据存留组件108取得传感器数据的新样本304并且将其存储在数据存储库106中。所述过程随后返回到图2的方框202，以便搜索、评估、选择以及操作化管线。管线生成器100决定移动到图2的方框202的点可以被预先规定，其例如可以以固定的时间间隔发生。在另一个示例中，管线生成器可以在其接收到用户输入时返回到管线生成过程。在另一个示例中，管线生成器可以根据关于所观测到的传感器数据110的规则而返回到管线生成过程。例如在来自电子邮件服务器114的性能数据落到规定阈值以下的情况下，或者在由传感器110观测到的误差数据过高的情况下。
图4是示出由用户录入基本事实数据的管线生成器的图形用户界面的示意图。在该示例中，所述图形用户界面具有图形显示器414，其示出了几天当中的电子邮件服务器114的使用量。在所述图形显示器下方是经过排序的管线表。该表的每一行包含管线ID、管线配置的简短描述以及管线的统计信息。在该示例中，仅示出了三条经过排序的管线。在实践中可能有数以千计的管线，其中每一条管线是由管线生成器计算并且使用数据存储库106中的数据评估的潜在管线设计。在该示例中，具有ID 102的其中一条管线在表中被突出显示，以表明针对该管线的评估结果当前正被显示在所述图形显示器中。所述评估结果是通过黑点（比如418）表明的数据点。来自数据存储库106的数据被用来创建所述图形显示器的曲线图416。因此，所述图形显示器示出了经验数据，以及叠加在经验数据上的评估结果。在该示例中，管线的任务是为了检测异常，并且评估结果（比如418）表明被计算为潜在的异常的点。但是也可能使用其他评估结果，比如检测不同类别或类型的模式。
用户能够按照易于理解和使用的快速并且有效的方式使用图形用户界面来输入基本事实标签。例如，终端用户对所述图形显示器进行视觉检查，并且注意到在时间间隔402和422处可能存在异常，这是因为所述经验数据是不规则的，并且因为在这些间隔处存在评估结果的集群。用户选择时间间隔402和422并且将这些时间间隔标记成基本事实异常。例如通过使用鼠标来选择所述间隔，或者通过操作滑动器控件，通过键入所述间隔的数字值，或者通过其他方式。
所述图形用户界面可以包括允许用户控制管线生成器的一个或更多功能区（ribbon）或菜单栏。这些功能区或菜单栏包括实施以下功能的按钮：重置基本事实数据400（例如其中用户改变间隔420、422），扫描和排序402（例如其中用户请求管线生成器对潜在的管线配置实施搜索并且对评估结果进行排序），使用反馈404（例如其中用户请求管线生成器使用基本事实数据重新进行评估），进行操作化406（例如其中用户请求管线生成器对所选择的管线配置进行操作化），连接到工程（project）408（例如其中用户请求管线生成器连接到来自传感器的数据流），生成管线410（例如其中用户请求管线生成器从模板计算可能的管线配置），执行管线412（例如其中用户请求管线生成器在来自数据存储库的数据上执行管线配置），以及反馈探索424（例如其中用户请求管线生成器显示图形显示器414，从而可以输入基本事实数据）。
图5是管线生成阶段期间的更加详细的管线生成器100的示意图。管线生成器具有三层，即呈现层508、处理层510和数据层512。
用户500通过呈现层508与管线生成器进行交互，所述呈现层508包括各种可视化组件，其中包括时间系列可视器514、结果可视器516、健康量度可视器518以及基本事实选择器520。时间系列可视器从数据层512的上传器532取得包括历史数据502的输入（比如来自图1的数据存储库106）。时间系列可视器计算时间系列数据的图形表示，并且将其输出到图形用户界面，比如图4的图形用户界面。在图4的示例中，所述时间系列被示出为曲线图416。结果可视器516从针对规定的管线配置的处理层522接收评估结果。其计算评估结果的图形表示，并且将其输出到图形用户界面，比如图4的图形用户界面。在图4的示例中，评估结果被示出为数据点，比如418。健康量度可视器518生成从评估过程输出的前k个最佳分数的视觉显示。基本事实选择器520从一个或更多用户接收规定用于时间系列数据的值（或值范围）的标签的输入。其把所接收到的标签和时间系列值的对发送到数据层512的写入器534。所述写入器把基本事实数据写入到基本事实数据库506，所述基本事实数据库506可以是图1的数据存储库106的一部分，或者可以位于可由管线生成器100访问的另一位置处。
正如已经提到的，数据层包括上传器532和写入器534。上传器从历史数据存储库502（比如图1的数据存储库106）取得输入。
处理层包括排序器524、机器学习管线库526、配置管理器528以及扫描器530。扫描器530是用于对潜在的管线配置实施搜索的软件。其可以实施任何适当的搜索算法，比如深度优先搜索、广度优先搜索、分支定界、模拟退火、随机、基于网格或者其他的搜索。
配置管理器528访问模板和组件库（图1的104），并且选择将要使用的模板。配置管理器利用所选择的模板生成潜在的管线配置，这考虑了在模板中给出或者来自另一个存储库的任何预先规定的约束，例如关于可以被输入到规定组件的值范围的约束、关于各个组件可以被连接在一起的顺序的约束、关于可以从规定组件输入或输出的值的类型的约束。正如前面所提到的，组件可以被参数化。配置管理器还控制，组件参数的什么样的参数范围将在潜在的管线配置中使用。配置管理器将其所生成的配置馈送到排序器。
机器学习管线库526是图1的模板和组件库104的一部分。其持有用于实施各种不同组件的软件。
排序器能够通过执行来自库526的相关的机器学习组件来控制对于潜在管线配置的评估。其被布置成基于评估结果对潜在的管线配置进行定序。例如，排序器被布置成找到前k个潜在的管线配置，其中k是可以由用户规定或者可以被预先配置的数字。排序器524是可选的。
图6与图5相同，但是示出了操作化之后的情况。因此实况数据流504现在连接到上传器532而不是历史数据502。此外，扫描器未被使用，并且与配置管理器断开连接。在这种情况下，处理层向健康量度可视器518提供输出。健康量度可视器输出前k条管线的分数（由于所评估的管线的数目一般较大，比如多于100000条，因此难以可视化所有管线的分数，并且因此选择评分最高的前k条管线）。从基本事实选择器520到写入器534以及从写入器到基本事实数据库506的输出通过虚线示出以表明这一过程可以在操作化之后发生，但是直到规定的时间间隔过去或者满足其他标准才触发针对管线配置的新的搜索。
图7是图1的管线生成器100处的一种方法的更加详细的流程图。使用分析目标选择700模板。在一个示例中，分析目标是异常检测。在一个示例中，用于异常检测的模板是规定可以通过不同方式互连以实现单变量异常值检测（univariate outlier detection）的各种不同组件的模板。这种情形中的各种不同组件可以是用于计算移动平均值的组件、用于计算有限脉冲响应（FIR）滤波器的组件以及用于计算Z测试的组件。每一个组件被参数化，并且在用于实施每一个组件的软件中给出关于所述参数可以采取的值范围的约束。
管线生成器生成组件配置的组合702。这包括挑选组件的参数值并且将组件连接在一起。例如，使用试探法来挑选配置的参数值，比如基于网格的试探法或者随机选择过程。基于网格的试探法的一个示例是从一个参数范围选择均等间隔的值，例如从[0,10]选择{0,2,4,6,8,10}。可以使用在模板中规定的一种或更多种顺序或者规定如何对组件进行定序的规则而将组件连接在一起。
一旦创建了潜在的管线配置，就使用数据存储库106中的数据执行704这些管线配置以获得评估结果。可选地，基于评估结果对管线配置进行排序706。可选地从用户接收708基本事实输入，并且通过在基本事实数据上执行管线配置可选地对管线配置进行重新排序710。可以使用考虑了或者没考虑基本事实的评估度量来计算排序。为了计算评估度量和排序，管线不需要被再次执行。所述排序可以使用评估结果并且可选地使用基本事实数据。
选择712管线配置中的至少一种管线配置，例如通过取得排序最高的管线配置，或者由用户人工选择。
可以存储所选择的管线配置的描述。所述描述包括足够的细节以允许所选管线的操作化。例如，所述描述具有针对模板和组件库104中的软件的引用以用于按照规定的顺序实施组件。
为了操作化所选择的管线，从管线生成器100向数据分析节点120发送714命令。例如，所述命令指示数据分析节点在所述数据分析节点处实例化在管线配置的描述中引用的软件。管线生成器可以可选地向数据存留组件108发送命令，以便控制从实况数据流采样什么数据以及采样的频度。管线生成器可以可选地向告警122和控制124组件发送命令，以便根据管线配置描述指示这些组件如何使用管线的输出。
实况数据流在操作化的管线处被接收716，并且由具有实例化的软件的分析节点718处理。管线的输出在告警和/或控制组件处被接收720，并且被用来控制电子邮件服务器114或其他实体。
在本文档中早前所提到的邮箱供应示例中，传感器数据包括：来自不同组件的错误信号，比如联网认证、发送邮件、添加联系人；来自模仿用户并且报告所实施的用户动作的成功或失败的服务器的主动探测结果；事件计数，比如每个时间间隔、每台机器或者每座机架或者每个数据中心的所发送的邮件的数目、所创建的新邮箱的数目、新电子邮件客户的数目。在邮箱供应示例中，所述组件可以包括：去季节化（de-seasonalization）组件、滤波器、移动平均值计算组件、序贯似然比（sequential likelihood ratio）组件、统计测试组件、用于计算结果的时间相关性的组件。在邮箱供应示例中，所述控制系统被配置成重新启动电子邮件服务器、向开发者团队告警以及向用户发送通知。
在一个示例中，替代地，电子邮件服务器是电信网络的节点。传感器110感测网络性能数据，比如通信量水平、呼叫掉线、视频呼叫停顿的频率以及其他网络性能数据。操作化的管线被布置成检测网络性能数据中的模式，比如通信量水平上的季节性或日常模式。控制系统112被布置成使用所检测到的模式来重新配置电信网络，这例如是通过重新配置电信网络参数，比如天线倾角、基站功率参数、通信链路的容量以及其他网络参数。
在另一个示例中，替代地，电子邮件服务器是无线局域网中的节点。传感器110检测网络性能参数，比如往返时间、掉落的分组的数目、通信量水平以及其他网络性能参数。操作化的管线检测传感器数据的实况流中的异常以便检测错误和/或潜在的安全问题，比如分组拦截、电子欺骗以及其他安全问题。所述告警和控制组件使用来自管线的输出，以允许控制系统112在检测到安全问题或错误时触发告警、关停或者绕过规定的无线节点。
在另一个示例中，替代地，电子邮件服务器是云计算服务的节点。传感器检测性能参数，比如所接收到的请求的数目、接收到请求与为请求提供服务之间的时间延迟以及其他性能参数。操作化的管线检测传感器数据流中的异常和/或模式，以便允许控制系统平衡工作负荷、部署更多节点或者配置节点的参数，从而按照更加高效、鲁棒并且有成本效益的方式来提供云计算服务。
在示例中，所述传感器包括机械设备上的传感器（温度、压力、运动、湿度、开/关等等）、无线设备（电话、物联网（IoT）设备）上的传感器、任何种类的遥测信号。
图8图示出了可以被实施成任何形式的计算和/或电子设备并且可以在其中实施管线生成器的实施例的示例性的基于计算的设备800的各种组件。
基于计算的设备800包括一个或更多处理器802，其可以是微处理器、控制器或者任何其他适当类型的处理器，用于处理计算机可执行指令来控制所述设备的操作，以便生成用于对所观测的系统（比如无线局域网、电信网络、多个电子邮件服务器或者其他系统）进行实况数据流促动的控制的管线。在一些示例中，例如在使用芯片上系统架构的情况下，处理器802可以包括通过硬件（而不是软件或固件）实施图2、3和7当中的任一幅图的方法的一部分的一个或更多固定功能块（也被称作加速器）。可以在基于计算的设备处提供包括操作系统804的平台软件或者任何其他适当的平台软件，以便允许在所述设备上执行应用软件。也可以在基于计算的设备处提供实施管线生成器808的软件。
可以使用可由基于计算的设备800访问的任何计算机可读介质来提供计算机可执行指令。计算机可读介质例如可以包括计算机存储介质（比如存储器812）和通信介质。计算机存储介质（比如存储器812）包括通过用于存储信息的任何方法或技术实施的易失性和非易失性、可移除和不可移除介质，所述信息比如是计算机可读指令、数据结构、程序模块或者其他数据。计算机存储介质包括而不限于RAM、ROM、EPROM、EEPROM、闪存或其他存储器技术，CD-ROM、数字通用盘（DVD）或其他光学存储装置、磁盒、磁带、磁盘存储装置或其他磁性存储设备，或者可以被用来存储供计算设备访问的信息的任何其他非传送介质。与此相对，通信介质可以在比如载波之类的已调数据信号或其他传输机制中具体实现计算机可读指令、数据结构、程序模块或其他数据。本文中所定义的计算机存储介质不包括通信介质。因此，计算机存储介质不应当被解释成传播信号本身。所传播的信号可以存在于计算机存储介质中，但是所传播的信号本身不是计算机存储介质的示例。虽然在基于计算的设备800内示出了计算机存储介质（存储器812），但是应当认识到，所述存储装置可以是分布式的或者位于远处，并且可以通过网络或其他通信链路（例如使用通信接口814）来访问。
基于计算的设备800还包括被布置成向显示设备818输出显示信息的输入/输出控制器816，显示设备818可以与基于计算的设备800分开或者与基于计算的设备800集成在一起。所述显示信息可以提供图形用户界面。输入/输出控制器816还被布置成接收和处理来自一个或更多设备的输入，比如来自用户输入设备820（例如鼠标、键盘、照相机、麦克风或其他传感器）的输入。在一些示例中，用户输入设备820可以检测语音输入、用户手势或其他用户动作，并且可以提供自然用户界面（NUI）。该用户输入可以被用来输入基本事实数据、控制管线生成器、查看管线生成器的结果或者用于其他目的。在一个实施例中，如果显示设备818是触敏显示设备的话，则其还可以充当用户输入设备820。输入/输出控制器816还可以向不同于显示设备的设备（例如本地连接的打印设备）输出数据。
输入/输出控制器816、显示设备818以及用户输入设备820当中的任一项可以包括NUI技术，其允许用户通过自然方式与基于计算的设备进行交互，而免受由比如鼠标、键盘、遥控器等输入设备所施加的人为约束。可以提供的NUI技术的示例包括而不限于依赖于以下各项的那些技术：语音和/或话音辨识、触摸和/或触笔辨识（触敏显示器）、屏幕上以及邻近屏幕的手势辨识、空中手势、头部和眼睛跟踪、语音和话音、视觉、触摸、手势以及机器智能。可以使用的NUI技术的其他示例包括：意图和目的理解系统、使用深度照相机（比如立体照相机系统、红外照相机系统、rgb照相机系统和这些系统的组合）的运动手势检测系统、使用加速度计/陀螺仪的运动手势检测、面部辨识、3D显示器、头部、眼睛和凝视跟踪、沉浸式增强现实和虚拟现实系统，以及使用电场感测电极来感测脑部活动的技术（EEG和相关方法）。
在一个示例中，存在一种控制系统，其包括：
接收从将被控制的系统观测到的加有时间标记的传感器数据的实况数据流的通信接口；
被配置成访问来自实况数据流的加有时间标记的传感器数据的存储库的上传器；
被配置成生成用于分析实况数据流的多种管线配置的配置管理器，每一种管线配置包括用于分析数据的多个组件、所述组件的顺序以及每一个组件的一项或更多项参数的值；
被配置成通过把管线配置应用于来自存储库的数据而对所述管线配置进行评估的处理器；
被布置成接收包括基本事实数据的用户输入的基本事实选择器，所述基本事实数据是来自所述加有时间标记的传感器数据的存储库的加有标签的数据项目；
所述处理器被配置成使用基本事实数据对管线配置进行重新评估并且基于所述重新评估选择管线配置之一，从而使得可以使用在实况数据流上执行的所选择的管线配置之一的输出来控制所述将被控制的系统。
所述控制系统可以包括通信接口，其被配置成向处理实况数据流的管线的一个或更多分析节点发送用于实施所选择的管线配置的指令。
所述控制系统可以包括处理实况数据流的管线的一个或更多分析节点，所述分析节点被配置成接收所选择的管线配置的描述。
所述控制系统可以被配置成使用在所选择的管线配置的执行期间观测到的新的数据来生成并且评估另外的多种管线配置。
上一段的控制系统可以被配置成在所述新的数据满足标准时生成并且评估另外的多种管线配置。
所述控制系统可以包括处理实况数据流的管线的一个或更多分析节点，以便使用所选择的管线配置检测实况数据流中的异常或模式，并且基于所检测到的异常或模式控制以下各项当中的任一项：电信网络、多个电子邮件服务器、多个云计算节点、无线局域网。
所述控制系统可以包括使用所选择的管线配置处理实况数据流的管线的一个或更多分析节点，以便检测实况数据流中的异常或模式，并且基于所检测到的异常或模式触发告警。
所述控制系统可以被配置成通过使用基于网格的试探法选择组件的参数的值而生成潜在的管线配置。
一个示例提供一种计算机实施的方法，所述方法包括自动实施以下步骤：
访问来自实况数据流的加有时间标记的传感器数据的存储库，所述传感器数据是从将被控制的系统观测到的；
生成用于分析实况数据流的多种管线配置，每一种管线配置包括用于分析数据的多个组件、所述组件的顺序以及每一个组件的一项或更多项参数的值；
通过把管线配置应用于来自存储库的数据而对所述管线配置进行评估；
接收包括基本事实数据的用户输入，所述基本事实数据是来自所述加有时间标记的传感器数据的存储库的加有标签的数据项目；
使用基本事实数据对管线配置进行重新评估；以及
基于所述重新评估选择管线配置之一，从而使得可以使用在实况数据流上执行的所选择的管线配置之一的输出来控制所述将被控制的系统。
所述方法可以包括：向处理实况数据流的管线的一个或更多分析节点发送用于实施所选择的管线配置的指令。
所述方法可以包括：通过向处理实况数据流的管线的一个或更多分析节点发送所选择的管线配置的描述，来在所述一个或更多分析节点处实施所选择的管线配置。
所述方法可以包括：在处理实况数据流的管线的一个或更多分析节点处执行所选择的管线配置，并且在所选择的管线配置的执行期间，把新的数据存储在存储库中，并且使用所述新的数据生成并且评估另外的多种管线配置。
上一段的方法可以包括：在所述存储库中的新的数据满足标准时生成并且评估另外的多种管线配置。
所述方法可以包括，在处理实况数据流的管线的一个或更多分析节点处执行所选择的管线配置以便检测实况数据流中的异常或模式，并且基于所检测到的异常或模式控制以下各项当中的任一项：电信网络、多个电子邮件服务器、多个云计算节点、无线局域网。
所述方法可以包括，在处理实况数据流的管线的一个或更多分析节点处执行所选择的管线配置以便检测实况数据流中的异常或模式，并且基于所检测到的异常或模式触发告警。
所述方法可以包括，在图形用户界面处接收基本事实数据，这是通过从数据存储库向图形用户界面发送数据，以及接收按照针对来自数据存储库的数据的注释形式的基本事实数据。
所述方法可以包括， 使用所述评估的结果对管线配置进行排序。
所述方法可以包括，通过随机选择组件的参数的值而生成潜在的管线配置。
所述方法可以包括，通过使用基于网格的试探法选择组件的参数的值而生成潜在的管线配置。
一个示例提供一种具有设备可执行指令的计算机可读介质，所述设备可执行指令在由基于计算的设备执行时引导所述基于计算的设备实施包括以下步骤的步骤：
访问来自实况数据流的加有时间标记的传感器数据的存储库，所述传感器数据是从将被控制的系统观测到的；
生成用于分析实况数据流的多种管线配置，每一种管线配置包括用于分析数据的多个组件、所述组件的顺序以及每一个组件的一项或更多项参数的值；
通过把管线配置应用于来自存储库的数据而对所述管线配置进行评估；
接收包括基本事实数据的用户输入，所述基本事实数据是来自所述加有时间标记的传感器数据的存储库的加有标签的数据项目；
使用基本事实数据对管线配置进行重新评估；
基于所述重新评估选择管线配置之一；以及
向处理实况数据流的管线的一个或更多分析节点发送用于实施所选择的管线配置的指令，从而使得可以使用在实况数据流上执行的所选择的管线配置之一的输出来控制所述将被控制的系统。
可替换地或附加地，本文中所描述的功能可以至少部分地由一个或更多硬件逻辑组件实施。例如而非限制，可以使用的说明性类型的硬件逻辑组件包括现场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、复杂可编程逻辑设备（CPLD）、图形处理单元（GPU）。
术语“计算机”或“基于计算的设备”在本文中被用来指代具有处理能力的任何设备，从而其可以执行指令。本领域技术人员将认识到，这样的处理能力被合并到许多不同的设备中，因此术语“计算机”和“基于计算的设备”各自包括PC、服务器、移动电话（包括智能电话）、平板计算机、机顶盒、媒体播放器、游戏控制台、个人数字助理以及许多其他设备。
本文中所描述的方法可以通过有形存储介质上的机器可读形式（例如，计算机程序形式）的软件来实施，所述计算机程序包括计算机程序代码装置，其被适配成，当所述程序在计算机上运行时并且如果所述计算机程序可以被具体实现在计算机可读介质上，实施本文中所描述的任何方法的所有步骤。有形存储介质的示例包括计算机存储设备，并且不包括所传播的信号，所述计算机存储设备包括计算机可读介质，比如盘、拇指驱动器、存储器等。所传播的信号可以存在于有形存储介质中，但是所传播的信号本身不是有形存储介质的示例。所述软件可以适合于执行在并行处理器或串行处理器上，从而可以按照任何适当的顺序或者同时实施方法步骤。
这确认了软件可以是有价值的、单独可交易的商品。其意图涵盖运行在“非智能（dumb）”或标准硬件上或者对其进行控制以便实施所期望的功能的软件。其还意图涵盖“描述”或定义硬件配置的软件，比如HDL（硬件描述语言）软件，其被用于设计硅芯片或者用于配置通用可编程芯片以便实施所期望的功能。
本领域技术人员将认识到，被利用来存储程序指令的存储设备可以跨网络分布。例如，远程计算机可以存储被描述成软件的过程的一个示例。本地或终端计算机可以访问远程计算机，并且下载用于运行程序的软件的一部分或全部。可替换地，本地计算机可以按照需要下载软件的片段，或者在本地终端处执行一些软件指令并且在远程计算机（或计算机网络）处执行一些软件指令。本领域技术人员还将认识到，通过利用本领域技术人员已知的常规技术，可以通过比如DSP、可编程逻辑阵列等专用电路来实施所有或一部分软件指令。
技术人员将显而易见的是，在不失去所寻求的效果的情况下可以扩展或改动本文中给出的任何范围或设备值。
虽然已经以特定于结构特征和/或方法动作的语言描述了本主题，但是应当理解的是，在所附权利要求书中限定的主题不一定受限于以上所描述的特定特征或动作。相反，以上所描述的特定特征和动作是作为实施权利要求的示例形式而公开的。
应当理解的是，以上所描述的益处和优点可以涉及一个实施例，或者可以涉及几个实施例。所述实施例并不受限于解决任何或全部所陈述的问题的那些实施例，或者具有任何或全部所陈述的益处和优点的那些实施例。还应当理解的是，对于“一个”项目的引用指的是这些项目当中的一个或更多个项目。
本文中所描述的方法的步骤可以按照任何适当的顺序来实施，或者在适当的情况下可以同时实施。附加地，在不背离本文中所描述的主题的精神和范围的情况下，可以从任何方法中删除各个单独的方块。以上所描述的任何示例的各个方面可以与所描述的任何其他示例的各个方面相组合，以形成另外的示例，而不失去所寻求的效果。
术语“包括”在本文中被用来意指包括所识别出的方法块或元件，但是这样的块或元件并不包括排他性列表，并且方法或装置可以包含附加的块或元件。
应当理解的是，以上的描述仅仅是作为示例而给出的，并且本领域技术人员可以做出各种修改。以上的说明、示例和数据提供了对于示例性实施例的结构和使用的完整描述。虽然以上以一定程度的特殊性或者参照一个或更多单独的实施例描述了各个实施例，但是在不背离本说明书的精神或范围的情况下，本领域技术人员可以对所公开的实施例做出许多改动。
Claims (10)
1.一种控制系统，包括：
通信接口，其接收从将被控制的系统观测到的加有时间标记的传感器数据的实况数据流；
上传器，其被配置成访问来自实况数据流的加有时间标记的传感器数据的存储库；
配置管理器，其被配置成生成用于分析实况数据流的多种管线配置，每一种管线配置包括用于分析数据的多个组件、所述组件的顺序以及每一个组件的一项或更多项参数的值；
处理器，其被配置成通过把管线配置应用于来自存储库的数据而对所述管线配置进行评估；以及
基本事实选择器，其被布置成接收包括基本事实数据的用户输入，所述基本事实数据是来自所述加有时间标记的传感器数据的存储库的加有标签的数据项目；
所述处理器被配置成使用基本事实数据对管线配置进行重新评估并且基于所述重新评估选择管线配置之一，从而使得可以使用在实况数据流上执行的所选择的管线配置之一的输出来控制所述将被控制的系统。
2.根据权利要求1所述的系统，还包括通信接口，其被配置成向处理实况数据流的管线的一个或更多分析节点发送用于实施所选择的管线配置的指令。
3.根据权利要求1或权利要求2所述的系统，包括处理实况数据流的管线的一个或更多分析节点，所述分析节点被配置成接收所选择的管线配置的描述。
4.根据任一条在前权利要求所述的系统，所述系统被配置成使用在所选择的管线配置的执行期间观测到的新的数据来生成并且评估另外的多种管线配置。
5.根据权利要求4所述的系统，所述系统被配置成在所述新的数据满足标准时生成并且评估另外的多种管线配置。
6.根据任一条在前权利要求所述的系统，包括处理实况数据流的管线的一个或更多分析节点，以便使用所选择的管线配置来检测实况数据流中的异常或模式，并且基于所检测到的异常或模式控制以下各项当中的任一项：电信网络、多个电子邮件服务器、多个云计算节点、无线局域网。
7.根据权利要求1到5当中的任一条所述的系统，包括使用所选择的管线配置处理实况数据流的管线的一个或更多分析节点，以便检测实况数据流中的异常或模式，并且基于所检测到的异常或模式触发告警。
8.根据任一条在前权利要求所述的系统，所述系统被配置成通过使用基于网格的试探法选择组件的参数的值而生成潜在的管线配置。
9.一种计算机实施的方法，所述方法包括自动实施以下步骤：
访问来自实况数据流的加有时间标记的传感器数据的存储库，所述传感器数据是从将被控制的系统观测到的；
生成用于分析实况数据流的多种管线配置，每一种管线配置包括用于分析数据的多个组件、所述组件的顺序以及每一个组件的一项或更多项参数的值；
通过把管线配置应用于来自存储库的数据而对所述管线配置进行评估；
接收包括基本事实数据的用户输入，所述基本事实数据是来自所述加有时间标记的传感器数据的存储库的加有标签的数据项目；
使用基本事实数据对管线配置进行重新评估；以及
基于重新评估选择管线配置之一，从而使得可以使用在实况数据流上执行的所选择的管线配置之一的输出来控制所述将被控制的系统。
10.根据权利要求9所述的方法，还包括向处理实况数据流的管线的一个或更多分析节点发送用于实施所选择的管线配置的指令。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/573866 | 2014-12-17 | ||
| US14/573,866 US20160179063A1 (en) | 2014-12-17 | 2014-12-17 | Pipeline generation for data stream actuated control |
| PCT/US2015/064355 WO2016099984A1 (en) | 2014-12-17 | 2015-12-08 | Pipeline generation for data stream actuated control |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107004185A true CN107004185A (zh) | 2017-08-01 |
Family
ID=55071147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580069039.1A Withdrawn CN107004185A (zh) | 2014-12-17 | 2015-12-08 | 用于数据流促动的控制的管线生成 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20160179063A1 (zh) |
| EP (1) | EP3234885A1 (zh) |
| CN (1) | CN107004185A (zh) |
| WO (1) | WO2016099984A1 (zh) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10171378B2 (en) | 2015-11-10 | 2019-01-01 | Impetus Technologies, Inc. | System and method for allocating and reserving supervisors in a real-time distributed processing platform |
| WO2017117345A1 (en) * | 2015-12-30 | 2017-07-06 | Convida Wireless, Llc | Semantics based content specification of iot data |
| US10372636B2 (en) | 2016-11-18 | 2019-08-06 | International Business Machines Corporation | System for changing rules for data pipeline reading using trigger data from one or more data connection modules |
| ES2871056T3 (es) | 2017-02-28 | 2021-10-28 | Kone Corp | Un procedimiento, un nodo de red y un sistema para activar una transmisión de datos de sensores desde un dispositivo inalámbrico |
| US10860576B2 (en) | 2018-01-26 | 2020-12-08 | Vmware, Inc. | Splitting a query into native query operations and post-processing operations |
| US11144570B2 (en) | 2018-01-26 | 2021-10-12 | Vmware, Inc. | Data ingestion by distributed-computing systems |
| US11016972B2 (en) | 2018-01-26 | 2021-05-25 | Vmware, Inc. | Splitting a time-range query into multiple sub-queries for serial execution |
| US11016971B2 (en) | 2018-01-26 | 2021-05-25 | Vmware, Inc. | Splitting a time-range query into multiple sub-queries for parallel execution |
| US10824623B2 (en) | 2018-02-28 | 2020-11-03 | Vmware, Inc. | Efficient time-range queries on databases in distributed computing systems |
| US11178213B2 (en) * | 2018-02-28 | 2021-11-16 | Vmware, Inc. | Automated configuration based deployment of stream processing pipeline |
| US10812332B2 (en) * | 2018-02-28 | 2020-10-20 | Vmware Inc. | Impartial buffering in stream processing |
| WO2019191303A1 (en) * | 2018-03-27 | 2019-10-03 | Arista Networks, Inc. | System and method of hitless reconfiguration of a data processing pipeline |
| US10585725B2 (en) | 2018-03-27 | 2020-03-10 | Arista Networks, Inc. | System and method of hitless reconfiguration of a data processing pipeline |
| US10832370B2 (en) | 2018-03-27 | 2020-11-10 | Arista Networks, Inc. | System and method of hitless reconfiguration of a data processing pipeline with standby pipeline |
| US10860599B2 (en) * | 2018-06-11 | 2020-12-08 | Uptake Technologies, Inc. | Tool for creating and deploying configurable pipelines |
| US11061942B2 (en) | 2018-09-07 | 2021-07-13 | Graywell, Inc. | Unstructured data fusion by content-aware concurrent data processing pipeline |
| US11755926B2 (en) | 2019-02-28 | 2023-09-12 | International Business Machines Corporation | Prioritization and prediction of jobs using cognitive rules engine |
| US11663523B2 (en) | 2019-09-14 | 2023-05-30 | Oracle International Corporation | Machine learning (ML) infrastructure techniques |
| US11556862B2 (en) | 2019-09-14 | 2023-01-17 | Oracle International Corporation | Techniques for adaptive and context-aware automated service composition for machine learning (ML) |
| US11562267B2 (en) | 2019-09-14 | 2023-01-24 | Oracle International Corporation | Chatbot for defining a machine learning (ML) solution |
| US10929701B1 (en) * | 2019-10-03 | 2021-02-23 | Pixart Imaging Inc. | Navigation device with consistent output and 2-stage moving average filter thereof |
| US11481259B2 (en) * | 2020-01-07 | 2022-10-25 | International Business Machines Corporation | Distributing computation workloads based on calculated compute gravity within differing computing paradigms |
| WO2023009826A1 (en) * | 2021-07-30 | 2023-02-02 | Mckinsey & Company, Inc. | Modular software architecture for machine learning pipelines |
| CN117666493A (zh) * | 2023-11-16 | 2024-03-08 | 北京开元泰达净化设备有限公司 | 一种应用于工业物联网的数据交互方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080208890A1 (en) * | 2007-02-27 | 2008-08-28 | Christopher Patrick Milam | Storage of multiple, related time-series data streams |
| CN101388844A (zh) * | 2008-11-07 | 2009-03-18 | 东软集团股份有限公司 | 一种数据流程的处理方法和系统 |
| CN102306140A (zh) * | 2011-09-09 | 2012-01-04 | 华南理工大学 | 一种基于数据交互融合的计算机系统构造方法 |
| US20130013552A1 (en) * | 2011-07-07 | 2013-01-10 | Platfora, Inc. | Interest-Driven Business Intelligence Systems and Methods of Data Analysis Using Interest-Driven Data Pipelines |
| CN103237012A (zh) * | 2013-03-29 | 2013-08-07 | 苏州皓泰视频技术有限公司 | 一种基于自由组件的多媒体数据处理方法 |
| US20140277604A1 (en) * | 2013-03-14 | 2014-09-18 | Fisher-Rosemount Systems, Inc. | Distributed big data in a process control system |
Family Cites Families (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2003254126A1 (en) * | 2002-07-23 | 2004-02-09 | Gatechance Technologies Inc | Pipelined reconfigurable dynamic instruciton set processor |
| US9009084B2 (en) * | 2002-10-21 | 2015-04-14 | Rockwell Automation Technologies, Inc. | System and methodology providing automation security analysis and network intrusion protection in an industrial environment |
| US7469139B2 (en) * | 2004-05-24 | 2008-12-23 | Computer Associates Think, Inc. | Wireless manager and method for configuring and securing wireless access to a network |
| US7584507B1 (en) * | 2005-07-29 | 2009-09-01 | Narus, Inc. | Architecture, systems and methods to detect efficiently DoS and DDoS attacks for large scale internet |
| US20140173102A1 (en) * | 2012-12-07 | 2014-06-19 | Cpacket Networks Inc. | Apparatus, System, and Method for Enhanced Reporting and Processing of Network Data |
| US9787556B2 (en) * | 2005-08-19 | 2017-10-10 | Cpacket Networks Inc. | Apparatus, system, and method for enhanced monitoring, searching, and visualization of network data |
| US8448234B2 (en) * | 2007-02-15 | 2013-05-21 | Marvell Israel (M.I.S.L) Ltd. | Method and apparatus for deep packet inspection for network intrusion detection |
| WO2008112823A1 (en) * | 2007-03-12 | 2008-09-18 | Emerson Process Management Power & Water Solutions, Inc. | Use of statistical analysis in power plant performance monitoring |
| US20080288255A1 (en) * | 2007-05-16 | 2008-11-20 | Lawrence Carin | System and method for quantifying, representing, and identifying similarities in data streams |
| US20090089325A1 (en) * | 2007-09-28 | 2009-04-02 | Rockwell Automation Technologies, Inc. | Targeted resource allocation |
| US8032939B2 (en) * | 2007-11-06 | 2011-10-04 | Airtight Networks, Inc. | Method and system for providing wireless vulnerability management for local area computer networks |
| US8688783B2 (en) * | 2007-11-28 | 2014-04-01 | International Business Machines Corporation | Selection of real time collaboration tools |
| US8868725B2 (en) * | 2009-06-12 | 2014-10-21 | Kent State University | Apparatus and methods for real-time multimedia network traffic management and control in wireless networks |
| US9158649B2 (en) * | 2009-08-14 | 2015-10-13 | Microsoft Technology Licensing, Llc | Methods and computer program products for generating a model of network application health |
| US20110225288A1 (en) * | 2010-03-12 | 2011-09-15 | Webtrends Inc. | Method and system for efficient storage and retrieval of analytics data |
| US8869277B2 (en) * | 2010-09-30 | 2014-10-21 | Microsoft Corporation | Realtime multiple engine selection and combining |
| US8682812B1 (en) * | 2010-12-23 | 2014-03-25 | Narus, Inc. | Machine learning based botnet detection using real-time extracted traffic features |
| US20120283988A1 (en) * | 2011-05-03 | 2012-11-08 | General Electric Company | Automated system and method for implementing unit and collective level benchmarking of power plant operations |
| WO2013055807A1 (en) * | 2011-10-10 | 2013-04-18 | Global Dataguard, Inc | Detecting emergent behavior in communications networks |
| US8955065B2 (en) * | 2012-02-01 | 2015-02-10 | Amazon Technologies, Inc. | Recovery of managed security credentials |
| US9396037B2 (en) * | 2012-02-27 | 2016-07-19 | Microsoft Technology Licensing, Llc | Model-based data pipeline system optimization |
| US20140067874A1 (en) * | 2012-08-31 | 2014-03-06 | Arindam Bhattacharjee | Performing predictive analysis |
| US9386030B2 (en) * | 2012-09-18 | 2016-07-05 | Vencore Labs, Inc. | System and method for correlating historical attacks with diverse indicators to generate indicator profiles for detecting and predicting future network attacks |
| GB2508233A (en) * | 2012-11-27 | 2014-05-28 | Ibm | Verifying logic design of a processor with an instruction pipeline by comparing the output from first and second instances of the design |
| US9235636B2 (en) * | 2012-12-20 | 2016-01-12 | Dropbox, Inc. | Presenting data in response to an incomplete query |
| US10459767B2 (en) * | 2014-03-05 | 2019-10-29 | International Business Machines Corporation | Performing data analytics utilizing a user configurable group of reusable modules |
| US9602529B2 (en) * | 2014-04-02 | 2017-03-21 | The Boeing Company | Threat modeling and analysis |
| US9330263B2 (en) * | 2014-05-27 | 2016-05-03 | Intuit Inc. | Method and apparatus for automating the building of threat models for the public cloud |
| US9798782B2 (en) * | 2014-06-05 | 2017-10-24 | International Business Machines Corporation | Re-sizing data partitions for ensemble models in a mapreduce framework |
| US9559849B1 (en) * | 2014-09-18 | 2017-01-31 | Amazon Technologies, Inc. | Service-to-service digital path tracing |
| US11546230B2 (en) * | 2014-09-19 | 2023-01-03 | Impetus Technologies, Inc. | Real time streaming analytics platform |
| US10168691B2 (en) * | 2014-10-06 | 2019-01-01 | Fisher-Rosemount Systems, Inc. | Data pipeline for process control system analytics |
| US9124622B1 (en) * | 2014-11-07 | 2015-09-01 | Area 1 Security, Inc. | Detecting computer security threats in electronic documents based on structure |
| US11017312B2 (en) * | 2014-12-17 | 2021-05-25 | International Business Machines Corporation | Expanding training questions through contextualizing feature search |
-
2014
- 2014-12-17 US US14/573,866 patent/US20160179063A1/en not_active Abandoned
-
2015
- 2015-12-08 EP EP15820691.2A patent/EP3234885A1/en not_active Withdrawn
- 2015-12-08 WO PCT/US2015/064355 patent/WO2016099984A1/en active Application Filing
- 2015-12-08 CN CN201580069039.1A patent/CN107004185A/zh not_active Withdrawn
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080208890A1 (en) * | 2007-02-27 | 2008-08-28 | Christopher Patrick Milam | Storage of multiple, related time-series data streams |
| CN101388844A (zh) * | 2008-11-07 | 2009-03-18 | 东软集团股份有限公司 | 一种数据流程的处理方法和系统 |
| US20130013552A1 (en) * | 2011-07-07 | 2013-01-10 | Platfora, Inc. | Interest-Driven Business Intelligence Systems and Methods of Data Analysis Using Interest-Driven Data Pipelines |
| CN104205039A (zh) * | 2011-07-07 | 2014-12-10 | 百科纳有限公司 | 使用兴趣驱动数据管线进行数据分析的兴趣驱动商业智能系统和方法 |
| CN102306140A (zh) * | 2011-09-09 | 2012-01-04 | 华南理工大学 | 一种基于数据交互融合的计算机系统构造方法 |
| US20140277604A1 (en) * | 2013-03-14 | 2014-09-18 | Fisher-Rosemount Systems, Inc. | Distributed big data in a process control system |
| CN103237012A (zh) * | 2013-03-29 | 2013-08-07 | 苏州皓泰视频技术有限公司 | 一种基于自由组件的多媒体数据处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20160179063A1 (en) | 2016-06-23 |
| WO2016099984A1 (en) | 2016-06-23 |
| EP3234885A1 (en) | 2017-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107004185A (zh) | 用于数据流促动的控制的管线生成 | |
| US20210133632A1 (en) | Systems and methods for model monitoring | |
| CN108090516A (zh) | 自动生成机器学习样本的特征的方法及系统 | |
| US11595415B2 (en) | Root cause analysis in multivariate unsupervised anomaly detection | |
| CN108073760A (zh) | 用于获取分析模型编写知识的方法及系统 | |
| CN111164620A (zh) | 用于自动机器学习模型选择的特定于算法的神经网络体系架构 | |
| CN113377850A (zh) | 认知物联网大数据技术平台 | |
| CN107133253A (zh) | 基于预测模型的推荐 | |
| CN108021984A (zh) | 确定机器学习样本的特征重要性的方法及系统 | |
| JP2013534310A5 (zh) | ||
| US20180276508A1 (en) | Automated visual information context and meaning comprehension system | |
| CN108063699A (zh) | 网络性能监控方法、装置、电子设备、存储介质 | |
| CN107316082A (zh) | 用于确定机器学习样本的特征重要性的方法及系统 | |
| CN109783859A (zh) | 模型构建方法、装置及计算机可读存储介质 | |
| CN107077349A (zh) | 具有数据预览的作业创建 | |
| CN107578140A (zh) | 引导分析系统和方法 | |
| US20230112576A1 (en) | Techniques for data processing predictions | |
| US11329860B2 (en) | System for decomposing events that includes user interface | |
| CN110114194A (zh) | 用于确定双手抓握工业对象的抓握位置的系统和方法 | |
| CN107168705A (zh) | 图形界面语义描述系统及其建立方法和操作路径生成方法 | |
| EP3523932B1 (en) | Method and apparatus for filtering a plurality of messages | |
| US20170004401A1 (en) | Artificial intuition | |
| KR102054500B1 (ko) | 설계 도면 제공 방법 | |
| CN105051718B (zh) | 用于监视-挖掘-管理循环的方法和系统 | |
| Bowden et al. | A Cloud-to-edge Architecture for Predictive Analytics. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20170801 |