CN103733198A - 流应用性能监测度量 - Google Patents

流应用性能监测度量 Download PDF

Info

Publication number
CN103733198A
CN103733198A CN201280040271.9A CN201280040271A CN103733198A CN 103733198 A CN103733198 A CN 103733198A CN 201280040271 A CN201280040271 A CN 201280040271A CN 103733198 A CN103733198 A CN 103733198A
Authority
CN
China
Prior art keywords
tuple
stream
tuples
treatment element
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280040271.9A
Other languages
English (en)
Other versions
CN103733198B (zh
Inventor
R·K·克拉迪克
J·桑托索索
M·D·普费弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN103733198A publication Critical patent/CN103733198A/zh
Application granted granted Critical
Publication of CN103733198B publication Critical patent/CN103733198B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/12—Network monitoring probes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

所公开的技术用于计算与数据流相关联的性能度量。配置用于处理流经基于流的计算系统的数据元组的处理元件经由数据流接收数据元组。在该处理元件处，处理一个或多个元组的每一个元组，以及将该一个或多个元组的每一个元组与包括与该处理元件对该元组的处理有关的信息的元数据相关联。继而，基于与该一个或多个元组相关联的元数据、针对该数据流计算性能度量。

Description

流应用性能监测度量
背景技术
计算机数据库已经变得非常成熟，例如，对于数据库系统的计算需求已经快速增长。数据库系统典型地配置用于将存储数据的过程与访问、操纵或使用存储于数据库中的数据相分离。更具体地，数据库使用这样的模型，其中，数据首先被存储、而后进行索引，以及随后进行查询。然而，此模型不能满足某些实时应用的性能需求。例如，数据库系统可以接收并存储传入数据的速率会限制可以处理或者以其他方式评估的数据量，而这继而限制了配置用于实时处理大量数据的数据库应用的效用。
为了解决此问题，基于流的计算和基于流的数据库计算作为针对数据库系统的发展技术应运而生，其中，产品可用并且允许用户创建这样的应用，在流数据到达数据库文件之前、对其进行处理和查询。利用此新生技术，用户可以指定处理逻辑在入站数据记录处于“飞行状态（in flight）”时应用于入站数据记录，而结果则在毫秒级可用。使用这种类型的处理来构建应用开启了新的编程典范，其将允许开发出各种创新的应用、系统和过程，而同时又给应用程序员和数据库开发者呈现了新的挑战。
对基于流的应用性能进行测量使得可以确定该基于流的应用是否以最佳方式操作。在基于流的应用中，经由数据流接收数据的“元组（tuple）”，并且将这些“元组”跨处理元件（PE）进行路由，其中这些处理元件对元组执行操作，并继而将这些元组转发至不同的处理元件以进行进一步处理。测量基于流的应用性能的一种技术涉及确定经由数据流接收的元组的吞吐量，例如，当每分钟一百个元组完全由一个或多个PE处理时，可以认为特定的基于流的应用是高效的。然而，此度量单独不能用来指示基于流的应用是否运行在最优方式下，因为各种条件会影响元组在数据流中到达的速率。例如，经由真正简单聚合（RSS）订阅（即，数据流）接收的元组数量会因一天中的时间而变化，因为例如在早晨和晚上这样的一天中的特定时间，通常会更频繁地产生新的文章。结果，用户可能错误地被通知基于流的应用正经历性能问题，即便基于流的应用正以最佳方式操作时也是如此。
发明内容
本发明的一个实施方式提供了一种用于计算与数据流相关联的性能度量的技术。该技术涉及步骤：在配置用于处理流经基于流的计算系统的数据元组的第一处理元件处，接收与第一数据流相关联的一个或多个元组；在第一处理元件处，处理该一个或多个元组的每一个元组；将该一个或多个元组的每一个元组与包括与第一处理元件对元组的处理有关的信息的元数据相关联；基于与该一个或多个元组相关联的元数据来计算性能度量；以及经由显示设备上的用户接口来显示计算的性能度量。
本发明的另一实施方式提供了一种系统，包括多个计算节点，每个计算节点包括处理器和存储器，其中存储器存储流性能管理器，当在计算节点上执行时、其配置用于执行用于计算与数据流相关联的性能度量的操作。该操作包括步骤：在配置用于处理流经基于流的计算系统的数据元组的第一处理元件处，接收与第一数据流相关联的一个或多个元组；在第一处理元件处，处理该一个或多个元组的每一个元组；将该一个或多个元组的每一个元组与包括与第一处理元件对元组的处理有关的信息的元数据相关联；基于与该一个或多个元组相关联的元数据来计算性能度量；以及经由显示设备上的用户接口来显示计算的性能度量。
本发明的其他实施方式提供了非瞬态计算机可读存储介质，其包括用于使得计算机系统执行上文给出的一个或多个方法的指令。
附图说明
为了获得并且可以详细理解上文记载的诸方面的方式，通过参考附图、可以提供在上文简述的本发明实施方式的更详细描述。
然而，应当注意，附图仅示出了本发明的典型实施方式，并且因此不认为是限制本发明的范围，本发明可以允许其他等效实施方式。
图1A-图1B示出了根据本发明一个实施方式、配置用于执行流数据库应用的计算基础架构。
图2示出了根据本发明一个实施方式的计算节点。
图3示出了根据本发明一个实施方式的管理系统。
图4示出了根据本发明一个实施方式、在其中计算与一个或多个数据流相关联的性能度量的操作器图。
图5是根据本发明一个实施方式、用于计算与数据流相关联的一个或多个性能度量的方法流程图。
具体实施方式
本发明的实施方式提供了用于确定与基于流的应用相关联的各种性能度量的技术。在本公开的上下文中，基于流的应用包括接收数据流的一个或多个处理元件，其中数据流向该一个或多个处理元件递送元组。每个处理元件通常可以接收元组（或多个元组）以及向其他处理元件发送元组（或多个元组）。所发送的元组可以不由处理元件改变，但是也可以生成新的或修改的元组。包括在数据流中的元组在由一个或多个处理元件处理时、利用元数据加标签，这使得流性能管理器能够识别与数据流相关联的各种性能度量。结果，这些各种性能度量可以用来确定基于流的应用的性能，并且识别出基于流的应用中的潜在处理瓶颈。而且，对基于流的应用的调整可以自动地基于各种性能度量来进行，从而减轻处理瓶颈。
在下文中，参考本发明的实施方式。然而，应当理解，本发明不限于特定描述的实施方式。替代地，下述特征和元素（无论是否涉及不同实施方式）的组合都可以实现和实践本发明。此外，尽管本发明的实施方式较之于其他可能解决方案和/或现有技术可以实现优势，但是给定实施方式能否实现特定优势并不限制本发明。由此，下述方面、特征、实施方式和优势仅是示意的，并且不被认为是所附权利要求的元素或限制，除非在权利要求中明确提到。同样地，对“本发明”的参考不应当理解为此处公开的任何发明主题的综述，并且不应当认为是所附权利要求的元素或限制，除非权利要求明确记载。
所属技术领域的技术人员知道，本发明的各个方面可以实现为系统、方法或计算机程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、驻留软件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明的各个方面还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
下面将参照根据本发明实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些计算机程序指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。
也可以把这些计算机程序指令存储在计算机可读介质中，这些指令使得计算机、其它可编程数据处理装置、或其他设备以特定方式工作，从而，存储在计算机可读介质中的指令就产生出包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的指令的制造品（article of manufacture）。
也可以把计算机程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其他可编程装置上执行的指令能够提供实现流程图和/或框图中的框中规定的功能/动作的过程。
本发明的实施方式可以通过云计算基础架构提供至最终用户。云计算通常涉及通过网络将可扩展的计算资源作为一项服务来提供。更正式地，云计算可以定义为计算能力，其提供计算资源及其底层技术基础架构（例如，服务器、储存器、网络）之间的抽象，支持对可配置计算资源共享池的便利的按需网络访问，可配置计算资源可以利用最小的管理代价或服务提供者交互而快速地提供或释放。由此，云计算允许用户访问“云”中的虚拟计算资源（例如，储存器、数据、应用乃至整个虚拟化计算系统），而不用考虑用来提供计算资源的底层物理系统（或者这些系统的位置）。
典型地，云计算资源在按使用付费的基础上提供给用户，其中用户只针对实际使用的计算资源（例如，用户消耗的储存空间量，或者用户实例化的虚拟系统数量）付费。用户可以在任何时候、通过因特网从任何地点访问驻留在云中的任何资源。在本发明的上下文中，用户可以访问云中可用的应用或相关数据。这样做允许用户从附接于连接至云的网络（例如，因特网）的任何计算系统来访问此信息。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
图1A-图1B示出了根据本发明一个实施方式的配置用于执行基于流的应用的计算基础架构100。如所示，计算基础架构100包括管理系统105和多个计算节点1301-4，每个连接至通信网络120。而且，管理系统105包括操作器图（operator graph）132和流管理器134。操作器图132代表从一个或多个源处理元件（PE）开始到一个或多个宿PE的基于流的应用。数据元素流入基于流的应用的源PE中，并且由该PE进行处理。典型地，处理元件从流接收数据元素的N元组，并且向流中发送数据元素的N元组（除了流在该处结束的宿PE之外）。当然，处理元件接收的N元组不需要是向下游发送的相同的N元组。
并且，处理元件可以配置用于以除了N元组的格式之外的格式来接收或发出数据（例如，处理元件可以交换标记为XML文档的数据）。附加地，每个处理元件可以配置用于在接收的元组上执行任何形式的数据处理功能，包括，例如，向数据库表的写入，或者执行其他数据库操作，诸如，数据联合、拆分、读取等，以及执行其他数据分析功能或操作。
流管理器134可以配置用于监测在计算节点1301-4上运行的基于流的应用，以及改变操作器图132的结构。例如，流管理器134可以从一个计算节点130向另一个计算节点移动处理元件（PE），例如，以用于管理计算基础架构100中计算节点130的处理负载。此外，流管理器134可以通过插入、移除、融合（fuse）、去融合或以其他方式修改在计算节点1301-4上运行的处理元件（或什么数据元组流向处理元件），从而控制基于流的应用。
图1B示出了示例性操作器图，其包括运行在计算节点1301-4上的10个处理元件（标记为PE1-PE10）。尽管处理元件可以作为独立运行进程（其具有自己的进程ID（PID）和存储器空间）执行，但是多个处理元件可以融合以作为单个进程（带有PID和存储器空间）运行。在两个（或更多）处理元件独立运行的情况下，可以使用网络套接字（例如，TCP/IP套接字）来实现进程间通信。然而，当进程融合在一起时，融合的处理元件可以使用更快速的通信技术来在处理元件（以及每个处理元件中的操作器）之间传递N元组（或其他数据）。
如所示，操作器图开始于PE1，其从源135读取，并且在PE6和PE10结束，这二者均向宿1401-2写入。计算节点1301包括源PE1和PE2，PE3。源PE1发出由PE2和PE3接收的元组。例如，PE1可以拆分在元组中接收的数据元素，并将某些数据元素传递至PE2，另一些传递至PE3。流向PE2的数据产生发往计算节点1302上的PE4的元组。以及，PE4发出的数据元组流向宿PE6，其向宿1401写入。类似地，从PE3流向PE5的数据元组也到达宿PE6，其向宿1401写入。由此，除了作为用于此示例操作器图的宿之外，PE6可以配置用于执行联合操作，以将从PE4和PE5接收的元组进行组合。此示例性操作器图也示出了从PE3流向计算节点1303上的PE7的数据元组，该计算节点1303自身示出了流向PE8并流回PE7的数据元组。从PE8发出的数据元组流向计算节点1304上的PE9，PE9发出由宿PE10处理的元组，PE10向宿1402写入。
图2是根据本发明一个实施方式、图1A-图1B的计算节点130的更详细视图。如所示，计算节点130包括但不限于中央处理单元（CPU）205、网络接口215、互连220、存储器225和储存器230。计算节点130也可以包括用于将I/O设备212（例如，键盘、显示器和鼠标设备）连接至计算节点130的I/O设备接口210。
CPU205取回并执行存储在存储器225中的编程指令。类似地，CPU205存储并取回驻留在存储器225中的应用数据。互连220用于在CPU205、I/O设备接口210、储存器230、网络接口215和存储器225之间传输编程指令和应用数据。包括CPU205以代表单个CPU、多个CPU、具有多个处理核的单个CPU等。并且存储器225通常被包括进来以代表随机访问存储器。诸如硬盘驱动、固态设备（SSD）或闪存储存驱动的储存器230可以存储非易失性数据。
在此示例中，存储器225包括融合的处理元件（PE）235、流节点245、流性能监测器248和流连接数据255。流节点245包括操作器240的集合。每个操作器240可以提供少量的可执行代码，其配置用于处理流入处理元件（例如，PE235）的数据，以及发出数据至该PE中的其他操作器240，以及至基于流的应用中的其他PE。这种PE可以位于相同计算节点130上，或者位于通过数据通信网络120访问的其他计算节点上。
流性能监测器248配置用于利用元数据对经由数据流接收的元组加标签，该元数据使得流性能管理器（在下文结合图3-图5进行详细描述）识别与该数据流相关联的各种性能度量。流连接数据255代表计算节点130上的PE之间的连接（例如，TCP/IP套接字连接）和去往具有基于流的应用中的上游和下游PE的其他计算节点130的连接，该连接也经由TCP/IP套接字（或其他进程间数据通信机制）。
缓冲的流数据260代表用于从上游处理元件（或者从用于基于流的应用的数据源）流入计算节点105的数据的存储空间。例如，缓冲的流数据可以包括等待由处理元件（诸如PE235）处理的数据元组。缓冲的流数据260也可以存储由PE235执行的数据处理的结果，该结果将被发送至下游处理元件（或在下游处理元件处丢弃的负载）。
图3是根据本发明一个实施方式、图1的管理系统105的更详细视图。如所示，管理系统105包括但不限于中央处理单元（CPU）305、网络接口315、互连320、存储器325和储存器330。客户端系统130也可以包括将I/O设备312（例如，键盘、显示器和鼠标设备）连接至管理系统105的I/O设备接口310。
与图2的CPU205类似，CPU305配置用于取回并执行存储在存储器325和储存器330中的编程指令。类似地，CPU305配置用于存储并取回驻留在存储器325和储存器330中的应用数据。互连320配置用于在CPU305、I/O设备接口310、储存单元330、网络接口315和存储器325之间移动数据（诸如编程指令和应用数据）。与CPU205类似，CPU305被包括以代表单个CPU、多个CPU、具有多个处理核的单个CPU等。存储器325通常被包括进来以代表随机访问存储器。网络接口315配置用于经由通信网络120传输数据。尽管示出为单个单元，但是储存器330可以是固定和/或可移除存储设备的组合，诸如固定盘驱动、可移除存储卡、光储存器、SSD或闪存设备、网络附接存储（NAS）或去往存储区域网络（SAN）设备的连接。
如所示，存储器325存储流管理器134和流性能管理器335。储存器330包括操作器图132。操作器图132代表从一个或多个源处理元件（PE）开始到一个或多个宿PE的基于流的应用。在一个实施方式中，流管理器134监测在计算节点1301-4上运行的基于流的应用，以及在需要的时候改变操作器图132的结构。例如，流管理器134可以从一个计算节点130向另一个计算节点移动处理元件（PE），例如，以用于管理计算基础架构100中计算节点130的处理负载。此外，流管理器134可以通过插入、移除、融合、去融合或以其他方式修改运行在计算节点1301-4上的处理元件（或什么数据元组流向处理元件），从而控制基于流的应用。
流性能管理器335配置用于通过使用一个或多个流性能监测器248来分析加标签至元组的元数据。通过这种分析，流性能管理器335计算与从其中接收元组的数据流相关联的有用性能度量。例如，流性能管理器335可以配置用于确定元组在包括于操作器图中的两个特定PE之间行进所花费的时间总量、确定元组在PE群组之间行进所花费的时间总量、确定元组跨包括在操作器图中所有PE行进所花费的时间总量，和/或确定元组跨两个或更多计算节点行进所花费的时间总量。流性能管理器335也可以配置用于确定特定元组穿过的操作器总数量、计算元组的每个属性被更新的总次数，和/或识别一个或多个PE、操作器图或计算节点中完全重复或部分重复的流。
有利地，这些性能度量可以用于识别基于流的应用中的处理低效。例如，如果基于上述一个或多个性能度量检测到经由数据流接收的元组吞吐量存在下降，则经由数据流接收的元组属性的进一步分析（结合如何在基于流的应用中对数据进行处理的分析）可以由流管理器134使用，以自动地引起在试图恢复数据流元组吞吐量时创建附加的流路径。在一个示例中，经由数据流到达的元组在“RYAN”或“JOHN”的姓名属性基础上进行拆分，这典型地导致元组通过基于流的应用时的均匀分布。然而，基于流的应用可能在某个时间点归因于仅接收带有姓名属性“JOHN”的元组这种不规则分布而过载。在这种情况下，处理具有姓名属性“JOHN”的元组的另一路径可以由例如流管理器134自动创建，从而均衡基于流的应用中的元组分布。基于流的应用的更新配置继而由流性能管理器335进行采样，以确定更新的配置是否缓解了吞吐量低效。
图4示出了根据本发明一个实施方式的操作器图400，在其中计算与一个或多个数据流相关联的性能度量。如所示，数据流4021-6从PE404流向PE406，其中PE406分发数据流4021-3至PE408进行处理，以及分发数据流4024-6至PE10进行处理。如上所述，诸如流性能监测器430的一个或多个流性能监测器配置用于利用元数据对经由数据流402接收的、并由PE404、406、408、410和412处理的元组加标签。以此方式，流性能管理器335能够计算针对数据流402、PE404、406、408、410和412、操作器图400和执行PE404、406、408、410和412的一个或多个计算节点（未示出）的各种性能度量。
在图4所示的示例中，当PE408和PE410分别处理数据流4021-3和数据流4024-6时，这些数据流作为数据流4021-3’和数据流4024-6’输出并且转发至PE412做进一步处理。当PE412处理数据流4021-6’时，数据流作为数据流4021-6’’输出，而数据流4021-5’’被转发至PE414，以及数据流4026’’被“循环回”PE410以由PE410做附加处理，其中PE410可以可选地输出数据流4026’’至PE412。
在一个实施方式中，PE的每一个（例如PE408）处在与其关联的流性能监测器430的操作下，配置用于最初利用元数据向在PE408处接收的每个元组加标签，其中元数据包括1）与PE408相关联的标识（ID）编号，2）PE408被包括在其中的操作器图（即，操作器图400）的ID编号，3）PE408在其上执行的计算节点（未示出）的ID编号，和4）指示PE408接收元组时间的时间戳。在输出处理的元组之前，PE408在与其相关联的流性能监测器430的操作下，利用附加的元数据对处理的元组加标签，其中附加的元数据指示当前时间戳和上述ID。由此，当元组被传输至后续PE412时，流性能管理器335能够经由与PE412相关联的流性能监测器430确定PE408处理元组所花费的时间量。
如上所述，前文元数据由流管理器335使用，以确定各种性能度量。在一个示例中，流管理器335确定元组在包括在操作器图中的两个特定PE（例如，包括在操作器图400中的PE404和PE412）之间行进所花费的时间总量。为了做出此确定，流管理器335从元组的元数据取回与PE404和PE412的ID相关联的时间戳，并且计算时间戳之间的差值，其中该差值代表元组在PE404和PE412之间行进所花费的时间量。
在另一示例中，流管理器335确定元组在PE群组（即，包括在操作器图中的两个或更多PE，例如，PE410,412和414）间行进所花费的总时间量。为了做出此确定，流管理器335分析操作器图400的组织，以确定PE群组的起点和终点（即，PE410和PE412），继而从元组的元数据取回与PE410和412的ID相关联的时间戳，并且计算时间戳之间的差值，其中该差值代表元组在PE410,412和414的群组间行进所花费的时间量。
在另一示例中，流管理器335确定元组跨包括在操作器图中的所有PE（例如，包括在操作器图400中的PE404,406,408,410和412）行进所花费的总时间量。为了做出此确定，流管理器335分析操作器图400的组织，以确定操作器图400的起点和终点（即，PE404和PE412），继而从元组的元数据取回与PE404和412的ID相关联的时间戳，并且计算时间戳之间的差值，其中该差值代表元组跨操作器图400行进所花费的时间量。
在另一示例中，流管理器335确定元组跨两个或更多计算节点（未示出）行进所花费的总时间量。在一个示例中，PE404和PE406在第一计算节点上执行，而PE408、410和412在第二计算节点上执行。为了确定元组在第一计算节点和第二计算节点之间行进所花费的时间量，流管理器从元组的元数据取回与第一计算节点的ID和第二计算节点的ID相关联的时间戳，并且计算时间戳之间的差值，其中该差值代表元组在第一计算节点和第二计算节点之间行进所花费的时间量。
在另一示例中，流管理器335确定特定元组行进所通过的操作器的总数量。为了做出此确定，流管理器335参考元组的元数据，并且对包括于其中的时间戳/ID进行解析，从而建立针对处理元组的一个或多个计算节点、操作器图或PE的计数，其中每个计数指示关联实体处理该元组的次数。
附加地，PE的每一个（例如，PE408）在与其关联的流性能监测器430的操作下，配置用于利用元数据对在PE408处接收的每个元组加标签，其中元数据指示该元组的每个数据属性被改变的次数。例如，如果元组具有第一、第二和第三属性，以及PE408更新元组的第一和第二属性，则针对第一属性的计数器和针对第二属性的计数器递增。因此，流性能管理器335参考此元数据，以计算该元组的每个属性在元组跨例如操作器图400行进时更新的总次数。
流性能管理器335进一步配置用于分析前述元数据，以识别在一个或多个PE、操作器图或计算节点中的完全相同或部分相同的流。更具体地，流性能管理器335分析包括在与两个或更多元组相关联的元数据中的时间戳和ID——以及这两个或更多元组的数据属性——以识别这两个或更多元组之间的相似性。例如，如果第一元组指示第一处理元件在时间X处理第一元组，而第二元组指示第二处理元件在时间X处理第二元组，其中第一元组和第二元组具有相同属性，则流性能管理器335可以向用户指示：归因于数据流中重复元组的存在而出现了潜在的处理瓶颈。
图5是根据本发明一个实施方式、用于计算与数据流相关联的一个或多个性能度量的方法500的流程图。在一个实施方式中，方法步骤500由流性能管理器335执行。如所示，方法500开始于步骤502，其中流性能管理器335建立与提供多个元组的数据流的连接。在步骤504，流性能管理器335将包括在多个元组中的第一元组设置为当前元组。在步骤506，流性能管理器335根据上文结合图4描述的技术、利用性能度量元数据对当前元组加标签。
在步骤508，流性能管理器335确定是否有附加的元组包括在该多个元组中。如果在步骤508处、流性能管理器335确定附加元组包括在该多个元组中，则方法500前进至步骤510，其中流性能管理器335将包括在该多个元组中的下一元组设置为当前元组。方法步骤506-510重复，直到包括在该多个元组中的每个元组已利用性能度量元数据加标签为止。
在步骤512，流性能管理器335从用户接收计算与数据流相关联的一个或多个性能度量的请求。此请求可以例如由访问流管理器335提供的用户接口的用户生成，其中该用户能够选择他/她有兴趣查看的特定性能度量。该用户也可以通过用户接口指定缩窄性能度量的值，诸如计算节点、操作器图和处理元件的ID。
在步骤514，流性能管理器335解析与一个或多个元组相关联的元数据，以计算一个或多个性能度量，诸如上文结合图4描述的性能度量。在步骤516，流性能管理器335经由例如显示设备上的接口向用户显示该一个或多个性能度量。
本发明的实施方式提供了用于确定与基于流的应用相关联的各种性能度量的技术。具体地，包括在数据流中的元组在由一个或多个处理元件处理时、被利用元数据加标签，这使得流性能管理器能够识别与数据流相关联的各种性能度量。结果，这些各种性能度量可以用来确定基于流的应用的健康状况和性能，并且识别出基于流的应用中的潜在处理瓶颈。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
尽管上文针对本发明的实施方式，但是在不脱离本发明基本范围的情况下、可以设想出本发明的其他和进一步实施方式，并且本发明的范围由随后的权利要求确定。
权利要求书(按照条约第19条的修改)
1.一种实现在基于流的计算系统中的方法，所述方法包括：
在配置用于处理流经所述基于流的计算系统的数据元组的第一处理元件处，接收与第一数据流相关联的一个或多个元组；
在所述第一处理元件处，处理所述一个或多个元组的每一个元组；
在所述第一处理元件处，将所述一个或多个元组的每一个元组与包括与由所述第一处理元件对所述元组的处理有关的信息的元数据相关联；
从所述第一处理元件输出经处理的所述一个或多个元组；
在流性能管理器元件处接收流经所述基于流的计算系统的所述一个或多个元组；
在所述流性能管理器元件处，基于与所述一个或多个元组相关联的所述元数据计算性能度量；以及
经由显示设备上的用户接口显示计算的所述性能度量。
2.如权利要求1所述的方法，其中所述元数据信息包括时间戳、所述第一处理元件的标识（ID）、所述第一处理元件被包括在其中的操作器图的ID、所述第一处理元件在其上执行的计算节点的ID，以及针对包括在所述元组中的每个数据属性的不同计数器值。
3.如权利要求2所述的方法，其中计算的所述性能度量针对经由所述第一数据流接收的所述一个或多个元组的每一个元组、指示所述第一处理元件和包括在所述基于流的计算系统内的其他处理元件处理所述元组的时间量。
4.如权利要求2所述的方法，其中计算的所述性能度量针对经由所述第一数据流接收的所述一个或多个元组的每一个元组指示包括在所述基于流的计算系统内的两个或更多处理元件处理所述元组的时间量。
5.如权利要求2所述的方法，其中计算的所述性能度量指示所述一个或多个元组的每一个元组行经所述基于流的计算系统的时间量。
6.如权利要求2所述的方法，其中计算的所述性能度量指示所述一个或多个元组的每一个元组在包括在所述基于流的计算系统中的两个或更多计算节点之间行进的时间量。
7.如权利要求2所述的方法，其中计算的所述性能度量针对经由所述第一数据流接收的所述一个或多个元组的每一个元组、指示包括在所述基于流的计算系统内的每个计算节点、处理元件、和/或操作器图处理所述元组的次数。
8.如权利要求2所述的方法，其中计算的所述性能度量针对经由所述第一数据流接收的所述一个或多个元组的每一个元组、指示包括在所述元组中的每个数据属性被修改的次数。
9.如权利要求2所述的方法，进一步包括步骤：
在配置用于处理流经所述基于流的计算系统的数据元组的第二处理元件处，接收与第二数据流相关联的一个或多个元组；
在所述第二处理元件处，处理所述一个或多个元组的每一个元组；以及
将所述一个或多个元组的每一个元组与包括与由所述第二处理元件对所述元组的处理有关的信息的元数据相关联。
10.如权利要求9所述的方法，其中计算的所述性能度量指示：基于与经由所述第一数据流接收的所述一个或多个元组和经由所述第二数据流接收的所述一个或多个元组相关联的所述元数据、所述第一数据流和所述第二数据流彼此互为副本。
11.如权利要求1所述的方法，其中计算的所述性能度量用于自动调整所述基于流的计算系统的配置。
12.一种系统，包括适用于执行根据任一前述方法权利要求的方法的所有步骤的装置。
13.一种计算机程序，包括用于当所述计算机程序在计算机系统上执行时、执行根据任一前述方法权利要求的方法所有步骤的指令。

Claims (22)

1.一种实现在基于流的计算系统中的方法，所述方法包括：
在配置用于处理流经所述基于流的计算系统的数据元组的第一处理元件处，接收与第一数据流相关联的一个或多个元组；
在所述第一处理元件处，处理所述一个或多个元组的每一个元组；
将所述一个或多个元组的每一个元组与包括与由所述第一处理元件对所述元组的处理有关的信息的元数据相关联；
基于与所述一个或多个元组相关联的所述元数据计算性能度量；以及
经由显示设备上的用户接口显示计算的所述性能度量。
2.如权利要求1所述的方法，其中所述元数据信息包括时间戳、所述第一处理元件的标识（ID）、所述第一处理元件被包括在其中的操作器图的ID、所述第一处理元件在其上执行的计算节点的ID，以及针对包括在所述元组中的每个数据属性的不同计数器值。
3.如权利要求2所述的方法，其中计算的所述性能度量针对经由所述第一数据流接收的所述一个或多个元组的每一个元组、指示所述第一处理元件和包括在所述基于流的计算系统内的其他处理元件处理所述元组的时间量。
4.如权利要求2所述的方法，其中计算的所述性能度量针对经由所述第一数据流接收的所述一个或多个元组的每一个元组、指示包括在所述基于流的计算系统内的两个或更多处理元件处理所述元组的时间量。
5.如权利要求2所述的方法，其中计算的所述性能度量指示所述一个或多个元组的每一个元组行经所述基于流的计算系统的时间量。
6.如权利要求2所述的方法，其中计算的所述性能度量指示所述一个或多个元组的每一个元组在包括在所述基于流的计算系统中的两个或更多计算节点之间行进的时间量。
7.如权利要求2所述的方法，其中计算的所述性能度量针对经由所述第一数据流接收的所述一个或多个元组的每一个元组、指示包括在所述基于流的计算系统内的每个计算节点、处理元件、和/或操作器图处理所述元组的次数。
8.如权利要求2所述的方法，其中计算的所述性能度量针对经由所述第一数据流接收的所述一个或多个元组的每一个元组、指示包括在所述元组中的每个数据属性被修改的次数。
9.如权利要求2所述的方法，进一步包括步骤：
在配置用于处理流经所述基于流的计算系统的数据元组的第二处理元件处，接收与第二数据流相关联的一个或多个元组；
在所述第二处理元件处，处理所述一个或多个元组的每一个元组；以及
将所述一个或多个元组的每一个元组与包括与由所述第二处理元件对所述元组的处理有关的信息的元数据相关联。
10.如权利要求9所述的方法，其中计算的所述性能度量指示：基于与经由所述第一数据流接收的所述一个或多个元组和经由所述第二数据流接收的所述一个或多个元组相关联的所述元数据、所述第一数据流和所述第二数据流彼此互为副本。
11.如权利要求1所述的方法，其中计算的所述性能度量用于自动调整所述基于流的计算系统的配置。
12.一种存储应用的计算机可读存储介质，当所述应用在基于流的计算系统的处理器上被执行时，所述应用执行过程，包括：
在配置用于处理流经所述基于流的计算系统的数据元组的第一处理元件处，接收与第一数据流相关联的一个或多个元组；
在所述第一处理元件处，处理所述一个或多个元组的每一个元组；
将所述一个或多个元组的每一个元组与包括与由所述第一处理元件对所述元组的处理有关的信息的元数据相关联；
基于与所述一个或多个元组相关联的所述元数据计算性能度量；以及
经由显示设备上的用户接口显示计算的所述性能度量。
13.如权利要求12所述的计算机可读存储介质，其中所述元数据信息包括时间戳、所述第一处理元件的标识（ID）、所述第一处理元件被包括在其中的操作器图的ID、所述第一处理元件在其上执行的计算节点的ID，以及针对包括在所述元组中的每个数据属性的不同计数器值。
14.如权利要求13所述的计算机可读存储介质，其中计算的所述性能度量针对经由所述第一数据流接收的所述一个或多个元组的每一个元组、指示所述第一处理元件和包括在所述基于流的计算系统内的其他处理元件处理所述元组的时间量。
15.如权利要求13所述的计算机可读存储介质，其中计算的所述性能度量针对经由所述第一数据流接收的所述一个或多个元组的每一个元组、指示包括在所述基于流的计算系统内的两个或更多处理元件处理所述元组的时间量。
16.如权利要求13所述的计算机可读存储介质，其中计算的所述性能度量指示所述一个或多个元组的每一个元组行经所述基于流的计算系统的时间量。
17.如权利要求13所述的计算机可读存储介质，其中计算的所述性能度量指示所述一个或多个元组的每一个元组在包括在所述基于流的计算系统中的两个或更多计算节点之间行进的时间量。
18.如权利要求13所述的计算机可读存储介质，其中计算的所述性能度量针对经由所述第一数据流接收的所述一个或多个元组的每一个元组、指示包括在所述基于流的计算系统内的每个计算节点、处理元件、和/或操作器图处理所述元组的次数。
19.如权利要求13所述的计算机可读存储介质，其中计算的所述性能度量针对经由所述第一数据流接收的所述一个或多个元组的每一个元组、指示包括在所述元组中的每个数据属性被修改的次数。
20.如权利要求12所述的计算机可读存储介质，其中计算的所述性能度量用于自动调整所述基于流的计算系统的配置。
21.一种系统，包括：
多个计算节点，每个计算节点包括处理器和存储器，其中所述存储器存储流性能管理器，当所述流性能管理器在计算节点上执行时，其配置用于执行用于计算性能度量的操作，所述操作包括：
在配置用于处理流经所述基于流的计算系统的数据元组的第一处理元件处，接收与第一数据流相关联的一个或多个元组；
在所述第一处理元件处，处理该一个或多个元组的每一个元组；
将所述一个或多个元组的每一个元组与包括与由所述第一处理元件对所述元组的处理有关的信息的元数据相关联；
基于与所述一个或多个元组相关联的所述元数据计算性能度量；以及
经由显示设备上的用户接口来显示计算的所述性能度量。
22.如权利要求21所述的系统，其中所述元数据信息包括时间戳、所述第一处理元件的标识（ID）、所述第一处理元件被包括在其中的操作器图的ID、所述第一处理元件在其上执行的计算节点的ID，以及针对包括在所述元组中的每个数据属性的不同计数器值。
CN201280040271.9A 2011-08-26 2012-07-03 流应用性能监测度量 Expired - Fee Related CN103733198B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/218,545 US9396157B2 (en) 2011-08-26 2011-08-26 Stream application performance monitoring metrics
US13/218,545 2011-08-26
PCT/IB2012/053376 WO2013030684A1 (en) 2011-08-26 2012-07-03 Stream application performance monitoring metrics

Publications (2)

Publication Number Publication Date
CN103733198A true CN103733198A (zh) 2014-04-16
CN103733198B CN103733198B (zh) 2017-11-14

Family

ID=47745274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280040271.9A Expired - Fee Related CN103733198B (zh) 2011-08-26 2012-07-03 流应用性能监测度量

Country Status (5)

Country Link
US (2) US9396157B2 (zh)
CN (1) CN103733198B (zh)
DE (1) DE112012003540B4 (zh)
GB (1) GB2510723B (zh)
WO (1) WO2013030684A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106796520A (zh) * 2014-10-08 2017-05-31 信号公司 基于软件的仪器化的实时报告
CN115686869A (zh) * 2022-12-29 2023-02-03 杭州迈拓大数据服务有限公司 资源处理方法、系统、电子装置和存储介质

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9310980B2 (en) * 2012-08-21 2016-04-12 Beyondvia Technologies Systems and methods for performance comparisons utilizing an infinite cylinder user interface
US10304126B2 (en) 2008-04-30 2019-05-28 Beyondvia Technologies Visual communication systems and methods designing and building entire experiences
US9298582B1 (en) * 2012-06-28 2016-03-29 Emc Corporation Method and apparatus for performance data transformation in a cloud computing system
US9195559B2 (en) * 2012-12-12 2015-11-24 International Business Machines Corporation Management of stream operators with dynamic connections
US9002846B2 (en) 2013-03-15 2015-04-07 International Business Machines Corporation Ending tuple processing in a stream-based computing application
US9229965B2 (en) 2013-03-20 2016-01-05 International Business Machines Corporation Managing attributes in stream processing using a cache
US9218395B2 (en) * 2013-03-20 2015-12-22 International Business Machines Corporation Managing attributes in stream processing
US9384302B2 (en) * 2013-06-17 2016-07-05 International Business Machines Corporation Generating differences for tuple attributes
US9379950B2 (en) 2013-11-07 2016-06-28 International Business Machines Corporation Using cloud resources to improve performance of a streaming application
US9130831B2 (en) 2013-11-07 2015-09-08 International Business Machines Corporation Streaming state data for cloud management
US9237079B2 (en) 2013-11-19 2016-01-12 International Business Machines Corporation Increasing performance of a streaming application by running experimental permutations
US9729419B2 (en) * 2014-03-27 2017-08-08 International Business Machines Corporation Smart migration of overperforming operators of a streaming application to virtual machines in a cloud
US9189212B2 (en) * 2014-03-31 2015-11-17 International Business Machines Corporation Predicted outputs in a streaming environment
US9614740B2 (en) * 2014-05-13 2017-04-04 International Business Machines Corporation Multifusion of a stream operator in a streaming application
US9747343B2 (en) * 2015-02-19 2017-08-29 International Business Machines Corporation Algorithmic changing in a streaming environment
WO2016175863A1 (en) * 2015-04-30 2016-11-03 Hewlett Packard Enterprise Development Lp Monitoring application operations using user interaction times
US10175961B2 (en) * 2015-06-10 2019-01-08 International Business Machines Corporation Joining operator graph elements via whole program optimization
US9690800B2 (en) * 2015-06-12 2017-06-27 International Business Machines Corporation Tracking tuples to reduce redundancy in a graph
US9917753B2 (en) * 2015-06-12 2018-03-13 Level 3 Communications, Llc Network operational flaw detection using metrics
US9652295B2 (en) 2015-06-26 2017-05-16 International Business Machines Corporation Runtime fusion of operators based on processing element workload threshold and programming instruction compatibility
US9575870B2 (en) 2015-07-23 2017-02-21 International Business Machines Corporation Streaming breakpoint for data tuples that stay in an operator graph too long
US9785507B2 (en) * 2015-07-30 2017-10-10 International Business Machines Corporation Restoration of consistent regions within a streaming environment
US9619365B2 (en) 2015-08-17 2017-04-11 International Business Machines Corporation Streaming breakpoint for data tuples based on resource usage
US20170063952A1 (en) 2015-08-21 2017-03-02 International Business Machines Corporation Moving a portion of a streaming application to a public cloud based on sensitive data
US9699148B2 (en) 2015-09-10 2017-07-04 International Business Machines Corporation Moving a portion of a streaming application to a public cloud based on sensitive data
US20170147407A1 (en) * 2015-11-24 2017-05-25 International Business Machines Corporation System and method for prediciting resource bottlenecks for an information technology system processing mixed workloads
WO2017141176A1 (en) * 2016-02-18 2017-08-24 New Relic, Inc. Identifying the root cause of an issue observed during application execution
US10599478B1 (en) 2016-03-29 2020-03-24 Amazon Technologies, Inc. Automated reconfiguration of real time data stream processing
US10191881B2 (en) * 2016-06-06 2019-01-29 Hewlett Packard Enterprise Development Lp Modifications to a stream processing topology during processing of a data stream
US10778785B2 (en) * 2017-11-28 2020-09-15 International Business Machines Corporation Cognitive method for detecting service availability in a cloud environment
US10594753B2 (en) 2018-01-03 2020-03-17 International Business Machines Corporation System and method for identifying external connections in a streaming application
CN109088755B (zh) * 2018-08-01 2021-07-27 南京大学 一种边缘计算下的复杂事件处理系统部署方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1859233A (zh) * 2006-01-05 2006-11-08 华为技术有限公司 在通信系统中进行QoS时延探测的方法
US20070250538A1 (en) * 2006-04-21 2007-10-25 Database Brothers, Inc. System and method for monitoring and displaying database performance information
US20080126534A1 (en) * 2006-11-28 2008-05-29 Wolfgang Mueller Method and system to monitor parameters of a data flow path in a communication system
US20090006310A1 (en) * 2007-06-27 2009-01-01 Michiko Tanaka Stream data processing method and stream data processing system
US20090063904A1 (en) * 2007-08-31 2009-03-05 Alexander Abrashkevich Description of activities in software products
US20090094195A1 (en) * 2003-03-15 2009-04-09 Damian Black Method for Distributed RDSMS
CN101933018A (zh) * 2008-01-29 2010-12-29 惠普开发有限公司 用于分布式共享流处理系统的查询部署计划
US7953856B2 (en) * 2006-05-31 2011-05-31 International Business Machines Corporation Multiple resource control-advisor for management of distributed or web-based systems
US20110167148A1 (en) * 2010-01-04 2011-07-07 International Business Machines Corporation System and method for merging monitoring data streams from a server and a client of the server

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8880480B2 (en) * 2007-01-03 2014-11-04 Oracle International Corporation Method and apparatus for data rollback
US8391164B2 (en) * 2008-01-02 2013-03-05 At&T Intellectual Property I, L.P. Computing time-decayed aggregates in data streams
JP5149840B2 (ja) * 2009-03-03 2013-02-20 株式会社日立製作所 ストリームデータ処理方法、ストリームデータ処理プログラム、および、ストリームデータ処理装置
US8386466B2 (en) * 2009-08-03 2013-02-26 Oracle International Corporation Log visualization tool for a data stream processing server
US20110314019A1 (en) * 2010-06-18 2011-12-22 Universidad Politecnica De Madrid Parallel processing of continuous queries on data streams
US8639809B2 (en) 2010-08-20 2014-01-28 International Business Machines Corporation Predictive removal of runtime data using attribute characterizing
US20120158953A1 (en) * 2010-12-21 2012-06-21 Raytheon Bbn Technologies Corp. Systems and methods for monitoring and mitigating information leaks
US9015311B2 (en) * 2011-05-24 2015-04-21 Citrix Systems, Inc. Systems and methods for analyzing network metrics

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090094195A1 (en) * 2003-03-15 2009-04-09 Damian Black Method for Distributed RDSMS
CN1859233A (zh) * 2006-01-05 2006-11-08 华为技术有限公司 在通信系统中进行QoS时延探测的方法
US20070250538A1 (en) * 2006-04-21 2007-10-25 Database Brothers, Inc. System and method for monitoring and displaying database performance information
US7953856B2 (en) * 2006-05-31 2011-05-31 International Business Machines Corporation Multiple resource control-advisor for management of distributed or web-based systems
US20080126534A1 (en) * 2006-11-28 2008-05-29 Wolfgang Mueller Method and system to monitor parameters of a data flow path in a communication system
US20090006310A1 (en) * 2007-06-27 2009-01-01 Michiko Tanaka Stream data processing method and stream data processing system
US20090063904A1 (en) * 2007-08-31 2009-03-05 Alexander Abrashkevich Description of activities in software products
CN101933018A (zh) * 2008-01-29 2010-12-29 惠普开发有限公司 用于分布式共享流处理系统的查询部署计划
US20110167148A1 (en) * 2010-01-04 2011-07-07 International Business Machines Corporation System and method for merging monitoring data streams from a server and a client of the server

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106796520A (zh) * 2014-10-08 2017-05-31 信号公司 基于软件的仪器化的实时报告
CN115686869A (zh) * 2022-12-29 2023-02-03 杭州迈拓大数据服务有限公司 资源处理方法、系统、电子装置和存储介质
CN115686869B (zh) * 2022-12-29 2023-03-21 杭州迈拓大数据服务有限公司 资源处理方法、系统、电子装置和存储介质

Also Published As

Publication number Publication date
GB2510723A (en) 2014-08-13
US9396158B2 (en) 2016-07-19
GB2510723B (en) 2018-10-24
US20130054779A1 (en) 2013-02-28
US9396157B2 (en) 2016-07-19
WO2013030684A1 (en) 2013-03-07
DE112012003540B4 (de) 2024-02-22
US20130103832A1 (en) 2013-04-25
GB201403463D0 (en) 2014-04-16
DE112012003540T5 (de) 2014-05-08
CN103733198B (zh) 2017-11-14

Similar Documents

Publication Publication Date Title
CN103733198A (zh) 流应用性能监测度量
US11568404B2 (en) Data monetization and exchange platform
US20210357211A1 (en) Meta-indexing, search, compliance, and test framework for software development
US20180240062A1 (en) Collaborative algorithm development, deployment, and tuning platform
US11250073B2 (en) Method and apparatus for crowdsourced data gathering, extraction, and compensation
CN105593854B (zh) 数据流的定制划分
CN104541247B (zh) 用于调整云计算系统的系统和方法
CN106575246A (zh) 机器学习服务
US20180276508A1 (en) Automated visual information context and meaning comprehension system
US11531538B2 (en) Meta-indexing, search, compliance, and test framework for software development using smart contracts
US11531539B2 (en) Automated compliance and testing framework for software development
US20240195842A1 (en) Massively scalable computer platform using a distributed computational graph
CN105122733B (zh) 队列监控和可视化
Saxena et al. Practical real-time data processing and analytics: distributed computing and event processing using Apache Spark, Flink, Storm, and Kafka
US20230208882A1 (en) Policy - aware vulnerability mapping and attack planning
Raj et al. Big data analytics processes and platforms facilitating smart cities
US20210125161A1 (en) Method and apparatus for crowdsourced data gathering, extraction, and compensation
US10296620B2 (en) Smart tuple stream alteration
US10657135B2 (en) Smart tuple resource estimation
CN103733188A (zh) 使操作器图中的流无效
Štefanič et al. Quality of Service‐aware matchmaking for adaptive microservice‐based applications
US20220224743A1 (en) Selective encryption of streaming data
US20180181914A1 (en) Algorithm monetization and exchange platform
WO2019136178A1 (en) Collaborative algorithm development, deployment, and tuning platform
US20240202028A1 (en) System and method for collaborative algorithm development and deployment, with smart contract payment for contributors

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171114

CF01 Termination of patent right due to non-payment of annual fee