CN104838377B - 利用映射缩减集成事件处理 - Google Patents

利用映射缩减集成事件处理 Download PDF

Info

Publication number
CN104838377B
CN104838377B CN201380063379.4A CN201380063379A CN104838377B CN 104838377 B CN104838377 B CN 104838377B CN 201380063379 A CN201380063379 A CN 201380063379A CN 104838377 B CN104838377 B CN 104838377B
Authority
CN
China
Prior art keywords
inquiry
operator
cql
processors
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380063379.4A
Other languages
English (en)
Other versions
CN104838377A (zh
Inventor
A·德卡斯特罗艾尔维斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oracle International Corp
Original Assignee
Oracle International Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oracle International Corp filed Critical Oracle International Corp
Publication of CN104838377A publication Critical patent/CN104838377A/zh
Application granted granted Critical
Publication of CN104838377B publication Critical patent/CN104838377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stored Programmes (AREA)

Abstract

大量数据可以利用连续事件处理和映射缩减算法工具的组合来相对快速地进行处理和/或查询。连续事件处理器通过合并(a)来自自从当前执行的映射缩减作业启动以后接收到的事件的CQL查询结果和(b)由最近完成的映射缩减作业产生的最近的查询结果，可以连续地产生实时结果。当当前执行的映射缩减作业完成时，可以存储它的查询结果且使得其对于连续事件处理器来说是可访问的，并且可以相对于自从上一个映射缩减作业执行以后大小已增长的事件数据启动新的映射缩减作业。映射缩减算法工具为分析和处理大量数据提供了方便的机制。

Description

利用映射缩减集成事件处理
对相关申请的交叉引用
本申请根据35U.S.C.119(e)要求于2012年12月5日提交的标题为“A METHOD FORINTEGRATING EVENT PROCESSING WITH MAP REDUCE”的美国临时申请No.61/733,844的优先权，其全部内容通过引用被结合于此，用于任何目的。本申请根据35U.S.C.119(e)还要求于2013年3月29日提交的标题为“INTEGRATING EVENT PROCESSING WITH MAP REDUCE”的美国临时申请No.61/806,744的优先权，其全部内容通过引用被结合于此，用于任何目的。本申请根据35U.S.C.119(e)还要求于2013年11月13日提交的标题为“INTEGRATING EVENTPROCESSING WITH MAP-REDUCE”的美国非临时申请No.14/079,538的优先权，其全部内容通过引用被结合于此，用于任何目的。
背景技术
连续事件处理器能够接收连续的事件流并且通过对其中包含的每个事件应用连续事件处理(CEP)查询来处理每个事件。这种CEP查询可以被格式化为符合CEP查询语言的语法，其中CEP查询语言诸如连续查询语言(CQL)，它是结构化查询语言(SQL)的扩展。SQL查询通常对已存储在关系型数据库的表中的数据(每个用户请求)应用一次，而CQL查询随着到来事件流中的事件被连续事件处理器接收被重复地应用到那些事件。
例如，数据流可以指定各种公司的股票价格。随着时间的流逝，那些公司的最新股票价格可以被添加到数据流中。连续事件处理器可以接收每个这种股票价格，并且在那个股票价格到达时对那个股票价格应用CQL查询。CQL查询可以指定各种操作，潜在地包括过滤和聚合操作。连续事件处理器然后可以向各种感兴趣的监听者输出CQL查询的应用结果。
附图说明
图1是根据本发明的实施例说明用于利用映射缩减算法工具和CEP的组合计算相对于大量数据的实时查询结果的技术的流程图。
图2是根据本发明的实施例说明用于利用映射缩减算法工具和CEP的组合计算相对于大量数据的实时查询结果的系统的框图。
图3是说明可以根据本发明的实施例使用的系统环境的组件的简化框图。
图4是可以根据本发明的实施例使用的计算机系统的简化框图。
图5是根据本发明的实施例说明用于基于单个查询生成连续和批处理组件的技术的例子的流程图。
图6是根据本发明的实施例说明用于基于查询生成功能上等效的运算符的技术的例子的流程图。
图7是根据本发明实施例的电子设备700的简化框图。
具体实施方式
本发明的实施例涉及连续事件处理领域。本发明的实施例包括用于利用连续事件处理和映射缩减(Map-Reduce)算法工具的组合相对快速地处理或查询大量数据的技术。在实施例中，连续事件处理器通过合并(a)来自自从当前执行的映射缩减作业启动以后接收到的事件的CQL查询结果和(b)由最近完成的映射缩减作业产生的最近的查询结果连续地产生实时结果。当当前执行的映射缩减作业完成时，存储它的查询结果且使得该查询结果对于连续事件处理器是可访问的，并且相对于自从上一个映射缩减作业执行之后大小已增长的事件数据启动新的映射缩减作业。映射缩减算法工具为分析和处理大量数据提供了方便的机制。这种大量的数据有时被称为“大数据”。
大数据是由信息技术媒体和供应商使用的术语。企业正在积累巨大量的数据––兆兆(terabytes)字节，甚至拍字节(petabytes)的数据––并且具有竞争欲望来得到对市场趋势和公司业绩的更深入了解。公司正面临着管理和分析大数据的愿望。现代的应用处理极大量的数据。这些巨大的量使得难以利用常规的处理机制迅速地处理数据。
作为大数据处理的例子，可以考虑其中销售经理想要识别公司在其中产品能够在延长的时间段(诸如上个月)被购买的每个主要市场的最畅销产品的情况。完成这项任务的挑战是要为这种分析所处理的数据量。该数据量可能会在数千、百万、甚至数十亿的销售交易之间不等。诸如关系型数据库和可视化软件的一般工具通常不会伸展到如此大量的数据。此外，数据可以是结构化的和非结构化的，这可能不是由数据管理和分析工具所处理的特征。常规的关系型数据库系统不能及时地处理如此大量的数据。
因此，为了管理大数据，可以进行一些尝试。一种潜在的处理大量异构数据的方法是跨不同的服务器划分和复制数据，以创建更易管理的数据集。但是，创建数据的多个拷贝使得更难以维护信息的一致性，因为对一个数据集的更新可能不会拷贝到其它的数据集。
这种一致性缺乏会导致，例如，如果使用数据的应用更新销售数据中的条目，但是那个更新然后未能拷贝到另一个复制的站点。如果访问该数据的其它应用已经在其它交易中使用了一些该数据，那么情况会变得复杂。当数据改变时，数据的重新划分可能是合适的，但是其中这种重新划分应该被执行的方式通常是不清楚的。
一种可能的用于处理这些复杂性的方法可以包括将数据分布(distributing)为受保护的、不可改变的数据。例如，销售交易可以如它们发生的那样存储在某个可持续存储装置中。可以防止应用改变那个存储的原始数据。使数据保持不可改变避免了一致性问题，并且分布缓和了量的问题。但是，使数据不可改变会使得现有的数据处理工具不能以期望的方式处理分布式(distributed)数据。
特定的分布式算法工具可以与不可改变的分布式输入结合工作，并且可以相对于分布式系统执行类似于以上销售例子中描述的查询。这种特定的算法工具是映射缩减算法工具。存在映射缩减算法工具各种不同的实现方式。例如，一种实现方式可以在开源代码Apache Hadoop中找到。利用Apache Hadoop，可以创建使用大数据销售交易作为输入并且然后返回最畅销产品作为结果的映射缩减作业。
映射缩减算法工具相对于分布式数据工作。数据可以被划分(partition)到单独的节点中，并且每个节点可以在单独的计算机器上被维护为单独的文件。每个这种机器可以相对于在那个机器上维护的数据与其它机器平行地执行查询。因此，每个机器能够产生有关其特定数据划分的单独的查询结果。接着，这些单独的结果能够被缩减成单个统一的结果。映射缩减算法工具可以完成这种缩减。对于数据中的每个条目，映射缩减算法工具能够将那个条目映射到结果。例如，如果数据条目表示产品，则映射缩减算法工具可以将每个产品映射到指示那个产品相对于其它产品的销售排名的结果。然后，映射缩减算法工具可以将所有这些结果合并成单个统一的结果。这种合并被称为缩减(reduction)。
对于映射缩减算法工具如何能够相对于数据操作的例子，可以考虑涉及在大量单独的网页中计算特定单词的出现数量的例子。第一个网页可能包括10个对特定单词的引用。第二个网页可能也包括10个对特定单词的引用。第三个网页可能只包括单个对特定单词的引用。第四个网页可能包括两个对特定单词的引用。由映射缩减算法工具执行的映射过程可以将每个网页映射到那个网页内的特定单词的出现数量。在这个例子中，由映射缩减算法工具执行的缩减过程仅仅包括将映射到每个网页的所有数量在一起求和，以产生最终的结果，在这个例子中，结果是特定单词的23次出现。
由于映射缩减算法工具在其上操作的数据的分布式性质，并且取决于输入数据的大小，映射缩减作业可能(参考以上讨论的销售例子)每n分钟，或者，更可能地，每n个小时以批结果返回最畅销项。在一些情况下，数分钟或数小时对于查询结果而言太长而不能等待。例如，一些欺诈检测应用要求在交易进行时的立即结果，而不是在数千个欺诈交易已完成之后。例如另一个例子，零售商可能希望具有对最差销售产品的最新了解，以便商店可以通过当客户进入商店时给那些客户发放优惠卡来促销那些产品。随着等待那个知识所花费的时间量增加，那个知识的可能不相关性也增加。典型的映射缩减算法的实现方式并不产生实时查询结果。
根据本发明的实施例，连续事件处理(CEP)技术可以与映射缩减算法工具结合使用，以便为针对大型分布式数据集执行的查询产生更快速的查询结果。利用CEP，连续事件处理器从数据流中实时地接收事件，并且随着它们被接收到，相对于那些事件执行分析处理。例如，随着销售交易在公司的商店里发生，那些交易中的每一笔交易可以在那些交易的时刻作为事件被加入到数据流中。放置在数据流中的事件可以被对接收那些事件感兴趣的实体(诸如应用程序)监听。这些实体可以向连续事件处理器注册以接收这种事件。此外，随着这种销售交易在公司的商店里发生，那些交易中的每一笔交易可以被添加到诸如关系型数据库的持久性数据存储区中，其可以跨多个独立的站点按照某种划分模式进行分布。
随着那些事件到达连续事件处理器，该连续事件处理器可以连续地将CEP查询应用到来自事件流的事件。例如，处理器可以向代表销售交易的事件应用确定在具有指定持续时间的时间窗口上的最畅销产品的查询。为了这样做，处理器可以在计算存储器中维护关于处理器在具有那个持续时间的最近发生的时间窗口内从数据流中接收到的所有事件的数据。但是，这个时间窗口的长度会受对连续事件处理器可用的计算存储器的量限制。通常，连续事件处理器将不会有足够的存储器以把时间窗口延长到包括所有曾经发生的销售交易，例如，尤其如果发生了非常大量的销售交易。同样，取决于量，连续事件处理器甚至可能没有足够的存储器以把时间窗口延长到包括所有在去年发生的销售交易。此外，随着时间窗口大小的增加，连续事件处理器相对于落入该窗口内的所有事件执行查询所花的时间量也增加。CEP机制传统上被用于计算关于在具有相对有限的持续时间的时间窗口内发生的事件的结果，有时仅仅是数小时或数分钟的量级。
为了克服以上讨论的一些限制，本发明的实施例将CEP的能力与映射缩减算法工具的能力合并在一起。映射缩减算法工具可以用于为事件数据最近累积的批次计算查询结果。例如，可以调度映射缩减作业来计算相对于已在分布式关系型数据库中存储的事件数据的查询结果；这种数据可以已被以持久性的、非易失性地方式，通常在诸如硬盘驱动器的磁介质上存储。这种作业可能花费相对较长的时间来完成。例如，取决于已在分布式数据存储装置中累积的事件数据的量，作业可能花费一天来完成。在本发明的实施例中，一旦映射缩减作业开始在计划的时间执行，映射缩减算法工具就只考虑已在分布式数据存储装置中存储的不晚于计划时间的事件数据；映射缩减作业不包括当映射缩减算法工具在处理作业时当前到达数据流中的事件；根据实施例，映射缩减作业包括截至该映射缩减作业开始被执行时已经从数据流中接收到并存储在分布式数据存储装置中的事件。
每个映射缩减作业都是批技术的例子。假定映射缩减作业花费指定量的时间完成，那么在指定量的时间期间到达数据流中并且存储在分布式数据存储装置中的事件将在随后执行的映射缩减作业中––在下一批次中加以考虑。根据本发明的实施例，连续事件处理器相对于在(并且，在一种实施例中，只在)当前执行的映射缩减作业已开始被处理之后到达数据流中的事件连续地执行CEP。在这种实施例中，连续事件处理器相对于那些新到达的事件执行与映射缩减算法工具相对于之前在分布式数据存储装置中存储的事件作为计划作业的一部分正在执行的查询相同或类似的查询。随着那些事件到达数据流，连续事件处理器可以相对于新到达的事件执行这个查询––从而，CEP查询可以实时地执行。在本发明的实施例中，每次连续事件处理器产生查询结果时，处理器将那个查询结果与最近完成的映射缩减作业产生的最近的结果合并，以便产生统一的查询结果。统一的查询结果反映了相对于已存储在分布式数据存储装置中的事件数据以及比那个存储装置更近到达的事件数据执行的查询处理。
图1是根据本发明的实施例说明用于利用映射缩减算法工具和CEP的组合计算相对于大量数据的实时查询结果的技术100的流程图。虽然技术100被示为包括以特定顺序执行的某些操作，但是本发明的备选实施例可以包括潜在地以不同顺序执行附加的、较少的、或不同的操作。
在方框102，映射缩减算法工具(例如，Apache Hadoop)相对于存储在分布式数据存储装置中的事件数据开始执行映射缩减作业。在实施例中，映射缩减作业包括相对于存储在分布式数据存储装置中的所有事件的指定子集执行指定的查询。这个子集可以包括在分布式数据存储装置中存储的整个事件的集合，其中包括，自从之前的映射缩减作业(如果有的话)开始执行以后存储在分布式数据存储装置中的事件。
在方框104，当映射缩减算法工具正在相对于存储在分布式数据存储装置中的事件数据执行映射缩减作业时，连续事件处理器针对经数据流连续到达的事件连续地执行CQL查询。CQL查询可以作用于在具有以当前时间为结束点的指定时间窗口内接收到的所有事件。CQL查询可以在其执行中聚合来自这些事件的数据。在实施例中，CQL查询与被当前执行的映射缩减作业执行的查询相同、或相似、或执行相同的功能，但是相对于不同的事件。在实施例中，CQL查询从其处理中排除所有已存储在分布式数据存储装置中的事件(其正在被当前执行的映射缩减作业处理)。如以上所讨论的，在实施例中，这些事件也存储在分布式数据存储装置中，但是没有在当前执行的映射缩减作业的执行中考虑。
在方框106，连续事件处理器基于相对于在指定时间窗口内的数据事件的CQL查询的最近执行计算初步的查询结果。
在方框108，如果任何映射缩减作业完成，则连续事件处理器将初步的查询结果与最近完成的映射缩减作业的结果合并。这种合并产生统一的查询结果。在本发明的一种实施例中，如果还没有映射缩减作业完成，则初步的查询结果变为统一的查询结果。
在方框110，连续事件处理器将统一的查询结果输出到感兴趣的监听实体。例如，连续事件处理器可以将统一的查询结果输出到已向连续事件处理器注册以接收这种统一的查询结果的应用程序。
在方框112，做出关于最近启动的映射缩减作业是否完成的决定。如果最近启动的映射缩减作业已完成，则控制传递到方框114。否则，控制返回到方框104。
在方框114，映射缩减作业的结果被持久地保存。例如，映射缩减作业的结果可以存储在连续事件处理器能够访问的硬盘驱动器上。如以上结合方框108所讨论的，连续事件处理器可以将这个结果与处理器自己的初步结果合并以产生统一的查询结果。在实施例中，映射缩减作业的结果覆盖并替换之前执行的映射缩减作业的之前存储的结果。
在方框116，映射缩减算法工具(例如，Apache Hadoop)相对于存储在分布式数据存储装置中的事件数据开始执行新的映射缩减作业。在实施例中，映射缩减作业包括相对于存储在分布式数据存储装置中的所有事件的指定子集执行指定的查询。在实施例中，这个子集包括自从之前的映射缩减作业开始执行以后被存储在分布式数据存储装置中的事件。控制传递回方框104。
例如，如果最近完成的映射缩减作业的结果指示特定单词在一组网页中的数量是23，并且如果新的网页作为事件到达数据流中，并且如果连续事件处理器确定该特定单词在那个新网页中的数量是5，则连续事件处理器可以合并这个来自最近完成的映射缩减作业结果的结果，以产生统一的查询结果28。新网页可以被添加到分布式数据存储装置，以便后续的(不是当前的)映射缩减作业可以在包括该新网页的事件数据上操作。
图2是根据本发明的实施例说明用于利用映射缩减算法工具和CEP的组合计算相对于大量数据的实时查询结果的系统200的框图。在实施例中，系统200包括事件源202、包括事件的数据流204、连续事件处理器206、映射缩减算法工具208、分布式数据存储装置210和监听实体212。在实施例中，随着那些事件发生，事件源202可以连续地将事件(例如，销售交易、股票价格等)添加到数据流204。连续事件处理器206可以连续地从数据流204中读取事件，并且可以连续地相对于那些事件执行CQL查询。连续事件处理器206还可以连续地存储它读取到分布式数据存储装置210中的事件。连续事件处理器206还可以连续地合并CQL查询的执行结果和由映射缩减算法工具208执行的完成的映射缩减作业的最新结果。映射缩减算法工具208可以一个接一个地执行映射缩减作业。每个这种映射缩减作业可以相对于截至那个映射缩减作业开始执行时已存储在分布式数据存储装置210中的事件执行与CQL查询相同或相似的查询。当每个这种映射缩减作业完成时，它可以持久地在对连续事件处理器206来说是可访问的介质(潜在的分布式数据存储装置210)上保存其查询执行的结果，用于合并的目的。监听实体212可以连续地接收由连续事件处理器206输出的统一的查询结果，并且潜在地使用那些向人类用户显示这种结果。
在一种实施例中，CQL查询和对应的映射缩减(例如，Hadoop)作业可以被用户单独地和手动地创建和执行。但是，在备选的实施例中，CQL查询和对应的映射缩减作业的创建和执行可以被集成，使得可以基于现有的对应的CQL查询自动生成映射缩减作业(或程序)。例如，在实施例中，为了创建基于在数据流中表示的销售交易事件确定最畅销产品的CQL查询，用户可以利用CEP系统。映射缩减程序然后可以被映射缩减程序生成器利用CQL查询作为输入自动生成。程序(或者相同的程序或者单独的程序)也可以被自动地生成，以连续地合并由每个执行的映射缩减作业返回的结果和由CQL查询的执行返回的结果。
映射缩减作业可以用称为Pig Latin的特定语言来表示。Pig Latin是高级描述性语言。例如，在Pig Latin中，作业或程序可以被表达加载数据、过滤那个数据、将那个数据与其它数据连接等。Pig Latin程序可以按照运算符进行表达。这些运算符可以执行诸如加载数据、过滤数据、连接数据等的操作。在本发明的实施例中，Pig Latin程序生成器接收CQL查询作为输入，并且自动地将那个查询分解为其组件运算符中。这种CQL运算符可以包括过滤运算符、连接运算符、投影运算符等。在本发明的实施例中，Pig Latin程序生成器利用CQL运算符和Pig Latin运算符之间的映射，以便自动地把一组运算符转换到另一组运算符；这种映射可以包括一对一的运算符到运算符的映射，以及一对多的运算符到运算符的映射以及多对一的运算符到运算符的映射以及多对多的运算符到运算符的映射。
在实施例中，在基于对应的CQL运算符自动地生成一组Pig Latin运算符之后，PigLatin程序生成器自动地生成并存储可以包括CQL运算符和Pig Latin运算符两者的流。这种流可以指示CQL运算符的输出要成为对Pig Latin运算符的输入，和/或Pig Latin运算符的输出要成为对CQL运算符的输入。因此，可以生成运算符的有向图，该有向图包括PigLatin和CQL运算符两者。在这个有向图中，运算符节点之间的边可以指示数据从运算符到运算符的流动。潜在地，一个运算符可以对多个运算符输出数据，并且多个运算符可以对单个运算符输出数据。图中的叶节点运算符可以执行CQL操作结果和映射缩减操作结果之间的最终合并。在以这种方式自动地生成有向图之后，可以自动地执行图的某些优化，潜在地包括基于那些运算符执行的运算符类型合并图中的一些运算符节点。例如，都执行过滤操作的CQL运算符和Pig Latin运算符可以被合并在一起成为单个运算符。
在执行时，可以对有向图进行解释。当在图中遇到Pig Latin运算符或被一条或多条边链接的一组Pig Latin运算符时，执行那些运算符的操作的对应的映射缩减程序可以被自动地执行。映射缩减程序的结果可以作为输入事件被发送到对应于有向图中CQL运算符的CQL查询。
利用单种语言连接连续和批处理的结果
如以上所讨论的，在一种实施例中，连续查询处理器可以针对当前到达事件流中的事件连续地处理CQL查询，而映射缩减程序同时处理之前从流中接收到并存储的事件。由连续查询处理器执行的处理的结果可以定期地与由映射缩减程序执行的处理的结果合并，以便生成对大型数据集的相对新的结果。
根据实施例，连续查询处理器执行用诸如CQL的单种高级语言编写的查询。作为这种查询的编译结果，可以在运行时生成两个方面。一个方面执行事件流处理。在同一编译期间，作为另一方面，可以生成附加的运算符。这些附加的运算符可以被集成到Hadoop或一些其它映射缩减工具中。映射缩减工具可以执行面向批次的处理。流处理的结果可以与批处理的结果合并。因此，可以操纵大量的数据同时还允许实时地获得结果。
事件处理应用，诸如Oracle Event Processing(Oracle事件处理，OEP)，被设计为实时地处理事件。但是，这种应用传统上被设计为处理相对短暂存在的事件。这种处理传统上不是很深入。事件处理应用传统上处理在处理发生时发生的事件。那些事件处理应用传统上没有检查可能几年前存储在数据库中的数据。
映射缩减工具，诸如Hadoop，可以在已存储在诸如数据库的储存库中的大量数据上操作，其中储存库可以物理地包含在硬盘驱动器中。存储在这种数据库中的数据可以相对陈旧––甚至若干年旧。存储在这种数据库中的数据可能在之前的年份中产生并存储。因为它可能已积累了很长时间，因此存储在这种数据库中的数据的量会相对地大。映射缩减工具可以处理以分布式方式存储在数据库中的大型数据集。映射缩减工具可以创建映射(map)任务和缩减(reduce)任务。这些任务可以以分布式的方式执行。大型数据集的处理可以被分解成单独的方面，并且对每个方面的处理可以分布在单独的处理元件中。映射缩减工具可以以面向批次的方式执行其处理，使得它相对于大型数据集执行的批作业既有开始又有结束。
映射缩减工具可以以与由连续事件处理器同时执行的处理分离的方式执行其处理。虽然映射缩减工具以具有明确的任务开始和结束的面向批次的方式执行其处理，但是连续事件处理器连续地执行其处理，而没有结束。事件流中的事件连续地到达连续事件处理器。本发明的实施例可以把连续事件处理器的连续式处理的结果与映射缩减工具的分批式处理的结果连接在一起。此外，本发明的实施例可以利用诸如CQL的单种高级语言实现这种连接。
备选的方法可以包括执行流处理的一个应用和执行批处理的另一个单独的应用。可以编写第三个定制应用来尝试把不同类型的处理结果放在一起。这种方法可能涉及使用三种不同的编程语言––一种用于流处理、一种用于批处理、及一种用于连接每种类型的处理结果。
为了避免使用多种不同的语言，本发明的一种实施例包括将高级CQL查询编译成功能上等效的映射缩减程序。CQL查询的执行结果然后与映射缩减程序的结果合并。CQL查询可以实时地产生结果，而映射缩减程序可以在较大的数据集上执行更深入的分析。因此，合并的结果既是实时的又是深入的。这种合并可以基于被编译为生成系统的实时和深入分析组件两者的单个用户指定的查询来实现。不需要构造用不同语言编写的单独的应用。
图5根据本发明的实施例说明用于基于单个查询生成连续和批处理组件的技术500的例子的流程图。在方框502，接收到用CQL指定的查询。在方框504，编译器将CQL查询编译成可以被连续事件处理器执行的连续事件处理执行计划。在方框506，编译器将CQL查询编译成功能上等效于连续事件处理执行计划并且可以作为批作业以分布式的方式被映射缩减程序执行的映射任务和缩减任务。在方框508，编译器生成可以连接由连续事件处理器产生的结果和由映射缩减程序产生的结果的合并组件。在方框510，连续事件处理器相对于来自事件流的当前到达事件执行计划，而映射缩减程序相对于之前存储在数据库中的数据执行映射任务和缩减任务。在方框512，合并组件连接由连续事件处理器和映射缩减程序产生的结果。控制传递回方框510。
生成相应的实时和批运算符
在示例情景中，用户可能想要对在一组文本中对特定单词的引用数量进行计数。映射缩减工具，诸如Hadoop，可以处理一组文件中的每个文件，以便对特定单词的引用数量进行计数。被映射缩减工具处理的这组文件可能包含几年前从事件流中存储的短文本。例如，除了相对较近的过去(例如，最近的分钟)之外，这组文件可能包含在十年的跨度上从流中接收到的短文本。当这种情况发生时，连续事件处理器可以从诸如Facebook或Twitter的在线应用中接收类似的短实时文本。连续事件处理器可以在那些实时文本被生成之后不久(例如，在用户利用Facebook或Twitter张贴这些文本后立即)对这些实时文本中对特定单词的引用数量进行计数。由映射缩减工具计算的计数可以与由连续事件处理器计算的计数进行连接。
为了指定要执行的单词计数任务，用户可以使用CQL来指定查询。在语法上，CQL类似于结构化查询语言(SQL)。查询可以大致地采用以下形式，诸如：FROM location GROUPBY word SELECT count。这种查询可以从指定的位置收集所有的句子、将来自这些句子中的唯一的单词分到不同的组中、然后对每组中的单词的数量进行计数。因此，查询可以利用相对简单的格式来指定。
接收用户指定的CQL查询的编译器可以将查询分解成单独的运算符。这些运算符可以包括，例如，分组(group-by)运算符、执行计数的聚合(aggregation)运算符、也充当源(source)运算符的输出(output)运算符，等等。基于这组运算符，编译器可以生成(a)用于实时事件处理的查询执行计划，和(b)用于处理大型数据集的批作业。参考以上具体的示例单词计数情景，批作业的生成可以包括将各种句子映射到单独的唯一的单词中的映射算符的生成。批作业的生成还可以包括将每组唯一的单词缩减成表示那些单词数量的相应数字的缩减运算符的生成。作为生成查询执行计划的一部分，编译器可以生成将批缩减运算符的结果与连续聚合运算符的结果合并的合并(merge)运算符。批作业然后可以与实时连续查询同时执行。合并运算符获得来自映射缩减组件的批视图和来自连续事件处理器的实时视图。
图6是根据本发明的实施例说明用于基于查询生成功能上等效的运算符的技术600的例子的流程图。在方框602，查询的当前元素被设置为查询的第一个元素。在方框604，确定当前元素的类型(例如，分组、聚合、选择等)。在方框606，基于当前元素的类型选择连续事件处理运算符类型。在方框608，基于当前元素的类型选择批处理运算符类型(例如，映射、缩减等)。在方框610，生成所选择的连续事件处理运算符类型的运算符，并且将其添加到连续事件处理计划。在方框612，生成所选择的批处理运算符类型的运算符，并且将其添加到批处理计划。在方框614，做出在当前元素之后该查询是否包含任何元素的决定。如果是，则控制传递到方框616。否则，控制传递到方框618。
在方框616，查询的当前元素被设置为查询的下一个元素。控制传递回到方框604。
可替代地，在方框618，生成合并运算符，并且将其添加到连续事件处理计划。然后，图6中示出的技术完成。
无状态和有状态运算符
一般地，在CQL中存在两组不同的运算符。一组这种运算符是无状态的。利用这种无状态的运算符，一个输入通常被映射到在互连的运算符的图中的一个或多个输出。根据本发明的实施例，无状态CQL运算符对应于批处理领域中的映射运算符。另一组CQL运算符是有状态的。利用这种无状态的运算符，多个输入通常被映射到在互连的运算符的图中的一个输出。根据本发明的实施例，有状态CQL运算符对应于批处理领域的缩减运算符。
因此，在本发明的一种实施例中，编译器确定CQL查询元素是否将一个输入映射到一个或多个输出。如果是，则编译器确定该元素对应于无状态的事件处理运算符。过滤运算符是无状态的事件处理运算符的例子。响应于确定事件处理运算符是无状态的运算符，编译器生成用于包括在批处理作业中的功能上等效的映射运算符(用选择的映射缩减语言)。可替代地，编译器可以确定CQL查询元素是否将多个输入映射到单个输出。如果是，则编译器确定该元素对应于有状态的事件处理运算符。窗口(window)运算符是有状态的事件处理运算符的例子。响应于确定事件处理运算符是有状态的运算符，编译器生成用于包括在批处理作业中的功能上等效的缩减运算符(用选择的映射缩减语言)。
CQL查询的元素可以执行特定类型的聚合功能(例如，求和(sum)、平均(average)、计数(count)，等等)。在本发明的实施例中，编译器确定CQL查询聚合运算符的特定聚合类型，并且作为响应生成执行相同类型聚合功能的缩减运算符。因此，例如，如果连续事件运算符执行求和操作，则编译器作为响应生成执行求和操作的缩减运算符，但是如果连续事件运算符执行计数操作，则编译器作为响应生成执行计数操作的聚合算符。
避免合并结果中的重复事件处理
根据本发明的实施例，以使实时连续处理结果和非实时批处理结果之间不产生重叠的方式设计合并运算符。合并运算符可以包含保护措施，其防止任何数据项由于被实时和非实时两个方面处理而与自身合并。因此，在连接的结果的任何特定迭代过程中，将不会有单个事件被考虑多于一次。在本发明的一种实施例中，在任何特定的迭代过程中，合并运算符只接受来自比指定的时间点(例如，一分钟前)旧的非实时(例如，映射缩减)组件的结果，并且只接受来自不比指定的时间点旧的实时(例如，连续事件处理器)组件的结果。因为处理可以被重复地执行，因此时间点可以随着每次迭代推进。
例如，在第一次迭代中，合并运算符可以定义大型数据集的边界只包括在当前日期上直到12:50:45发生的事件。合并运算符可以在该第一次迭代中定义由连续事件处理器处理的数据集的边界只包括比当前日期上的12:50:45更近发生的事件。假定用于连续事件处理器的时间窗口是十秒，则对于第二次迭代，这个边界可以从12:50:45推进十秒种到12:50:55。在第一次迭代过程中(在跨12:50:45到12:50:55的十秒时间间隔中)接收到的事件在它们到达时已被添加到大型数据集，并且已被标记时间戳以指示其从事件流的到达时间。在每次迭代的结束处，边界可以推进一个单位的实时事件处理所需的时间量。这个量可以基于对连续事件处理器可用的存储器的大小。在本发明的一种实施例中，这个时间量不是静态的，而是可以从一个迭代到另一个迭代变化，使得边界可以在不同的迭代之后推进不同的量。在这种实施例中，每次迭代的边界可以基于要被连续事件处理器处理的指定的事件数量，而不是固定的时间上的持续时间。
因此，在任何特定的迭代过程中，合并运算符确保被连续事件处理器在那个特定迭代过程中处理的事件集合不能包括也被批处理器在那个相同的特定的迭代过程中处理的任何事件，尽管这些事件可以在以后被包括在将由批处理器在随后的迭代过程中处理的事件集合中。本质上，合并运算符可以计算由连续事件处理器和批处理器产生的结果集合的联合(union)，只是在统一的集合中事件的时间戳不允许重叠。
应当指出，合并运算符在一些情况下可能不仅仅只做连结(concatenate)或求和实时结果和批结果。例如，如果在处理中包括平均运算符，则合并运算符可以执行更复杂的合并。例如更具体的例子，如果连续事件处理器确定四个数字的平均值是4，并且如果批处理器确定八个数字的平均值是10，则合并运算符将确定所有十二个数字的平均值是(4*4+8*10)/12＝8。执行的这种合并可以取决于在查询中被执行的聚合操作的类型。
将CQL查询编译成Pig Latin程序
Pig Latin是可以被映射缩减使用的语言。在本发明的一种实施例中，CQL查询的编译可以包括在Pig Latin中生成模拟运算符。基于这些模拟运算符，功能上等效的PigLatin程序可以被编译器自动地生成，同时编译用于被连续查询处理器使用的CQL查询。映射缩减工具可以在连续查询处理器的CQL查询的执行的同时执行Pig Latin程序。
但是，在本发明的备选实施例中，不生成Pig Latin运算符。相反，可以生成可被映射缩减工具使用的本地(native)运算符。本发明的实施例不限于其中生成Pig Latin程序的实施例。
硬件概述
图3是说明可以根据本发明实施例使用的系统环境300的组件的简化框图。如所示出的，系统环境300包括一个或多个客户端计算设备302、304、306、308，它们被配置为操作客户端应用，诸如web浏览器、专有客户端(例如，Oracle Forms)，等等。在各种实施例中，客户端计算设备302、304、306和308可以与服务器312交互。
客户端计算设备302、304、306、308可以是通用个人计算机(作为例子，包括运行各种版本的Microsoft Windows和/或Apple Macintosh操作系统的个人计算机和/或膝上型计算机)、蜂窝电话或PDA(运行诸如Microsoft Windows Mobile的软件，并且启用因特网、电子邮件、SMS、Blackberry或其它通信协议)，和/或运行任何各种商业上可用的UNIX或类-UNIX操作系统(包括但不限于各种GNU/Linux操作系统)的工作站计算机。作为替代，客户端计算设备302、304、306和308可以是能够经网络(例如，下面描述的网络310)进行通信的任何其它电子设备，诸如瘦客户端计算机、启用因特网的游戏系统，和/或个人消息传送设备。虽然示例性系统环境300被示为具有四个客户端计算设备，但是可以支持任何数量的客户端计算设备。其它设备，诸如带传感器的设备等，可以与服务器312交互。
系统环境300可以包括网络310。网络310可以是本领域技术人员熟悉的任何类型的网络，这些网络可以利用任何各种商业上可用的协议支持数据通信，包括但不限于TCP/IP、SNA、IPX、AppleTalk等。仅仅作为例子，网络310可以是局域网(LAN)，诸如以太网网络、令牌环网络等；广域网；虚拟网络，包括但不限于虚拟专用网(VPN)；因特网；内联网；外联网；公共交换电话网(PSTN)；红外线网络；无线网络(例如，按照IEEE802.11协议套件、本领域中已知的蓝牙协议和/或任何其它无线协议操作的网络中的任一种)；和/或这些和/或其它网络的任意组合。
系统环境300还包括一个或多个服务器计算机312，其可以是通用计算机、专用服务器计算机(作为例子，包括PC服务器、UNIX服务器、中档服务器、大型计算机、机架式服务器等)，服务器群、服务器群集，或者任何其它适当的布置和/或组合。在各种实施例中，服务器312可以适于运行在以上公开内容中描述的一个或多个服务或软件应用。例如，服务器312可以对应于图2的连续事件处理器206或映射缩减算法工具208。
服务器312可以运行操作系统，包括以上讨论的任何操作系统，以及任何商业上可用的服务器操作系统。服务器312还可以运行任何各种附加的服务器应用和/或中间层应用，包括HTTP服务器、FTP服务器、CGI服务器、Java服务器、数据库服务器等。示例性数据库服务器包括但不限于来自Oracle，Microsoft、Sybase、IBM等商业上可用的那些。
系统环境300还可以包括一个或多个数据库314、316。数据库314、316可以驻留在各种不同的位置。作为例子，数据库314、316中的一个或多个可以驻留在服务器312本地的存储介质上(和/或驻留在服务器312中)。作为替代，数据库314、316可以远离服务器312，并且经基于网络的或专用的连接与服务器312通信。在一组实施例中，数据库314、316可以驻留在本领域技术人员熟悉的存储区域网络(SAN)中。类似地，用于执行服务器312所具有的功能的任何必要的文件都可以适当地本地存储在服务器312上和/或远程存储。在一组实施例中，数据库314、316可以包括适于响应于SQL格式的命令而存储、更新和检索数据的关系型数据库，诸如Oracle 10g。
图4是可以根据本发明的实施例使用的计算机系统400的简化框图。例如，图2的连续事件处理器206或映射缩减算法工具208可以利用诸如系统400的系统实现。计算机系统400被示为包括可以经总线424电耦合的硬件元件。硬件元件可以包括一个或多个中央处理单元(CPU)402、一个或多个输入设备404(例如，鼠标、键盘等)，以及一个或多个输出设备406(例如，显示设备、打印机等)。计算机系统400还可以包括一个或多个存储设备408。作为例子，(一个或多个)存储设备408可以包括诸如盘驱动器、光存储设备以及诸如随机存取存储器(RAM)和/或只读存储器(ROM)的固态存储设备的设备，它们可以是可编程的、可闪存更新的等。
计算机系统400还可以包括计算机可读存储介质读取器412、通信子系统414(例如，调制解调器、网卡(无线的或有线的)、红外通信设备等)和工作存储器418，其中工作存储器418可包括如上所述的RAM和ROM设备。在一些实施例中，计算机系统400还可以包括处理加速单元416，其可以包括数字信号处理器(DSP)、专用处理器等。
计算机可读存储介质读取器412还可连接到计算机可读存储介质410，一起(并且，可选地，结合(一个或多个)存储设备408)全面地表示远程、本地、固定和/或可移除存储设备加上用于临时和/或更永久地包含计算机可读信息的存储介质。通信系统414可以允许与网络和/或上述任何其它计算机交换数据。
计算机系统400还可以包括示为当前位于工作存储器418中的软件元素，包括操作系统420和/或其它代码422，诸如应用程序(其可以是客户端应用、Web浏览器、中间层应用、RDBMS等等)。在示例性实施例中，工作存储器418可以包括用于上述技术的可执行代码和相关联的数据结构(诸如高速缓存)。应当认识到，计算机系统400的备选实施例可以具有多个不同于以上所述的变化。例如，定制的硬件也可被使用和/或特定的元素可以用硬件、软件(包括便携式软件，诸如applet(小程序))或两者实现。另外，可以采用到诸如网络输入/输出设备的其它计算设备的连接。
用于包含代码或代码部分的存储介质和计算机可读介质可以包括本领域中已知或被使用的任何适当的介质，包括存储介质和通信介质，诸如但不限于，以用于诸如计算机可读指令、数据结构、程序模块或其它数据之类的信息的存储和/或传输的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质，包括RAM、ROM、EEPROM、闪存存储器或其它存储器技术、CD-ROM、数字多样化盘(DVD)或其它光储存器、磁带盒、磁带、磁盘储存器或其它磁存储设备、数据信号、数据传输，或者可以被用来存储或发送期望信息并且可以被计算机访问的任何其它介质。
图7是根据本发明的实施例的电子设备700的简化框图。电子设备700可以包括启动单元702，其配置为启动相对于截至第一时间已存储在持久性数据存储区中的事件数据执行第一查询的第一批操作；执行单元704，其配置为当第一批操作正在执行时，相对于连续地从数据流中接收到的事件数据连续地执行第二查询；合并单元706，其配置为当第一批操作正在执行时，连续地将第二查询的结果与已完成的第二批操作的结果合并；输出单元708，其配置为连续地输出合并的结果；及替换单元710，其配置为响应于第一批操作的完成，用第一批操作的结果替换第二批操作的结果。
在例子中，电子设备700还包括存储单元，其配置为当第一批操作正在执行时，连续地并且在持久性数据存储区中存储连续地从数据流中接收到的事件数据；第二启动单元，其配置为响应于第一批操作的完成启动第三批操作，第三批操作相对于截至晚于第一时间的第二时间已存储在持久性数据存储区中的事件数据执行第一查询；第二执行单元，其配置为当第三批操作正在执行时，相对于连续地从数据流中接收到的事件数据连续地执行第二查询；第二合并单元，其配置为当第三批操作正在执行时，连续地将第二查询的结果与已完成的第一批操作的结果合并；第二输出单元，其配置为连续地输出第二查询与已完成的第一批操作的结果合并的结果；及第二替换单元，其配置为响应于第三批操作的完成，用第三批操作的结果替换第一批操作的结果。
在例子中，第一批操作是映射缩减操作，并且其中第二查询执行与第一查询相同的操作。
在例子中，电子设备700还包括接收单元，其配置为接收连续查询语言(CQL)查询作为第二查询；及生成单元，其配置为基于CQL查询自动地生成执行CQL查询的操作的映射缩减程序。
在例子中，电子设备700还包括：第二接收单元，其配置为接收连续查询语言(CQL)查询作为第二查询；解析单元，其配置为自动地解析CQL查询；分离单元，其配置为基于解析自动地将CQL查询分离为第一组运算符；第二生成单元，其配置为基于CQL运算符和PigLatin运算符之间指定的映射自动地生成执行由第一组CQL运算符执行的运算符的第二组Pig Latin运算符；及第三生成单元，其配置为基于Pig Latin运算符自动地生成执行第一批操作的映射缩减程序。
在例子中，电子设备700还包括：第三接收单元，其配置为接收连续查询语言(CQL)查询作为第二查询；第二解析单元，其配置为自动地解析CQL查询；第二分离单元，其配置为基于解析自动地将CQL查询分离为第一组运算符；第四生成单元，其配置为基于CQL运算符和Pig Latin运算符之间指定的映射自动地生成执行由第一组CQL运算符执行的运算符的第二组Pig Latin运算符；及第五生成单元，其配置为自动地生成节点的有向图，该有向图包括来自第一组的运算符、来自第二组的运算符、从表示来自第一组的运算符的节点到表示来自第二组的运算符的节点的边、及从表示来自第二组的运算符的节点到表示来自第一组的运算符的节点的边。
本文公开的各种单元可以用硬件、软件或其组合实现或执行。它们可以用通用的单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、离散硬件组件或设计为执行本文所描述功能的其任意组合来实现。通用处理器可以是微处理器，或者，任何常规的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP内核结合的一个或多个微处理器、或任何其它这种配置。在一些实现方式中，单元可以通过特定于给定功能的电路系统来实现。
虽然已经描述了本发明的具体实施例，但是各种修改、变更、备选构造和等效物也包含在本发明的范围之内。修改、变更、备选构造和等效物包括所公开特征的任意相关的组合。本发明的实施例不限于在某些具体数据处理环境中的操作，而是可以自由地在多种数据处理环境中操作。此外，虽然本发明的实施例已经利用事务和步骤的特定序列进行了描述，但是对本领域技术人员来说应该很显然，本发明的范围不限于所描述的事务和步骤的序列。
另外，虽然本发明的实施例已经利用硬件和软件的特定组合进行了描述，但是应当认识到，硬件和软件的其它组合也在本发明的范围之内。本发明的实施例可以只用硬件或者只用软件或者利用其组合来实现。
因此，本说明书和附图要在说明性而不是限制性的意义上理解。但是，很显然，在不背离如权利要求中所阐述的更广泛的精神和范围的情况下，可以对其进行添加、减少、删除以及其它的修改和改变。

Claims (21)

1.一种计算机实现的方法，包括：
启动执行第一查询的第一批操作，其中第一查询相对于截至第一时间存储在持久性数据存储区中的第一事件集合执行，其中第一查询包括执行数学函数，并且第一查询被格式化为符合高级描述性语言的批处理计划；
当第一批操作正在执行时，连续执行使用查询语言生成的第二查询，其中第二查询相对于从数据流中接收到的第二事件集合执行，其中来自第二事件集合的每个事件在第二查询在所述事件上执行期间不存储在持久性数据存储区中，其中通过在第二事件集合中的每个事件被接收时在所述事件上自动执行第二查询来连续执行第二查询，其中第二查询包括执行所述数学函数，并且其中第二查询被格式化为符合高级查询语言；
在完成第一批操作时，生成第一批操作的结果；
生成第二查询的结果；
通过执行合并运算符将第二查询的结果与第一批操作的结果合并，以生成统一的结果，合并运算符包括如同对第一事件集合和第二集合作为一个整体而执行数学函数那样来执行数学函数以获得统一的结果，其中合并运算符是至少部分基于第一查询和第二查询生成的；及
输出统一的结果。
2.如权利要求1所述的计算机实现的方法，还包括：
当第一批操作正在执行时，在第二查询已经在事件上执行之后，连续地在持久性数据存储区中存储连续地从数据流中接收到的事件数据；
响应于第一批操作的完成，启动第三批操作，第三批操作相对于截至晚于第一时间的第二时间已存储在持久性数据存储区中的事件数据执行第一查询；
当第三批操作正在执行时，相对于连续地从数据流中接收到的第三事件集合连续地执行第二查询；
当第三批操作正在执行时，连续地将第二查询的结果与已完成的第一批操作的结果合并；
连续地输出第二查询与已完成的第一批操作的结果合并的结果；及
响应于第三批操作的完成，用第三批操作的结果替换第一批操作的结果。
3.如权利要求1或权利要求2所述的计算机实现的方法，其中第一批操作是映射缩减操作，并且其中第二查询执行与第一查询功能上等效的操作。
4.如权利要求1或权利要求2所述的计算机实现的方法，还包括：
接收连续查询语言CQL查询作为第二查询；及
基于CQL查询，自动地生成执行CQL查询的功能上等效的操作的映射缩减程序。
5.如权利要求1或权利要求2所述的计算机实现的方法，还包括：
接收连续查询语言CQL查询作为第二查询；
自动地解析CQL查询；
基于解析，自动地将CQL查询分离为第一组CQL运算符；
基于CQL运算符和Pig Latin运算符之间指定的映射，自动地生成执行与由第一组CQL运算符执行的操作功能上等效的操作的第二组Pig Latin运算符；及
基于Pig Latin运算符，自动地生成执行第一批操作的映射缩减程序。
6.如权利要求1或权利要求2所述的计算机实现的方法，还包括：
接收连续查询语言CQL查询作为第二查询；
自动地解析CQL查询；
基于解析，自动地将CQL查询分离为第一组CQL运算符；
基于CQL运算符和Pig Latin运算符之间指定的映射，自动地生成执行与由第一组CQL运算符执行的操作功能上等效的操作的第二组Pig Latin运算符；及
自动地生成节点的有向图，该有向图包括来自第一组的运算符、来自第二组的运算符、从表示来自第一组的运算符的节点到表示来自第二组的运算符的节点的边、及从表示来自第二组的运算符的节点到表示来自第一组的运算符的节点的边。
7.如权利要求1或权利要求2所述的计算机实现的方法，还包括：
接收连续查询语言CQL查询作为第二查询；
自动地解析CQL查询；
基于解析，自动地将CQL查询分离为第一组CQL运算符；
基于CQL运算符和Pig Latin运算符之间指定的映射，自动地生成执行与由第一组CQL运算符执行的操作功能上等效的操作的第二组Pig Latin运算符；
自动地生成节点的有向图，该有向图包括来自第一组的运算符和来自第二组的运算符；及
基于由有向图中的两个或更多个节点执行的操作之间的相似性，自动地合并该两个或更多个节点。
8.如权利要求1所述的计算机实现的方法，其中所述数学函数是平均函数。
9.一种计算机可读存储器，其存储使一个或多个处理器执行操作的特定指令，所述特定指令包括：
使一个或多个处理器启动执行第一查询的第一批操作的指令，其中第一查询相对于截至第一时间存储在持久性数据存储区中的第一事件集合执行，其中第一查询包括执行数学函数，并且其中第一查询被格式化为符合高级描述性语言的批处理计划；
当第一批操作正在执行时，使一个或多个处理器连续地执行使用查询语言生成的第二查询的指令，其中第二查询相对于从数据流中接收到的第二事件集合执行，其中来自第二事件集合的每个事件在第二查询在所述事件上的执行期间不存储在持久性数据存储区中，其中通过在第二事件集合中的每个事件被接收时在所述事件上自动执行第二查询来连续地执行第二查询，其中第二查询包括执行所述数学函数，并且其中第二查询被格式化为符合高级查询语言；
使一个或多个处理器在完成第一批操作时生成第一批操作的结果的指令；
使一个或多个处理器生成第二查询的结果的指令；
使一个或多个处理器通过执行合并运算符将第二查询的结果和第一批操作的结果合并，以生成统一的结果的指令，合并运算符包括如同对第一事件集合和第二集合作为一个整体而执行数学函数那样来执行数学函数以获得统一的结果，其中合并运算符是至少部分基于第一查询和第二查询生成的；及
使一个或多个处理器输出统一的结果的指令。
10.如权利要求9所述的计算机可读存储器，其中特定指令还包括：
当第一批操作正在执行时，在第二查询已经在所述事件上执行之后，使一个或多个处理器连续地在持久性数据存储区中存储连续地从数据流中接收到的事件数据的指令；
使一个或多个处理器响应于第一批操作的完成，启动第三批操作的指令，第三批操作相对于截至晚于第一时间的第二时间已存储在持久性数据存储区中的事件数据执行第一查询；
当第三批操作正在执行时，使一个或多个处理器相对于连续地从数据流中接收到的第三数据集合连续地执行第二查询的指令；
当第三批操作正在执行时，使一个或多个处理器连续地将第二查询的结果与已完成的第一批操作的结果合并的指令；
使一个或多个处理器连续地输出第二查询与已完成的第一批操作的结果合并的结果的指令；及
使一个或多个处理器响应于第三批操作的完成，用第三批操作的结果替换第一批操作的结果的指令。
11.如权利要求9或权利要求10所述的计算机可读存储器，其中第一批操作是映射缩减操作，并且其中第二查询执行与第一查询功能上等效的操作。
12.如权利要求9或权利要求10所述的计算机可读存储器，其中特定指令还包括：
使一个或多个处理器接收连续查询语言CQL查询作为第二查询的指令；及
使一个或多个处理器基于该CQL查询，自动地生成执行CQL查询的功能上等效的操作的映射缩减程序的指令。
13.如权利要求9或权利要求10所述的计算机可读存储器，其中特定指令还包括：
使一个或多个处理器接收连续查询语言CQL查询作为第二查询的指令；
使一个或多个处理器自动地解析CQL查询的指令；
使一个或多个处理器基于所述解析，自动地将CQL查询分离为第一组CQL运算符的指令；
使一个或多个处理器基于CQL运算符和Pig Latin运算符之间指定的映射，自动地生成执行由与第一组CQL运算符执行的操作功能上等效的操作的第二组Pig Latin运算符的指令；及
使一个或多个处理器基于Pig Latin运算符，自动地生成执行第一批操作的映射缩减程序的指令。
14.如权利要求9或权利要求10所述的计算机可读存储器，其中特定指令还包括：
使一个或多个处理器接收连续查询语言CQL查询作为第二查询的指令；
使一个或多个处理器自动地解析CQL查询的指令；
使一个或多个处理器基于所述解析，自动地将CQL查询分离为第一组CQL运算符的指令；
使一个或多个处理器基于CQL运算符和Pig Latin运算符之间指定的映射，自动地生成执行与由第一组CQL运算符执行的操作功能上等效的操作的第二组Pig Latin运算符的指令；及
使一个或多个处理器自动地生成节点的有向图的指令，其中有向图包括来自第一组的运算符、来自第二组的运算符、从表示来自第一组的运算符的节点到表示来自第二组的运算符的节点的边、及从表示来自第二组的运算符的节点到表示来自第一组的运算符的节点的边。
15.如权利要求9或权利要求10所述的计算机可读存储器，其中特定指令还包括：
使一个或多个处理器接收连续查询语言CQL查询作为第二查询的指令；
使一个或多个处理器自动地解析CQL查询的指令；
使一个或多个处理器基于所述解析，自动地将CQL查询分离为第一组CQL运算符的指令；
使一个或多个处理器基于CQL运算符和Pig Latin运算符之间指定的映射，自动地生成执行与由所述第一组CQL运算符执行的操作功能上等效的操作的第二组Pig Latin运算符的指令；
使一个或多个处理器自动地生成节点的有向图的指令，其中有向图包括来自第一组的运算符和来自第二组的运算符；及
使一个或多个处理器基于由有向图中的两个或更多个节点执行的操作之间的相似性，自动地合并该两个或更多个节点的指令。
16.一种系统，包括：
一个或多个处理器；及
存储特定指令的计算机可读存储器，其中特定指令使一个或多个处理器执行操作，特定指令包括：
使一个或多个处理器启动执行第一查询的第一批操作的指令，其中第一查询相对于截至第一时间存储在持久性数据存储区中的第一事件集合执行，其中第一查询包括执行数学函数，并且其中第一查询被格式化为符合高级描述性语言的批处理计划；
当第一批操作正在执行时，使一个或多个处理器连续地执行使用查询语言生成的第二查询的指令，其中第二查询相对于从数据流中接收到的第二事件集合执行，其中来自第二事件集合的每个事件在第二查询在所述事件上的执行期间不存储在持久性数据存储区中，其中通过在第二事件集合中的每个事件被接收时在所述事件上自动执行第二查询来连续地执行第二查询，其中第二查询包括执行所述数学函数，并且其中第二查询被格式化为符合高级查询语言；
使一个或多个处理器在完成第一批操作时生成第一批操作的结果的指令；
使一个或多个处理器生成第二查询的结果的指令；
使一个或多个处理器通过执行合并运算符将第二查询的结果和第一批操作的结果合并以生成统一的结果的指令，合并运算符包括如同对第一事件集合和第二集合作为一个整体而执行数学函数那样来执行数学函数以获得统一的结果，其中合并运算符是至少部分基于第一查询和第二查询生成的；及
使一个或多个处理器输出统一的结果的指令。
17.如权利要求16所述的系统，其中特定指令还包括：
当第一批操作正在执行时，在第二查询已经在事件上执行之后，使一个或多个处理器连续地在持久性数据存储区中存储连续地从数据流中接收到的事件集合的指令；
使一个或多个处理器响应于第一批操作的完成，启动第三批操作的指令，其中第三批操作相对于截至晚于第一时间的第二时间已存储在持久性数据存储区中的事件数据执行第一查询；
当第三批操作正在执行时，使一个或多个处理器相对于连续地所述从数据流中接收到的第三事件集合连续地执行第二查询的指令；
当第三批操作正在执行时，使一个或多个处理器连续地将第二查询的结果与已完成的第一批操作的结果合并的指令；
使一个或多个处理器连续地输出第二查询与已完成的第一批操作的结果合并的结果的指令；及
使一个或多个处理器响应于第三批操作的完成，用第三批操作的结果替换第一批操作的结果的指令。
18.如权利要求16或权利要求17所述的系统，其中第一批操作是映射缩减操作，并且其中第二查询执行与第一查询功能上等效的操作。
19.如权利要求16或权利要求17所述的系统，其中特定指令还包括：
使一个或多个处理器接收连续查询语言CQL查询作为第二查询的指令；及
使一个或多个处理器基于该CQL查询，自动地生成执行CQL查询的功能上等效的操作的映射缩减程序的指令。
20.如权利要求16或权利要求17所述的系统，其中特定指令还包括：
使一个或多个处理器接收连续查询语言CQL查询作为第二查询的指令；
使一个或多个处理器自动地解析CQL查询的指令；
使一个或多个处理器基于所述解析，自动地将CQL查询分离为第一组CQL运算符的指令；
使一个或多个处理器基于CQL运算符和Pig Latin运算符之间指定的映射，自动地生成执行与由第一组CQL运算符执行的操作功能上等效的操作的第二组Pig Latin运算符的指令；及
使一个或多个处理器基于Pig Latin运算符，自动地生成执行第一批操作的映射缩减程序的指令。
21.如权利要求16或权利要求17所述的系统，其中特定指令还包括：
使一个或多个处理器接收连续查询语言CQL查询作为第二查询的指令；
使一个或多个处理器自动地解析CQL查询的指令；
使一个或多个处理器基于所述解析，自动地将CQL查询分离为第一组CQL运算符的指令；
使一个或多个处理器基于CQL运算符和Pig Latin运算符之间指定的映射，自动地生成执行与由第一组CQL运算符执行的操作功能上等效的操作的第二组Pig Latin运算符的指令；及
使一个或多个处理器自动地生成节点的有向图的指令，其中有向图包括来自第一组的运算符、来自第二组的运算符、从表示来自第一组的运算符的节点到表示来自第二组的运算符的节点的边、及从表示来自第二组的运算符的节点到表示来自第一组的运算符的节点的边。
CN201380063379.4A 2012-12-05 2013-12-04 利用映射缩减集成事件处理 Active CN104838377B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261733844P 2012-12-05 2012-12-05
US61/733,844 2012-12-05
US201361806744P 2013-03-29 2013-03-29
US61/806,744 2013-03-29
US14/079,538 US10956422B2 (en) 2012-12-05 2013-11-13 Integrating event processing with map-reduce
US14/079,538 2013-11-13
PCT/US2013/073086 WO2014089190A1 (en) 2012-12-05 2013-12-04 Integrating event processing with map-reduce

Publications (2)

Publication Number Publication Date
CN104838377A CN104838377A (zh) 2015-08-12
CN104838377B true CN104838377B (zh) 2019-11-26

Family

ID=50826532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380063379.4A Active CN104838377B (zh) 2012-12-05 2013-12-04 利用映射缩减集成事件处理

Country Status (5)

Country Link
US (1) US10956422B2 (zh)
EP (1) EP2929467B1 (zh)
JP (1) JP6250061B2 (zh)
CN (1) CN104838377B (zh)
WO (1) WO2014089190A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9305057B2 (en) 2009-12-28 2016-04-05 Oracle International Corporation Extensible indexing framework using data cartridges
US9430494B2 (en) 2009-12-28 2016-08-30 Oracle International Corporation Spatial data cartridge for event processing systems
US8713049B2 (en) 2010-09-17 2014-04-29 Oracle International Corporation Support for a parameterized query/view in complex event processing
US9189280B2 (en) 2010-11-18 2015-11-17 Oracle International Corporation Tracking large numbers of moving objects in an event processing system
US8990416B2 (en) 2011-05-06 2015-03-24 Oracle International Corporation Support for a new insert stream (ISTREAM) operation in complex event processing (CEP)
US9329975B2 (en) 2011-07-07 2016-05-03 Oracle International Corporation Continuous query language (CQL) debugger in complex event processing (CEP)
US9953059B2 (en) 2012-09-28 2018-04-24 Oracle International Corporation Generation of archiver queries for continuous queries over archived relations
US9563663B2 (en) 2012-09-28 2017-02-07 Oracle International Corporation Fast path evaluation of Boolean predicates
US10956422B2 (en) 2012-12-05 2021-03-23 Oracle International Corporation Integrating event processing with map-reduce
US9098587B2 (en) 2013-01-15 2015-08-04 Oracle International Corporation Variable duration non-event pattern matching
US10298444B2 (en) 2013-01-15 2019-05-21 Oracle International Corporation Variable duration windows on continuous data streams
US9047249B2 (en) 2013-02-19 2015-06-02 Oracle International Corporation Handling faults in a continuous event processing (CEP) system
US9390135B2 (en) 2013-02-19 2016-07-12 Oracle International Corporation Executing continuous event processing (CEP) queries in parallel
US9418113B2 (en) 2013-05-30 2016-08-16 Oracle International Corporation Value based windows on relations in continuous data streams
US9448851B2 (en) * 2013-06-19 2016-09-20 International Business Machines Corporation Smarter big data processing using collaborative map reduce frameworks
US9934279B2 (en) 2013-12-05 2018-04-03 Oracle International Corporation Pattern matching across multiple input data streams
US9614740B2 (en) * 2014-05-13 2017-04-04 International Business Machines Corporation Multifusion of a stream operator in a streaming application
US9244978B2 (en) * 2014-06-11 2016-01-26 Oracle International Corporation Custom partitioning of a data stream
US9712645B2 (en) 2014-06-26 2017-07-18 Oracle International Corporation Embedded event processing
US10120907B2 (en) 2014-09-24 2018-11-06 Oracle International Corporation Scaling event processing using distributed flows and map-reduce operations
US9886486B2 (en) * 2014-09-24 2018-02-06 Oracle International Corporation Enriching events with dynamically typed big data for event processing
US9767170B2 (en) * 2014-10-16 2017-09-19 International Business Machines Corporation Storage area network zone optimization
WO2017018901A1 (en) 2015-07-24 2017-02-02 Oracle International Corporation Visually exploring and analyzing event streams
US9672082B2 (en) 2015-10-21 2017-06-06 Oracle International Corporation Guaranteeing the event order for multi-stage processing in distributed systems
CN106445645B (zh) * 2016-09-06 2019-11-26 北京百度网讯科技有限公司 用于执行分布式计算任务的方法和装置
US11977549B2 (en) 2016-09-15 2024-05-07 Oracle International Corporation Clustering event processing engines
EP3513321B1 (en) * 2016-09-15 2021-07-21 Oracle International Corporation Complex event processing for micro-batch streaming
US10514952B2 (en) * 2016-09-15 2019-12-24 Oracle International Corporation Processing timestamps and heartbeat events for automatic time progression
KR101856454B1 (ko) * 2017-03-06 2018-05-10 주식회사 티맥스데이터 분산처리를 위한 컴퓨팅 장치
WO2018169429A1 (en) 2017-03-17 2018-09-20 Oracle International Corporation Framework for the deployment of event-based applications
WO2018169430A1 (en) 2017-03-17 2018-09-20 Oracle International Corporation Integrating logic in micro batch based event processing systems
US10120926B1 (en) 2018-05-31 2018-11-06 Capital One Services, Llc Attribute sharing platform for data processing systems
CN114829602A (zh) 2019-12-17 2022-07-29 西格马-奥尔德里奇有限责任公司 拟杆菌属中的基因组编辑
US11429458B2 (en) * 2020-06-10 2022-08-30 Expedia, Inc. Architecture for large payload handling in event pipeline
US11947538B2 (en) * 2022-05-04 2024-04-02 International Business Machines Corporation Query processing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6633867B1 (en) * 2000-04-05 2003-10-14 International Business Machines Corporation System and method for providing a session query within the context of a dynamic search result set
CN101364224A (zh) * 2007-08-07 2009-02-11 阿尔斯通运输公司 用于信息管理的系统和方法
CN101493838A (zh) * 2009-01-23 2009-07-29 前卫视讯（北京）科技发展有限公司 一种事件录像处理装置和系统

Family Cites Families (503)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5051947A (en) 1985-12-10 1991-09-24 Trw Inc. High-speed single-pass textual search processor for locating exact and inexact matches of a search pattern in a textual stream
US4996687A (en) 1988-10-11 1991-02-26 Honeywell Inc. Fault recovery mechanism, transparent to digital system function
US5339392A (en) 1989-07-27 1994-08-16 Risberg Jeffrey S Apparatus and method for creation of a user definable video displayed document showing changes in real time data
US5761493A (en) 1990-04-30 1998-06-02 Texas Instruments Incorporated Apparatus and method for adding an associative query capability to a programming language
US5495600A (en) 1992-06-03 1996-02-27 Xerox Corporation Conversion of queries to monotonically increasing incremental form to continuously query a append only database
US5918225A (en) 1993-04-16 1999-06-29 Sybase, Inc. SQL-based database system with improved indexing methodology
EP0687089B1 (en) 1994-06-10 2003-05-28 Hewlett-Packard Company, A Delaware Corporation Event-processing system and method of constructing such a system
US5664172A (en) 1994-07-19 1997-09-02 Oracle Corporation Range-based query optimizer
EP0702294A3 (en) 1994-09-13 1997-05-02 Sun Microsystems Inc Method and device for diagnosing lexical errors
US6397262B1 (en) 1994-10-14 2002-05-28 Qnx Software Systems, Ltd. Window kernel
US5706494A (en) 1995-02-10 1998-01-06 International Business Machines Corporation System and method for constraint checking bulk data in a database
US5829006A (en) 1995-06-06 1998-10-27 International Business Machines Corporation System and method for efficient relational query generation and tuple-to-object translation in an object-relational gateway supporting class inheritance
US6158045A (en) 1995-11-13 2000-12-05 Object Technology Licensing Corporation Portable debugging services utilizing a client debugger object and a server debugger object with flexible addressing support
US5913214A (en) 1996-05-30 1999-06-15 Massachusetts Inst Technology Data extraction from world wide web pages
US5802523A (en) 1996-06-21 1998-09-01 Oracle Corporation Method and apparatus for reducing the memory required to store bind variable descriptors in a database
US5893104A (en) 1996-07-09 1999-04-06 Oracle Corporation Method and system for processing queries in a database system using index structures that are not native to the database system
US5920716A (en) 1996-11-26 1999-07-06 Hewlett-Packard Company Compiling a predicated code with direct analysis of the predicated code
US5937401A (en) 1996-11-27 1999-08-10 Sybase, Inc. Database system with improved methods for filtering duplicates from a tuple stream
US5937195A (en) 1996-11-27 1999-08-10 Hewlett-Packard Co Global control flow treatment of predicated code
US5857182A (en) 1997-01-21 1999-01-05 International Business Machines Corporation Database management system, method and program for supporting the mutation of a composite object without read/write and write/write conflicts
US6212673B1 (en) 1997-03-31 2001-04-03 International Business Machines Corporation Component-neutral builder interface
US6108666A (en) 1997-06-12 2000-08-22 International Business Machines Corporation Method and apparatus for pattern discovery in 1-dimensional event streams
US6041344A (en) 1997-06-23 2000-03-21 Oracle Corporation Apparatus and method for passing statements to foreign databases by using a virtual package
US6081801A (en) 1997-06-30 2000-06-27 International Business Machines Corporation Shared nothing parallel execution of procedural constructs in SQL
US5822750A (en) 1997-06-30 1998-10-13 International Business Machines Corporation Optimization of correlated SQL queries in a relational database management system
US6112198A (en) 1997-06-30 2000-08-29 International Business Machines Corporation Optimization of data repartitioning during parallel query optimization
US6278994B1 (en) 1997-07-10 2001-08-21 International Business Machines Corporation Fully integrated architecture for user-defined search
US6006220A (en) 1997-09-30 1999-12-21 International Business Machines Corporation Determining the optimal access path for a query at execution time using an actual value for each variable in a query for estimating a filter factor
US6006235A (en) 1997-11-26 1999-12-21 International Business Machines Corporation Method and apparatus for invoking a stored procedure or a user defined interpreted language function in a database management system
US6389436B1 (en) 1997-12-15 2002-05-14 International Business Machines Corporation Enhanced hypertext categorization using hyperlinks
US6092065A (en) 1998-02-13 2000-07-18 International Business Machines Corporation Method and apparatus for discovery, clustering and classification of patterns in 1-dimensional event streams
GB2335514B (en) 1998-03-18 2003-01-22 Ibm A method and component for serialisation of images
US6341281B1 (en) 1998-04-14 2002-01-22 Sybase, Inc. Database system with methods for optimizing performance of correlated subqueries by reusing invariant results of operator tree
US6011916A (en) 1998-05-12 2000-01-04 International Business Machines Corp. Java I/O toolkit for applications and applets
GB9812635D0 (en) 1998-06-11 1998-08-12 Olivetti Telemedia Spa Location system
US6477571B1 (en) 1998-08-11 2002-11-05 Computer Associates Think, Inc. Transaction recognition and prediction using regular expressions
US6263332B1 (en) 1998-08-14 2001-07-17 Vignette Corporation System and method for query processing of structured documents
US6367034B1 (en) 1998-09-21 2002-04-02 Microsoft Corporation Using query language for event filtering and aggregation
US6988271B2 (en) 1998-10-02 2006-01-17 Microsoft Corporation Heavyweight and lightweight instrumentation
US6546381B1 (en) 1998-11-02 2003-04-08 International Business Machines Corporation Query optimization system and method
US6763353B2 (en) 1998-12-07 2004-07-13 Vitria Technology, Inc. Real time business process analysis method and apparatus
US6108659A (en) 1998-12-22 2000-08-22 Computer Associates Think, Inc. Method and apparatus for executing stored code objects in a database
US6370537B1 (en) 1999-01-14 2002-04-09 Altoweb, Inc. System and method for the manipulation and display of structured data
US6427123B1 (en) 1999-02-18 2002-07-30 Oracle Corporation Hierarchical indexing for accessing hierarchically organized information in a relational system
US6438559B1 (en) 1999-04-02 2002-08-20 Sybase, Inc. System and method for improved serialization of Java objects
US7080062B1 (en) 1999-05-18 2006-07-18 International Business Machines Corporation Optimizing database queries using query execution plans derived from automatic summary table determining cost based queries
US6339772B1 (en) 1999-07-06 2002-01-15 Compaq Computer Corporation System and method for performing database operations on a continuous stream of tuples
US6453314B1 (en) 1999-07-30 2002-09-17 International Business Machines Corporation System and method for selective incremental deferred constraint processing after bulk loading data
JP2001060161A (ja) 1999-08-24 2001-03-06 Nec Ic Microcomput Syst Ltd デバッグ装置、方法及び記録媒体
US7457279B1 (en) 1999-09-10 2008-11-25 Vertical Communications Acquisition Corp. Method, system, and computer program product for managing routing servers and services
AU7123300A (en) 1999-09-10 2001-04-10 William C. Rodgers Web-based system to facilitate purchase, pick-up, and delivery of, and escrow and payment for, merchandise
US6766330B1 (en) 1999-10-19 2004-07-20 International Business Machines Corporation Universal output constructor for XML queries universal output constructor for XML queries
US6721727B2 (en) 1999-12-02 2004-04-13 International Business Machines Corporation XML documents stored as column data
US20020116371A1 (en) 1999-12-06 2002-08-22 David Dodds System and method for the storage, indexing and retrieval of XML documents using relation databases
US6418448B1 (en) 1999-12-06 2002-07-09 Shyam Sundar Sarkar Method and apparatus for processing markup language specifications for data and metadata used inside multiple related internet documents to navigate, query and manipulate information from a plurality of object relational databases over the web
JP3937380B2 (ja) 1999-12-14 2007-06-27 富士通株式会社 パスサーチ回路
US6615203B1 (en) 1999-12-17 2003-09-02 International Business Machines Corporation Method, computer program product, and system for pushdown analysis during query plan generation
US6594651B2 (en) 1999-12-22 2003-07-15 Ncr Corporation Method and apparatus for parallel execution of SQL-from within user defined functions
US6507834B1 (en) 1999-12-22 2003-01-14 Ncr Corporation Method and apparatus for parallel execution of SQL from stored procedures
US6353821B1 (en) 1999-12-23 2002-03-05 Bull Hn Information Systems Inc. Method and data processing system for detecting patterns in SQL to allow optimized use of multi-column indexes
US20020049788A1 (en) 2000-01-14 2002-04-25 Lipkin Daniel S. Method and apparatus for a web content platform
AU2001236998A1 (en) 2000-02-11 2001-08-20 Acta Technologies, Inc. Nested relational data model
US6996557B1 (en) 2000-02-15 2006-02-07 International Business Machines Corporation Method of optimizing SQL queries where a predicate matches nullable operands
US7072896B2 (en) 2000-02-16 2006-07-04 Verizon Laboratories Inc. System and method for automatic loading of an XML document defined by a document-type definition into a relational database including the generation of a relational schema therefor
US20020055915A1 (en) 2000-02-28 2002-05-09 Greg Zhang System and method for high speed string matching
US20020029207A1 (en) 2000-02-28 2002-03-07 Hyperroll, Inc. Data aggregation server for managing a multi-dimensional database and database management system having data aggregation server integrated therein
US6449620B1 (en) 2000-03-02 2002-09-10 Nimble Technology, Inc. Method and apparatus for generating information pages using semi-structured data stored in a structured manner
US7823066B1 (en) 2000-03-03 2010-10-26 Tibco Software Inc. Intelligent console for content-based interactivity
US6751619B1 (en) 2000-03-15 2004-06-15 Microsoft Corporation Methods and apparatus for tuple management in data processing system
US20020038217A1 (en) 2000-04-07 2002-03-28 Alan Young System and method for integrated data analysis and management
US6523102B1 (en) 2000-04-14 2003-02-18 Interactive Silicon, Inc. Parallel compression/decompression system and method for implementation of in-memory compressed cache improving storage density and access speed for industry standard memory subsystems and in-line memory modules
US7020696B1 (en) 2000-05-20 2006-03-28 Ciena Corp. Distributed user management information in telecommunications networks
CA2410277A1 (en) 2000-05-24 2001-11-29 The Haley Enterprises, Inc. A system for enterprise knowledge management and automation
US7076647B2 (en) 2000-06-09 2006-07-11 Hewlett-Packard Development Company, L.P. Dynamic kernel tunables
CA2311884A1 (en) 2000-06-16 2001-12-16 Cognos Incorporated Method of managing slowly changing dimensions
US6578032B1 (en) 2000-06-28 2003-06-10 Microsoft Corporation Method and system for performing phrase/word clustering and cluster merging
US7958025B2 (en) 2000-08-04 2011-06-07 Goldman Sachs & Co. Method and system for processing raw financial data streams to produce and distribute structured and validated product offering objects
US7139844B2 (en) 2000-08-04 2006-11-21 Goldman Sachs & Co. Method and system for processing financial data objects carried on broadcast data streams and delivering information to subscribing clients
US6708186B1 (en) 2000-08-14 2004-03-16 Oracle International Corporation Aggregating and manipulating dictionary metadata in a database system
US7095744B2 (en) 2000-11-22 2006-08-22 Dune Networks Method and system for switching variable sized packets
US20020156792A1 (en) 2000-12-06 2002-10-24 Biosentients, Inc. Intelligent object handling device and method for intelligent object data in heterogeneous data environments with high data density and dynamic application needs
US6925631B2 (en) 2000-12-08 2005-08-02 Hewlett-Packard Development Company, L.P. Method, computer system and computer program product for processing extensible markup language streams
AU2002222178A1 (en) 2000-12-15 2002-06-24 British Telecommunications Public Limited Company Method of indexing entities
US7062749B2 (en) 2000-12-15 2006-06-13 Promenix, Inc. Measuring, monitoring and tracking enterprise communications and processes
US6954791B2 (en) 2001-01-23 2005-10-11 Intel Corporation Time-based network connections
US7139977B1 (en) 2001-01-24 2006-11-21 Oracle International Corporation System and method for producing a virtual online book
US8307197B2 (en) 2001-02-14 2012-11-06 University Of North Carolina At Charlotte Short-circuit evaluation of Boolean expression by rolling up sub-expression result in registers storing default value
US7577916B2 (en) 2001-02-21 2009-08-18 Fuji Xerox Co., Ltd. Method and apparatus for management and representation of dynamic context
US7185232B1 (en) 2001-02-28 2007-02-27 Cenzic, Inc. Fault injection methods and apparatus
US6542911B2 (en) 2001-03-01 2003-04-01 Sun Microsystems, Inc. Method and apparatus for freeing memory from an extensible markup language document object model tree active in an application cache
WO2002071260A1 (en) 2001-03-01 2002-09-12 Aalborg Universitet Adaptable query optimization and evaluation in temporal middleware
GB2377038A (en) 2001-04-10 2002-12-31 I2 Ltd Method for identifying patterns in sequential event streams
US6904019B2 (en) 2001-04-13 2005-06-07 Agilent Technologies, Inc. Identifying a pattern in a data stream
US6748386B1 (en) 2001-04-24 2004-06-08 Nec Corporation System and method for automated construction of URL, cookie, and database query mapping
US6785677B1 (en) 2001-05-02 2004-08-31 Unisys Corporation Method for execution of query to search strings of characters that match pattern with a target string utilizing bit vector
US6850925B2 (en) 2001-05-15 2005-02-01 Microsoft Corporation Query optimization by sub-plan memoization
US7540011B2 (en) 2001-06-11 2009-05-26 Arrowsight, Inc. Caching graphical interface for displaying video and ancillary data from a saved video
US7757225B2 (en) 2001-06-29 2010-07-13 Microsoft Corporation Linktime recognition of alternative implementations of programmed functionality
US8332502B1 (en) 2001-08-15 2012-12-11 Metavante Corporation Business to business network management event detection and response system and method
EP1436936A4 (en) 2001-09-12 2006-08-02 Safenet Inc RECOGNITION OF FORMS OF HIGH-SPEED DATA FLOW
US7203927B2 (en) 2001-09-20 2007-04-10 International Business Machines Corporation SQL debugging using XML dataflows
AU2002334721B2 (en) 2001-09-28 2008-10-23 Oracle International Corporation An index structure to access hierarchical data in a relational database system
US20030065655A1 (en) 2001-09-28 2003-04-03 International Business Machines Corporation Method and apparatus for detecting query-driven topical events using textual phrases on foils as indication of topic
US6915290B2 (en) 2001-12-11 2005-07-05 International Business Machines Corporation Database query optimization apparatus and method that represents queries as graphs
US7475058B2 (en) 2001-12-14 2009-01-06 Microsoft Corporation Method and system for providing a distributed querying and filtering system
US7117200B2 (en) 2002-01-11 2006-10-03 International Business Machines Corporation Synthesizing information-bearing content from multiple channels
US20030135304A1 (en) 2002-01-11 2003-07-17 Brian Sroub System and method for managing transportation assets
US6826566B2 (en) 2002-01-14 2004-11-30 Speedtrack, Inc. Identifier vocabulary data access method and system
US7225188B1 (en) 2002-02-13 2007-05-29 Cisco Technology, Inc. System and method for performing regular expression matching with high parallelism
US6985904B1 (en) 2002-02-28 2006-01-10 Oracle International Corporation Systems and methods for sharing of execution plans for similar database statements
CA2374271A1 (en) 2002-03-01 2003-09-01 Ibm Canada Limited-Ibm Canada Limitee Redundant join elimination and sub-query elimination using subsumption
US7567953B2 (en) 2002-03-01 2009-07-28 Business Objects Americas System and method for retrieving and organizing information from disparate computer network information sources
US7107285B2 (en) 2002-03-16 2006-09-12 Questerra Corporation Method, system, and program for an improved enterprise spatial system
US20080010241A1 (en) 2002-04-02 2008-01-10 Mcgoveran David O Computer-implemented method for managing through symbolic abstraction of a membership expression multiple logical representations and storage structures
AU2003231176A1 (en) 2002-04-29 2003-11-17 Laboratory For Computational Analytics And Semiotics, Llc Sequence miner
EP1361526A1 (en) 2002-05-08 2003-11-12 Accenture Global Services GmbH Electronic data processing system and method of using an electronic processing system for automatically determining a risk indicator value
US7457810B2 (en) 2002-05-10 2008-11-25 International Business Machines Corporation Querying markup language data sources using a relational query processor
US20030236766A1 (en) 2002-05-14 2003-12-25 Zenon Fortuna Identifying occurrences of selected events in a system
US7093023B2 (en) 2002-05-21 2006-08-15 Washington University Methods, systems, and devices using reprogrammable hardware for high-speed processing of streaming data to find a redefinable pattern and respond thereto
WO2003104990A1 (en) 2002-06-05 2003-12-18 Sap Aktiengesellschaft Apparatus and method for integrating variable subsidiary information with main office information in an enterprise system
WO2004014065A2 (en) 2002-08-05 2004-02-12 John Campbell System of finite state machines
US7840550B2 (en) 2002-08-13 2010-11-23 International Business Machines Corporation System and method for monitoring database queries
US7451143B2 (en) 2002-08-28 2008-11-11 Cisco Technology, Inc. Programmable rule processing apparatus for conducting high speed contextual searches and characterizations of patterns in data
US8165993B2 (en) 2002-09-06 2012-04-24 Oracle International Corporation Business intelligence system with interface that provides for immediate user action
US20040060054A1 (en) 2002-09-20 2004-03-25 International Business Machines Corporation Composition service for autonomic computing
US7120645B2 (en) 2002-09-27 2006-10-10 Oracle International Corporation Techniques for rewriting XML queries directed to relational database constructs
US7043476B2 (en) 2002-10-11 2006-05-09 International Business Machines Corporation Method and apparatus for data mining to discover associations and covariances associated with data
FR2846181B1 (fr) 2002-10-16 2005-09-02 Canon Kk Procede et dispositif de selection de donnees dans un reseau de communication
US7213040B1 (en) 2002-10-29 2007-05-01 Novell, Inc. Apparatus for policy based storage of file data and meta-data changes over time
US7653645B1 (en) 2002-10-29 2010-01-26 Novell, Inc. Multi-epoch method for saving and exporting file system events
US20040088404A1 (en) 2002-11-01 2004-05-06 Vikas Aggarwal Administering users in a fault and performance monitoring system using distributed data gathering and storage
US7134143B2 (en) 2003-02-04 2006-11-07 Stellenberg Gerald S Method and apparatus for data packet pattern matching
GB0228447D0 (en) 2002-12-06 2003-01-08 Nicholls Charles M System for detecting and interpreting transactions events or changes in computer systems
US7051034B1 (en) 2002-12-18 2006-05-23 Oracle International Corporation Dynamic optimization for processing a restartable sub-tree of a query execution plan
US20050096124A1 (en) 2003-01-21 2005-05-05 Asip Holdings, Inc. Parimutuel wagering system with opaque transactions
US7954109B1 (en) 2003-01-24 2011-05-31 Jds Uniphase Corporation Systems and methods for time based sorting and display of captured data events in a multi-protocol communications system
US7437675B2 (en) 2003-02-03 2008-10-14 Hewlett-Packard Development Company, L.P. System and method for monitoring event based systems
US7634501B2 (en) 2003-02-05 2009-12-15 Next Generation Software Method and apparatus for mediated cooperation
US7305391B2 (en) 2003-02-07 2007-12-04 Safenet, Inc. System and method for determining the start of a match of a regular expression
US7062507B2 (en) 2003-02-24 2006-06-13 The Boeing Company Indexing profile for efficient and scalable XML based publish and subscribe system
US7185315B2 (en) 2003-02-25 2007-02-27 Sheet Dynamics, Ltd. Graphical feedback of disparities in target designs in graphical development environment
US7693810B2 (en) 2003-03-04 2010-04-06 Mantas, Inc. Method and system for advanced scenario based alert generation and processing
US7324108B2 (en) 2003-03-12 2008-01-29 International Business Machines Corporation Monitoring events in a computer network
JP2004280283A (ja) 2003-03-13 2004-10-07 Hitachi Ltd 分散ファイルシステム、分散ファイルシステムサーバ及び分散ファイルシステムへのアクセス方法
US7392239B2 (en) 2003-04-14 2008-06-24 International Business Machines Corporation System and method for querying XML streams
US6986019B1 (en) 2003-04-21 2006-01-10 Maxtor Corporation Method and apparatus for detection and management of data streams
CA2427209A1 (en) 2003-04-30 2004-10-30 Ibm Canada Limited - Ibm Canada Limitee Optimization of queries on views defined by conditional expressions having mutually exclusive conditions
US7386568B2 (en) 2003-05-01 2008-06-10 Oracle International Corporation Techniques for partial rewrite of XPath queries in a relational database
US7103611B2 (en) 2003-05-01 2006-09-05 Oracle International Corporation Techniques for retaining hierarchical information in mapping between XML documents and relational data
US6836778B2 (en) 2003-05-01 2004-12-28 Oracle International Corporation Techniques for changing XML content in a relational database
US7222123B2 (en) 2003-05-28 2007-05-22 Oracle International Corporation Technique for using a current lookup for performing multiple merge operations using source data that is modified in between the merge operations
US7546284B1 (en) 2003-06-11 2009-06-09 Blue Titan Software, Inc. Virtual message persistence service
US7146352B2 (en) 2003-06-23 2006-12-05 Microsoft Corporation Query optimizer system and method
US7519577B2 (en) 2003-06-23 2009-04-14 Microsoft Corporation Query intermediate language method and system
CA2433750A1 (en) 2003-06-27 2004-12-27 Ibm Canada Limited - Ibm Canada Limitee Automatic collection of trace detail and history data
EP1649344A4 (en) 2003-07-07 2010-02-10 Netezza Corp SQL CODE GENERATION FOR HETEROGICAL ENVIRONMENT
US20050010896A1 (en) 2003-07-07 2005-01-13 International Business Machines Corporation Universal format transformation between relational database management systems and extensible markup language using XML relational transformation
US20060242180A1 (en) 2003-07-23 2006-10-26 Graf James A Extracting data from semi-structured text documents
JP2007500401A (ja) 2003-07-25 2007-01-11 ジンガー，アーサー，アール． ソフトウェアデバッギング用装置とその方法
US7873645B2 (en) 2003-09-05 2011-01-18 Oracle International Corporation Method and mechanism for handling arbitrarily-sized XML in SQL operator tree
US20050071217A1 (en) 2003-09-30 2005-03-31 General Electric Company Method, system and computer product for analyzing business risk using event information extracted from natural language sources
US20050108368A1 (en) 2003-10-30 2005-05-19 Aditya Mohan Method and apparatus for representing data available in a peer-to-peer network using bloom-filters
US20050097128A1 (en) 2003-10-31 2005-05-05 Ryan Joseph D. Method for scalable, fast normalization of XML documents for insertion of data into a relational database
US7167848B2 (en) 2003-11-07 2007-01-23 Microsoft Corporation Generating a hierarchical plain-text execution plan from a database query
GB0327589D0 (en) 2003-11-27 2003-12-31 Ibm Searching in a computer network
US7047252B2 (en) 2003-12-02 2006-05-16 Oracle International Corporation Complex computation across heterogenous computer systems
US7657508B2 (en) 2006-12-29 2010-02-02 Teradata Us, Inc. Automated block size management for database objects
US7508985B2 (en) 2003-12-10 2009-03-24 International Business Machines Corporation Pattern-matching system
US7308561B2 (en) 2003-12-12 2007-12-11 Alcatel Lucent Fast, scalable pattern-matching engine
US7440461B2 (en) 2003-12-23 2008-10-21 Intel Corporation Methods and apparatus for detecting patterns in a data stream
US7672964B1 (en) 2003-12-31 2010-03-02 International Business Machines Corporation Method and system for dynamically initializing a view for a streaming data base system
US8775412B2 (en) 2004-01-08 2014-07-08 International Business Machines Corporation Method and system for a self-healing query access plan
US7526804B2 (en) 2004-02-02 2009-04-28 Microsoft Corporation Hardware assist for pattern matches
US7376656B2 (en) 2004-02-10 2008-05-20 Microsoft Corporation System and method for providing user defined aggregates in a database system
US7194451B2 (en) 2004-02-26 2007-03-20 Microsoft Corporation Database monitoring system
US20050204340A1 (en) 2004-03-10 2005-09-15 Ruminer Michael D. Attribute-based automated business rule identifier and methods of implementing same
US7218325B1 (en) 2004-03-31 2007-05-15 Trading Technologies International, Inc. Graphical display with integrated recent period zoom and historical period context data
US7398265B2 (en) 2004-04-09 2008-07-08 Oracle International Corporation Efficient query processing of XML data using XML index
US20050273352A1 (en) 2004-05-07 2005-12-08 Lombardi Software, Inc. Business method for continuous process improvement
US20050273450A1 (en) 2004-05-21 2005-12-08 Mcmillen Robert J Regular expression acceleration engine and processing model
US7552365B1 (en) 2004-05-26 2009-06-23 Amazon Technologies, Inc. Web site system with automated processes for detecting failure events and for selecting failure events for which to request user feedback
US7516121B2 (en) 2004-06-23 2009-04-07 Oracle International Corporation Efficient evaluation of queries using translation
US7599924B2 (en) 2004-06-25 2009-10-06 International Business Machines Corporation Relationship management in a data abstraction model
US7370273B2 (en) 2004-06-30 2008-05-06 International Business Machines Corporation System and method for creating dynamic folder hierarchies
US20060007308A1 (en) 2004-07-12 2006-01-12 Ide Curtis E Environmentally aware, intelligent surveillance device
US7668806B2 (en) 2004-08-05 2010-02-23 Oracle International Corporation Processing queries against one or more markup language sources
US20060047696A1 (en) 2004-08-24 2006-03-02 Microsoft Corporation Partially materialized views
US7263464B1 (en) 2004-08-27 2007-08-28 Tonic Software, Inc. System and method for monitoring events in a computing environment
GB0420097D0 (en) 2004-09-10 2004-10-13 Cotares Ltd Apparatus for and method of providing data to an external application
US20060064438A1 (en) 2004-09-17 2006-03-23 International Business Machines Corporation Methods and apparartus for monitoring abnormalities in data stream
US7668856B2 (en) 2004-09-30 2010-02-23 Alcatel-Lucent Usa Inc. Method for distinct count estimation over joins of continuous update stream
US7310638B1 (en) 2004-10-06 2007-12-18 Metra Tech Method and apparatus for efficiently processing queries in a streaming transaction processing system
US7519962B2 (en) 2004-10-07 2009-04-14 Thomson Financial Llc Command script parsing using local and extended storage for command lookup
WO2006047654A2 (en) 2004-10-25 2006-05-04 Yuanhua Tang Full text query and search systems and methods of use
US20080077570A1 (en) 2004-10-25 2008-03-27 Infovell, Inc. Full Text Query and Search Systems and Method of Use
US7403945B2 (en) 2004-11-01 2008-07-22 Sybase, Inc. Distributed database system providing data and space management methodology
US7533087B2 (en) 2004-11-05 2009-05-12 International Business Machines Corporation Method, system, and program for executing a query having a union all operator and data modifying operations
US20060100969A1 (en) 2004-11-08 2006-05-11 Min Wang Learning-based method for estimating cost and statistics of complex operators in continuous queries
US7493304B2 (en) 2004-11-12 2009-02-17 International Business Machines Corporation Adjusting an amount of data logged for a query based on a change to an access plan
US7526461B2 (en) 2004-11-17 2009-04-28 Gm Global Technology Operations, Inc. System and method for temporal data mining
JP2006155404A (ja) 2004-11-30 2006-06-15 Toshiba Corp 時間情報抽出装置、時間情報抽出方法、及び時間情報抽出プログラム
US7383253B1 (en) 2004-12-17 2008-06-03 Coral 8, Inc. Publish and subscribe capable continuous query processor for real-time data streams
US20060155719A1 (en) 2005-01-10 2006-07-13 International Business Machines Corporation Complex event discovery in event databases
EP1684192A1 (en) 2005-01-25 2006-07-26 Ontoprise GmbH Integration platform for heterogeneous information sources
US20060166704A1 (en) 2005-01-26 2006-07-27 Benco David S Method for alerting a subscriber of an emergency call request
US20060167869A1 (en) 2005-01-27 2006-07-27 Kevin Jones Multi-path simultaneous Xpath evaluation over data streams
US8396886B1 (en) 2005-02-03 2013-03-12 Sybase Inc. Continuous processing language for real-time data streams
JP5188817B2 (ja) 2005-02-22 2013-04-24 コネクティフ ソリューションズ インク． 分散型資産管理システム及び方法
KR100690787B1 (ko) 2005-02-25 2007-03-09 엘지전자 주식회사 무선통신 시스템에서 이벤트 통지방법
JP2008532177A (ja) 2005-03-03 2008-08-14 ワシントン ユニヴァーシティー 生物学的配列類似検索を実行するための方法および装置
US8126870B2 (en) 2005-03-28 2012-02-28 Sybase, Inc. System and methodology for parallel query optimization using semantic-based partitioning
US8463801B2 (en) 2005-04-04 2013-06-11 Oracle International Corporation Effectively and efficiently supporting XML sequence type and XQuery sequence natively in a SQL system
US7428555B2 (en) 2005-04-07 2008-09-23 Google Inc. Real-time, computer-generated modifications to an online advertising program
US7685150B2 (en) 2005-04-19 2010-03-23 Oracle International Corporation Optimization of queries over XML views that are based on union all operators
US8145686B2 (en) 2005-05-06 2012-03-27 Microsoft Corporation Maintenance of link level consistency between database and file system
JP4687253B2 (ja) 2005-06-03 2011-05-25 株式会社日立製作所 ストリームデータ処理システムのクエリ処理方法
US20060294095A1 (en) 2005-06-09 2006-12-28 Mantas, Inc. Runtime thresholds for behavior detection
US9792351B2 (en) 2005-06-10 2017-10-17 International Business Machines Corporation Tolerant and extensible discovery of relationships in data using structural information and data analysis
US9747560B2 (en) 2005-07-13 2017-08-29 Sap Se Method and system for combination of independent demand data streams
US7818313B1 (en) 2005-07-18 2010-10-19 Sybase, Inc. Method for distributing processing of queries over a cluster of servers in a continuous processing system
JP4723301B2 (ja) 2005-07-21 2011-07-13 株式会社日立製作所 ストリームデータ処理システムおよびストリームデータ処理方法
US7962616B2 (en) 2005-08-11 2011-06-14 Micro Focus (Us), Inc. Real-time activity monitoring and reporting
US20090172014A1 (en) 2005-08-23 2009-07-02 Raymond John Huetter Stream-Oriented Database Machine and Method
US7990646B2 (en) 2005-09-30 2011-08-02 Seagate Technology Llc Data pattern detection using adaptive search windows
US7937257B2 (en) 2005-10-10 2011-05-03 Oracle International Corporation Estimating performance of application based on automatic resizing of shared memory for messaging
KR100813000B1 (ko) 2005-12-01 2008-03-13 한국전자통신연구원 데이터 중복 처리 방지 기능을 가지는 스트림 데이터 처리시스템 및 그 방법
US7702629B2 (en) 2005-12-02 2010-04-20 Exegy Incorporated Method and device for high performance regular expression pattern matching
US20070136254A1 (en) 2005-12-08 2007-06-14 Hyun-Hwa Choi System and method for processing integrated queries against input data stream and data stored in database using trigger
US7730023B2 (en) 2005-12-22 2010-06-01 Business Objects Sotware Ltd. Apparatus and method for strategy map validation and visualization
US20070168154A1 (en) 2005-12-23 2007-07-19 Ericson Richard E User interface for statistical data analysis
US7502889B2 (en) 2005-12-30 2009-03-10 Intel Corporation Home node aware replacement policy for caches in a multiprocessor system
US7814111B2 (en) 2006-01-03 2010-10-12 Microsoft International Holdings B.V. Detection of patterns in data records
US7844829B2 (en) 2006-01-18 2010-11-30 Sybase, Inc. Secured database system with built-in antivirus protection
US20070192301A1 (en) 2006-02-15 2007-08-16 Encirq Corporation Systems and methods for indexing and searching data records based on distance metrics
US20070198479A1 (en) 2006-02-16 2007-08-23 International Business Machines Corporation Streaming XPath algorithm for XPath expressions with predicates
US7446352B2 (en) 2006-03-09 2008-11-04 Tela Innovations, Inc. Dynamic array architecture
US7689582B2 (en) 2006-03-10 2010-03-30 International Business Machines Corporation Data flow system and method for heterogeneous data integration environments
US7536396B2 (en) 2006-03-21 2009-05-19 At&T Intellectual Property Ii, L.P. Query-aware sampling of data streams
US7877381B2 (en) 2006-03-24 2011-01-25 International Business Machines Corporation Progressive refinement of a federated query plan during query execution
US20070226188A1 (en) 2006-03-27 2007-09-27 Theodore Johnson Method and apparatus for data stream sampling
US8788569B2 (en) 2006-03-31 2014-07-22 British Telecommunications Public Limited Company Server computer system running versions of an application simultaneously
US7644066B2 (en) 2006-03-31 2010-01-05 Oracle International Corporation Techniques of efficient XML meta-data query using XML table index
GB0606776D0 (en) 2006-04-03 2006-05-10 Novartis Pharma Ag Predictive biomarkers for chronic allograft nephropathy
US7974984B2 (en) * 2006-04-19 2011-07-05 Mobile Content Networks, Inc. Method and system for managing single and multiple taxonomies
WO2007122347A1 (fr) 2006-04-20 2007-11-01 France Telecom Procede d'optimisation de la collecte d'evenements, procede de supervision, produits programmes d'ordinateur et dispositifs correspondants
US7636703B2 (en) 2006-05-02 2009-12-22 Exegy Incorporated Method and apparatus for approximate pattern matching
US7548937B2 (en) 2006-05-04 2009-06-16 International Business Machines Corporation System and method for scalable processing of multi-way data stream correlations
US8131696B2 (en) 2006-05-19 2012-03-06 Oracle International Corporation Sequence event processing using append-only tables
JP4804233B2 (ja) 2006-06-09 2011-11-02 株式会社日立製作所 ストリームデータ処理方法
US7613848B2 (en) 2006-06-13 2009-11-03 International Business Machines Corporation Dynamic stabilization for a stream processing system
US20070294217A1 (en) 2006-06-14 2007-12-20 Nec Laboratories America, Inc. Safety guarantee of continuous join queries over punctuated data streams
US7921046B2 (en) 2006-06-19 2011-04-05 Exegy Incorporated High speed processing of financial information using FPGA devices
US20080010093A1 (en) 2006-06-30 2008-01-10 Laplante Pierre System and Method for Processing Health Information
US7499909B2 (en) 2006-07-03 2009-03-03 Oracle International Corporation Techniques of using a relational caching framework for efficiently handling XML queries in the mid-tier data caching
US20080016095A1 (en) 2006-07-13 2008-01-17 Nec Laboratories America, Inc. Multi-Query Optimization of Window-Based Stream Queries
US8077059B2 (en) 2006-07-21 2011-12-13 Eric John Davies Database adapter for relational datasets
US7496683B2 (en) 2006-07-27 2009-02-24 International Business Machines Corporation Maximization of sustained throughput of distributed continuous queries
US20080034427A1 (en) 2006-08-02 2008-02-07 Nec Laboratories America, Inc. Fast and scalable process for regular expression search
US8671091B2 (en) 2006-08-02 2014-03-11 Hewlett-Packard Development Company, L.P. Optimizing snowflake schema queries
US7580946B2 (en) 2006-08-11 2009-08-25 Bizweel Ltd. Smart integration engine and metadata-oriented architecture for automatic EII and business integration
US8099400B2 (en) 2006-08-18 2012-01-17 National Instruments Corporation Intelligent storing and retrieving in an enterprise data system
KR100778314B1 (ko) 2006-08-21 2007-11-22 한국전자통신연구원 사용자 정의 공유 트리거를 이용한 데이터 스트림과 저장데이터에 대한 통합 연속 질의 처리 시스템 및 그 방법
US8099452B2 (en) 2006-09-05 2012-01-17 Microsoft Corporation Event stream conditioning
US8260910B2 (en) 2006-09-19 2012-09-04 Oracle America, Inc. Method and apparatus for monitoring a data stream to detect a pattern of data elements using bloom filters
US20080082484A1 (en) 2006-09-28 2008-04-03 Ramot At Tel-Aviv University Ltd. Fast processing of an XML data stream
US20080082514A1 (en) 2006-09-29 2008-04-03 International Business Machines Corporation Method and apparatus for integrating relational and hierarchical data
US20080098359A1 (en) 2006-09-29 2008-04-24 Ventsislav Ivanov Manipulation of trace sessions based on address parameters
US8645176B2 (en) 2006-10-05 2014-02-04 Trimble Navigation Limited Utilizing historical data in an asset management environment
US7921416B2 (en) * 2006-10-20 2011-04-05 Yahoo! Inc. Formal language and translator for parallel processing of data
JP4933222B2 (ja) 2006-11-15 2012-05-16 株式会社日立製作所 インデックス処理方法及び計算機システム
US20080120283A1 (en) 2006-11-17 2008-05-22 Oracle International Corporation Processing XML data stream(s) using continuous queries in a data stream management system
US9436779B2 (en) 2006-11-17 2016-09-06 Oracle International Corporation Techniques of efficient XML query using combination of XML table index and path/value index
US10152687B2 (en) 2006-12-01 2018-12-11 Goldman Sachs & Co. LLC Application directory
US7912808B2 (en) 2006-12-08 2011-03-22 Pandya Ashish A 100Gbps security and search architecture using programmable intelligent search memory that uses a power down mode
US7716210B2 (en) 2006-12-20 2010-05-11 International Business Machines Corporation Method and apparatus for XML query evaluation using early-outs and multiple passes
US7895187B2 (en) 2006-12-21 2011-02-22 Sybase, Inc. Hybrid evaluation of expressions in DBMS
US20080195577A1 (en) 2007-02-09 2008-08-14 Wei Fan Automatically and adaptively determining execution plans for queries with parameter markers
US7630982B2 (en) 2007-02-24 2009-12-08 Trend Micro Incorporated Fast identification of complex strings in a data stream
US20090327102A1 (en) 2007-03-23 2009-12-31 Jatin Maniar System and method for providing real time asset visibility
US7827146B1 (en) 2007-03-30 2010-11-02 Symantec Operating Corporation Storage system
US8065319B2 (en) 2007-04-01 2011-11-22 Nec Laboratories America, Inc. Runtime semantic query optimization for event stream processing
US8098248B2 (en) 2007-04-02 2012-01-17 International Business Machines Corporation Method for semantic modeling of stream processing components to enable automatic application composition
US8370812B2 (en) 2007-04-02 2013-02-05 International Business Machines Corporation Method and system for automatically assembling processing graphs in information processing systems
US7818292B2 (en) 2007-04-05 2010-10-19 Anil Kumar Nori SQL change tracking layer
JP2008262046A (ja) 2007-04-12 2008-10-30 Hitachi Ltd 会議可視化システム、会議可視化方法、及び集計処理サーバ
US7899904B2 (en) 2007-04-30 2011-03-01 Lsi Corporation Hardware processing of regular expressions
US7788206B2 (en) 2007-04-30 2010-08-31 Lsi Corporation State machine compression using multi-character state transition instructions
US7945540B2 (en) 2007-05-04 2011-05-17 Oracle International Corporation Method to create a partition-by time/tuple-based window in an event processing service
US7912853B2 (en) 2007-05-07 2011-03-22 International Business Machines Corporation Query processing client-server database system
US7953728B2 (en) 2007-05-18 2011-05-31 Oracle International Corp. Queries with soft time constraints
US20080301125A1 (en) 2007-05-29 2008-12-04 Bea Systems, Inc. Event processing query language including an output clause
US7975109B2 (en) 2007-05-30 2011-07-05 Schooner Information Technology, Inc. System including a fine-grained memory and a less-fine-grained memory
US7792784B2 (en) 2007-05-31 2010-09-07 International Business Machines Corporation Streaming multidimensional data by bypassing multidimensional query processor
US7984040B2 (en) 2007-06-05 2011-07-19 Oracle International Corporation Methods and systems for querying event streams using multiple event processors
US7933894B2 (en) 2007-06-15 2011-04-26 Microsoft Corporation Parameter-sensitive plans for structural scenarios
US7689622B2 (en) 2007-06-28 2010-03-30 Microsoft Corporation Identification of events of search queries
US8832073B2 (en) 2007-06-29 2014-09-09 Alcatel Lucent Method and apparatus for efficient aggregate computation over data streams
US7676461B2 (en) 2007-07-18 2010-03-09 Microsoft Corporation Implementation of stream algebra over class instances
US7984043B1 (en) 2007-07-24 2011-07-19 Amazon Technologies, Inc. System and method for distributed query processing using configuration-independent query plans
US8055653B2 (en) 2007-08-09 2011-11-08 International Business Machines Corporation Processing overlapping continuous queries
US20090070786A1 (en) 2007-09-11 2009-03-12 Bea Systems, Inc. Xml-based event processing networks for event server
US7827299B2 (en) 2007-09-11 2010-11-02 International Business Machines Corporation Transitioning between historical and real time data streams in the processing of data change messages
US20090076899A1 (en) 2007-09-14 2009-03-19 Gbodimowo Gbeminiyi A Method for analyzing, searching for, and trading targeted advertisement spaces
US20090089078A1 (en) 2007-09-28 2009-04-02 Great-Circle Technologies, Inc. Bundling of automated work flow
US7979420B2 (en) 2007-10-16 2011-07-12 Oracle International Corporation Handling silent relations in a data stream management system
US8296316B2 (en) 2007-10-17 2012-10-23 Oracle International Corporation Dynamically sharing a subtree of operators in a data stream management system operating on existing queries
US8600977B2 (en) 2007-10-17 2013-12-03 Oracle International Corporation Automatic recognition and capture of SQL execution plans
US7996388B2 (en) 2007-10-17 2011-08-09 Oracle International Corporation Adding new continuous queries to a data stream management system operating on existing queries
US7739265B2 (en) 2007-10-18 2010-06-15 Oracle International Corporation Deleting a continuous query from a data stream management system continuing to operate on other queries
US8073826B2 (en) 2007-10-18 2011-12-06 Oracle International Corporation Support for user defined functions in a data stream management system
US8307343B2 (en) 2007-10-19 2012-11-06 Microsoft Corporation Application and database context correlation for database application developers
US7991766B2 (en) 2007-10-20 2011-08-02 Oracle International Corporation Support for user defined aggregations in a data stream management system
US8521867B2 (en) 2007-10-20 2013-08-27 Oracle International Corporation Support for incrementally processing user defined aggregations in a data stream management system
US7673065B2 (en) 2007-10-20 2010-03-02 Oracle International Corporation Support for sharing computation between aggregations in a data stream management system
US20090112809A1 (en) 2007-10-24 2009-04-30 Caterpillar Inc. Systems and methods for monitoring health of computing systems
US7827127B2 (en) 2007-10-26 2010-11-02 Microsoft Corporation Data scoping and data flow in a continuation based runtime
US8335782B2 (en) 2007-10-29 2012-12-18 Hitachi, Ltd. Ranking query processing method for stream data and stream data processing system having ranking query processing mechanism
JP5377897B2 (ja) 2007-10-29 2013-12-25 株式会社日立製作所 ストリームデータのランキングクエリ処理方法およびランキングクエリ処理機構を有するストリームデータ処理システム
US8103655B2 (en) 2007-10-30 2012-01-24 Oracle International Corporation Specifying a family of logics defining windows in data stream management systems
US8019747B2 (en) 2007-10-30 2011-09-13 Oracle International Corporation Facilitating flexible windows in data stream management systems
US20090125550A1 (en) 2007-11-08 2009-05-14 Microsoft Corporation Temporal event stream model
US8315990B2 (en) 2007-11-08 2012-11-20 Microsoft Corporation Consistency sensitive streaming operators
KR100894910B1 (ko) 2007-11-09 2009-04-30 한국전자통신연구원 이기종 센서 네트워크 환경에서 다중 질의 처리 장치 및방법
US9275353B2 (en) 2007-11-09 2016-03-01 Oracle America, Inc. Event-processing operators
US7870167B2 (en) 2007-11-09 2011-01-11 Oracle America, Inc. Implementing event processors
WO2009114615A1 (en) 2008-03-11 2009-09-17 Virtual Agility, Inc. Techniques for integrating parameterized information request into a system for collaborative work
US8191074B2 (en) 2007-11-15 2012-05-29 Ericsson Ab Method and apparatus for automatic debugging technique
US8156134B2 (en) 2007-11-15 2012-04-10 International Business Machines Corporation Using different groups of query graph transform modules to generate execution plans for queries for different database types
US8429601B2 (en) 2007-11-29 2013-04-23 Red Hat, Inc. Code completion for object relational mapping query language (OQL) queries
US7870124B2 (en) 2007-12-13 2011-01-11 Oracle International Corporation Rewriting node reference-based XQuery using SQL/SML
US8365140B2 (en) 2007-12-20 2013-01-29 Hsbc Technologies Inc. Automated methods and systems for developing and deploying projects in parallel
US7882087B2 (en) 2008-01-15 2011-02-01 At&T Intellectual Property I, L.P. Complex dependencies for efficient data warehouse updates
JP2009171193A (ja) 2008-01-16 2009-07-30 Kyocera Mita Corp 通信装置、通信方法及び通信制御プログラム
US20090192981A1 (en) 2008-01-29 2009-07-30 Olga Papaemmanouil Query Deployment Plan For A Distributed Shared Stream Processing System
US9489495B2 (en) 2008-02-25 2016-11-08 Georgetown University System and method for detecting, collecting, analyzing, and communicating event-related information
US9760612B2 (en) 2008-02-26 2017-09-12 Ab Initio Technology, Llc Graphic representations of data relationships
US8055649B2 (en) 2008-03-06 2011-11-08 Microsoft Corporation Scaled management system
US8903802B2 (en) 2008-03-06 2014-12-02 Cisco Technology, Inc. Systems and methods for managing queries
JP5589837B2 (ja) 2008-03-28 2014-09-17 日本電気株式会社 情報再構成システム、情報再構成方法及び情報再構成用プログラム
US7958114B2 (en) 2008-04-04 2011-06-07 Microsoft Corporation Detecting estimation errors in dictinct page counts
US7872948B2 (en) 2008-04-14 2011-01-18 The Boeing Company Acoustic wide area air surveillance system
US8122050B2 (en) 2008-04-16 2012-02-21 International Business Machines Corporation Query processing visualization system and method of visualizing query processing
JP5198929B2 (ja) 2008-04-25 2013-05-15 株式会社日立製作所 ストリームデータ処理方法及び計算機システム
US8155880B2 (en) 2008-05-09 2012-04-10 Locomatix Inc. Location tracking optimizations
US8886637B2 (en) 2008-05-12 2014-11-11 Enpulz, L.L.C. Web browser accessible search engine which adapts based on user interaction
US7818370B2 (en) 2008-05-20 2010-10-19 Bea Systems, Inc. Event server using clustering
US8850409B2 (en) 2008-05-21 2014-09-30 Optumsoft, Inc. Notification-based constraint set translation to imperative execution
US7930322B2 (en) 2008-05-27 2011-04-19 Microsoft Corporation Text based schema discovery and information extraction
US8918507B2 (en) 2008-05-30 2014-12-23 Red Hat, Inc. Dynamic grouping of enterprise assets
US8291006B2 (en) 2008-05-30 2012-10-16 International Business Machines Corporation Method for generating a distributed stream processing application
US8112378B2 (en) 2008-06-17 2012-02-07 Hitachi, Ltd. Methods and systems for performing root cause analysis
US20100030896A1 (en) 2008-06-19 2010-02-04 Microsoft Corporation Estimating latencies for query optimization in distributed stream processing
US20090319501A1 (en) 2008-06-24 2009-12-24 Microsoft Corporation Translation of streaming queries into sql queries
US8316012B2 (en) 2008-06-27 2012-11-20 SAP France S.A. Apparatus and method for facilitating continuous querying of multi-dimensional data streams
CN102077236A (zh) 2008-07-03 2011-05-25 松下电器产业株式会社 印象度提取装置和印象度提取方法
US8086644B2 (en) 2008-07-10 2011-12-27 International Business Machines Corporation Simplifying complex data stream problems involving feature extraction from noisy data
US8447739B2 (en) 2008-07-16 2013-05-21 SAP France S.A. Systems and methods to create continuous queries via a semantic layer
US9135583B2 (en) 2008-07-16 2015-09-15 Business Objects S.A. Systems and methods to create continuous queries associated with push-type and pull-type data
US8037040B2 (en) 2008-08-08 2011-10-11 Oracle International Corporation Generating continuous query notifications
US8185508B2 (en) 2008-08-08 2012-05-22 Oracle International Corporation Adaptive filter index for determining queries affected by a DML operation
US8335793B2 (en) 2008-08-22 2012-12-18 Disney Enterprises, Inc. System and method for optimized filtered data feeds to capture data and send to multiple destinations
US8498956B2 (en) 2008-08-29 2013-07-30 Oracle International Corporation Techniques for matching a certain class of regular expression-based patterns in data streams
CA2736750A1 (en) 2008-09-15 2010-03-18 James A. Aman Session automated recording together with rules based indexing, analysis and expression of content
US8032544B2 (en) 2008-09-24 2011-10-04 The Boeing Company Methods and apparatus for generating dynamic program files based on input queries that facilitate use of persistent query services
US20100094838A1 (en) 2008-10-10 2010-04-15 Ants Software Inc. Compatibility Server for Database Rehosting
JP5337447B2 (ja) 2008-10-28 2013-11-06 株式会社日立製作所 ストリームデータ処理方法、及びシステム
JP5465413B2 (ja) 2008-10-29 2014-04-09 株式会社日立製作所 ストリームデータ処理方法、及びそのシステム
CN102202911B (zh) 2008-10-31 2014-04-09 都美工业株式会社 汽车用轮辐
US8214325B2 (en) 2008-11-20 2012-07-03 Sap Ag Federating business event data within an enterprise network
US7945565B2 (en) * 2008-11-20 2011-05-17 Yahoo! Inc. Method and system for generating a hyperlink-click graph
US8392402B2 (en) 2008-12-03 2013-03-05 International Business Machines Corporation Hybrid push/pull execution of continuous SQL queries
US8145621B2 (en) 2008-12-19 2012-03-27 Ianywhere Solutions, Inc. Graphical representation of query optimizer search space in a database management system
US8935293B2 (en) 2009-03-02 2015-01-13 Oracle International Corporation Framework for dynamically generating tuple and page classes
US8352517B2 (en) 2009-03-02 2013-01-08 Oracle International Corporation Infrastructure for spilling pages to a persistent store
US8145859B2 (en) 2009-03-02 2012-03-27 Oracle International Corporation Method and system for spilling from a queue to a persistent store
US8725707B2 (en) 2009-03-26 2014-05-13 Hewlett-Packard Development Company, L.P. Data continuous SQL process
US8713038B2 (en) 2009-04-02 2014-04-29 Pivotal Software, Inc. Integrating map-reduce into a distributed relational database
US8285709B2 (en) 2009-05-12 2012-10-09 Teradata Us, Inc. High-concurrency query operator and method
US8161035B2 (en) 2009-06-04 2012-04-17 Oracle International Corporation Query optimization by specifying path-based predicate evaluation in a path-based query operator
US8868725B2 (en) 2009-06-12 2014-10-21 Kent State University Apparatus and methods for real-time multimedia network traffic management and control in wireless networks
US8849955B2 (en) 2009-06-30 2014-09-30 Commvault Systems, Inc. Cloud storage and networking agents, including agents for utilizing multiple, different cloud storage sites
US8572589B2 (en) 2009-06-30 2013-10-29 Agilent Technologies, Inc. Programming language translator and enabling translation of machine-centric commands for controlling instrument
US8180801B2 (en) 2009-07-16 2012-05-15 Sap Ag Unified window support for event stream data management
US8880524B2 (en) 2009-07-17 2014-11-04 Apple Inc. Scalable real time event stream processing
US8321450B2 (en) 2009-07-21 2012-11-27 Oracle International Corporation Standardized database connectivity support for an event processing server in an embedded context
US8387076B2 (en) 2009-07-21 2013-02-26 Oracle International Corporation Standardized database connectivity support for an event processing server
US8572016B2 (en) 2009-07-31 2013-10-29 International Business Machines Corporation Match engine for detection of multi-pattern rules
US8527458B2 (en) 2009-08-03 2013-09-03 Oracle International Corporation Logging framework for a data stream processing server
US8386466B2 (en) 2009-08-03 2013-02-26 Oracle International Corporation Log visualization tool for a data stream processing server
US20110035253A1 (en) 2009-08-07 2011-02-10 onFucus Healthcare Systems and Methods for Optimizing Enterprise Performance Relationships to Other Applications
CA2712576C (en) 2009-08-11 2012-04-10 Certusview Technologies, Llc Systems and methods for complex event processing of vehicle-related information
JP5395565B2 (ja) 2009-08-12 2014-01-22 株式会社日立製作所 ストリームデータ処理方法及び装置
JP4925143B2 (ja) 2009-08-12 2012-04-25 株式会社日立製作所 ストリームデータ処理システム、ストリームデータ処理方法及びストリームデータ処理プログラム
US8204873B2 (en) 2009-08-26 2012-06-19 Hewlett-Packard Development Company, L.P. System and method for query expression optimization
JP4992945B2 (ja) 2009-09-10 2012-08-08 株式会社日立製作所 ストリームデータ生成方法、ストリームデータ生成装置及びストリームデータ生成プログラム
US20110084967A1 (en) 2009-10-09 2011-04-14 International Business Machines Corporation Visualization of Datasets
US8195648B2 (en) 2009-10-21 2012-06-05 Microsoft Corporation Partitioned query execution in event processing systems
US9977702B2 (en) 2009-11-23 2018-05-22 International Business Machines Corporation Event processing networks
US20110131588A1 (en) 2009-12-01 2011-06-02 International Business Machines Corporation Software architecture that can sense and respond to contextual and state information
US8959106B2 (en) 2009-12-28 2015-02-17 Oracle International Corporation Class loading using java data cartridges
US9430494B2 (en) 2009-12-28 2016-08-30 Oracle International Corporation Spatial data cartridge for event processing systems
US9305057B2 (en) 2009-12-28 2016-04-05 Oracle International Corporation Extensible indexing framework using data cartridges
US9307038B2 (en) 2009-12-29 2016-04-05 Motorola Solutions, Inc. Method for presence notification based on a sequence of events
US8423576B2 (en) 2010-01-11 2013-04-16 International Business Machines Corporation System and method for querying data streams
EP2348416A1 (en) 2010-01-21 2011-07-27 Software AG Analysis system and method for analyzing continuous queries for data streams
US9805101B2 (en) 2010-02-26 2017-10-31 Ebay Inc. Parallel data stream processing system
JP5331737B2 (ja) 2010-03-15 2013-10-30 株式会社日立製作所 ストリームデータ処理障害回復方法および装置
US8484243B2 (en) 2010-05-05 2013-07-09 Cisco Technology, Inc. Order-independent stream query processing
WO2011142026A1 (ja) 2010-05-14 2011-11-17 株式会社日立製作所 時系列データ管理装置、システム、方法、およびプログラム
US8595234B2 (en) 2010-05-17 2013-11-26 Wal-Mart Stores, Inc. Processing data feeds
US8762297B2 (en) 2010-05-17 2014-06-24 Microsoft Corporation Dynamic pattern matching over ordered and disordered data streams
US10380186B2 (en) 2010-05-26 2019-08-13 Entit Software Llc Virtual topological queries
US8595840B1 (en) 2010-06-01 2013-11-26 Trend Micro Incorporated Detection of computer network data streams from a malware and its variants
US20120116982A1 (en) 2010-06-02 2012-05-10 Salesforce. com. Inc. Method and system for escalating content of discussions to particular memory locations
US8442863B2 (en) 2010-06-17 2013-05-14 Microsoft Corporation Real-time-ready behavioral targeting in a large-scale advertisement system
US20110314019A1 (en) 2010-06-18 2011-12-22 Universidad Politecnica De Madrid Parallel processing of continuous queries on data streams
US8627329B2 (en) 2010-06-24 2014-01-07 International Business Machines Corporation Multithreaded physics engine with predictive load balancing
US8719207B2 (en) 2010-07-27 2014-05-06 Oracle International Corporation Method and system for providing decision making based on sense and respond
US8326821B2 (en) 2010-08-25 2012-12-04 International Business Machines Corporation Transforming relational queries into stream processing
US8713049B2 (en) 2010-09-17 2014-04-29 Oracle International Corporation Support for a parameterized query/view in complex event processing
US8260803B2 (en) 2010-09-23 2012-09-04 Hewlett-Packard Development Company, L.P. System and method for data stream processing
US20130191370A1 (en) 2010-10-11 2013-07-25 Qiming Chen System and Method for Querying a Data Stream
CN103250147B (zh) 2010-10-14 2016-04-20 惠普发展公司，有限责任合伙企业 数据流的连续查询
US9189280B2 (en) 2010-11-18 2015-11-17 Oracle International Corporation Tracking large numbers of moving objects in an event processing system
US20120130963A1 (en) 2010-11-24 2012-05-24 Teradata Us, Inc. User defined function database processing
US8510284B2 (en) 2010-12-20 2013-08-13 Microsoft Corporation Large-scale event evaluation using realtime processors
EP2469420B1 (en) 2010-12-22 2019-11-27 Software AG CEP engine and method for processing CEP queries
US8478743B2 (en) 2010-12-23 2013-07-02 Microsoft Corporation Asynchronous transfer of state information between continuous query plans
US8788484B2 (en) 2010-12-27 2014-07-22 Software Ag Systems and/or methods for user feedback driven dynamic query rewriting in complex event processing environments
US9201754B2 (en) 2011-01-19 2015-12-01 Red Hat, Inc. Recording application consumption details
US9350567B2 (en) 2011-01-25 2016-05-24 International Business Machines Corporation Network resource configurations
US8799271B2 (en) 2011-01-25 2014-08-05 Hewlett-Packard Development Company, L.P. Range predicate canonization for translating a query
US8655825B2 (en) 2011-03-10 2014-02-18 Sap Ag Efficient management of data quality for streaming event data
US8751639B2 (en) 2011-04-27 2014-06-10 Rackspace Us, Inc. Event queuing and distribution system
US8990416B2 (en) 2011-05-06 2015-03-24 Oracle International Corporation Support for a new insert stream (ISTREAM) operation in complex event processing (CEP)
EP2707812A1 (en) 2011-05-10 2014-03-19 Telefonaktiebolaget LM Ericsson (PUBL) Optimised data stream management system
US8738572B2 (en) 2011-05-24 2014-05-27 Red Lambda, Inc. System and method for storing data streams in a distributed environment
US9965520B2 (en) 2011-06-17 2018-05-08 Microsoft Corporation Efficient logical merging over physically divergent streams
US20120323941A1 (en) 2011-06-17 2012-12-20 Microsoft Corporation Processing Queries for Event Data in a Foreign Representation
US9449030B2 (en) 2011-06-30 2016-09-20 International Business Machines Corporation Method for native program to inherit same transaction content when invoked by primary program running in separate environment
US9329975B2 (en) 2011-07-07 2016-05-03 Oracle International Corporation Continuous query language (CQL) debugger in complex event processing (CEP)
US20130031567A1 (en) 2011-07-25 2013-01-31 Microsoft Corporation Local event processing
US9286354B2 (en) 2011-08-15 2016-03-15 Software Ag Systems and/or methods for forecasting future behavior of event streams in complex event processing (CEP) environments
US9298773B2 (en) 2011-09-12 2016-03-29 Hewlett Packard Enterprise Development Lp Nested complex sequence pattern queries over event streams
US8880493B2 (en) 2011-09-28 2014-11-04 Hewlett-Packard Development Company, L.P. Multi-streams analytics
US8635208B2 (en) 2011-11-03 2014-01-21 Sap Ag Multi-state query migration in data stream management
US9424150B2 (en) 2011-12-06 2016-08-23 Sap Se Fault tolerance based query execution
US10055483B2 (en) 2012-03-08 2018-08-21 Telefonaktiebolaget Lm Ericsson (Publ) Data stream management systems
US9201911B2 (en) 2012-03-29 2015-12-01 International Business Machines Corporation Managing test data in large scale performance environment
US9239864B2 (en) 2012-04-17 2016-01-19 Cisco Technology, Inc. Distributing and processing streams over one or more networks
US20130332240A1 (en) 2012-06-08 2013-12-12 University Of Southern California System for integrating event-driven information in the oil and gas fields
US10931735B2 (en) 2012-06-28 2021-02-23 Netflix, Inc. Application discovery
WO2014000819A1 (en) 2012-06-29 2014-01-03 Telefonaktiebolaget Lm Ericsson (Publ) A method of and network server for detecting data patterns in an input data stream
US20140019194A1 (en) 2012-07-12 2014-01-16 Bank Of America Predictive Key Risk Indicator Identification Process Using Quantitative Methods
US9009213B2 (en) 2012-08-27 2015-04-14 Sap Se Distributing pre-rendering processing tasks
US20140082013A1 (en) 2012-09-20 2014-03-20 Sap Ag Query templates for queries in data stream management systems
US8892484B2 (en) 2012-09-28 2014-11-18 Sphere Of Influence, Inc. System and method for predicting events
US9563663B2 (en) 2012-09-28 2017-02-07 Oracle International Corporation Fast path evaluation of Boolean predicates
US9953059B2 (en) 2012-09-28 2018-04-24 Oracle International Corporation Generation of archiver queries for continuous queries over archived relations
US9183271B2 (en) 2012-12-04 2015-11-10 Pivotal Software, Inc. Big-fast data connector between in-memory database system and data warehouse system
US10956422B2 (en) 2012-12-05 2021-03-23 Oracle International Corporation Integrating event processing with map-reduce
US9053210B2 (en) 2012-12-14 2015-06-09 Microsoft Technology Licensing, Llc Graph query processing using plurality of engines
US20140172506A1 (en) 2012-12-17 2014-06-19 Microsoft Corporation Customer segmentation
KR20140090769A (ko) 2013-01-10 2014-07-18 한국전자통신연구원 연속질의 언어 기반의 네트워크 제어 시스템
US9098587B2 (en) 2013-01-15 2015-08-04 Oracle International Corporation Variable duration non-event pattern matching
US10298444B2 (en) 2013-01-15 2019-05-21 Oracle International Corporation Variable duration windows on continuous data streams
US20140237487A1 (en) 2013-02-15 2014-08-21 University Of Southern California Complex event processing for dynamic data
US10318533B2 (en) 2013-02-15 2019-06-11 Telefonaktiebolaget Lm Ericsson (Publ) Optimized query execution in a distributed data stream processing environment
US9047249B2 (en) 2013-02-19 2015-06-02 Oracle International Corporation Handling faults in a continuous event processing (CEP) system
US9390135B2 (en) 2013-02-19 2016-07-12 Oracle International Corporation Executing continuous event processing (CEP) queries in parallel
US9674249B1 (en) 2013-03-11 2017-06-06 DataTorrent, Inc. Distributed streaming platform for real-time applications
US9298788B1 (en) 2013-03-11 2016-03-29 DataTorrent, Inc. Checkpointing in distributed streaming platform for real-time applications
US20140324530A1 (en) 2013-04-30 2014-10-30 Liveops, Inc. Method and system for detecting patters in data streams
US9418113B2 (en) 2013-05-30 2016-08-16 Oracle International Corporation Value based windows on relations in continuous data streams
US10091282B2 (en) 2013-06-12 2018-10-02 Sap Se Metadata-driven dynamic load balancing in multi-tenant systems
CN104252469B (zh) 2013-06-27 2017-10-20 国际商业机器公司 用于模式匹配的方法、设备和电路
EP3049920A1 (de) 2013-09-27 2016-08-03 Rudolf Markus Petri Verfahren und einrichtung zur automatisierten erzeugung und bereitstellung wenigstens einer softwareanwendung
US9313134B2 (en) 2013-10-15 2016-04-12 Cisco Technology, Inc. Leveraging hardware accelerators for scalable distributed stream processing in a network environment
US9934279B2 (en) 2013-12-05 2018-04-03 Oracle International Corporation Pattern matching across multiple input data streams
US9405854B2 (en) 2013-12-16 2016-08-02 Sybase, Inc. Event stream processing partitioning
US11314808B2 (en) 2013-12-19 2022-04-26 Micro Focus Llc Hybrid flows containing a continous flow
US9838512B2 (en) 2014-10-30 2017-12-05 Splunk Inc. Protocol-based capture of network data using remote capture agents
US9244978B2 (en) 2014-06-11 2016-01-26 Oracle International Corporation Custom partitioning of a data stream
US9712645B2 (en) 2014-06-26 2017-07-18 Oracle International Corporation Embedded event processing
US10235436B2 (en) 2014-08-29 2019-03-19 Microsoft Technology Licensing, Llc Event stream transformations
US10025802B2 (en) 2014-09-19 2018-07-17 Amazon Technologies, Inc. Automated configuration of log-coordinated storage groups
US10120907B2 (en) 2014-09-24 2018-11-06 Oracle International Corporation Scaling event processing using distributed flows and map-reduce operations
US9886486B2 (en) 2014-09-24 2018-02-06 Oracle International Corporation Enriching events with dynamically typed big data for event processing
US9613110B2 (en) 2014-12-12 2017-04-04 Sap Se Fast serialization for data transfer
US9894147B1 (en) 2014-12-23 2018-02-13 EMC IP Holding Company LLC Application plugin framework for big-data clusters
US10521460B2 (en) 2015-02-11 2019-12-31 Ab Initio Technology Llc Filtering data lineage diagrams
US10095547B1 (en) 2015-03-13 2018-10-09 Twitter, Inc. Stream processing at scale
US20160306827A1 (en) 2015-04-15 2016-10-20 International Business Machines Corporation Synchronizing data rules and corresponding metadata to implement data governance
US20160328432A1 (en) 2015-05-06 2016-11-10 Squigglee LLC System and method for management of time series data sets
WO2017018901A1 (en) 2015-07-24 2017-02-02 Oracle International Corporation Visually exploring and analyzing event streams
US10198298B2 (en) 2015-09-16 2019-02-05 Salesforce.Com, Inc. Handling multiple task sequences in a stream processing framework
US10303695B2 (en) 2015-10-21 2019-05-28 Oracle International Corporation Query decomposition for scalability of continuous query processing
US10437635B2 (en) 2016-02-10 2019-10-08 Salesforce.Com, Inc. Throttling events in entity lifecycle management
US10402256B2 (en) 2016-05-03 2019-09-03 Gopro, Inc. Systems and methods for micro-batch processing of data
US11977549B2 (en) 2016-09-15 2024-05-07 Oracle International Corporation Clustering event processing engines
EP3513321B1 (en) 2016-09-15 2021-07-21 Oracle International Corporation Complex event processing for micro-batch streaming
WO2018169430A1 (en) 2017-03-17 2018-09-20 Oracle International Corporation Integrating logic in micro batch based event processing systems
WO2018169429A1 (en) 2017-03-17 2018-09-20 Oracle International Corporation Framework for the deployment of event-based applications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6633867B1 (en) * 2000-04-05 2003-10-14 International Business Machines Corporation System and method for providing a session query within the context of a dynamic search result set
CN101364224A (zh) * 2007-08-07 2009-02-11 阿尔斯通运输公司 用于信息管理的系统和方法
CN101493838A (zh) * 2009-01-23 2009-07-29 前卫视讯（北京）科技发展有限公司 一种事件录像处理装置和系统

Also Published As

Publication number Publication date
US10956422B2 (en) 2021-03-23
CN104838377A (zh) 2015-08-12
EP2929467A1 (en) 2015-10-14
WO2014089190A1 (en) 2014-06-12
JP6250061B2 (ja) 2017-12-20
EP2929467B1 (en) 2020-07-01
JP2016504679A (ja) 2016-02-12
US20140156683A1 (en) 2014-06-05

Similar Documents

Publication Publication Date Title
CN104838377B (zh) 利用映射缩减集成事件处理
US20230126005A1 (en) Consistent filtering of machine learning data
JP7009456B2 (ja) 分散イベント処理システムのためのグラフ生成
CN106104533B (zh) 处理大型数据储存库中的数据集
US11100420B2 (en) Input processing for machine learning
US20180074852A1 (en) Compact Task Deployment for Stream Processing Systems
US10824636B2 (en) Mechanisms for querying disparate data storage systems
US9043750B2 (en) Automated generation of two-tier mobile applications
US8219581B2 (en) Method and system for analyzing ordered data using pattern matching in a relational database
CN111639078A (zh) 数据查询方法、装置、电子设备以及可读存储介质
CN107003868B (zh) 处理包含联合类型操作的查询
US10642863B2 (en) Management of structured, non-structured, and semi-structured data in a multi-tenant environment
Chyrun et al. Web Content Monitoring System Development.
CN106599164A (zh) 复杂事件处理中对于参数化的查询/视图的支持
US10452433B2 (en) Event-driven multi-tenant computer-management platform
US20180097880A1 (en) Techniques and Architectures for Managing Disparate Heterogeneous Cloud-Based Resources
US9706005B2 (en) Providing automatable units for infrastructure support
EP3384385A1 (en) Methods and systems for mapping object oriented/functional languages to database languages
CN107480260A (zh) 大数据实时分析方法、装置、计算设备及计算机存储介质
Yao et al. Building architectures for data‐intensive science using the ADAGE framework
Bakar et al. OSSGrab: Software repositories and app store mining tool
Dyer et al. Boa: An enabling language and infrastructure for ultra-large-scale msr studies
AU2020220125A1 (en) System and method of automated extraction and visualization of knowledge about enterprise technology, personnel and business functions
CN115803729A (zh) 中间件生成的记录的直接数据加载
CN110750563A (zh) 多模型数据处理方法、系统、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant