CN102567803B - 基于赋优先级事件图的复杂事件调度系统及方法 - Google Patents
基于赋优先级事件图的复杂事件调度系统及方法 Download PDFInfo
- Publication number
- CN102567803B CN102567803B CN201110443232.0A CN201110443232A CN102567803B CN 102567803 B CN102567803 B CN 102567803B CN 201110443232 A CN201110443232 A CN 201110443232A CN 102567803 B CN102567803 B CN 102567803B
- Authority
- CN
- China
- Prior art keywords
- event
- complicated
- priority
- atomic
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000004044 response Effects 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 31
- 238000010586 diagram Methods 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 3
- 230000008569 process Effects 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于赋优先级事件图的复杂事件调度系统及方法,该系统包括:原子事件采集模块,用于从感知设备中采集原子事件并存入原子事件存储库中;复杂事件图模型构造模块,用于根据用户的语义规则构造复杂事件的赋优先级事件图模型结构,包括对每个事件的优先级进行指派和构建每个事件的调度表,形成事件调度表存入事件调度表集合中;复杂事件检测模块,用于读取原子事件存储库和复杂事件存储库的事件队列,依据复杂事件图模型和事件调度表进行基于优先级的图遍历事件检测,并将检测到的复杂事件存入复杂事件存储库中。利用本发明,实现了复杂事件的实时调度,提高了系统的实时响应能力。
Description
技术领域
本发明涉及信息处理技术领域,尤其涉及一种基于赋优先级事件图的复杂事件调度系统及方法,以实现复杂事件的实时调度,提高系统的实时响应能力。
背景技术
随着信息技术的广泛深入应用,安全审查、在线交易、入侵检测、金融服务等领域产生了越来越多的原始数据,这对异常检测和实时监控等信息服务提出了更多要求。采用事件驱动的应用架构,在原始数据及上层应用(MES,ERP等)之间部署复合事件处理引擎,已成为现代信息处理系统的典型模式。复合事件处理引擎首先将对采集的数据进行简单处理,转化为原子事件,然后,利用上层应用定义的业务规则从大量的原子事件中提取出相应的复杂事件,进而触发复杂事件所对应的业务规则,从而实现信息的主动实时处理。复合事件处理技术对于面向服务的大规模应用系统具有十分重要的作用。
复杂事件处理系统的主要功能就是要从大量的原子事件中提取出对应用系统有意义的复杂事件,因而复杂事件检测是复杂事件处理的核心。复杂事件检测主要包括事件模式匹配模型和复杂事件检测方法,不同的事件模式匹配模型对应不同的检测方法。以事件为中心的模型不利用数据库对匹配事件进行建模,而是直接基于事件源,利用特定的结构来表达复杂事件,如基于有限状态自动机的事件模型、基于Petri网的事件模型、基于匹配树的事件模型和基于有向图的事件模型,其中基于有向图的事件模型和检测方法由于模型表达能力强,检测算法简单明晰,获得了广泛应用。
但是,传统的基于图模型的复杂事件检测方法并未考虑大规模应用下的实时特性问题。在存在大量复杂事件的系统中,由于图的递归特性,往往会造成急需调度处理的复杂事件得不到及时处理,这样会造成该事件级联的大批事件被漏检,从而严重影响了复杂事件的检测效果。
为了提高复杂事件检测方法的实时响应能力,本发明提出了基于赋优先级事件图的复杂事件调度方法,将优先级调度引入复杂事件处理中,优先级分配综合考虑事件的拓扑特性和应用价值,实现了复杂事件的实时调度,提高系统的实时响应能力。
发明内容
(一)要解决的技术问题
有鉴于此,本发明的主要目的在于提供一种基于赋优先级事件图的复杂事件调度系统及方法,以实现复杂事件的实时调度处理,提高系统的实时响应能力。
(二)技术方案
为达到上述目的,本发明提供了一种基于赋优先级事件图的复杂事件调度系统,该系统包括原子事件采集模块1、原子事件存储库2、复杂事件图模型构造模块3、复杂事件存储库4、事件调度表集合5、复杂事件检测模块6,其中:原子事件采集模块1,用于从感知设备中采集原子事件并存入原子事件存储库2中;复杂事件图模型构造模块3,用于根据用户的语义规则构造复杂事件的赋优先级事件图模型结构,包括对每个事件的优先级进行指派和构建每个事件的调度表,形成事件调度表存入事件调度表集合5中,其中优先级分配采用综合考虑祖先节点数量和价值的方法;复杂事件检测模块6,用于读取原子事件存储库2和复杂事件存储库4的事件队列,依据复杂事件图模型和事件调度表进行基于优先级的图遍历事件检测,并将检测到的复杂事件存入复杂事件存储库4中。
上述方案中,所述原子事件是指原子事件采集模块从感知设备中获取的对应用系统有语义含义的情况发生,原子事件是在某一时刻发生的。
上述方案中,所述复杂事件是指由原子事件通过与、获、非逻辑运算和时间约束合成的事件模式,时间表示是事件间隔,即[开始时间,结束时间],复杂事件不能从感知设备直接获取;复杂事件支持递归操作,复杂事件能够由其他复杂事件通过逻辑运算合成。
上述方案中,所述复杂事件的赋优先级事件图模型结构是指用图来表达复杂事件如何由其他事件合成;一个复杂事件的合成规则由深度为2的树表示,树根表示复杂事件,叶子节点表示合成该复杂事件的其他事件,边表示合成规则;将多个复杂事件展开表示构成事件图,同时为图中每个节点增加一个权值,表示该事件的优先级。
上述方案中,所述对每个事件的优先级进行指派和构建每个事件的调度表,是指复杂事件图模型构造模块根据用户输入的语义规则获得复杂事件的逻辑描述后,将每个复杂事件用树表示,构成事件图;然后对每个节点计算优先级权值,对每个节点先赋一个价值数值,叶子节点为原子事件,其优先级赋为一大常数,对每个非叶子有祖先的中间节点,计算祖先节点个数和价值的加权组合,对无祖先节点即顶层节点,优先级只取节点价值数值;对每一个非顶层事件节点,构造一个线性调度表,表的元素为该节点的父节点,即该节点事件可触发的复杂事件,调度表中的元素按优先级从大到小排序。
上述方案中,所述优先级分配采用综合考虑祖先节点数量和价值的方法,是指为提高事件检测效率,优先调度能够触发更多事件的复杂事件,同时为保证紧要关键事件的及时响应,也考虑事件的价值,事件的价值表示事件的紧急程度和重要性。所述优先级的公式表达为p=αS+βV,S表示祖先节点的数量,V表示节点的价值,α,β表示加权系数,满足α+β=1。
上述方案中,所述的基于优先级的图遍历事件检测,是指复杂事件检测模块顺序读取原子事件存储库,获得一个原子事件,依据赋优先级事件图模型结构,自底向上地对赋优先级事件图进行遍历,以获取复杂事件。在遍历每一个节点时,都要取出该节点所对应的事件调度表,在遍历父节点时,按事件调度表中的顺序依次遍历,遍历使用堆栈保存每层当前遍历的节点。
为达到上述目的,本发明还提供了一种基于赋优先级事件图的复杂事件调度方法,包括:
S1:用户输入语义规则给复杂事件图模型构造模块;
S2:复杂事件图模型构造模块将用户输入的语义规则转换为复杂事件的逻辑合成表示;
S3:复杂事件图模型构造模块将复杂事件的逻辑合成表示转换为赋优先级事件图模型结构,包括优先级指派和构造事件调度表集合;
S4:启动事件采集模块,从感知设备中采集原子事件并存入原子事件存储库中;
S5:启动复杂事件检测模块,顺序读取原子事件存储库,依据复杂事件图模型和事件调度表,并利用复杂事件存储库中存储的已检测到的复杂事件,进行基于优先级的图遍历事件检测,获得的新的复杂事件存入复杂事件存储库中。
(三)有益效果
从上述技术方案可以看出,本发明具有以下有益效果:
1、本发明提供的这种基于赋优先级事件图的复杂事件调度系统及方法,通过引入实时优先级调度技术,综合考虑了事件在事件图模型中的拓扑特性和应用价值,实现了复杂事件的实时调度处理,提高了系统的实时响应能力。
2、本发明提供的这种基于赋优先级事件图的复杂事件调度系统及方法,与现有基于事件图的复杂事件处理技术不同,本发明引入基于事件优先级的事件调度表驱动图遍历,这可以使得优先级高的复杂事件及时得到处理,提高了复杂事件处理的实时性,进而增强了系统应用的实时响应能力。
3、本发明提供的这种基于赋优先级事件图的复杂事件调度系统及方法,所使用的优先级分配策略综合考虑事件监测的效率和特殊紧急事件的及时处理,这种策略易于计算,提高了方法的灵活性和适应性。
4、本发明提供的这种基于赋优先级事件图的复杂事件调度系统及方法,具有易于理解、便于实施等特点。
附图说明
图1为依照本发明实施例的基于赋优先级事件图的复杂事件调度系统的示意图,其中1为原子事件采集模块、2为原子事件存储库、3为复杂事件图模型构造模块、4为复杂事件存储库、5事件调度表集合、6为复杂事件检测模块。
图2为依照本发明实施例的基于赋优先级事件图的复杂事件调度方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
如图1所示,图1为依照本发明实施例的基于赋优先级事件图的复杂事件调度系统的示意图,该装置包括原子事件采集模块1、原子事件存储库2、复杂事件图模型构造模块3、复杂事件存储库4、事件调度表集合5、复杂事件检测模块6。其中,原子事件采集模块1负责从感知设备中采集原子事件并存入原子事件存储库2中。复杂事件图模型构造模块3负责根据用户的语义规则构造复杂事件的赋优先级事件图模型结构,包括对每个事件的优先级进行指派和构建每个事件的调度表,形成事件调度表存入事件调度表集合5中,其中优先级分配采用综合考虑祖先节点数量和价值的方法。复杂事件检测模块6读取原子事件存储库2和复杂事件存储库4的事件队列,依据复杂事件图模型和事件调度表进行基于优先级的图遍历事件检测,并将检测到的复杂事件存入复杂事件存储库4中。
在本发明的一个实施例中,原子事件采集模块1、复杂事件图模型构造模块3、复杂事件检测模块6以软件形式实现,可以运行在x86处理器的计算机操作系统或其他硬件设备上。复杂事件图模型构造模块3提供标准GUI输入窗口使得用户输入语义规则。由于原子原子事件采集模块1和复杂事件检测模块6存在生产者-消费者关系,利用多线程技术和数据库并发解决同步问题。因为事件的流特性,原子事件存储库2和复杂事件存储库4采用内存数据库实现。由于事件调度表集合5需大量调用,为提高效率,事件调度表集合5使用Hash表实现,事件调度表采用队列数据结构。
如图2所示,图2为依照本发明实施例的基于赋优先级事件图的复杂事件调度方法的流程图。作为本发明的一个实施例,该方法包括以下步骤:
201:用户输入语义规则给复杂事件图模型构造模块3;
202:复杂事件图模型构造模块3将用户输入的语义规则转换为复杂事件的逻辑合成表示;
203:复杂事件图模型构造模块3将复杂事件的逻辑合成表示转换为赋优先级事件图模型结构,包括对每个事件的优先级进行指派和构建每个事件的调度表,形成事件调度表存入事件调度表集合5中。
204:启动事件采集模块1,从感知设备中采集原子事件并存入原子事件存储库2中;
205:启动复杂事件检测模块6,顺序读取原子事件存储库2,依据复杂事件图模型和事件调度表,并利用复杂事件存储库4中存储的已检测到的复杂事件,进行基于优先级的图遍历事件检测,获得的新的复杂事件存入复杂事件存储库4中。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于赋优先级事件图的复杂事件调度系统,其特征在于:该系统包括原子事件采集模块(1)、原子事件存储库(2)、复杂事件图模型构造模块(3)、复杂事件存储库(4)、事件调度表集合(5)、复杂事件检测模块(6),其中:
原子事件采集模块(1),用于从感知设备中采集原子事件并存入原子事件存储库(2)中;
复杂事件图模型构造模块(3),用于根据用户的语义规则构造复杂事件的赋优先级事件图模型结构,包括对每个事件的优先级进行指派和构建每个事件的调度表,形成事件调度表存入事件调度表集合(5)中,其中优先级分配采用综合考虑祖先节点数量和价值的方法;
复杂事件检测模块(6),用于读取原子事件存储库(2)和复杂事件存储库(4)的事件队列,依据复杂事件图模型和事件调度表进行基于优先级的图遍历事件检测,并将检测到的复杂事件存入复杂事件存储库(4)中;
所述对每个事件的优先级进行指派和构建每个事件的调度表,是指复杂事件图模型构造模块根据用户输入的语义规则获得复杂事件的逻辑描述后,将每个复杂事件用树表示,构成事件图;然后对每个节点计算优先级权值,对每个节点先赋一个价值数值,叶子节点为原子事件,其优先级赋为一最高的优先级数,对每个非叶子有祖先的中间节点,计算祖先节点个数和该节点价值的线性加权组合,对无祖先节点即顶层节点,优先级只取节点价值数值;对每一个非顶层事件节点,构造一个线性调度表,表的元素为该节点的父节点,即该节点事件可触发的复杂事件,调度表中的元素按优先级从大到小排序;
其中,所述优先级分配采用综合考虑祖先节点数量和该节点价值的线性加权组合,是指为提高事件检测效率,优先调度能够触发更多事件的复杂事件,同时为保证紧要关键事件的及时响应,也考虑事件的价值,事件的价值表示事件的紧急程度和重要性;所述优先级的公式表达为p=αS+βV,S表示祖先节点的数量,V表示节点的价值,α,β表示加权系数,满足α+β=1。
2.根据权利要求1所述的基于赋优先级事件图的复杂事件调度系统,其特征在于:所述原子事件是指原子事件采集模块从感知设备中获取的对应用系统有语义含义的情况发生,原子事件是在某一时刻发生的。
3.根据权利要求1所述的基于赋优先级事件图的复杂事件调度系统,其特征在于:所述复杂事件是指由原子事件通过与、获、非逻辑运算和时间约束合成的事件模式,时间表示是事件间隔,即[开始时间,结束时间],复杂事件不能从感知设备直接获取;复杂事件支持递归操作,复杂事件能够由其他复杂事件通过逻辑运算合成。
4.根据权利要求1所述的基于赋优先级事件图的复杂事件调度系统,其特征在于:所述复杂事件的赋优先级事件图模型结构是指用图来表达复杂事件如何由其他事件合成;一个复杂事件用树表示,树根表示复杂事件,非树根节点表示合成该复杂事件的其他事件,边表示合成规则;将多个复杂事件展开表示构成事件图,同时为图中每个节点增加一个权值,表示该事件的优先级。
5.根据权利要求1所述的基于赋优先级事件图的复杂事件调度系统,其特征在于:所述的基于优先级的图遍历事件检测,是指复杂事件检测模块顺序读取原子事件存储库,获得一个原子事件,依据赋优先级事件图模型结构,自底向上地对赋优先级事件图进行遍历,以获取复杂事件。
6.根据权利要求5所述的基于赋优先级事件图的复杂事件调度系统,其特征在于:在遍历每一个节点时,都要取出该节点所对应的事件调度表,在遍历父节点时,按事件调度表中的顺序依次遍历,遍历使用堆栈保存每层当前遍历的节点。
7.一种基于赋优先级事件图的复杂事件调度方法,应用于权利要求1至6中任一项所述的系统,其特征在于:包括:
S1:用户输入语义规则给复杂事件图模型构造模块;
S2:复杂事件图模型构造模块将用户输入的语义规则转换为复杂事件的逻辑合成表示;
S3:复杂事件图模型构造模块将复杂事件的逻辑合成表示转换为赋优先级事件图模型结构,包括优先级指派和构造事件调度表集合;
S4:启动事件采集模块,从感知设备中采集原子事件并存入原子事件存储库中;
S5:启动复杂事件检测模块,顺序读取原子事件存储库,依据复杂事件图模型和事件调度表,并利用复杂事件存储库中存储的已检测到的复杂事件,进行基于优先级的图遍历事件检测,获得的新的复杂事件存入复杂事件存储库中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110443232.0A CN102567803B (zh) | 2011-12-27 | 2011-12-27 | 基于赋优先级事件图的复杂事件调度系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110443232.0A CN102567803B (zh) | 2011-12-27 | 2011-12-27 | 基于赋优先级事件图的复杂事件调度系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102567803A CN102567803A (zh) | 2012-07-11 |
CN102567803B true CN102567803B (zh) | 2015-04-15 |
Family
ID=46413170
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110443232.0A Expired - Fee Related CN102567803B (zh) | 2011-12-27 | 2011-12-27 | 基于赋优先级事件图的复杂事件调度系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102567803B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106095809B (zh) * | 2016-05-30 | 2020-02-07 | 凯通科技股份有限公司 | 数据匹配方法及系统 |
CN107577462A (zh) * | 2017-09-08 | 2018-01-12 | 上海博科资讯股份有限公司 | 基于流的界面事件处理系统 |
CN112365239A (zh) * | 2020-11-23 | 2021-02-12 | 中国电子科技集团公司第十五研究所 | 一种基于事件的云服务管理处置方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1959724A (zh) * | 2006-11-24 | 2007-05-09 | 清华大学 | 泛在计算环境中工作流上下文信息的获取方法和系统 |
CN101883098A (zh) * | 2010-06-18 | 2010-11-10 | 大连海事大学 | Rfid设备网络环境下分布式复杂事件检测的系统及方法 |
CN102156799A (zh) * | 2011-01-17 | 2011-08-17 | 西安交通大学 | 一种可级联的复杂事件处理引擎及列车检修自动记录方法 |
-
2011
- 2011-12-27 CN CN201110443232.0A patent/CN102567803B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1959724A (zh) * | 2006-11-24 | 2007-05-09 | 清华大学 | 泛在计算环境中工作流上下文信息的获取方法和系统 |
CN101883098A (zh) * | 2010-06-18 | 2010-11-10 | 大连海事大学 | Rfid设备网络环境下分布式复杂事件检测的系统及方法 |
CN102156799A (zh) * | 2011-01-17 | 2011-08-17 | 西安交通大学 | 一种可级联的复杂事件处理引擎及列车检修自动记录方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102567803A (zh) | 2012-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105718565B (zh) | 数据仓库模型的构建方法和构建装置 | |
CN109272155A (zh) | 一种基于大数据的企业行为分析系统 | |
CN104951539A (zh) | 互联网数据中心有害信息监测系统 | |
CN106815125A (zh) | 一种日志审计方法及平台 | |
CN102509001B (zh) | 一种自动去除时序数据野值点的方法 | |
CN104090886A (zh) | 构建用户实时画像的方法及装置 | |
CN106780149A (zh) | 一种基于定时任务调度的设备实时监测系统 | |
CN112527774A (zh) | 数据中台搭建方法、系统及存储介质 | |
CN109299164A (zh) | 一种数据查询方法、计算机可读存储介质及终端设备 | |
CN109101519B (zh) | 信息采集系统和异构信息融合系统 | |
CN106649527A (zh) | 基于Spark Streaming的广告点击异常检测系统及检测方法 | |
CN107004086A (zh) | 安全信息和事件管理 | |
CN106909942A (zh) | 一种面向高维度大数据的子空间聚类方法及装置 | |
CN112181955A (zh) | 一种用于重载铁路综合大数据平台信息共享的数据规范治理方法 | |
CN105095255A (zh) | 一种数据索引创建方法及装置 | |
CN102567803B (zh) | 基于赋优先级事件图的复杂事件调度系统及方法 | |
Zhang et al. | Application of data mining techniques in the analysis of fire incidents | |
CN107766500A (zh) | 固定资产卡片的审计方法 | |
CN111522950A (zh) | 一种针对非结构化海量文本敏感数据的快速识别系统 | |
CN109766488A (zh) | 一种基于Scrapy的数据采集方法 | |
CN108630319A (zh) | 一种基于医疗数据建模的预测方法及装置 | |
CN111062603A (zh) | 企业生命周期的分析方法、装置及存储介质 | |
Liu et al. | Complex event processing engine for large volume of RFID data | |
Ye et al. | s2p: provenance research for stream processing system | |
CN104866436A (zh) | 海量安全事件存储方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150415 |