CN110096504A - 流式事件特征匹配方法及装置 - Google Patents

流式事件特征匹配方法及装置 Download PDF

Info

Publication number
CN110096504A
CN110096504A CN201910253184.5A CN201910253184A CN110096504A CN 110096504 A CN110096504 A CN 110096504A CN 201910253184 A CN201910253184 A CN 201910253184A CN 110096504 A CN110096504 A CN 110096504A
Authority
CN
China
Prior art keywords
data set
events
feature expression
relation
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910253184.5A
Other languages
English (en)
Other versions
CN110096504B (zh
Inventor
覃永靖
程诗尧
王彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qianxin Technology Co Ltd
Original Assignee
Beijing Qianxin Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qianxin Technology Co Ltd filed Critical Beijing Qianxin Technology Co Ltd
Priority to CN201910253184.5A priority Critical patent/CN110096504B/zh
Publication of CN110096504A publication Critical patent/CN110096504A/zh
Application granted granted Critical
Publication of CN110096504B publication Critical patent/CN110096504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例提供的一种流式事件特征匹配方法及装置，所述方法包括：获取用户输入的有关两个事件的特征表达式，根据特征表达式确定关键属性关系，特征表达式为包含至少一个属性关系的表达式，属性关系为所述两个事件中相同属性数值大小的关系；获取新事件，当确定新事件是特征表达式中一个事件时，根据已存的另一事件的数据集构建对应于特征表达式中另一事件在关键属性关系中属性所有值的数据集哈希表，并从所述数据集哈希表中确定满足所述关键属性关系的子数据集；根据所述特征表达式在所述子数据集中完成对所述新事件的特征匹配，从而使进行特征匹配的数据集的数据量变小，实现在数据量较小数据集中完成对新事件的特征匹配，提高处理效率。

Description

流式事件特征匹配方法及装置
技术领域
本发明实施例涉及信息处理技术领域，尤其涉及一种流式事件特征匹配方法及装置。
背景技术
在计算机信息处理领域，流式事件为采用流式传输的控制数据流中的事件。每个事件是可以被控件识别的操作日志。在流式事件处理过程中，有时需要从存储的数据流中筛选出所需或所去除的事件。
筛选时采用特征表达式作为匹配条件，但当特征表达式过于复杂且数据流的量过大时，会影响匹配效率，导致不能快速筛选出所需的事件。
发明内容
针对现有技术存在的问题，本发明实施例提供一种流式事件特征匹配方法及装置。
本发明实施例提供一种流式事件特征匹配方法，包括：
获取用户输入的有关两个事件的特征表达式，根据所述特征表达式确定关键属性关系，所述特征表达式为包含至少一个属性关系的表达式，所述属性关系为所述两个事件中相同属性数值大小的关系；
获取新事件，当确定新事件是所述特征表达式中一个事件时，根据已存的所述特征表达式中另一事件的数据集构建对应于所述特征表达式中另一事件在所述关键属性关系中属性所有值的数据集哈希表，并从所述数据集哈希表中确定满足所述关键属性关系的子数据集；
根据所述特征表达式在所述子数据集中完成对所述新事件的特征匹配。
本发明实施例提供一种流式事件特征匹配装置，包括：
获取模块，用于获取用户输入的有关两个事件的特征表达式，根据所述特征表达式确定关键属性关系，所述特征表达式为包含至少一个属性关系的表达式，所述属性关系为所述两个事件中相同属性数值大小的关系；
构建模块，用于获取新事件，当确定新事件是所述特征表达式中一个事件时，根据已存的所述特征表达式中另一事件的数据集构建对应于所述特征表达式中另一事件在所述关键属性关系中属性所有值的数据集哈希表，并从所述数据集哈希表中确定满足所述关键属性关系的子数据集；
匹配模块，用于根据所述特征表达式在所述子数据集中完成对所述新事件的特征匹配。
本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述流式事件特征匹配方法的步骤。
本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述流式事件特征匹配方法的步骤。
本发明实施例提供的流式事件特征匹配方法及装置，通过获取特征表达式，根据特征表达式确定关键属性关系，并在确定新事件是特征表达式中一个事件时，根据已存的另一事件的数据集构建对应于特征表达式中另一事件在关键属性关系中属性所有值的数据集哈希表，从所述数据集哈希表中确定满足关键属性关系的子数据集，从而使进行特征匹配的数据集的数据量变小，实现在数据量较小数据集中完成对新事件的特征匹配，提高处理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明流式事件特征匹配方法实施例流程图；
图2为本发明流式事件特征匹配方法实施例流程图；
图3为本发明逻辑关系树的示意图；
图4为本发明关键路径的示意图；
图5为本发明数据集哈希表的示意图；
图6为本发明流式事件特征匹配装置实施例结构图；
图7为本发明电子设备实施例结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明一实施例提供的一种流式事件特征匹配方法，包括：
S11、获取用户输入的有关两个事件的特征表达式，根据所述特征表达式确定关键属性关系，所述特征表达式为包含至少一个属性关系的表达式，所述属性关系为所述两个事件中相同属性数值大小的关系。
针对步骤S11，需要说明的是，在本发明实施例中，流式事件为采用流式传输的数据流中的事件。事件特征匹配是判断两个事件是否满足指定的特征表达式。如“A.attr1＝＝B.attr1并且A.attr2>B.attr2”(事件A的attr1等于事件B的attr1并且事件A的attr2大于事件B的attr2)就是个简单的特征表达式。所述特征表达式为包含至少一个属性关系的表达式。其中，A和B是特征表达式中的两个事件。attr1、attr2分别为属性1、属性2。“A.attr1＝＝B.attr1”和“A.attr2>B.attr2”均为所述两个事件中相同属性数值大小的关系，即属性关系。
S12、获取新事件，当确定新事件是所述特征表达式中一个事件时，根据已存的所述特征表达式中另一事件的数据集构建对应于所述特征表达式中另一事件在所述关键属性关系中属性所有值的数据集哈希表，并从所述数据集哈希表中确定满足所述关键属性关系的子数据集。
针对步骤S12，需要说明的是，在本发明实施例中，所述方法适用于数据集过大场景下的事件特征匹配。因此，当获取新事件之前，单个事件所构成数据集已经过大。在这里，所述新事件为以当前为起点获取到的新的事件。每个事件具有对应的基本属性。在这里，基本属性如端口号、IP地址等设备信息。通过基本属性可以确定事件本身。如满足端口为G11的事件为事件A。故当获取到新事件后，可通过事件的基本属性确定新事件是否为所述特征表达式中其中一个事件。
若新事件不是特征表达式中任何一个事件时，则无需对新事件在任何事件的数据集中进行特征匹配。
若新事件是特征表达式中其中一个事件，则根据已存的所述特征表达式中另一事件的数据集构建对应于所述特征表达式中另一事件在所述关键属性关系中属性所有值的数据集哈希表。如新事件为A类事件，则特征表达式是A类和B类事件的关系表达式。系统会从仅存有B类事件的数据集中去构建对应于所述特征表达式中另一事件在所述关键属性关系中属性所有值的数据集哈希表。
对上述描述内容，需要说明的是，由于得知特征表达式与新事件不同的事件，故首先从要调用已存有的该事件的数据集。由于每个事件中具有很多属性，但不能保证每个属性都具有数值，因此，接着从筛选出来的事件中筛选出对应于所述关键属性关系中属性所有值的事件生成数据集哈希表。然后从所述数据集哈希表中确定满足所述关键属性关系的子数据集。此时的子数据集便为数据量较小的数据集。
S13、根据所述特征表达式在所述子数据集中完成对所述新事件的特征匹配。
针对步骤S13，需要说明的是，在本发明实施例中，获得数据量较小的子数据集后，根据所述特征表达式在所述子数据集中完成对所述新事件的特征匹配。
本发明实施例提供的一种流式事件特征匹配方法，通过获取特征表达式，根据特征表达式确定关键属性关系，并在确定新事件是特征表达式中一个事件时，根据已存的另一事件的数据集构建对应于特征表达式中另一事件在关键属性关系中属性所有值的数据集哈希表，从所述数据集哈希表中确定满足关键属性关系的子数据集，从而使进行特征匹配的数据集的数据量变小，实现在数据量较小数据集中完成对新事件的特征匹配，提高处理效率。
图2示出了本发明一实施例提供的流式事件特征匹配方法，包括：
S21、获取用户输入的有关两个事件的特征表达式，根据所述特征表达式生成对应的逻辑表达式；
S22、根据所述逻辑表达式生成对应的逻辑关系树，根据预设判断规则和所述逻辑关系树确定关键路径，所述逻辑关系树中每个叶子节点对应一个属性关系；
S23、根据所述关键路径确定一属性关系作为关键属性关系；
S24、获取新事件，当确定新事件是所述特征表达式中一个事件时，根据已存的所述特征表达式中另一事件的数据集构建对应于所述特征表达式中另一事件在所述关键属性关系中属性所有值的数据集哈希表，并从所述数据集哈希表中确定满足所述关键属性关系的子数据集；
S25、根据所述特征表达式在所述子数据集中完成对所述新事件的特征匹配。
针对步骤S21-步骤S23，需要说明的是，在本发明实施例中，事件特征匹配是判断两个事件是否满足指定的特征表达式。如“A.attr1＝＝B.attr1并且A.attr2>B.attr2”(事件A的attr1等于事件B的attr1并且事件A的attr2大于事件B的attr2)就是个简单的特征表达式。
在本实施例中，系统获取特征表达式后，可将其转换为逻辑表达式。逻辑表达式是按照“not、and和or”对特征表达式进行转换。
如特征表达式为“A.attr1＝＝B.attr1并且(A.attr2>B.attr2或者A.attr3＝＝B.attr3)并且A.attr4<B.attr4”。
其经由系统转换成逻辑表达式为：“A.attr1＝＝B.attr1 and(A.attr2>B.attr2or A.attr3＝＝B.attr3)and A.attr4<B.attr4”。
获得逻辑表达式后，系统按not＞and＞or的优先级将逻辑表达式映射生成逻辑关系树(逻辑二叉树)。如图3所示，为根据逻辑表达式为：“A.attr1＝＝B.attr1 and(A.attr2>B.attr2 or A.attr3＝＝B.attr3)and A.attr4<B.attr4”生成的逻辑关系树。
从图3中可以看出，所述逻辑关系树中每个叶子节点对应一个属性关系。因此，系统需要从多个属性关系中确定关键属性关系。确定关键属性关系，需要确定关键属性关系所属的一条关键路径。在本发明实施例中，根据预设判断规则和所述逻辑关系树确定关键路径。
所述判断规则包括：
满足从叶子节点到根节点的路径中所有的逻辑关系均为and的路径且仅有一条路径时，则仅有的一条路径为关键路径；
满足从叶子节点到根节点的路径中所有的逻辑关系均为and的路径且存在至少两条路径时，则根据属性关系的优先级确定关键路径。
从上述判断规则来看，特征表达式中至少包括两个属性关系，且至少包含“and”逻辑关系。
在本发明实施例中，如图4所示，可能会存在多个关键路径，也就是说，此时会存在多个关键属性关系。但只需确定一个关键属性关系。因此，需要通过属性关系的优先级确定，所述属性关系的优先级为等于关系、大于关系、小于关系。总之，需要确定一个关键属性关系，当优先级相同时，任选其一作为关键属性关系。
针对步骤S24-步骤S25，需要说明的是，在本发明实施例中，所述方法适用于数据集过大场景下的事件特征匹配。因此，当获取新事件之前，数据集已经过大。在这里，所述新事件为以当前为起点获取到的新的事件。每个事件具有对应的基本属性。在这里，基本属性如端口号、IP地址等设备信息。通过基本属性可以确定事件本身。如满足端口为G11的事件为事件A。故当获取到新事件后，可通过事件的基本属性确定新事件是否为所述特征表达式中其中一个事件。
若新事件不是特征表达式中任何一个事件时，则无需对新事件在数据集中进行特征匹配。
若新事件是特征表达式中其中一个事件，则根据已存的所述特征表达式中另一事件的数据集构建对应于所述特征表达式中另一事件在所述关键属性关系中属性所有值的数据集哈希表。如新事件为A类事件，则特征表达式是A类和B类事件的关系表达式。系统会从仅存有B类事件的数据集中去构建对应于所述特征表达式中另一事件在所述关键属性关系中属性所有值的数据集哈希表。
对上述描述内容，需要说明的是，由于得知特征表达式与新事件不同的事件，故首先从要调用已存有的该事件的数据集。由于每个事件中具有很多属性，但不能保证每个属性都具有数值，因此，接着从筛选出来的事件中筛选出对应于所述关键属性关系中属性所有值的事件生成数据集哈希表。然后从所述数据集哈希表中确定满足所述关键属性关系的子数据集。此时的子数据集便为数据量较小的数据集。
例如，新事件为A，需构建对应于所述特征表达式中另一事件B在所述关键属性关系中属性所有值的数据集哈希表。参照图4所示，确定“A.attr1＝＝B.attr1”为关键路径，以“attr1”为key，筛选属性“attr1”为所有值的数据集哈希表。如图5所示为获得的数据集哈希表。属性“attr1”分别为a、b和c，对应的为数据集哈希表。
从图5中的哈希表中，筛选出满足所述关键属性关系的子数据集，然后再根据所述特征表达式在所述子数据集中根据其他属性关系完成对所述新事件的特征匹配。
本发明实施例提供的流式事件特征匹配方法，根据特征表达式采用逻辑关系树快速确定关键属性关系，并在确定新事件是特征表达式中一个事件时，根据另一事件的数据集构建对应于特征表达式中另一事件在关键属性关系中属性所有值的数据集哈希表，从所述数据集哈希表中确定满足关键属性关系的子数据集，从而使进行特征匹配的数据集的数据量变小，实现在数据量较小数据集中完成对新事件的特征匹配，提高处理效率。
图6示出了本发明一实施例提供的一种流式事件特征匹配装置，包括获取模块31、构建模块32和匹配模块33，其中：
获取模块31，用于获取用户输入的有关两个事件的特征表达式，根据所述特征表达式确定关键属性关系，所述特征表达式为包含至少一个属性关系的表达式，所述属性关系为所述两个事件中相同属性数值大小的关系；
构建模块32，用于获取新事件，当确定新事件是所述特征表达式中一个事件时，根据已存的所述特征表达式中另一事件的数据集构建对应于所述特征表达式中另一事件在所述关键属性关系中属性所有值的数据集哈希表，并从所述数据集哈希表中确定满足所述关键属性关系的子数据集；
匹配模块33，用于根据所述特征表达式在所述子数据集中完成对所述新事件的特征匹配。
由于本发明实施例所述装置与上述实施例所述方法的原理相同，对于更加详细的解释内容在此不再赘述。
需要说明的是，本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。
本发明实施例提供的一种流式事件特征匹配装置，通过获取特征表达式，根据特征表达式确定关键属性关系，并在确定新事件是特征表达式中一个事件时，根据另一事件的数据集构建对应于特征表达式中另一事件在关键属性关系中属性所有值的数据集哈希表，从所述数据集哈希表中确定满足关键属性关系的子数据集，从而使进行特征匹配的数据集的数据量变小，实现在数据量较小数据集中完成对新事件的特征匹配，提高处理效率。
本发明一实施例提供的一种流式事件特征匹配装置，包括获取模块、构建模块和匹配模块，其中：
获取模块，用于获取用户输入的有关两个事件的特征表达式，根据所述特征表达式确定关键属性关系，所述特征表达式为包含至少一个属性关系的表达式，所述属性关系为所述两个事件中相同属性数值大小的关系；
构建模块，用于获取新事件，当确定新事件是所述特征表达式中一个事件时，构建对应于所述特征表达式中另一事件在所述关键属性关系中属性所有值的数据集哈希表，并从所述数据集哈希表中确定满足所述关键属性关系的子数据集；
匹配模块，用于根据所述特征表达式在所述子数据集中完成对所述新事件的特征匹配。
由于本发明实施例所述装置与上述实施例所述方法的原理相同，对于更加详细的解释内容在此不再赘述。
需要说明的是，本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。
本发明实施例提供的流式事件特征匹配装置，根据特征表达式采用逻辑关系树快速确定关键属性关系，并在确定新事件是特征表达式中一个事件时，根据另一事件的数据集构建对应于特征表达式中另一事件在关键属性关系中属性所有值的数据集哈希表，从所述数据集哈希表中确定满足关键属性关系的子数据集，从而使进行特征匹配的数据集的数据量变小，实现在数据量较小数据集中完成对新事件的特征匹配，提高处理效率。
图7示例了一种服务器的实体结构示意图，如图7所示，该服务器可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行如下方法：获取用户输入的有关两个事件的特征表达式，根据所述特征表达式确定关键属性关系，所述特征表达式为包含至少一个属性关系的表达式，所述属性关系为所述两个事件中相同属性数值大小的关系；获取新事件，当确定新事件是所述特征表达式中一个事件时，根据已存的所述特征表达式中另一事件的数据集构建对应于所述特征表达式中另一事件在所述关键属性关系中属性所有值的数据集哈希表，并从所述数据集哈希表中确定满足所述关键属性关系的子数据集；根据所述特征表达式在所述子数据集中完成对所述新事件的特征匹配。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种流式事件特征匹配方法，其特征在于，包括：
获取用户输入的有关两个事件的特征表达式，根据所述特征表达式确定关键属性关系，所述特征表达式为包含至少一个属性关系的表达式，所述属性关系为所述两个事件中相同属性数值大小的关系；
获取新事件，当确定新事件是所述特征表达式中一个事件时，根据已存的所述特征表达式中另一事件的数据集构建对应于所述特征表达式中另一事件在所述关键属性关系中属性所有值的数据集哈希表，并从所述数据集哈希表中确定满足所述关键属性关系的子数据集；
根据所述特征表达式在所述子数据集中完成对所述新事件的特征匹配。
2.根据权利要求1所述的方法，其特征在于，所述获取用户输入的有关两个事件的特征表达式，根据所述特征表达式确定关键属性关系，包括：
获取用户输入的有关两个事件的特征表达式，根据所述特征表达式生成对应的逻辑表达式；
根据所述逻辑表达式生成对应的逻辑关系树，根据预设判断规则和所述逻辑关系树确定关键路径，所述逻辑关系树中每个叶子节点对应一个属性关系；
根据所述关键路径确定一属性关系作为关键属性关系。
3.根据权利要求2所述的方法，其特征在于，所述判断规则包括：
满足从叶子节点到根节点的路径中所有的逻辑关系均为and的路径且仅有一条路径时，则仅有的一条路径为关键路径；
满足从叶子节点到根节点的路径中所有的逻辑关系均为and的路径且存在至少两条路径时，则根据属性关系的优先级确定关键路径。
4.根据权利要求3所述的方法，其特征在于，所述属性关系的优先级为等于关系、大于关系、小于关系。
5.一种流式事件特征匹配装置，其特征在于，包括：
获取模块，用于获取用户输入的有关两个事件的特征表达式，根据所述特征表达式确定关键属性关系，所述特征表达式为包含至少一个属性关系的表达式，所述属性关系为所述两个事件中相同属性数值大小的关系；
构建模块，用于获取新事件，当确定新事件是所述特征表达式中一个事件时，根据已存的所述特征表达式中另一事件的数据集构建对应于所述特征表达式中另一事件在所述关键属性关系中属性所有值的数据集哈希表，并从所述数据集哈希表中确定满足所述关键属性关系的子数据集；
匹配模块，用于根据所述特征表达式在所述子数据集中完成对所述新事件的特征匹配。
6.根据权利要求5所述的装置，其特征在于，所述获取模块具体用于：
获取用户输入的有关两个事件的特征表达式，根据所述特征表达式生成对应的逻辑表达式；
根据所述逻辑表达式生成对应的逻辑关系树，根据预设判断规则和所述逻辑关系树确定关键路径，所述逻辑关系树中每个叶子节点对应一个属性关系；
根据所述关键路径确定一属性关系作为关键属性关系。
7.根据权利要求6所述的装置，其特征在于，所述判断规则包括：
满足从叶子节点到根节点的路径中所有的逻辑关系均为and的路径且仅有一条路径时，则仅有的一条路径为关键路径；
满足从叶子节点到根节点的路径中所有的逻辑关系均为and的路径且存在至少两条路径时，则根据属性关系的优先级确定关键路径。
8.根据权利要求7所述的装置，其特征在于，所述属性关系的优先级为等于关系、大于关系、小于关系。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述流式事件特征匹配方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述流式事件特征匹配方法的步骤。
CN201910253184.5A 2019-03-29 2019-03-29 流式事件特征匹配方法及装置 Active CN110096504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910253184.5A CN110096504B (zh) 2019-03-29 2019-03-29 流式事件特征匹配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910253184.5A CN110096504B (zh) 2019-03-29 2019-03-29 流式事件特征匹配方法及装置

Publications (2)

Publication Number Publication Date
CN110096504A true CN110096504A (zh) 2019-08-06
CN110096504B CN110096504B (zh) 2021-08-20

Family

ID=67444190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910253184.5A Active CN110096504B (zh) 2019-03-29 2019-03-29 流式事件特征匹配方法及装置

Country Status (1)

Country Link
CN (1) CN110096504B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103718170A (zh) * 2011-07-29 2014-04-09 惠普发展公司，有限责任合伙企业 用于事件的分布式基于规则的相关的系统和方法
CN104333487A (zh) * 2014-10-31 2015-02-04 广东工业大学 一种面向实时网络数据流的高效事件匹配方法
CN104937591A (zh) * 2013-01-15 2015-09-23 甲骨文国际公司 可变持续时间非事件模式匹配
US20160132496A1 (en) * 2014-11-06 2016-05-12 Unmesh Gandhi Data filtering
CN107193898A (zh) * 2017-05-09 2017-09-22 中国科学院计算技术研究所 基于分级复用的日志数据流的查询共享方法和系统
CN107679856A (zh) * 2017-09-15 2018-02-09 阿里巴巴集团控股有限公司 基于交易的业务控制方法和装置
CN107918657A (zh) * 2017-11-20 2018-04-17 腾讯科技（深圳）有限公司 一种数据源的匹配方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103718170A (zh) * 2011-07-29 2014-04-09 惠普发展公司，有限责任合伙企业 用于事件的分布式基于规则的相关的系统和方法
CN104937591A (zh) * 2013-01-15 2015-09-23 甲骨文国际公司 可变持续时间非事件模式匹配
CN104333487A (zh) * 2014-10-31 2015-02-04 广东工业大学 一种面向实时网络数据流的高效事件匹配方法
US20160132496A1 (en) * 2014-11-06 2016-05-12 Unmesh Gandhi Data filtering
CN107193898A (zh) * 2017-05-09 2017-09-22 中国科学院计算技术研究所 基于分级复用的日志数据流的查询共享方法和系统
CN107679856A (zh) * 2017-09-15 2018-02-09 阿里巴巴集团控股有限公司 基于交易的业务控制方法和装置
CN107918657A (zh) * 2017-11-20 2018-04-17 腾讯科技（深圳）有限公司 一种数据源的匹配方法和装置

Also Published As

Publication number Publication date
CN110096504B (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN104717124B (zh) 一种好友推荐方法、装置及服务器
JP6587330B2 (ja) ランダムフォレストモデルの訓練方法、電子装置及び記憶媒体
CN104091276B (zh) 在线分析点击流数据的方法和相关装置及系统
US10970322B2 (en) Training an artificial intelligence to generate an answer to a query based on an answer table pattern
EP2988230A1 (en) Data processing method and computer system
US20210385251A1 (en) System and methods for integrating datasets and automating transformation workflows using a distributed computational graph
US20210383205A1 (en) Taxonomy Construction via Graph-Based Cross-domain Knowledge Transfer
US10834183B2 (en) Managing idle and active servers in cloud data centers
US11546380B2 (en) System and method for creation and implementation of data processing workflows using a distributed computational graph
CN104796300B (zh) 一种数据包特征提取方法及装置
CN110046297B (zh) 运维违规操作的识别方法、装置和存储介质
US20200394448A1 (en) Methods for more effectively moderating one or more images and devices thereof
CN111400504A (zh) 企业关键人的识别方法和装置
WO2022083093A1 (zh) 图谱中的概率计算方法、装置、计算机设备及存储介质
CN110515896A (zh) 模型资源管理方法、模型文件制作方法、装置和系统
CN107908796A (zh) 电子政务查重方法、装置以及计算机可读存储介质
CN111523324A (zh) 命名实体识别模型的训练方法及装置
CN109743286A (zh) 一种基于图卷积神经网络的ip类型标记方法及设备
CN109117475A (zh) 一种文本改写的方法以及相关设备
CN108600270A (zh) 一种基于网络日志的异常用户检测方法及系统
CN109669678A (zh) 模板引擎整合方法、装置、电子设备及存储介质
CN109672586A (zh) 一种dpi业务流量识别方法、装置与计算机可读存储介质
CN117291722A (zh) 对象管理方法、相关设备及计算机可读介质
US20180268290A1 (en) Model training by discarding relatively less relevant parameters
CN106685708A (zh) 一种服务关系的确定方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 332, 3 / F, Building 102, 28 xinjiekouwei street, Xicheng District, Beijing 100088

Applicant after: Qianxin Technology Group Co.,Ltd.

Address before: 100015 15, 17 floor 1701-26, 3 building, 10 Jiuxianqiao Road, Chaoyang District, Beijing.

Applicant before: Beijing Qi'anxin Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant