CN111859384B - 异常事件监控方法、装置、计算机设备及存储介质 - Google Patents
异常事件监控方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111859384B CN111859384B CN202010716924.7A CN202010716924A CN111859384B CN 111859384 B CN111859384 B CN 111859384B CN 202010716924 A CN202010716924 A CN 202010716924A CN 111859384 B CN111859384 B CN 111859384B
- Authority
- CN
- China
- Prior art keywords
- event
- abnormal
- model
- data
- index values
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 122
- 238000012544 monitoring process Methods 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims abstract description 65
- 238000010224 classification analysis Methods 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 52
- 238000003062 neural network model Methods 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 6
- 238000011161 development Methods 0.000 claims description 3
- 238000012806 monitoring device Methods 0.000 abstract description 4
- 230000000875 corresponding effect Effects 0.000 description 25
- 238000012545 processing Methods 0.000 description 13
- 206010000117 Abnormal behaviour Diseases 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 238000005096 rolling process Methods 0.000 description 7
- 239000002131 composite material Substances 0.000 description 5
- 150000001875 compounds Chemical class 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001364 causal effect Effects 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013329 compounding Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 210000002268 wool Anatomy 0.000 description 1
Abstract
本发明涉及异常监控领域,提供一种异常事件监控方法、装置、计算机设备及存储介质,方法包括:通过接收到事件数据;通过CEP引擎模型对事件数据进行关联事件分析和分类解析,得到多个基础指标值;通过事件管理模型对事件数据进行事件分类,得到事件类型,同时通过事件管理模型对事件数据进行事件分析和事件解析,得到多个潜在指标值;获取与事件类型匹配的事件预估模型和异常阈值;通过事件预估模型对所有基础指标值和所有潜在指标值进行组合及异常特征提取,得到预估结果;根据预估结果和异常阈值,确定事件数据的监控结果。本发明实现了准确地、全面地自动识别事件数据是否为异常事件,保证了事件数据的安全性。
Description
技术领域
本发明涉及异常监控领域,尤其涉及一种异常事件监控方法、装置、计算机设备及存储介质。
背景技术
目前,电商平台的发展给人们生活带来了极大的便利,然而,由于不法分子企图在电商交易过程中获取更大的利益,因此,在电商交易过程中出现了多种类型的异常行为,异常例如,盗取账户交易、恶意套现以及恶意薅羊毛等异常诈骗行为,为了降低异常异常行为出现的可能性,电商平台会对用户的交易过程进行检测,以执行对异常行为的监控异常。然而,现有技术中,大部分方案只能通过被动地人为设置交易金额的类型和阈值的方式进行预防异常行为和降低异常行为的影响,而且判断是否是异常行为的界定条件单一,界定条件的限额阈值也无法准确,因此难以有效地识别出异常行为,进而导致异常针对异常行为的较高误拦率的存在,对用户的合法操作造成了较大的影响。
发明内容
本发明提供一种异常事件监控方法、装置、计算机设备及存储介质,实现了准确地、全面地自动识别事件数据是否为异常事件,提高了监控准确率,避免监控失效造成的损失,保证了事件数据的安全性。
一种异常事件监控方法,包括:
接收到事件数据;
将所述事件数据输入CEP引擎模型,通过所述CEP引擎模型对所述事件数据进行关联事件分析和分类解析,得到多个基础指标值;
将所述事件数据输入事件管理模型,通过所述事件管理模型对所述事件数据进行事件分类,得到所述事件数据对应的事件类型,同时通过所述事件管理模型对所述事件数据进行事件分析和事件解析,得到多个潜在指标值;
获取与所述事件类型匹配的事件预估模型和异常阈值;
将所有所述基础指标值和所有所述潜在指标值输入所述事件预估模型,通过所述事件预估模型对所有所述基础指标值和所有所述潜在指标值进行组合及异常特征提取,得到预估结果;
根据所述预估结果和所述异常阈值,确定所述事件数据的监控结果;所述监控结果包括异常事件和正常事件,所述监控结果表征了所述事件数据是否属于异常事件。
一种异常事件监控装置,包括:
接收模块,用于接收到事件数据;
分析模块,用于将所述事件数据输入CEP引擎模型,通过所述CEP引擎模型对所述事件数据进行关联事件分析和分类解析,得到多个基础指标值;
分类模块,用于将所述事件数据输入事件管理模型,通过所述事件管理模型对所述事件数据进行事件分类,得到所述事件数据对应的事件类型,同时通过所述事件管理模型对所述事件数据进行事件分析和事件解析,得到多个潜在指标值;
获取模块,用于获取与所述事件类型匹配的事件预估模型和异常阈值;
输入模块,用于将所有所述基础指标值和所有所述潜在指标值输入所述事件预估模型,通过所述事件预估模型对所有所述基础指标值和所有所述潜在指标值进行组合及异常特征提取,得到预估结果;
确定模块,用于根据所述预估结果和所述异常阈值,确定所述事件数据的监控结果;所述监控结果包括异常事件和正常事件,所述监控结果表征了所述事件数据是否属于异常事件。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述异常事件监控方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其中,所述计算机程序被处理器执行时实现上述异常事件监控方法的步骤。
本发明提供的异常事件监控方法、装置、计算机设备及存储介质,通过接收到事件数据;将所述事件数据输入CEP引擎模型,通过所述CEP引擎模型对所述事件数据进行关联事件分析和分类解析,得到多个基础指标值;将所述事件数据输入事件管理模型,通过所述事件管理模型对所述事件数据进行事件分类,得到所述事件数据对应的事件类型,同时通过所述事件管理模型对所述事件数据进行事件分析和事件解析,得到多个潜在指标值;获取与所述事件类型匹配的事件预估模型和异常阈值;将所有所述基础指标值和所有所述潜在指标值输入所述事件预估模型,通过所述事件预估模型对所有所述基础指标值和所有所述潜在指标值进行组合及异常特征提取,得到预估结果;根据所述预估结果和所述异常阈值,确定所述事件数据的监控结果;所述监控结果包括异常事件和正常事件,所述监控结果表征了所述事件数据是否属于异常事件。
本发明实现了通过接收到事件数据;通过CEP引擎模型对所述事件数据进行关联事件分析和分类解析,得到多个基础指标值;通过事件管理模型对所述事件数据进行事件分类,得到事件类型,同时通过所述事件管理模型对所述事件数据进行事件分析和事件解析,得到多个潜在指标值;获取与所述事件类型匹配的事件预估模型和异常阈值;通过所述事件预估模型对所有所述基础指标值和所有所述潜在指标值进行组合及异常特征提取,得到预估结果;根据所述预估结果和所述异常阈值,确定所述事件数据的监控结果;所述监控结果表征了所述事件数据是否属于异常事件,如此,实现了准确地、全面地自动识别事件数据是否为异常事件,提高了监控准确率,避免监控失效造成的损失,保证了事件数据的安全性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中异常事件监控方法的应用环境示意图;
图2是本发明一实施例中异常事件监控方法的流程图;
图3是本发明一实施例中异常事件监控方法的步骤S20的流程图;
图4是本发明一实施例中异常事件监控方法的步骤S30的流程图;
图5是本发明一实施例中异常事件监控方法的步骤S40的流程图;
图6是本发明一实施例中异常事件监控方法的步骤S50的流程图;
图7是本发明一实施例中异常事件监控方法的步骤S502的流程图;
图8是本发明一实施例中异常事件监控装置的原理框图;
图9是本发明一实施例中计算机设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供的异常事件监控方法,可应用在如图1的应用环境中,其中,客户端(计算机设备)通过网络与服务器进行通信。其中,客户端(计算机设备)包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑、摄像头和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中,如图2所示,提供一种异常事件监控方法,其技术方案主要包括以下步骤S10-S60:
S10,接收到事件数据。
可理解地,所述事件数据为应用业务场景下产生的与一件事件相关的数据,所述应用业务场景可以为交通流量监控场景、企业内部文件传输监控场景、云服务数据监控事件、电商平台数据传输监控事件等等,其中,所述事件根据所述应用业务场景的不同,代表的事件不同,比如所述应用业务场景为交通流量监控场景,其事件为每一时刻对应的交通流量数据,或者所述应用业务场景为企业内部文件传出监控场景,其事件为每一件文件传输的数据流等等。
在一实施例中,所述步骤S10中,即所述接收到事件数据,包括:
S101,通过MQ或者API接口,实时接收来自服务器集群的所述事件数据。
可理解地,所述服务器集群包含有多个服务器的群体,所述MQ(message queuing)接口为消息队列管理器接口,通过所述MQ接口,实时接收来自服务器集群的所述事件数据,所述MQ接口提供基于队列的消息服务的接口,所述MQ接口提供的通讯模式包括点对点通讯、多点广播、发布/订阅模式和群集模式,所述MQ接口可以根据需求选择不同的通讯模式,提供了接收时间数据的多样性,其中,所述MQ接口的特点为异步、解耦、广播和流控,所述异步为所述MQ接口中的消息队列本身是异步的,它允许接收者在消息发送很长时间后再取回消息;所述解耦为所述MQ接口中的消息队列减少了服务之间的耦合性,不同的服务可以通过消息队列进行通信,无需关心彼此的实现细节,只要定义好消息的格式即可;所述广播为所述MQ接口中的消息队列能以广播方式发送消息;所述流控为当上下游系统处理能力存在差距的时候,利用所述MQ接口中的消息队列做一个通用的”载体”,在下游有能力处理的时候,再进行分发与处理。
其中,所述API(Application Programming Interface)接口为应用程序接口,所述API接口提供了基于应用程序提供的消息服务的接口,即为与应用程序进行消息传输提供的接口,所述API接口提供了简单、统一和对称性的特性,能够规范所有应用程序的接口,通过所述API接口,实时接收来自服务器集群的所述事件数据。
在一实施例中,所述步骤S10中,即所述接收到事件数据,包括:
S102,通过轮询接口,定时接收来自服务器集群的所述事件数据。
可理解地,所述轮询接口为定时向所有所述服务器集群发出询问的接口,依次询问每一个服务器是否需要服务,通过所述轮询接口可以定时接收到来自所述服务器集群的事件数据,定时的时间间隔可以根据需求设定,比如定时的时间间隔为0.5秒,1分钟或者3分钟等等。
本发明通过MQ或者API接口满足了实时接收所述事件数据的及时性,同时通过轮询接口,满足了定时接收所述事件数据的多样性,如此,提供了多种接口方式,满足接收所述事件数据的多样性。
S20,将所述事件数据输入CEP引擎模型,通过所述CEP引擎模型对所述事件数据进行关联事件分析和分类解析,得到多个基础指标值。
可理解地,所述CEP引擎模型为基于复杂事件处理(CEP,Complex EventProcessing)的模型,所述复杂事件处理过程包括格式化、预处理、模式侦测、事件发派和执行动作,所述格式化为将事件数据转化为内部处理的统一格式;所述预处理为事件数据按照字段内容进行转换处理;所述模式侦测为将数个事件数据复合起来,找出复合事件;所述事件发派为将复合事件进行状态分类发送到相应的处理模块;所述执行动作为对应的处理模型按照事件数据进行解析执行相应的动作。
其中,所述CEP引擎模型通过对动态环境下的事件流进行分析,对事件流的状态变化分析事件之间的关系,利用过滤、关联、聚合等技术,根据事件间的时序关系和聚合关系制定检测规则,持续地从事件流中查询出符合要求的指标值,所述关联事件分析为所述复杂事件处理过程中的格式化、预处理、模式侦测,也可以说在历史的所有事件数据中查询出与所述事件数据关联的历史的事件数据,对事件数据和关联的历史的事件数据进行复合,得到复合事件,所述分类解析为所述复杂事件处理过程中的事件发派和执行动作,也可以说对复合事件进行状态分类,解析各个状态的历史的事件数据得出与所述事件数据关联的多个所述基础指标值,所述基础指标值为衡量各个基础指标的值,所述基础指标为事件数据中最基本的信息的指标,例如基础指标可以为职业、年龄、职位、车辆类型等等。
在一实施例中,如图3所示,所述步骤S20中,即所述通过所述CEP引擎模型对所述事件数据进行关联事件分析和分类解析,得到多个基础指标值,包括:
S201,通过所述CEP引擎模型对所述事件数据进行关联事件分析,得到多个基础EPL语句。
可理解地,通过所述CEP引擎模型对所述事件数据进行关联事件分析,所述关联事件分析为在历史的所有事件数据中查询出与所述事件数据关联的历史的事件数据,所述关联事件分析包括时间关联分析、空间关联分析、依赖关系分析和因果关系分析,例如:事件数据为某员工的某一文件外发数据,对事件数据进行关联事件分析为查询出该员工的历史外发数据(以供时间关联分析),和该文件的保密等级(以供因果关系分析),和该文件在内部传输的相关事件数据(以供空间关联分析),以及该员工的职位数据(以供依赖关系分析),将所述事件数据和与所述事件数据关联的历史的事件数据转化为统一的字段内容进行预处理,将事件数据之间进行复合,所述复合为将事件数据之间按照预设的EPL转换规则转换成查询语句,得到复合事件,所述复合事件为将类似于SQL语句的查询语句中的字段进行两两合并或者去除重复字段处理后的语句,所述EPL(Event Process Language,事件处理语言)为事件要分析的内容,所述EPL转换规则为按照所述EPL的要求进行转换的规则,所述基础EPL语句为关系型数据间提交的类似于SQL语句的查询语句,所述基础EPL语句被执行的时候不限于硬盘访问性能,因为只涉及到查询的过程,所述关系型数据间为关系型数据实体之间的关联关系,所述关联关系包括一对一、一对多和多对多。
S202,通过所述CEP引擎模型中的基础EPL解析器对每个所述基础EPL语句进行分类解析,得到多个基础指标值。
可理解地,所述基础EPL解析器为对输入的所述基础EPL语句进行查询语句的分类解析并执行,即所述基础EPL解析器对所述复合事件的状态进行事件发派,发送至相应的处理模块,根据所述复合事件的状态执行该复合事件,得到执行结果,再根据执行结果返回多个所述基础指标值。
如此,本发明通过运用CEP方法和EPL解析器,对事件数据进行关联事件分析和分类解析,能够准确解析出事件数据中的基础指标值,提高了识别准确率。
S30,将所述事件数据输入事件管理模型,通过所述事件管理模型对所述事件数据进行事件分类,得到所述事件数据对应的事件类型,同时通过所述事件管理模型对所述事件数据进行事件分析和事件解析,得到多个潜在指标值。
可理解地,所述事件管理模型为预设的对输入的事件数据进行事件分类和事件分析的模型,生成对应的所述事件类型和多个所述潜在指标值,所述事件类型包括多种不同类别的类型,所述事件类型可以根据需求进行设定,比如所述事件类型可以为机密文件类型、秘密文件类型和绝密文件类型等等,所述潜在指标值为衡量潜在风险的指标的值,所述潜在风险的指标为事件数据中可能会发生的某一方向的发展概率。
在一实施例中,如图4所示,所述步骤S30中,即所述通过所述事件管理模型对所述事件数据进行事件分析和事件解析,得到多个潜在指标值,包括:
S301,通过所述事件管理模型对所述事件数据进行事件分析,得到多个潜在EPL语句。
可理解地,所述事件分析为对所述事件数据转化为内部处理的统一格式的字段内容,获取该字段内容,通过所述事件管理模型预测根据该字段内容分析出关联度最高的前三个字段内容,将分析出关联度最高的前三个字段内容按照所述EPL转换规则转换生成多个所述潜在EPL语句,所述关联度为两个字段内容分别与其他字段内容连接相同的个数,每个字段内容与多个字段内容有连接关系,该连接关系为根据潜在风险结果推导出导致该结果的关键因素之间的关系。
S302,通过所述事件管理模型中的潜在EPL解析器对每个所述潜在EPL语句进行事件解析,得到多个潜在指标值。
可理解地,所述潜在EPL解析器为对输入的所述潜在EPL语句进行分类并执行,即所述潜在EPL解析器对所述潜在EPL语句进行分类,发送至相应的执行模块,获取各执行模块执行所述潜在EPL语句输出的结果,再根据输出的结果返回多个所述潜在指标值。
如此,本发明提供了一种事件管理模型获得潜在指标值,实现了从事件数据中提取出潜在风险的指标值,提取出有用的指标以供更多的维度以增强异常特征,提高了识别准确率。
S40,获取与所述事件类型匹配的事件预估模型和异常阈值。
可理解地,根据所述事件类型匹配出与之对应的所述事件预估模型和所述异常阈值,即一种所述事件类型对应一个所述事件预估模型,一种所述事件类型对应一个所述异常阈值,所述事件预估模型可以为预设的固定参数的模型,也可以为训练完成的深度卷积神经网络模型,所述事件预估模型为对输入的所有所述基础指标值和所有潜在指标值进行预测的模型,所述异常阈值可以根据需求进行设定,所述异常阈值可以为预设的阈值,也可以为通过训练完成的浅层神经网络模型获得的且与事件类型对应的值,所述异常阈值的格式类型为数值类型。
在一实施例中,如图5所示,所述步骤S40之前,即所述获取异常阈值之前,包括:
S401,获取样本数据集;所述样本数据集包括多个预设时间段内的样本数据,一个所述样本数据与一个事件标签关联。
可理解地,所述样本数据包括所述预设时间段内的多个各种事件类型且确定为不属于异常事件(也为全文中指的正常事件)的事件数据和所述预设时间段内的多个各种事件类型且确定为属于异常事件的事件数据,所述样本数据集为所述样本数据的集合,所述事件标签包括该样本数据对应的事件类型和事件属性,所述事件属性包括正常和异常,一个所述样本数据与一个事件标签关联。
S402,将所有所述样本数据输入异常识别图卷积模型,通过所述异常识别图卷积模型对所有所述样本数据进行关系图预测,得到各种事件类型对应的异常阈值。
可理解地,所述异常识别图卷积模型为预设的或者训练完成的图卷积神经网络模型,所述异常识别图卷积模型为基于图卷积神经网络(GCN,Graph Convolutional NueralNetwork)构建的且用于识别各种事件类型对应的异常阈值(即为正常事件和异常事件之间的阈值),所述异常识别图卷积模型为将输入的样本数据构建出关系图网络,所述关系图网络即为各所述样本数据的拓扑图,所述关系图网络包括各所述样本数据的节点特征和各所述样本数据之间的结构特征,所述节点特征为所述样本数据的属性特征(即为样本数据的所有属性),所述结构特征为所述样本数据之间的关联关系(即为样本数据的所有属性之间的关联关系),通过提取出关系图网络中各事件类型间的关系特征向量,所述关系特征向量为各事件类型的欧式间距的加权向量值,对所述关系特征向量进行特征分解,得到特征矩阵,再对该特征矩阵进行傅里叶变换及卷积,得出相同事件类型对应的样本数据的向量值,根据所有所述向量值确定出各种事件类型对应的异常阈值,所述特征分解可以根据需求设定,比如所述特征分解可以为拉普拉斯矩阵的谱分解。
如此,本发明通过异常识别图卷积模型(基于图卷积神经网络模型),预测出各种事件类型对应的异常阈值,从而无需人工预设异常阈值,自动预测出合理的异常阈值。
S50,将所有所述基础指标值和所有所述潜在指标值输入所述事件预估模型,通过所述事件预估模型对所有所述基础指标值和所有所述潜在指标值进行组合及异常特征提取,得到预估结果。
可理解地,所述事件预估模型通过对所有所述基础指标值和所有所述潜在指标值进行组合,即将所有基础指标值和所有所述潜在指标值进行矩阵排列方式进行排列,所述矩阵排列方式可以根据需求进行设定,比如所述矩阵排列方式可以为随机排列、预设顺序排列、拼接排序等等,所述异常特征为矩阵排列后的所有基础指标值和所有所述潜在指标值之间产生出明显的数值差异的特征向量,所述预估结果为预估是否异常且用数值衡量的结果。
在一实施例中,如图6所示,所述步骤S50中,即所述通过所述事件预估模型对所有所述基础指标值和所有所述潜在指标值进行组合及异常特征提取,得到预估结果,包括:
S501,将所有所述基础指标值和所有所述潜在指标值进行矩阵组合,得到事件矩阵。
可理解地,所述矩阵组合为将所有所述基础指标值和所有所述潜在指标值进行矩阵乘积得到的矩阵,得到所述事件矩阵。
S502,通过所述事件预估模型中的训练完成的浅层神经网络模型对所述事件矩阵进行所述异常特征提取,得到所述预估结果。
可理解地,所述事件预估模型包括训练完成的浅层神经网络模型,将所述事件矩阵输入训练完成的浅层神经网络模型,通过对提取所述事件矩阵中的所述异常特征进行预测,所述异常特征为矩阵排列后的所有基础指标值和所有所述潜在指标值之间产生出明显的数值差异的特征向量,得到所述预估结果,所述预估结果为预估是否异常且用数值衡量的结果。
如此,本发明提供了一种将所有基础指标值和所有潜在指标值的组合方式,得到事件矩阵,并通过训练完成的浅层神经网络模型对事件矩阵进行异常特征提取得到预估结果,实现了快速地、准确地识别出事件数据对应的可与异常阈值进行比较的值,提升了识别效率和准确率。
在一实施例中,如图7所示,所述步骤S502之前,即所述通过所述事件预估模型中的卷积模型对所述事件矩阵进行所述异常特征提取之前,包括:
S5021,获取矩阵样本;所述矩阵样本与一个数值范围标签关联。
可理解地,所述矩阵样本为收集的历史的事件数据对应的所有基础指标值和所有潜在指标值进行矩阵组合后的矩阵,所述数据范围标签为标识出所述矩阵样本对应的事件类型的是否为异常事件的数值范围,一个所述矩阵样本对应一个所述数值范围标签。
S5022,将所述矩阵样本输入含有初始参数的浅层神经网络模型,通过所述浅层神经网络模型提取所述矩阵样本的所述异常特征,得到样本结果。
可理解地,所述初始参数可以根据需求设定,比如所述比如所述初始参数为随机预设的参数,或者为预设的固定值等等,通过对所述矩阵样本进行所述异常特征的提取,根据提取的所述异常特征预估出所述样本结果,所述样本结果为预估是否异常且用数值衡量的结果。
S5023,根据所述样本结果和所述数值范围标签,确定损失值。
可理解地,将所述样本结果和所述数值范围标签输入所述损失函数中,所述损失函数可以根据需求设定,所述损失函数为所述样本结果和所述数值范围标签之间差值的对数,计算得出所述损失值,所述损失值衡量所述样本结果与所述数值范围标签之间的差距的指标。
S5024,在所述损失值达到预设的收敛条件时,将收敛之后的所述浅层神经网络模型记录为训练完成的浅层神经网络模型。
可理解地,所述收敛条件可以为所述损失值小于设定阈值的条件,即在所述损失值小于设定阈值时,将收敛之后的所述浅层神经网络模型记录为训练完成的浅层神经网络模型。
在一实施例中,所述步骤S5023之后,即所述根据所述样本结果和所述数值范围标签,确定损失值之后,还包括:
S5025,在所述损失值未达到预设的收敛条件时,迭代更新所述浅层神经网络模型的初始参数,直至所述损失值达到所述预设的收敛条件时,将收敛之后的所述浅层神经网络模型记录为训练完成的浅层神经网络模型。
可理解地,所述收敛条件也可以为所述损失值经过了10000次计算后值为很小且不会再下降的条件,即在所述损失值经过10000次计算后值为很小且不会再下降时,停止训练,并将收敛之后的所述浅层神经网络模型记录为训练完成的浅层神经网络模型。
如此,在所述损失值未达到预设的收敛条件时,不断更新迭代所述浅层神经网络模型的初始参数,可以不断向准确的样本结果靠拢,可以不断提高预估的准确率,让样本结果的准确率越来越高。
S60,根据所述预估结果和所述异常阈值,确定所述事件数据的监控结果;所述监控结果包括异常事件和正常事件,所述监控结果表征了所述事件数据是否属于异常事件。
可理解地,判断所述预估结果是否超出所述事件数据对应的事件类型的所述异常阈值,如果所述预估结果超出所述事件数据对应的事件类型的所述异常阈值,就确定所述事件数据的监控结果为异常事件,如果所述预估结果未超出所述事件数据对应的事件类型的所述异常阈值,就确定所述事件数据的监控结果为正常事件,所述监控结果表征了所述事件数据是否属于异常事件。
本发明实现了通过接收到事件数据;通过CEP引擎模型对所述事件数据进行关联事件分析和分类解析,得到多个基础指标值;通过事件管理模型对所述事件数据进行事件分类,得到事件类型,同时通过所述事件管理模型对所述事件数据进行事件分析和事件解析,得到多个潜在指标值;获取与所述事件类型匹配的事件预估模型和异常阈值;通过所述事件预估模型对所有所述基础指标值和所有所述潜在指标值进行组合及异常特征提取,得到预估结果;根据所述预估结果和所述异常阈值,确定所述事件数据的监控结果;所述监控结果表征了所述事件数据是否属于异常事件,如此,实现了准确地、全面地自动识别事件数据是否为异常事件,提高了监控准确率,避免监控失效造成的损失,保证了事件数据的安全性。
在一实施例中,提供一种异常事件监控装置,该异常事件监控装置与上述实施例中异常事件监控方法一一对应。如图8所示,该异常事件监控装置包括接收模块11、分析模块12、分类模块13、获取模块14、输入模块15和确定模块16。各功能模块详细说明如下:
接收模块11,用于接收到事件数据;
分析模块12,用于将所述事件数据输入CEP引擎模型,通过所述CEP引擎模型对所述事件数据进行关联事件分析和分类解析,得到多个基础指标值;
分类模块13,用于将所述事件数据输入事件管理模型,通过所述事件管理模型对所述事件数据进行事件分类,得到所述事件数据对应的事件类型,同时通过所述事件管理模型对所述事件数据进行事件分析和事件解析,得到多个潜在指标值;
获取模块14,用于获取与所述事件类型匹配的事件预估模型和异常阈值;
输入模块15,用于将所有所述基础指标值和所有所述潜在指标值输入所述事件预估模型,通过所述事件预估模型对所有所述基础指标值和所有所述潜在指标值进行组合及异常特征提取,得到预估结果;
确定模块16,用于根据所述预估结果和所述异常阈值,确定所述事件数据的监控结果;所述监控结果包括异常事件和正常事件,所述监控结果表征了所述事件数据是否属于异常事件。
在一实施例中,所述分析模块12包括:
分析单元,用于通过所述CEP引擎模型对所述事件数据进行关联事件分析,得到多个基础EPL语句;
解析单元,用于通过所述CEP引擎模型中的基础EPL解析器对每个所述基础EPL语句进行分类解析,得到多个基础指标值。
在一实施例中,所述分类模块13包括:
事件分析单元,用于通过所述事件管理模型对所述事件数据进行事件分析,得到多个潜在EPL语句;
事件解析单元,用于通过所述事件管理模型中的潜在EPL解析器对每个所述潜在EPL语句进行事件解析,得到多个潜在指标值。
在一实施例中,获取模块14包括:
获取单元,用于获取样本数据集;所述样本数据集包括多个预设时间段内的样本数据,一个所述样本数据与一个事件标签关联;
预测单元,用于将所有所述样本数据输入异常识别图卷积模型,通过所述异常识别图卷积模型对所有所述样本数据进行关系图预测,得到各种事件类型对应的异常阈值。
在一实施例中,所述输入模块15包括:
组合单元,用于将所有所述基础指标值和所有所述潜在指标值进行矩阵组合,得到事件矩阵;
预估单元,用于通过所述事件预估模型中的训练完成的浅层神经网络模型对所述事件矩阵进行所述异常特征提取,得到所述预估结果。
在一实施例中,所述预估单元包括:
获取子单元,用于获取矩阵样本;所述矩阵样本与一个数值范围标签关联;
输入子单元,用于将所述矩阵样本输入含有初始参数的浅层神经网络模型,通过所述浅层神经网络模型提取所述矩阵样本的所述异常特征,得到样本结果;
损失子单元,用于根据所述样本结果和所述数值范围标签,确定损失值;
收敛子单元,用于在所述损失值达到预设的收敛条件时,将收敛之后的所述浅层神经网络模型记录为训练完成的浅层神经网络模型。
关于异常事件监控装置的具体限定可以参见上文中对于异常事件监控方法的限定,在此不再赘述。上述异常事件监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种异常事件监控方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中异常事件监控方法。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中异常事件监控方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种异常事件监控方法,其特征在于,包括:
接收到事件数据;
将所述事件数据输入CEP引擎模型,通过所述CEP引擎模型对所述事件数据进行关联事件分析和分类解析,得到多个基础指标值;所述基础指标值为衡量各个基础指标的值,所述基础指标为事件数据中最基本的信息的指标;
将所述事件数据输入事件管理模型,通过所述事件管理模型对所述事件数据进行事件分类,得到所述事件数据对应的事件类型,同时通过所述事件管理模型对所述事件数据进行事件分析和事件解析,得到多个潜在指标值;所述潜在指标值为衡量潜在风险的指标的值,所述潜在风险的指标为事件数据中会发生的一方向的发展概率;
获取与所述事件类型匹配的事件预估模型和异常阈值;
将所有所述基础指标值和所有所述潜在指标值输入所述事件预估模型,通过所述事件预估模型对所有所述基础指标值和所有所述潜在指标值进行组合及异常特征提取,得到预估结果;
根据所述预估结果和所述异常阈值,确定所述事件数据的监控结果;所述监控结果包括异常事件和正常事件,所述监控结果表征了所述事件数据是否属于异常事件。
2.如权利要求1所述的异常事件监控方法,其特征在于,所述接收到事件数据,包括:
通过MQ或者API接口,实时接收来自服务器集群的所述事件数据;
或者
通过轮询接口,定时接收来自服务器集群的所述事件数据。
3.如权利要求1所述的异常事件监控方法,其特征在于,所述通过所述CEP引擎模型对所述事件数据进行关联事件分析和分类解析,得到多个基础指标值,包括:
通过所述CEP引擎模型对所述事件数据进行关联事件分析,得到多个基础EPL语句;
通过所述CEP引擎模型中的基础EPL解析器对每个所述基础EPL语句进行分类解析,得到多个基础指标值。
4.如权利要求1所述的异常事件监控方法,其特征在于,所述通过所述事件管理模型对所述事件数据进行事件分析和事件解析,得到多个潜在指标值,包括:
通过所述事件管理模型对所述事件数据进行事件分析,得到多个潜在EPL语句;
通过所述事件管理模型中的潜在EPL解析器对每个所述潜在EPL语句进行事件解析,得到多个潜在指标值。
5.如权利要求1所述的异常事件监控方法,其特征在于,所述获取异常阈值之前,包括:
获取样本数据集;所述样本数据集包括多个预设时间段内的样本数据,一个所述样本数据与一个事件标签关联;
将所有所述样本数据输入异常识别图卷积模型,通过所述异常识别图卷积模型对所有所述样本数据进行关系图预测,得到各种事件类型对应的异常阈值。
6.如权利要求1所述的异常事件监控方法,其特征在于,所述通过所述事件预估模型对所有所述基础指标值和所有所述潜在指标值进行组合及异常特征提取,得到预估结果,包括:
将所有所述基础指标值和所有所述潜在指标值进行矩阵组合,得到事件矩阵;
通过所述事件预估模型中的训练完成的浅层神经网络模型对所述事件矩阵进行所述异常特征提取,得到所述预估结果。
7.如权利要求6所述的异常事件监控方法,其特征在于,所述通过所述事件预估模型中的卷积模型对所述事件矩阵进行所述异常特征提取之前,包括:
获取矩阵样本;所述矩阵样本与一个数值范围标签关联;
将所述矩阵样本输入含有初始参数的浅层神经网络模型,通过所述浅层神经网络模型提取所述矩阵样本的所述异常特征,得到样本结果;
根据所述样本结果和所述数值范围标签,确定损失值;
在所述损失值达到预设的收敛条件时,将收敛之后的所述浅层神经网络模型记录为训练完成的浅层神经网络模型。
8.一种异常事件监控装置,其特征在于,包括:
接收模块,用于接收到事件数据;
分析模块,用于将所述事件数据输入CEP引擎模型,通过所述CEP引擎模型对所述事件数据进行关联事件分析和分类解析,得到多个基础指标值;所述基础指标值为衡量各个基础指标的值,所述基础指标为事件数据中最基本的信息的指标;
分类模块,用于将所述事件数据输入事件管理模型,通过所述事件管理模型对所述事件数据进行事件分类,得到所述事件数据对应的事件类型,同时通过所述事件管理模型对所述事件数据进行事件分析和事件解析,得到多个潜在指标值;所述潜在指标值为衡量潜在风险的指标的值,所述潜在风险的指标为事件数据中会发生的一方向的发展概率;
获取模块,用于获取与所述事件类型匹配的事件预估模型和异常阈值;
输入模块,用于将所有所述基础指标值和所有所述潜在指标值输入所述事件预估模型,通过所述事件预估模型对所有所述基础指标值和所有所述潜在指标值进行组合及异常特征提取,得到预估结果;
确定模块,用于根据所述预估结果和所述异常阈值,确定所述事件数据的监控结果;所述监控结果包括异常事件和正常事件,所述监控结果表征了所述事件数据是否属于异常事件。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述异常事件监控方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述异常事件监控方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010716924.7A CN111859384B (zh) | 2020-07-23 | 异常事件监控方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010716924.7A CN111859384B (zh) | 2020-07-23 | 异常事件监控方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111859384A CN111859384A (zh) | 2020-10-30 |
CN111859384B true CN111859384B (zh) | 2024-06-28 |
Family
ID=
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103081403A (zh) * | 2010-06-29 | 2013-05-01 | 瑞典爱立信有限公司 | 用于使用事件分析通信系统的操作的方法和装置 |
CN108920948A (zh) * | 2018-05-25 | 2018-11-30 | 众安信息技术服务有限公司 | 一种反欺诈流式计算装置及方法 |
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103081403A (zh) * | 2010-06-29 | 2013-05-01 | 瑞典爱立信有限公司 | 用于使用事件分析通信系统的操作的方法和装置 |
CN108920948A (zh) * | 2018-05-25 | 2018-11-30 | 众安信息技术服务有限公司 | 一种反欺诈流式计算装置及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11023896B2 (en) | Systems and methods for real-time processing of data streams | |
CN107992398B (zh) | 一种业务系统的监控方法和监控系统 | |
CN111343161B (zh) | 异常信息处理节点分析方法、装置、介质及电子设备 | |
WO2021174694A1 (zh) | 基于数据中心的运维监控方法、装置、设备及存储介质 | |
US20180248902A1 (en) | Malicious activity detection on a computer network and network metadata normalisation | |
CN113157545A (zh) | 业务日志的处理方法、装置、设备及存储介质 | |
US10805305B2 (en) | Detection of operational threats using artificial intelligence | |
US10554701B1 (en) | Real-time call tracing in a service-oriented system | |
CN113672475B (zh) | 告警处理方法、装置、计算机设备和存储介质 | |
CN110955890B (zh) | 恶意批量访问行为的检测方法、装置和计算机存储介质 | |
CN114595765A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
US20220094699A1 (en) | Detection of operational threats using artificial intelligence | |
CN111859384B (zh) | 异常事件监控方法、装置、计算机设备及存储介质 | |
CN116991675A (zh) | 一种异常访问监控方法、装置、计算机设备及存储介质 | |
CN110781232A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN110677271A (zh) | 基于elk的大数据告警方法、装置、设备及存储介质 | |
CN113535449B (zh) | 异常事件修复处理方法、装置、计算机设备及存储介质 | |
CN115409104A (zh) | 用于识别对象类型的方法、装置、设备、介质和程序产品 | |
CN111859384A (zh) | 异常事件监控方法、装置、计算机设备及存储介质 | |
CN110717137B (zh) | 一种消息的分发处理方法及消息系统 | |
US20220391918A1 (en) | Communication channel systems and methods | |
CN117493420A (zh) | 金融云数据处理方法、装置、设备和介质 | |
ÜZÜM et al. | Applicability of Machine Learning Models for Detecting Anomalous File Transfer Events in B2B Application Integrations | |
CN118229305A (zh) | 一种反诈预警系统、方法、介质及终端 | |
CN115883177A (zh) | 操作指令处理方法、装置、设备、存储介质和程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |