CN111431926A - 一种数据关联分析的方法、系统、设备及可读存储介质 - Google Patents

Abstract

本申请公开了一种数据关联分析的方法，包括：接收数据关联分析请求，并根据数据关联分析请求确定待分析数据及关联分析规则；将关联分析规则加载至预设分析引擎中，并调用预设分析引擎对待分析数据进行关联分析，得到关联事件数据。本申请将关联分析规则加载至预设分析引擎中，然后调用预设分析引擎对待分析数据进行关联分析，使得用户能够根据业务需求自行配置关联分析规则，提高了关联分析系统的可拓展性，同时实现了复杂业务的抽离，进而使得关联分析系统的架构设计不受业务开发维护的影响，减少了关联分析过程的开发和测试周期。本申请同时还提供了一种数据关联分析的系统、设备及可读存储介质，具有上述有益效果。

Description

一种数据关联分析的方法、系统、设备及可读存储介质

技术领域

本申请涉及关联分析领域，特别涉及一种数据关联分析的方法、系统、设备及可读存储介质。

背景技术

随着网络规模的不断扩大，网络攻击破坏行为日益频繁，网络安全形势也日趋严峻。虽然目前网络中有从硬件到软件的层层防护，但一般情况下仅靠这些措施仍然无法准确及时的发现攻击对象发起的各类攻击。特别是在复杂网络环境下，攻击者如果已经获知部分信息，就很容易通过伪造或者借助少量信息试探的方式来获得更多重要信息。与此行为相关的诸多安全事件之间往往具有错综复杂的逻辑关系，而这类异常行为却不易被现有防护察觉。

现有技术中对安全事件的关联分析采用硬编码实现，导致底层架构和业务逻辑之间相互依赖严重，存在着开发和测试周期过长、可拓展性差的问题。

因此，如何减少关联分析过程的开发和测试周期，提高可拓展性是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种数据关联分析的方法、系统、设备及可读存储介质，用于减少关联分析过程的开发和测试周期，提高可拓展性。

为解决上述技术问题，本申请提供一种数据关联分析的方法，该方法包括：

接收数据关联分析请求，并根据所述数据关联分析请求确定待分析数据及关联分析规则；

将所述关联分析规则加载至预设分析引擎中，并调用所述预设分析引擎对所述待分析数据进行关联分析，得到关联事件数据。

可选的，接收关联分析规则制定请求；

根据所述关联分析规则制定请求确定待制定的关联分析规则的类型，所述关联分析规则的类型包括复杂类型；

当所述待制定的关联分析规则的类型为所述复杂类型时，根据所述关联分析规则制定请求确定至少两个规则语句以及所述规则语句之间的组合关系；

按照所述组合关系将所述规则语句进行组合，得到所述关联分析规则；

其中，所述规则语句包括SQL语句和/或自定义函数，所述组合关系包括嵌套关系、上下级关系、叠加关系中的至少一项。

可选的，所述关联分析规则的类型包括简单类型；

当所述待制定的关联分析规则的类型为所述简单类型时，根据所述关联分析规则制定请求确定所述规则语句，并将所述规则语句作为所述关联分析规则。

可选的，在根据所述数据关联分析请求确定待分析数据及关联分析规则之后，在调用所述预设分析引擎对所述待分析数据进行关联分析，得到关联事件数据之前，还包括：

对所述待分析数据进行预处理；

调用所述预设分析引擎对所述待分析数据进行关联分析，得到关联事件数据，对应包括：

调用所述预设分析引擎对预处理后的待分析数据进行关联分析，得到所述关联事件数据。

可选的，对所述待分析数据进行预处理，包括：

接收输入的规则配置文件；

根据所述规则配置文件确定对应的预处理规则；其中，所述预处理规则包括解码规则、字段解析规则、条件过滤筛选规则、数据清洗规则、格式转化规则、编码规则中的至少一项；

依据所述预处理规则对所述待分析数据进行对应的预处理；

可选的，对所述待分析数据进行预处理，包括：

根据所述数据关联分析请求从预设存储空间中调用对应的预处理插件对所述待分析数据进行预处理；

其中，所述预处理插件包括输入插件、编码解码插件、数据处理插件、输出插件、分类插件中的至少一项。

可选的，在将所述关联分析规则加载至预设分析引擎中之前，还包括：

判断是否接收到关联分析规则更改请求；

若是，则根据所述关联分析规则更改请求确定新关联分析规则，并将所述新关联分析规则加载至所述预设分析引擎中；

若否，则执行将所述关联分析规则加载至预设分析引擎中的步骤。

可选的，在得到关联事件数据之后，还包括：

接收数据处理请求；

执行所述数据处理请求对所述关联事件数据进行处理，并将得到的处理结果写入数据库中。

本申请还提供一种数据关联分析的系统，该系统包括：

第一接收模块，用于接收数据关联分析请求，并根据所述数据关联分析请求确定待分析数据及关联分析规则；

加载及调用模块，用于将所述关联分析规则加载至预设分析引擎中，并调用所述预设分析引擎对所述待分析数据进行关联分析，得到关联事件数据。

本申请还提供一种数据关联分析设备，该数据关联分析设备包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述任一项所述数据关联分析的方法的步骤。

本申请还提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述数据关联分析的方法的步骤。

本申请所提供数据关联分析的方法，包括：接收数据关联分析请求，并根据数据关联分析请求确定待分析数据及关联分析规则；将关联分析规则加载至预设分析引擎中，并调用预设分析引擎对待分析数据进行关联分析，得到关联事件数据。

本申请所提供的技术方案，通过根据接收到的数据关联分析请求确定关联分析规则，并将关联分析规则加载至预设分析引擎中，然后调用预设分析引擎对待分析数据进行关联分析，使得用户能够根据业务需求自行配置关联分析规则，提高了关联分析系统的可拓展性，同时实现了复杂业务的抽离，进而使得关联分析系统的架构设计不受业务开发维护的影响，减少了关联分析过程的开发和测试周期。本申请同时还提供了一种数据关联分析的系统、设备及可读存储介质，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种数据关联分析的方法的流程示意图；

图2为本申请实施例所提供的另一种数据关联分析的方法的流程示意图；

图3为本申请实施例所提供的一种数据关联分析框架的工作流程示意图；

图4为本申请实施例所提供的一种数据关联分析的系统的结构示意图；

图5为本申请实施例所提供的另一种数据关联分析的系统的结构示意图；

图6为本申请实施例所提供的一种数据关联分析设备的结构示意图。

具体实施方式

本申请的核心是提供一种数据关联分析的方法、系统、设备及可读存储介质，用于减少关联分析过程的开发和测试周期，提高可拓展性。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

基于现有技术中通过基于复杂事件处理(Complex Event Progressing，CEP)的网络安全关联分析技术对直接来自事件源(指各类安全防护设备或计算机系统、各类软件等)的原子安全事件以及由其合成的复杂事件进行多级关联分析，该技术可以找到潜在的网络威胁，从而达到维护网络安全的目的，然而在实际运用中关联分析采用硬编码实现，导致底层架构和业务逻辑之间相互依赖严重，存在着开发和测试周期过长、可拓展性差的问题；故本申请提供了一种数据关联分析的方法，用于解决上述问题。

请参考图1，图1为本申请实施例所提供的一种数据关联分析的方法的流程示意图。

其具体包括如下步骤：

S101：接收数据关联分析请求，并根据数据关联分析请求确定待分析数据及关联分析规则；

这里提到的根据数据关联分析请求确定待分析数据及关联分析规则，其目的在于令用户能够根据业务需求自行配置关联分析规则，进而提高关联分析系统的可拓展性；

可选的，这里提到的数据关联分析请求可以为用户手动输入的，也可以为系统连接到指定位置下载到的，本申请对此不做具体限定；

可选的，这里提到的根据数据关联分析请求确定待分析数据及关联分析规则，其具体可以为解析该数据关联分析请求得到对应的待分析数据及关联分析规则，也可以为根据数据关联分析请求确定对应的存储路径，然后从该存储路径下载得到对应的待分析数据及关联分析规则，本申请对此不做具体限定，只要能够达到根据数据关联分析请求确定待分析数据及关联分析规则的目的即可；

可选的，这里提到的待分析数据可以为利用数据采集引擎接收采集器采集到的数据，采集器是具有数据审计收集、存储和转发功能的设备，在一个具体实施例中，数据关联分析系统可以支持多种类型的采集器，包含流量审计探针设备、安全检测设备和系统日志采集器等，采集器通过审计收集数据，将每一条数据记录为日志，发送至下一个模块；

例如，流量审计探针设备可从内网交换机上获取镜像流量，对网络中的各种协议流量进行解析审计，记录为流量审计日志，通过定时和批量的形式触发，将审计日志发送至下一个模块。

S102：将关联分析规则加载至预设分析引擎中，并调用预设分析引擎对待分析数据进行关联分析，得到关联事件数据。

在本步骤中，将关联分析规则加载至预设分析引擎中的目的在于，令预设分析引擎能够依据业务需求对应的关联分析规则对待分析数据进行关联分析，当业务需求发生变更时，可以通过修改关联分析规则实现，进而不需要对关联分析系统的架构进行修改，减少了关联分析过程的开发和测试周期；

可选的，在一个具体实施例中，可以通过Flink引擎加载关联分析规则，完成对待分析数据的关联分析；Flink是由Apache软件基金会开发的开源流式处理引擎，具有分布式、高性能、随时可用以及准确的特点，不仅支持高吞吐数据处理，还支持exactly-once语义的实时计算。Flink提供了最高层的SQL抽象，可用SQL语句的形式表现程序实现，还支持复杂事件处理(CEP)语句MATCH_RECOGNIZE，用于从输入流中匹配符合的关联事件。在Flink的数据处理过程中，还可以利用Flink引擎支持的三种自定义函数，包含自定义标量函数(UDF)、自定义聚合函数(UDAF)和自定义表值函数(UDTF)，来实现一些业务相关的数据处理和算法等。

可选的，为避免出现业务需求发生变更时无法更改关联分析规则的情况，在将关联分析规则加载至预设分析引擎中之前，还可执行如下步骤：

判断是否接收到关联分析规则更改请求；

若是，则根据关联分析规则更改请求确定新关联分析规则，并将新关联分析规则加载至预设分析引擎中；

若否，则执行将关联分析规则加载至预设分析引擎中的步骤。

优选的，为进一步提升用户友好度，令关联事件数据更易于理解，还可以在得到关联事件数据之后执行如下步骤：

接收数据处理请求；

执行数据处理请求对关联事件数据进行处理，并将得到的处理结果写入数据库中。

可选的，这里提到的数据处理请求可以包括但不限于触发响应事件请求(如发提示邮件、提示短信等)、统计请求、累加请求、调用请求等。

可选的，在根据数据关联分析请求确定待分析数据及关联分析规则之后，在调用预设分析引擎对待分析数据进行关联分析，得到关联事件数据之前，还可以执行如下步骤：

对待分析数据进行预处理；

在此基础上，步骤S102中提到的，调用预设分析引擎对待分析数据进行关联分析，得到关联事件数据，其对应可以为：

调用预设分析引擎对预处理后的待分析数据进行关联分析，得到关联事件数据；

这里提到的对待分析数据进行预处理的目的在于，令待分析数据的格式或形式符合预设分析引擎的要求，进而进一步提高关联分析的效率；

可选的，为降低数据预处理过程的对用户编程能力的要求，可以通过输入规则配置文件的方式来实现数据的预处理，即这里提到的对待分析数据进行预处理，其具体可以为：

接收输入的规则配置文件；

根据规则配置文件确定对应的预处理规则；其中，预处理规则包括解码规则、字段解析规则、条件过滤筛选规则、数据清洗规则、格式转化规则、编码规则中的至少一项；

依据预处理规则对待分析数据进行对应的预处理。

在一个具体实施例中，可以通过执行解码规则对预先编码的待分析数据进行解码预处理，得到解码后的待分析数据；可以通过执行字段解析规则对待分析数据进行字段解析预处理，得到对应的解析数据；可以通过执行条件过滤筛选规则对待分析数据进行条件过滤筛选预处理，得到符合条件的待分析数据；可以通过执行数据清洗规则对待分析数据进行条件数据清洗预处理，得到噪音更少的待分析数据；可以通过执行格式转化规则对待分析数据进行格式转化预处理，得到符合格式要求的待分析数据；可以通过执行编码规则对待分析数据进行编码预处理，得到编码后的待分析数据；

在一个具体实施例中，可以通过Logstash实现对待分析数据的获取及预处理，Logstash为一款实时数据采集引擎，能够通过自定义Logstash的规则配置，实现对多种采集器的数据接收和数据处理。

可选的，为提高数据预处理的效率，也可以通过预先封装预处理插件的方式来实现数据的预处理，即这里提到的对待分析数据进行预处理，其具体也可以为：

根据数据关联分析请求从预设存储空间中调用对应的预处理插件对待分析数据进行预处理；

其中，预处理插件包括输入插件、编码解码插件、数据处理插件、输出插件、分类插件中的至少一项；

在一个具体实施例中，这里提到的数据处理插件具体可以为filter数据处理插件，可以通过执行对应的字段实现如下功能：

date：日志解析；

grok：正则匹配解析；

dissect：分割符解析；

mutate：对字段做处理，比如重命名、删除、替换等；

json：按照json解析字段内容到指定字段中；

geoip：增加地理位置数据；

ruby：利用ruby代码来动态修改Logstash Event；

在一个具体实施例中，可以将数据获取、数据筛选、格式化处理、分类等公共业务操作封装定义为预处理插件，例如getIpInfo插件，输入字符串IP地址便可返回该IP地址归属地等信息；进一步的，还可以将预设存储空间中调用热度低于阈值的预处理插件删除，以保证预设存储空间的存储容量能够容纳新输入的预处理插件。

可选的，当调用的预处理插件为分类插件时，在根据数据关联分析请求从预设存储空间中调用对应的预处理插件对待分析数据进行预处理之后，还可以将预处理后的待分析数据存入对应类别的分布式消息队列中，以实现对待分析数据的分类存储；

进一步的，该分布式消息队列具体可以为Kafka分布式消息队列，Kafka是一种高吞吐的分布式发布订阅消息系统，负责接收生产者生产的数据，供消费者读取消费，在一个具体实施例中，Kafka能够接收Logstash输出的日志数据，并按不同的采集器类型划分为对应的类别，然后提供给预设分析引擎选取所需的类别进行数据关联分析。

基于上述技术方案，本申请所提供的一种数据关联分析的方法，通过根据接收到的数据关联分析请求确定关联分析规则，并将关联分析规则加载至预设分析引擎中，然后调用预设分析引擎对待分析数据进行关联分析，使得用户能够根据业务需求自行配置关联分析规则，提高了关联分析系统的可拓展性，同时实现了复杂业务的抽离，进而使得关联分析系统的架构设计不受业务开发维护的影响，减少了关联分析过程的开发和测试周期。

针对于上一实施例的步骤S101，其中提到的关联分析规则的制定过程可以通过执行图2所示的步骤来实现，下面结合图2进行说明。

请参考图2，图2为本申请实施例所提供的另一种数据关联分析的方法的流程示意图。

其具体包括以下步骤：

S201：接收关联分析规则制定请求；

S202：根据关联分析规则制定请求确定待制定的关联分析规则的类型；

其中，关联分析规则的类型包括复杂类型。

可选的，该关联分析规则的类型还可以包括简单类型；当待制定的关联分析规则的类型为简单类型时，还可以根据关联分析规则制定请求确定规则语句，并将规则语句作为关联分析规则；

在一个具体实施例中，简单类型的关联分析规则可以是由一个简单的SQL语句构成，该SQL语句包含多个字段的定义，例如，可以利用FROM字段定义数据源、数据类型，WHERE字段定义待分析数据筛选条件，GROUPBY字段定义日志数据分组，HAVING定义筛选聚合结果条件，MATCH_RECOGNIZE字段定义多个子事件之间的关联条件等。

S203：当待制定的关联分析规则的类型为复杂类型时，根据关联分析规则制定请求确定至少两个规则语句以及规则语句之间的组合关系；

S204：按照组合关系将规则语句进行组合，得到关联分析规则；

这里提到的规则语句可以包括SQL语句和/或自定义函数，组合关系包括嵌套关系、上下级关系、叠加关系中的至少一项；

在一个具体实施例中，复杂类型的关联分析规则可以由多个简单的SQL语句组成，可以是嵌套的SQL语句表现形式，也可以是将多个单独SQL语句输出的数据流合并作为下一层SQL语句输入的数据源；

在一些其他的实施例中，复杂类型的关联分析规则还可以由SQL语句(该SQL语句可以为简单的SQL语句，还可以为嵌套的SQL语句，还可以为叠加的SQL语句)及自定义函数组成，在此不做限定。

可选的，当预设分析引擎为Flink引擎时，还可以利用Flink支持三种自定义函数，包含自定义标量函数(UDF)、自定义聚合函数(UDAF)和自定义表值函数(UDTF)，来完成对复杂类型的关联分析规则的制定，进而实现与业务相关的数据处理和算法等自定义函数。

下面介绍本申请提供的一种应用实施例，请参考图3，图3为本申请实施例所提供的一种数据关联分析框架的工作流程示意图。

如图3所示，该数据关联分析框架包括采集器、Logstash采集引擎、Kafka分布式消息队列、Flink引擎、数据后处理模块和数据库等组件，其中：

采集器用于实现待分析数据的审计收集、存储和转发，在该数据关联分析框架中可以支持多种类型的采集器；

Logstash采集引擎用于预先通过加载配置文件的方式和/或调用业务预处理插件的方式确定预处理方式，然后对多种采集器采集到的待分析数据进行数据接收和数据预处理，最终将预处理后的待分析数据输出到Kafka分布式消息队列中；

Kafka分布式消息队列用于接收Logstash采集引擎输出的待分析数据，并按不同的采集器类型划分对应的类别，并由Flink引擎订阅所需的类别进行关联分析；

Flink引擎先根据注册已实现的所有自定义函数，和/或，根据解析得到所有关联分析规则的SQL语句确定关联分析规则，当关联分析规则全部成功解析和环境初始化完成后，Flink引擎从Kafka分布式消息队列中获取待分析数据并进行分析，需要同时满足关联规则的所有筛选、聚合、统计、关联等条件，包含关联规则引用自定义函数实现的业务逻辑和算法检测等条件，将生成关联事件，并通过自定义事件输出接口将结果传递到下一个模块中，当待分析数据不满足关联规则任一条件时，将忽略当前待分析数据，继续匹配处理下一条待分析数据；

数据后处理模块接收Flink生成的关联事件数据，并进一步对数据进行处理和事件触发响应动作，然后将数据处理的结果写入数据库中，完成此次数据关联分析。

请参考图4，图4为本申请实施例所提供的一种数据关联分析的系统的结构示意图。

该系统可以包括：

第一接收模块100，用于接收数据关联分析请求，并根据数据关联分析请求确定待分析数据及关联分析规则；

加载及调用模块200，用于将关联分析规则加载至预设分析引擎中，并调用预设分析引擎对待分析数据进行关联分析，得到关联事件数据。

请参考图5，图5为本申请实施例所提供的另一种数据关联分析的系统的结构示意图。

该系统还可以包括：

第二接收模块，用于接收关联分析规则制定请求；

第一确定模块，用于根据关联分析规则制定请求确定待制定的关联分析规则的类型；其中，关联分析规则的类型复杂类型；

第二确定模块，用于当待制定的关联分析规则的类型为复杂类型时，根据关联分析规则制定请求确定至少两个规则语句以及规则语句之间的组合关系；

组合模块，用于按照组合关系将规则语句进行组合，得到关联分析规则；

其中，规则语句包括SQL语句和/或自定义函数，组合关系包括嵌套关系、上下级关系、叠加关系中的至少一项。

可选的，该关联分析规则的类型还可以包括简单类型；该系统还可以包括：

第三确定模块，用于当待制定的关联分析规则的类型为简单类型时，根据关联分析规则制定请求确定规则语句，并将规则语句作为关联分析规则。

该系统还可以包括：

预处理模块，用于在根据数据关联分析请求确定待分析数据及关联分析规则之后，在调用预设分析引擎对待分析数据进行关联分析，得到关联事件数据之前，对待分析数据进行预处理；

该加载及调用模块200对应可以包括：

调用子模块，用于调用预设分析引擎对预处理后的待分析数据进行关联分析，得到关联事件数据。

可选的，该预处理模块可以包括：

接收子模块，用于接收输入的规则配置文件；

确定子模块，用于根据规则配置文件确定对应的预处理规则；其中，预处理规则包括解码规则、字段解析规则、条件过滤筛选规则、数据清洗规则、格式转化规则、编码规则中的至少一项；

第一预处理子模块，用于依据预处理规则对待分析数据进行对应的预处理。

可选的，该预处理模块200也可以包括：

第二预处理子模块，用于根据数据关联分析请求从预设存储空间中调用对应的预处理插件对待分析数据进行预处理；

其中，预处理插件包括输入插件、编码解码插件、数据处理插件、输出插件、分类插件中的至少一项。

该系统还可以包括：

判断模块，用于在将关联分析规则加载至预设分析引擎中之前，判断是否接收到关联分析规则更改请求；

加载模块，用于当接收到关联分析规则更改请求时，根据关联分析规则更改请求确定新关联分析规则，并将新关联分析规则加载至预设分析引擎中；

第一执行模块，用于当未接收到关联分析规则更改请求时，执行将关联分析规则加载至预设分析引擎中的步骤。

该系统还可以包括：

第三接收模块，用于在得到关联事件数据之后，接收数据处理请求；

第二执行模块，用于执行数据处理请求对关联事件数据进行处理，并将得到的处理结果写入数据库中。

由于系统部分的实施例与方法部分的实施例相互对应，因此系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

请参考图6，图6为本申请实施例所提供的一种数据关联分析设备的结构示意图。

该数据关联分析设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)622(例如，一个或一个以上处理器)和存储器632，一个或一个以上存储应用程序642或数据644的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器632和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对装置中的一系列指令操作。更进一步地，处理器622可以设置为与存储介质630通信，在数据关联分析设备600上执行存储介质630中的一系列指令操作。

数据关联分析设备600还可以包括一个或一个以上电源626，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口658，和/或，一个或一个以上操作系统641，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述图1至图3所描述的数据关联分析的方法中的步骤由数据关联分析设备基于该图6所示的结构实现。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置、设备和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，功能调用装置，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上对本申请所提供的一种数据关联分析的方法、系统、设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (11)

1.一种数据关联分析的方法，其特征在于，包括：

接收数据关联分析请求，并根据所述数据关联分析请求确定待分析数据及关联分析规则；

将所述关联分析规则加载至预设分析引擎中，并调用所述预设分析引擎对所述待分析数据进行关联分析，得到关联事件数据。

2.根据权利要求1所述的方法，其特征在于，还包括：

接收关联分析规则制定请求；

根据所述关联分析规则制定请求确定待制定的关联分析规则的类型，所述关联分析规则的类型包括复杂类型；

当所述待制定的关联分析规则的类型为所述复杂类型时，根据所述关联分析规则制定请求确定至少两个规则语句以及所述规则语句之间的组合关系；

按照所述组合关系将所述规则语句进行组合，得到所述关联分析规则；

其中，所述规则语句包括SQL语句和/或自定义函数，所述组合关系包括嵌套关系、上下级关系、叠加关系中的至少一项。

3.根据权利要求2所述的方法，其特征在于，所述关联分析规则的类型包括简单类型；

当所述待制定的关联分析规则的类型为所述简单类型时，根据所述关联分析规则制定请求确定所述规则语句，并将所述规则语句作为所述关联分析规则。

4.根据权利要求1所述的方法，其特征在于，在根据所述数据关联分析请求确定待分析数据及关联分析规则之后，在调用所述预设分析引擎对所述待分析数据进行关联分析，得到关联事件数据之前，还包括：

对所述待分析数据进行预处理；

调用所述预设分析引擎对所述待分析数据进行关联分析，得到关联事件数据，对应包括：

调用所述预设分析引擎对预处理后的待分析数据进行关联分析，得到所述关联事件数据。

5.根据权利要求4所述的方法，其特征在于，对所述待分析数据进行预处理，包括：

接收输入的规则配置文件；

根据所述规则配置文件确定对应的预处理规则；其中，所述预处理规则包括解码规则、字段解析规则、条件过滤筛选规则、数据清洗规则、格式转化规则、编码规则中的至少一项；

依据所述预处理规则对所述待分析数据进行对应的预处理。

6.根据权利要求4所述的方法，其特征在于，对所述待分析数据进行预处理，包括：

根据所述数据关联分析请求从预设存储空间中调用对应的预处理插件对所述待分析数据进行预处理；

其中，所述预处理插件包括输入插件、编码解码插件、数据处理插件、输出插件、分类插件中的至少一项。

7.根据权利要求1所述的方法，其特征在于，在将所述关联分析规则加载至预设分析引擎中之前，还包括：

判断是否接收到关联分析规则更改请求；

若是，则根据所述关联分析规则更改请求确定新关联分析规则，并将所述新关联分析规则加载至所述预设分析引擎中；

若否，则执行将所述关联分析规则加载至预设分析引擎中的步骤。

8.根据权利要求1所述的方法，其特征在于，在得到关联事件数据之后，还包括：

接收数据处理请求；

执行所述数据处理请求对所述关联事件数据进行处理，并将得到的处理结果写入数据库中。

9.一种数据关联分析的系统，其特征在于，包括：

第一接收模块，用于接收数据关联分析请求，并根据所述数据关联分析请求确定待分析数据及关联分析规则；

加载及调用模块，用于将所述关联分析规则加载至预设分析引擎中，并调用所述预设分析引擎对所述待分析数据进行关联分析，得到关联事件数据。

10.一种数据关联分析设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至8任一项所述数据关联分析的方法的步骤。

11.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述数据关联分析的方法的步骤。

Images