CN113297148B - 业务日志数据的采集方法、装置、设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种业务日志数据的采集方法，应用于采集系统，该方法包括以下步骤：对接收到的日志数据采集请求进行解析，得到待日志数据采集的目标客户端；按照通用化模板对目标客户端进行网络对接，得到对接完成后的目标通信链路；利用目标通信链路对目标客户端进行日志数据采集，得到原始业务日志数据；利用通用化模板对原始业务日志数据进行数据格式转换，得到预置统一数据格式的目标业务日志数据。应用本发明所提供的业务日志数据的采集方法，实现了对客户端的有效对接，提高了业务日志数据采集的通用性，降低了系统维护难度。本发明还公开了一种业务日志数据的采集装置、设备及存储介质，具有相应技术效果。

Description

业务日志数据的采集方法、装置、设备及可读存储介质

技术领域

本发明涉及网络安全技术领域，特别是涉及一种业务日志数据的采集方法、装置、设备及计算机可读存储介质。

背景技术

互联网的使用越来越普遍，互联网不仅成为企业内部的沟通桥梁，也是企业客户端和外部进行各类业务往来的重要管道。为保证客户端数据的安全性，需要对客户端进行监控。

现有技术中对客户端的监控方式主要为两种，一种是通过代理(agent)监控方式，通过在客户端主机上植入代理客户端，监控系统的进程等服务信息。另一种是通过系统日志(syslog)外发系统，将客户端日志外发到一个统一平台，进行集中管理。

但是，上述两种客户端监控方式均存在各自的缺点，首先，代理技术并不能满足安全产品业务数据的监测需求，只能监测一些系统程序的基本状态、流量等外部数据，无法深入到业务层采集客户端的业务日志数据。其次，系统日志外发系统只是日志外发，还需要专门的系统进行统一管理，而且各个业务之间日志格式报文均不一致，需要专门做对接适配，工作量大繁琐，不利于系统整体维护。

综上所述，如何有效地解决现有的客户端监控方式无法深入到业务层采集客户端的业务日志数据，工作量大且繁琐，不利于系统整体维护等问题，是目前本领域技术人员急需解决的问题。

发明内容

本发明的目的是提供一种业务日志数据的采集方法，该方法实现了对客户端的有效对接，提高了业务日志数据采集的通用性，降低了系统维护难度；本发明的另一目的是提供一种业务日志数据的采集装置、设备及计算机可读存储介质。

为解决上述技术问题，本发明提供如下技术方案：

一种业务日志数据的采集方法，应用于采集系统，包括：

对接收到的日志数据采集请求进行解析，得到待日志数据采集的目标客户端；

按照通用化模板对所述目标客户端进行网络对接，得到对接完成后的目标通信链路；

利用所述目标通信链路对所述目标客户端进行日志数据采集，得到原始业务日志数据；

利用所述通用化模板对所述原始业务日志数据进行数据格式转换，得到预置统一数据格式的目标业务日志数据。

在本发明的一种具体实施方式中，按照通用化模板对所述目标客户端进行网络对接，包括：

采集所述目标客户端的组件配置信息和数据流结构；

按照所述通用化模板基于所述组件配置信息和所述数据流结构对所述目标客户端进行网络对接。

在本发明的一种具体实施方式中，按照所述通用化模板基于所述组件配置信息和所述数据流结构对所述目标客户端进行网络对接，包括：

利用预置于所述目标客户端的嵌入式中间服务，按照所述通用化模板基于所述组件配置信息和所述数据流结构对所述目标客户端进行网络对接。

在本发明的一种具体实施方式中，按照所述通用化模板基于所述组件配置信息和所述数据流结构对所述目标客户端进行网络对接，包括：

利用第三方中间件服务，按照所述通用化模板基于所述组件配置信息和所述数据流结构对所述目标客户端进行网络对接。

在本发明的一种具体实施方式中，利用所述通用化模板对所述原始业务日志数据进行数据格式转换，包括：

采集所述目标客户端的数据格式信息；

判断所述数据格式信息是否为所述预置统一数据格式；

若否，则从所述通用化模板中查找所述数据格式信息对应的目标数据转换规则，并按照所述目标数据转换规则对所述原始业务日志数据进行数据格式转化。

在本发明的一种具体实施方式中，对接收到的日志数据采集请求进行解析，得到待日志数据采集的目标客户端，包括：

对接收到的日志数据采集请求进行解析，得到待日志数据采集的目标客户端和待采集业务日志数据所属的目标数据类型；

在得到原始业务日志数据之后，利用所述通用化模板对所述原始业务日志数据进行数据格式转换之前，还包括：

根据所述目标数据类型对所述原始业务日志数据进行过滤操作，得到过滤后业务日志数据；

利用所述通用化模板对所述原始业务日志数据进行数据格式转换，包括：

利用所述通用化模板对所述过滤后业务日志数据进行数据格式转换。

在本发明的一种具体实施方式中，在得到预置统一数据格式的目标业务日志数据之后，还包括：

对所述目标业务日志数据进行持久化，得到持久化业务日志数据；

将所述持久化业务日志数据存储至数据库及缓存中，以供数据接口服务中心进行业务日志数据查询。

一种业务日志数据的采集装置，应用于采集系统，包括：

请求解析模块，用于对接收到的日志数据采集请求进行解析，得到待日志数据采集的目标客户端；

网络对接模块，用于按照通用化模板对所述目标客户端进行网络对接，得到对接完成后的目标通信链路；

日志采集模块，用于利用所述目标通信链路对所述目标客户端进行日志数据采集，得到原始业务日志数据；

格式转化模块，用于利用所述通用化模板对所述原始业务日志数据进行数据格式转换，得到预置统一数据格式的目标业务日志数据。

一种业务日志数据的采集设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如前所述业务日志数据的采集方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述业务日志数据的采集方法的步骤。

本发明所提供的业务日志数据的采集方法，应用于采集系统，包括：对接收到的日志数据采集请求进行解析，得到待日志数据采集的目标客户端；按照通用化模板对目标客户端进行网络对接，得到对接完成后的目标通信链路；利用目标通信链路对目标客户端进行日志数据采集，得到原始业务日志数据；利用通用化模板对原始业务日志数据进行数据格式转换，得到预置统一数据格式的目标业务日志数据。

由上述技术方案可知，通过预先构建通用化模板，利用通用化模板将采集系统与目标客户端进行网络对接，并在采集到原始业务日志数据之后，利用通用化模板对原始业务日志数据进行数据格式转换，从而得到预置统一数据格式的目标业务日志数据。实现了对客户端的有效对接，提高了业务日志数据采集的通用性，较大地减轻了工作量，降低了系统维护难度。

相应的，本发明还提供了与上述业务日志数据的采集方法相对应的业务日志数据的采集装置、设备和计算机可读存储介质，具有上述技术效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中业务日志数据的采集方法的一种实施流程图；

图2为本发明实施例中业务日志数据的采集方法的另一种实施流程图；

图3为本发明实施例中一种业务日志数据的采集装置的结构框图；

图4为本发明实施例中一种业务日志数据的采集设备的结构框图；

图5为本实施例提供的一种业务日志数据的采集设备的具体结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，图1为本发明实施例中业务日志数据的采集方法的一种实施流程图，应用于采集系统，该方法可以包括以下步骤：

S101：对接收到的日志数据采集请求进行解析，得到待日志数据采集的目标客户端。

当需要采集目标客户端的业务日志数据时，请求端生成日志数据采集请求，日志数据采集请求中包含待日志数据采集的目标客户端。请求端向采集系统发送日志数据采集请求，采集系统接收日志数据采集请求，并对接收到的日志数据采集请求进行解析，得到待日志数据采集的目标客户端。

目标客户端可以为任意一个需要进行业务日志数据监控的客户端。请求端可以为监控中心。

S102：按照通用化模板对目标客户端进行网络对接，得到对接完成后的目标通信链路。

预先构建通用化模板，在解析得到目标客户端，按照通用化模板对目标客户端进行网络对接，得到对接完成后的目标通信链路。如通用化模板中可以包含各种网络对接规则，确定目标客户端与采集系统进行网络对接所需的网络对接规则，按照相应的网络对接规则进行网络对接，得到对接完成后的目标通信链路。

S103：利用目标通信链路对目标客户端进行日志数据采集，得到原始业务日志数据。

采集系统在进行网络对接，得到与目标客户端的目标通信链路之后，利用目标通信链路对目标客户端进行日志数据采集，得到原始业务日志数据。原始业务日志数据的数据格式为目标客户端的数据格式，原始业务日志数据可以包含流量数据、攻击数据、正常访问数据等。

S104：利用通用化模板对原始业务日志数据进行数据格式转换，得到预置统一数据格式的目标业务日志数据。

由于原始业务日志数据的数据格式为目标客户端的数据格式，目标客户端的数据格式与采集系统的数据格式可能不一致，因此预先设置统一数据格式，在采集得到原始业务日志数据之后，利用通用化模板对原始业务日志数据进行数据格式转换，得到预置统一数据格式的目标业务日志数据，从而采集系统能够对目标业务日志数据进行识别并处理。通过预先构建通用化模板，利用通用化模板将采集系统与目标客户端进行网络对接，并按照标准的预置统一数据格式对原始业务日志数据进行数据格式转换，实现了对客户端的有效对接，方便采集系统对各客户端的统一管理对接，提高了业务日志数据采集的通用性，实现了多种场景的适配，能够对客户端业务日志数据进行全流程采集，全流程监控，较大地减轻了工作量，降低了系统维护难度。

由上述技术方案可知，通过预先构建通用化模板，利用通用化模板将采集系统与目标客户端进行网络对接，并在采集到原始业务日志数据之后，利用通用化模板对原始业务日志数据进行数据格式转换，从而得到预置统一数据格式的目标业务日志数据。实现了对客户端的有效对接，提高了业务日志数据采集的通用性，较大地减轻了工作量，降低了系统维护难度。

需要说明的是，基于上述实施例，本发明实施例还提供了相应的改进方案。在后续实施例中涉及与上述实施例中相同步骤或相应步骤之间可相互参考，相应的有益效果也可相互参照，在下文的改进实施例中不再一一赘述。

参见图2，图2为本发明实施例中业务日志数据的采集方法的另一种实施流程图，应用于采集系统，该方法可以包括以下步骤：

S201：对接收到的日志数据采集请求进行解析，得到待日志数据采集的目标客户端和待采集业务日志数据所属的目标数据类型。

日志数据采集请求中还包含待采集业务日志数据所属的目标数据类型。采集系统在接收到日志数据采集请求之后，通过对接收到的日志数据采集请求进行解析，得到待日志数据采集的目标客户端和待采集业务日志数据所属的目标数据类型。

目标数据类型可以包括访问数据、攻击数据等。

S202：采集目标客户端的组件配置信息和数据流结构。

不同的客户端的组件配置信息和数据流结构可能不同，在解析得到目标客户端之后，采集目标客户端的组件配置信息和数据流结构。

组件配置信息可以包括通信协议信息、端口类型信息等。数据流结构可以包括变换型数据流和事务型数据流。

S203：按照通用化模板基于组件配置信息和数据流结构对目标客户端进行网络对接，得到对接完成后的目标通信链路。

通用化模板中包含根据组件配置信息和数据流结构进行网络对接的对接规则，在采集得到目标客户端的组件配置信息和数据流结构之后，按照通用化模板基于组件配置信息和数据流结构对目标客户端进行网络对接，得到对接完成后的目标通信链路，从而根据目标客户端自身的网络结构选择相应的网络配置，将目标客户端成功接入至采集系统。

在本发明的一种具体实施方式中，步骤S203可以包括以下步骤：

利用预置于目标客户端的嵌入式中间服务，按照通用化模板基于组件配置信息和数据流结构对目标客户端进行网络对接。

当中间服务与目标客户端兼容时，可以预先在目标客户端中部署嵌入式中间服务，利用预置于目标客户端的嵌入式中间服务，按照通用化模板基于组件配置信息和数据流结构对目标客户端进行网络对接，从而打通目标客户端与采集系统之间的通信连接。

在本发明的一种具体实施方式中，步骤S203可以包括以下步骤：

利用第三方中间件服务，按照通用化模板基于组件配置信息和数据流结构对目标客户端进行网络对接。

当中间服务与目标客户端不兼容时，还可以预先设置第三方中间件服务，利用第三方中间件服务，按照通用化模板基于组件配置信息和数据流结构对目标客户端进行网络对接。

S204：利用目标通信链路对目标客户端进行日志数据采集，得到原始业务日志数据。

S205：根据目标数据类型对原始业务日志数据进行过滤操作，得到过滤后业务日志数据。

在解析得到待采集业务日志数据所属的目标数据类型之后，根据目标数据类型按照相应的数据请求逻辑对原始业务日志数据进行过滤操作，得到过滤后业务日志数据。如当待采集业务日志数据的数据类型为攻击数据时，可以将除攻击数据之外的其他数据进行过滤，从而保证过滤后业务日志数据只包含攻击数据，避免了数据干扰，方便后续的数据分析。

S206：采集目标客户端的数据格式信息。

不同客户端的数据格式不同，采集目标客户端的数据格式信息。

S207：判断数据格式信息是否为预置统一数据格式，若否，则执行步骤S208，若是，则执行步骤S209。

在采集到目标客户端的数据格式信息之后，判断数据格式信息是否为预置统一数据格式，若否，则说明目标客户端的数据格式与采集系统的数据格式不兼容，需要进行数据格式转换，执行步骤S208，若是，则说明目标客户端的数据格式与采集系统的数据格式兼容，不需要进行数据格式转换，执行步骤S209。

S208：从通用化模板中查找数据格式信息对应的目标数据转换规则，并按照目标数据转换规则对过滤后业务日志数据进行数据格式转化，得到预置统一数据格式的目标业务日志数据。

通用化模板中包含各数据格式信息分别与预置统一数据格式的数据转换规则，在确定目标客户端的数据格式信息不为预置统一数据格式时，说明目标客户端的数据格式与采集系统的数据格式不兼容，从通用化模板中查找数据格式信息对应的目标数据转换规则，并按照目标数据转换规则对过滤后业务日志数据进行数据格式转化，得到预置统一数据格式的目标业务日志数据。

S209：将过滤后业务日志数据确定为目标业务日志数据。

当确定目标客户端的数据格式信息为预置统一数据格式时，说明目标客户端的数据格式与采集系统的数据格式兼容，不需要进行数据格式转换，将过滤后业务日志数据确定为目标业务日志数据。

S210：对目标业务日志数据进行持久化，得到持久化业务日志数据。

在得到预置统一数据格式的目标业务日志数据之后，对目标业务日志数据进行持久化，得到持久化业务日志数据。通过对目标业务日志数据进行持久化，增强了目标业务日志数据的重用性，提高了目标业务日志数据的可读性，减少了对数据库的访问量，提高了系统效率。

S211：将持久化业务日志数据存储至数据库及缓存中，以供数据接口服务中心进行业务日志数据查询。

在得到持久化业务日志数据之后，将持久化业务日志数据存储至数据库及缓存中，并预先设置数据接口服务中心，用于负责对外提供数据查询服务，方便请求端通过数据接口服务中心进行业务日志数据查询，提高了业务日志数据的查询效率。

相应于上面的方法实施例，本发明还提供了一种业务日志数据的采集装置，下文描述的业务日志数据的采集装置与上文描述的业务日志数据的采集方法可相互对应参照。

参见图3，图3为本发明实施例中一种业务日志数据的采集装置的结构框图，应用于采集系统，该装置可以包括：

请求解析模块31，用于对接收到的日志数据采集请求进行解析，得到待日志数据采集的目标客户端；

网络对接模块32，用于按照通用化模板对目标客户端进行网络对接，得到对接完成后的目标通信链路；

日志采集模块33，用于利用目标通信链路对目标客户端进行日志数据采集，得到原始业务日志数据；

格式转化模块34，用于利用通用化模板对原始业务日志数据进行数据格式转换，得到预置统一数据格式的目标业务日志数据。

由上述技术方案可知，通过预先构建通用化模板，利用通用化模板将采集系统与目标客户端进行网络对接，并在采集到原始业务日志数据之后，利用通用化模板对原始业务日志数据进行数据格式转换，从而得到预置统一数据格式的目标业务日志数据。实现了对客户端的有效对接，提高了业务日志数据采集的通用性，较大地减轻了工作量，降低了系统维护难度。

在本发明的一种具体实施方式中，网络对接模块32包括：

信息采集子模块，用于采集目标客户端的组件配置信息和数据流结构；

网络对接子模块，用于按照通用化模板基于组件配置信息和数据流结构对目标客户端进行网络对接。

在本发明的一种具体实施方式中，网络对接子模块具体为利用预置于目标客户端的嵌入式中间服务，按照通用化模板基于组件配置信息和数据流结构对目标客户端进行网络对接的模块。

在本发明的一种具体实施方式中，网络对接子模块具体为利用第三方中间件服务，按照通用化模板基于组件配置信息和数据流结构对目标客户端进行网络对接的模块。

在本发明的一种具体实施方式中，格式转化模块34包括：

格式信息采集子模块，用于采集目标客户端的数据格式信息；

判断子模块，用于判断数据格式信息是否为预置统一数据格式；

格式转化子模块，用于当数据格式信息不是预置统一数据格式时，从通用化模板中查找数据格式信息对应的目标数据转换规则，并按照目标数据转换规则对原始业务日志数据进行数据格式转化。

在本发明的一种具体实施方式中，请求解析模块31具体为对接收到的日志数据采集请求进行解析，得到待日志数据采集的目标客户端和待采集业务日志数据所属的目标数据类型的模块；

该装置还可以包括：

数据过滤模块，用于根据目标数据类型对原始业务日志数据进行过滤操作，得到过滤后业务日志数据；

格式转化模块34具体为利用通用化模板对过滤后业务日志数据进行数据格式转换的模块。

在本发明的一种具体实施方式中，该装置还可以包括：

数据持久化模块，用于在得到预置统一数据格式的目标业务日志数据之后，对目标业务日志数据进行持久化，得到持久化业务日志数据；

数据存储模块，用于将持久化业务日志数据存储至数据库及缓存中，以供数据接口服务中心进行业务日志数据查询。

相应于上面的方法实施例，参见图4，图4为本发明所提供的业务日志数据的采集设备的示意图，该设备可以包括：

存储器332，用于存储计算机程序；

处理器322，用于执行计算机程序时实现上述方法实施例的业务日志数据的采集方法的步骤。

具体的，请参考图5，图5为本实施例提供的一种业务日志数据的采集设备的具体结构示意图，该业务日志数据的采集设备可因配置或性能不同而产生比较大的差异，可以包括处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，存储器332存储有一个或一个以上的计算机应用程序342或数据344。其中，存储器332可以是短暂存储或持久存储。存储在存储器332的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，处理器322可以设置为与存储器332通信，在业务日志数据的采集设备301上执行存储器332中的一系列指令操作。

业务日志数据的采集设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341。

上文所描述的业务日志数据的采集方法中的步骤可以由业务日志数据的采集设备的结构实现。

相应于上面的方法实施例，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下步骤：

对接收到的日志数据采集请求进行解析，得到待日志数据采集的目标客户端；按照通用化模板对目标客户端进行网络对接，得到对接完成后的目标通信链路；利用目标通信链路对目标客户端进行日志数据采集，得到原始业务日志数据；利用通用化模板对原始业务日志数据进行数据格式转换，得到预置统一数据格式的目标业务日志数据。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

对于本发明提供的计算机可读存储介质的介绍请参照上述方法实施例，本发明在此不做赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (9)

1.一种业务日志数据的采集方法，其特征在于，应用于采集系统，包括：

对接收到的日志数据采集请求进行解析，得到待日志数据采集的目标客户端；

按照通用化模板对所述目标客户端进行网络对接，得到对接完成后的目标通信链路；

利用所述目标通信链路对所述目标客户端进行日志数据采集，得到原始业务日志数据；其中，所述原始业务日志数据包括流量数据、攻击数据、正常访问数据；

利用所述通用化模板对所述原始业务日志数据进行数据格式转换，得到预置统一数据格式的目标业务日志数据；

其中，所述对接收到的日志数据采集请求进行解析，得到待日志数据采集的目标客户端，包括：

对接收到的日志数据采集请求进行解析，得到待日志数据采集的目标客户端和待采集业务日志数据所属的目标数据类型；

在得到原始业务日志数据之后，利用所述通用化模板对所述原始业务日志数据进行数据格式转换之前，还包括：

根据所述目标数据类型对所述原始业务日志数据进行过滤操作，得到过滤后业务日志数据；

利用所述通用化模板对所述原始业务日志数据进行数据格式转换，包括：

利用所述通用化模板对所述过滤后业务日志数据进行数据格式转换。

2.根据权利要求1所述的业务日志数据的采集方法，其特征在于，按照通用化模板对所述目标客户端进行网络对接，包括：

采集所述目标客户端的组件配置信息和数据流结构；

按照所述通用化模板基于所述组件配置信息和所述数据流结构对所述目标客户端进行网络对接。

3.根据权利要求2所述的业务日志数据的采集方法，其特征在于，按照所述通用化模板基于所述组件配置信息和所述数据流结构对所述目标客户端进行网络对接，包括：

利用预置于所述目标客户端的嵌入式中间服务，按照所述通用化模板基于所述组件配置信息和所述数据流结构对所述目标客户端进行网络对接。

4.根据权利要求2所述的业务日志数据的采集方法，其特征在于，按照所述通用化模板基于所述组件配置信息和所述数据流结构对所述目标客户端进行网络对接，包括：

利用第三方中间件服务，按照所述通用化模板基于所述组件配置信息和所述数据流结构对所述目标客户端进行网络对接。

5.根据权利要求1所述的业务日志数据的采集方法，其特征在于，利用所述通用化模板对所述原始业务日志数据进行数据格式转换，包括：

采集所述目标客户端的数据格式信息；

判断所述数据格式信息是否为所述预置统一数据格式；

若否，则从所述通用化模板中查找所述数据格式信息对应的目标数据转换规则，并按照所述目标数据转换规则对所述原始业务日志数据进行数据格式转化。

6.根据权利要求1所述的业务日志数据的采集方法，其特征在于，在得到预置统一数据格式的目标业务日志数据之后，还包括：

对所述目标业务日志数据进行持久化，得到持久化业务日志数据；

将所述持久化业务日志数据存储至数据库及缓存中，以供数据接口服务中心进行业务日志数据查询。

7.一种业务日志数据的采集装置，其特征在于，应用于采集系统，包括：

请求解析模块，用于对接收到的日志数据采集请求进行解析，得到待日志数据采集的目标客户端；

网络对接模块，用于按照通用化模板对所述目标客户端进行网络对接，得到对接完成后的目标通信链路；

日志采集模块，用于利用所述目标通信链路对所述目标客户端进行日志数据采集，得到原始业务日志数据；其中，所述原始业务日志数据包括流量数据、攻击数据、正常访问数据；

格式转化模块，用于利用所述通用化模板对所述原始业务日志数据进行数据格式转换，得到预置统一数据格式的目标业务日志数据

其中，所述请求解析模块具体为对接收到的日志数据采集请求进行解析，得到待日志数据采集的目标客户端和待采集业务日志数据所属的目标数据类型的模块；

所述装置还包括：

数据过滤模块，用于根据目标数据类型对原始业务日志数据进行过滤操作，得到过滤后业务日志数据；

格式转化模块具体为利用通用化模板对过滤后业务日志数据进行数据格式转换的模块。

8.一种业务日志数据的采集设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述业务日志数据的采集方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述业务日志数据的采集方法的步骤。

Images