CN111680016A - 分布式服务器集群日志数据处理方法、装置及系统 - Google Patents
分布式服务器集群日志数据处理方法、装置及系统 Download PDFInfo
- Publication number
- CN111680016A CN111680016A CN202010469177.1A CN202010469177A CN111680016A CN 111680016 A CN111680016 A CN 111680016A CN 202010469177 A CN202010469177 A CN 202010469177A CN 111680016 A CN111680016 A CN 111680016A
- Authority
- CN
- China
- Prior art keywords
- log
- service
- data
- service log
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 254
- 239000012634 fragment Substances 0.000 claims abstract description 184
- 238000007781 pre-processing Methods 0.000 claims abstract description 127
- 238000004458 analytical method Methods 0.000 claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000001914 filtration Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000012856 packing Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004806 packaging method and process Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013467 fragmentation Methods 0.000 claims description 2
- 238000006062 fragmentation reaction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 4
- 239000000872 buffer Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000002035 prolonged effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012858 packaging process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请实施例提供一种分布式服务器集群日志数据处理方法、装置及系统，方法包括：获取初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段；根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析；本申请能够充分利用日志采集端的边缘计算能力，提高日志采集处理过程中的效率和准确性。
Description
技术领域
本申请涉及计算机技术领域，具体涉及一种分布式服务器集群日志数据处理方法、装置及系统。
背景技术
随着社会信息化程度越来越高，业务系统数据处理量越来越大，分布式微服务架构成为当前系统建设普遍采用的架构模式。为了提高系统的处理性能和可靠性，业务系统被分布式部署在数量庞大的服务器集群中。分布式部署带来性能提升的同时，也给系统运维带来了新的挑战。
现有技术中的日志采集处理模式为分布式采集或集中处理，即在每台服务器都部署日志采集程序，采集日志后统一将日志发送到Kafka消息服务器，服务端通过流式处理程序Spark、Flink从Kafka中不断读取采集过来的日志，经过解析和计算后，存储到后端存储中，如HIVE、ES、HDFS等。
发明人发现，在现有技术中，日志采集端只负责采集日志，并将日志发送到服务器端，所有计算都在服务器端运行，由于所有逻辑后移到服务端，增加了服务器端计算负载，延长了计算时间，而且采集端所有日志都需要采集到服务端集中处理，其中包含了太多无用的信息，无用的信息将大量占用网络传输资源。
发明内容
针对现有技术中的问题，本申请提供一种分布式服务器集群日志数据处理方法、装置及系统，能够充分利用日志采集端的边缘计算能力，提高日志采集处理过程中的效率和准确性。
为了解决上述问题中的至少一个，本申请提供以下技术方案：
第一方面，本申请提供一种分布式服务器集群日志数据处理方法，包括：
获取初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段；
根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析。
进一步地，所述根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段，包括：
确定所述初始日志数据中的起始标识符和对应的终止标识符；
将所述起始标识符和所述终止标识符之间的初始日志数据设定为业务日志片段。
进一步地，在所述根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理之前，包括：
根据所述业务日志片段的业务类型，确定对应的日志解析规则；
根据所述日志解析规则对所述业务日志片段进行数据指标提取，得到对应的业务数据指标。
进一步地，所述根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，包括：
根据预设键值对格式对所述业务日志片段的业务数据指标进行数据格式转换，得到经过所述数据格式转换后的业务日志片段。
进一步地，所述根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，包括：
根据预设特征指标过滤规则对所述业务日志片段中的业务数据指标进行数据过滤处理，得到经过所述数据过滤处理后的业务日志片段。
进一步地，所述根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，包括：
根据用户发送的数据编辑指令和预设数值编辑方法对所述业务日志片段中的业务数据指标进行数值编辑处理，得到经过所述数值编辑处理后的业务日志片段。
进一步地，所述根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，包括：
根据预设数据统计规则对所述业务日志片段中的业务数据指标进行数据统计，得到对应的数据统计结果。
进一步地，所述将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析，包括：
对经过所述数据预处理后的业务日志片段进行数据打包处理，并将经过所述数据打包处理后的业务日志片段发送至所述业务处理服务器的业务日志处理队列，以使所述业务处理服务器依次对所述业务日志处理队列中的业务日志片段进行对应的业务日志分析。
第二方面，本申请还提供一种分布式服务器集群日志数据处理方法，包括：
接收分布式服务器集群中各日志采集服务器发送的业务日志片段，其中，所述业务日志片段是所述日志采集服务器根据预设业务日志划分规则对获取到的初始日志数据进行业务片段划分之后，根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理后得到的；
根据所述业务日志片段进行对应的业务日志分析。
进一步地，所述根据所述业务日志片段进行对应的业务日志分析，包括：
依次对业务日志处理队列中的业务日志片段进行对应的业务日志分析，其中，所述业务日志处理队列包括各日志采集服务器发送的业务日志片段。
第三方面，本申请提供一种分布式服务器集群日志数据处理装置，包括：
业务日志片段划分模块，用于获取初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段；
业务日志片段预处理模块，用于根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析。
进一步地，所述业务日志片段划分模块包括：
标识符确定单元，用于确定所述初始日志数据中的起始标识符和对应的终止标识符；
业务日志片段确定单元，用于将所述起始标识符和所述终止标识符之间的初始日志数据设定为业务日志片段。
进一步地，还包括：
日志解析规则确定单元，用于根据所述业务日志片段的业务类型，确定对应的日志解析规则；
业务数据指标提取单元，用于根据所述日志解析规则对所述业务日志片段进行数据指标提取，得到对应的业务数据指标。
进一步地，所述业务日志片段预处理模块包括：
格式归一化单元，用于根据预设键值对格式对所述业务日志片段的业务数据指标进行数据格式转换，得到经过所述数据格式转换后的业务日志片段。
进一步地，所述业务日志片段预处理模块包括：
数据过滤单元，用于根据预设特征指标过滤规则对所述业务日志片段中的业务数据指标进行数据过滤处理，得到经过所述数据过滤处理后的业务日志片段。
进一步地，所述业务日志片段预处理模块包括：
数据编辑单元，用于根据用户发送的数据编辑指令和预设数值编辑方法对所述业务日志片段中的业务数据指标进行数值编辑处理，得到经过所述数值编辑处理后的业务日志片段。
进一步地，所述业务日志片段预处理模块包括：
数据统计单元，用于根据预设数据统计规则对所述业务日志片段中的业务数据指标进行数据统计，得到对应的数据统计结果。
进一步地，所述业务日志片段预处理模块包括：
数据打包发送单元，用于对经过所述数据预处理后的业务日志片段进行数据打包处理，并将经过所述数据打包处理后的业务日志片段发送至所述业务处理服务器的业务日志处理队列，以使所述业务处理服务器依次对所述业务日志处理队列中的业务日志片段进行对应的业务日志分析。
第四方面，本申请还提供一种分布式服务器集群日志数据处理装置，包括：
业务日志片段接收模块，用于接收分布式服务器集群中各日志采集服务器发送的业务日志片段，其中，所述业务日志片段是所述日志采集服务器根据预设业务日志划分规则对获取到的初始日志数据进行业务片段划分之后，根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理后得到的；
业务日志片段分析模块，用于根据所述业务日志片段进行对应的业务日志分析。
进一步地，所述业务日志片段分析模块包括：
任务队列处理单元，用于依次对业务日志处理队列中的业务日志片段进行对应的业务日志分析，其中，所述业务日志处理队列包括各日志采集服务器发送的业务日志片段。
第五方面，本申请提供一种分布式服务器集群日志数据处理系统，包括分布式服务器集群中的日志采集服务器和业务处理服务器，所述日志采集服务器包括：
业务日志片段划分模块，用于获取初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段；
业务日志片段预处理模块，用于根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析；
所述业务处理服务器包括：
业务日志片段接收模块，用于接收所述日志采集服务器发送的业务日志片段；
业务日志片段分析模块，用于根据所述业务日志片段进行对应的业务日志分析。
第六方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的分布式服务器集群日志数据处理方法的步骤。
第七方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的分布式服务器集群日志数据处理方法的步骤。
由上述技术方案可知，本申请提供一种分布式服务器集群日志数据处理方法、装置及系统，通过分布式服务器集群中的日志采集服务器获取各自的初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段，然后根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析，本申请能够充分利用分布式服务器集群中各个日志采集服务器的边缘计算能力，提前从繁杂无序的海量初始日志数据中将对应各个不同业务的业务日志片段提取出来，并进行数据预处理操作，将经过数据预处理操作的业务日志片段发送至分布式服务器集群中的业务处理服务器后，能够有效提高业务日志的后续分析处理效率和准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中的分布式服务器集群日志数据处理方法的流程示意图之一；
图2为本申请实施例中的分布式服务器集群日志数据处理方法的流程示意图之二；
图3为本申请实施例中的分布式服务器集群日志数据处理方法的流程示意图之三；
图4为本申请实施例中的分布式服务器集群日志数据处理方法的流程示意图之四；
图5为本申请实施例中的分布式服务器集群日志数据处理装置的结构图之一；
图6为本申请实施例中的分布式服务器集群日志数据处理装置的结构图之二；
图7为本申请实施例中的分布式服务器集群日志数据处理装置的结构图之三；
图8为本申请实施例中的分布式服务器集群日志数据处理装置的结构图之四；
图9为本申请实施例中的分布式服务器集群日志数据处理装置的结构图之五；
图10为本申请实施例中的分布式服务器集群日志数据处理装置的结构图之六；
图11为本申请实施例中的分布式服务器集群日志数据处理装置的结构图之七；
图12为本申请实施例中的分布式服务器集群日志数据处理装置的结构图之八；
图13为本申请实施例中的分布式服务器集群日志数据处理装置的结构图之九；
图14为本申请实施例中的分布式服务器集群日志数据处理装置的结构图之十；
图15为本申请实施例中的分布式服务器集群日志数据处理系统的结构图；
图16为本申请实施例中的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
考虑到在现有技术中日志采集端只负责采集日志，并将日志发送到服务器端，所有计算都在服务器端运行，由于所有逻辑后移到服务端，增加了服务器端计算负载，延长了计算时间，而且采集端所有日志都需要采集到服务端集中处理，其中包含了太多无用的信息，无用的信息将大量占用网络传输资源的问题，本申请提供一种分布式服务器集群日志数据处理方法、装置及系统，通过分布式服务器集群中的日志采集服务器获取各自的初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段，然后根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析，本申请能够充分利用分布式服务器集群中各个日志采集服务器的边缘计算能力，提前从繁杂无序的海量初始日志数据中将对应各个不同业务的业务日。
为了能够充分利用日志采集端的边缘计算能力，提高日志采集处理过程中的效率和准确性，本申请提供一种分布式服务器集群日志数据处理方法的实施例，执行主体为分布式服务器集群中的日志采集服务器，参见图1，所述分布式服务器集群日志数据处理方法具体包含有如下内容：
步骤S101：获取初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段。
可以理解的是，在分布式服务器集群中可以存在多个用于采集业务系统产生的初始日志数据的日志采集服务器，在具体执行日志采集时可以基于现有的Flume框架(开源日志采集程序)实现日志采集功能，但现有的Flume框架对日志的采集模式是按行采集，无法做到理解业务日志，按业务片段进行日志采集，也无法在采集端对日志进行边采集、边解析、边计算处理的功能，只能将日志按行采集，并把每行日志封装为一个Event(Flume框架发送日志的基本单位)，发送到日志处理中心(例如分布式服务器集群中的业务处理服务器)后，统一由日志处理中心进行解析和指标提取，因此业务处理服务器端将会接收到各个日志采集服务器发送来的繁杂无序的海量初始日志数据，为了进行准确的日志解析和日志分析，现有技术中的业务处理服务器必须设计数套复杂的业务处理逻辑，由此极大地影响了整个日志采集和日志处理分析过程的效率和准确性。
可选地，本申请中的日志采集服务器端能够在获取初始日志数据后根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，从而分别得到与各个业务对应的业务日志片段，所述业务日志片段即能够表征一个完成业务处理操作的、具有业务强相关性的全部日志数据，由此，本申请能够实现各个日志采集服务器分别向业务处理服务器发送一个个成套的、具有业务强相关性的日志数据，进而方便了业务处理服务器端的数据计算和逻辑处理，也由此提高了整个日志采集和日志处理分析过程的效率和准确性。
可选地，所述业务日志划分规则可以依据初始日志数据中的某些特征数据进行划分，例如初始日志数据中含有的业务标识、与某一业务对应的日志起始符和日志终止符，在本申请的其他一些实施例中，也可以依据初始日志数据中的其他特征数据作为业务日志划分规则，同时，所述业务日志划分规则可以设置有单独的编辑服务器，用于管理员用户随时进行业务日志划分规则的编辑，所述日志采集服务器可以在获取到初始日志数据后，先从该编辑服务器中获取当前最新的业务日志划分规则，以实现灵活可配置的技术效果。
步骤S102：根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析。
可以理解的是，一个大型的数据中心可以包含成千上万台日志采集服务器，每天有上T甚至上P的初始日志数据需要收集，如此庞大的数据量，采用传统的集中处理模式，在日志处理中心统一校验、解析和计算日志数据，将给日志处理中心带来极大的运算压力，同时，如此庞大的数据量在网络上传输，也将占用极大的网络资源。
可选地，本申请能够充分利用日志采集服务器端的边缘计算能力，将现有技术中业务处理服务器中的对业务处理不太影响但又是必要的部分数据预处理功能前置到日志采集服务器端，由此有效降低网络带宽资源占用，同时分担业务处理服务器端的运算压力，提高日志处理过程的处理效率和整个分布式服务器集群的处理能力。
可选地，针对不同的业务日志划分规则进行划分后得到的业务日志片段，可以对应有不同的日志预处理规则，所述日志预处理规则包括但不限于：数据格式的转换、噪音数据的过滤、日志数据的前置编辑以及日志数据的统计汇总。
从上述描述可知，本申请实施例提供的分布式服务器集群日志数据处理方法，能够通过分布式服务器集群中的日志采集服务器获取各自的初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段，然后根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析，本申请能够充分利用分布式服务器集群中各个日志采集服务器的边缘计算能力，提前从繁杂无序的海量初始日志数据中将对应各个不同业务的业务日。
为了能够从繁杂无序的海量初始日志数据中提取到分别对应各个不同业务的业务日志片段，在本申请的分布式服务器集群日志数据处理方法的一实施例中，参见图2，所述步骤S101还可以具体包含如下内容：
步骤S201：确定所述初始日志数据中的起始标识符和对应的终止标识符。
步骤S202：将所述起始标识符和所述终止标识符之间的初始日志数据设定为业务日志片段。
可选地，采集初始日志数据时可以以source为单位，每个source都可以有一套独立的采集规则，同时每个source可以启动一个独立的线程进行日志采集。具体地，对日志进行采集的时，可以将初始日志数据中的特殊标识符“begin”作为所述起始标识符，将特殊标识符“end”作为所述终止标识符，只采集匹配“begin”和“end”之间的日志内容片段，一个日志文件可能包含0到n个符合“begin”和“end”条件的日志内容段，每次采集到符合条件的日志内容段，即可设定为一个业务日志片段。
可选地，在处理一笔业务时候可能会输出多行日志，因此可以一次将同一笔业务的所有日志作为一个日志块event进行采集，防止把同一笔业务拆分到不同的日志块event，这样做更有利于后续对业务数据的提取和处理。
为了能够方便准确的对业务日志片段进行数据预处理，在本申请的分布式服务器集群日志数据处理方法的一实施例中，参见图3，所述步骤S102之前还可以具体包含如下内容：
步骤S301：根据所述业务日志片段的业务类型，确定对应的日志解析规则。
步骤S302：根据所述日志解析规则对所述业务日志片段进行数据指标提取，得到对应的业务数据指标。
可选地，可以根据所述业务日志片段的业务类型，定位到对应的日志解析规则，所述日志解析规则也可以由管理员预先设置，再由日志采集服务器实时获取；所述日志解析规则用于描述如何对业务日志片段进行解析，如何从业务日志片段中提取出关心的业务数据指标。例如，一个日志解析规则描述了如何从类型为RULE-MIVS-320的日志片段中提取出所关心的登陆时间数据，提取后的每个业务数据指标可以是“名称＝值”的值对形式，如登录时间“logtime＝14：20”，登录日期“logdate＝2010-03-21”。
为了能够提升业务处理服务器端的日志处理效率和准确性，在本申请的分布式服务器集群日志数据处理方法的一实施例中，所述步骤S102还可以具体包含如下内容：
根据预设键值对格式对所述业务日志片段的业务数据指标进行数据格式转换，得到经过所述数据格式转换后的业务日志片段。
可选地，本申请还提供一种可以将业务日志片段中的业务数据指标转换为系统内部统一的键值对格式标准的技术方案，所述预设键值对格式也可以由管理员预先设置，再由日志采集服务器实时获取，经过所述数据格式转换后的业务日志片段对外提供统一的getValue取值方法，输入属性名子，即可获取对应的数据值，由此能够提高后续数据处理效率。
为了能够提升业务处理服务器端的日志处理效率和准确性，在本申请的分布式服务器集群日志数据处理方法的一实施例中，所述步骤S102还可以具体包含如下内容：
根据预设特征指标过滤规则对所述业务日志片段中的业务数据指标进行数据过滤处理，得到经过所述数据过滤处理后的业务日志片段。
可选地，根据所述特征指标过滤规则能够对业务日志片段中的业务数据指标进行噪音数据的有效过滤，符合特征指标过滤规则的数据将被系统过滤掉，只有不符合特征指标过滤规则的数据才会继续向下流转。例如，一个特征指标过滤规则为：当业务日志片段中的一业务数据指标(MSGTYPE属性)的数值为032并且登录时间logtime在10分钟之前的数据，将被过滤掉，系统将丢弃不继续处理，只有不符合该特征指标过滤规则的数据才能通过，继续做后续处理，由此，经过所述数据过滤处理后的业务日志片段将不再包含与后续数据处理无关的噪声数据，进而能够提高数据处理效率。
为了能够提升业务处理服务器端的日志处理效率和准确性，在本申请的分布式服务器集群日志数据处理方法的一实施例中，所述步骤S102还可以具体包含如下内容：
根据用户发送的数据编辑指令和预设数值编辑方法对所述业务日志片段中的业务数据指标进行数值编辑处理，得到经过所述数值编辑处理后的业务日志片段。
可选地，本申请可以在日志采集服务器端预先设置多个现有的数值编辑方法(例如数值编辑工具函数)，在接收到用户发送的数据编辑指令后，根据数据编辑指令中的编辑内容，对上述业务日志片段中的业务数据指标(即各个属性值)进行数值编辑操作，例如可以进行属性改名reming、删除属性drop、复制属性copy、substr截取、trim去掉空格、多属性值字符串联合、多属性值数据运算等，由此提高整个业务处理的灵活性。
为了能够提升业务处理服务器端的日志处理效率和准确性，在本申请的分布式服务器集群日志数据处理方法的一实施例中，所述步骤S102还可以具体包含如下内容：
根据预设数据统计规则对所述业务日志片段中的业务数据指标进行数据统计，得到对应的数据统计结果。
可选地，本申请可以在日志采集服务器端根据预设数据统计规则对所述业务日志片段中的业务数据指标进行数据统计，以得到对应的数据统计结果，统计可以基于某一业务日志片段，也可以基于某一业务日志片段的某些业务数据指标，例如可以进行统计个数count、汇总求和、表达运算等，以此节省了业务处理服务器端的算力，提升了整个业务处理的效率。
可选地，统计后的数据将随业务日志片段一起发送到业务处理服务器端，该统计数据代表该日志采集服务器端的统计结果，所以业务处理服务器端收到该统计数据后不需要对该业务处理服务器端内的数据明细再次计算，只需在该统计数据基础上继续进行运算即可。比如统计全网数据，只需在每个日志采集服务器端汇总的基础上，加和全网日志采集服务器端运算后的数据即可。
为了能够提升业务处理服务器端的日志处理效率和准确性，在本申请的分布式服务器集群日志数据处理方法的一实施例中，所述步骤S102还可以具体包含如下内容：
对经过所述数据预处理后的业务日志片段进行数据打包处理，并将经过所述数据打包处理后的业务日志片段发送至所述业务处理服务器的业务日志处理队列，以使所述业务处理服务器依次对所述业务日志处理队列中的业务日志片段进行对应的业务日志分析。
可选地，将经过所述数据预处理后的业务日志片段按照一定规则打成数据包，并发送到对应的业务处理服务器端，由此提高数据发送效率；具体地，每个数据包可以包含多个event，打包过程可以结合event发送的业务处理服务器端，同一个业务处理服务器端的event会被打到同一个数据包中，不同业务处理服务器端的event可以被打包到不同的数据包中，由此方便后续数据发送。
可选地，将数据包发送到对应业务处理服务器端的任务队列中，数据发送的基本单位是数据包，一个业务处理服务器端可以包含一到多个任务队列，在收到数据包后，根据数据包的目标端标识，选择对应的任务队列进行数据发送。
为了能够充分利用日志采集端的边缘计算能力，提高日志采集处理过程中的效率和准确性，本申请提供一种分布式服务器集群日志数据处理方法的实施例，执行主体为分布式服务器集群中的业务处理服务器，参见图4，所述分布式服务器集群日志数据处理方法具体包含有如下内容：
步骤S401：接收分布式服务器集群中各日志采集服务器发送的业务日志片段，其中，所述业务日志片段是所述日志采集服务器根据预设业务日志划分规则对获取到的初始日志数据进行业务片段划分之后，根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理后得到的。
步骤S402：根据所述业务日志片段进行对应的业务日志分析。
从上述描述可知，本申请实施例提供的分布式服务器集群日志数据处理方法，能够通过分布式服务器集群中的日志采集服务器获取各自的初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段，然后根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析，本申请能够充分利用分布式服务器集群中各个日志采集服务器的边缘计算能力，提前从繁杂无序的海量初始日志数据中将对应各个不同业务的业务日。
为了能够提升业务处理服务器端的日志处理效率和准确性，在本申请的分布式服务器集群日志数据处理方法的一实施例中，所述步骤S402还可以具体包含如下内容：
依次对业务日志处理队列中的业务日志片段进行对应的业务日志分析，其中，所述业务日志处理队列包括各日志采集服务器发送的业务日志片段。
为了能够充分利用日志采集端的边缘计算能力，提高日志采集处理过程中的效率和准确性，本申请提供一种用于实现所述分布式服务器集群日志数据处理方法的全部或部分内容的分布式服务器集群日志数据处理装置的实施例，参见图5，所述分布式服务器集群日志数据处理装置具体包含有如下内容：
业务日志片段划分模块10，用于获取初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段。
业务日志片段预处理模块20，用于根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析。
从上述描述可知，本申请实施例提供的分布式服务器集群日志数据处理装置，能够通过分布式服务器集群中的日志采集服务器获取各自的初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段，然后根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析，本申请能够充分利用分布式服务器集群中各个日志采集服务器的边缘计算能力，提前从繁杂无序的海量初始日志数据中将对应各个不同业务的业务日。
为了能够从繁杂无序的海量初始日志数据中提取到分别对应各个不同业务的业务日志片段，在本申请的分布式服务器集群日志数据处理装置的一实施例中，参见图6，所述业务日志片段划分模块10包括：
标识符确定单元11，用于确定所述初始日志数据中的起始标识符和对应的终止标识符。
业务日志片段确定单元12，用于将所述起始标识符和所述终止标识符之间的初始日志数据设定为业务日志片段。
为了能够方便准确的对业务日志片段进行数据预处理，在本申请的分布式服务器集群日志数据处理装置的一实施例中，参见图7，还具体包含有如下内容：
日志解析规则确定单元31，用于根据所述业务日志片段的业务类型，确定对应的日志解析规则。
业务数据指标提取单元32，用于根据所述日志解析规则对所述业务日志片段进行数据指标提取，得到对应的业务数据指标。
为了能够提升业务处理服务器端的日志处理效率和准确性，在本申请的分布式服务器集群日志数据处理装置的一实施例中，参见图8，所述业务日志片段预处理模块20包括：
格式归一化单元21，用于根据预设键值对格式对所述业务日志片段的业务数据指标进行数据格式转换，得到经过所述数据格式转换后的业务日志片段。
为了能够提升业务处理服务器端的日志处理效率和准确性，在本申请的分布式服务器集群日志数据处理装置的一实施例中，参见图9，所述业务日志片段预处理模块20包括：
数据过滤单元22，用于根据预设特征指标过滤规则对所述业务日志片段中的业务数据指标进行数据过滤处理，得到经过所述数据过滤处理后的业务日志片段。
为了能够提升业务处理服务器端的日志处理效率和准确性，在本申请的分布式服务器集群日志数据处理装置的一实施例中，参见图10，所述业务日志片段预处理模块20包括：
数据编辑单元23，用于根据用户发送的数据编辑指令和预设数值编辑方法对所述业务日志片段中的业务数据指标进行数值编辑处理，得到经过所述数值编辑处理后的业务日志片段。
为了能够提升业务处理服务器端的日志处理效率和准确性，在本申请的分布式服务器集群日志数据处理装置的一实施例中，参见图11，所述业务日志片段预处理模块20包括：
数据统计单元24，用于根据预设数据统计规则对所述业务日志片段中的业务数据指标进行数据统计，得到对应的数据统计结果。
为了能够提升业务处理服务器端的日志处理效率和准确性，在本申请的分布式服务器集群日志数据处理装置的一实施例中，参见图12，所述业务日志片段预处理模块20包括：
数据打包发送单元25，用于对经过所述数据预处理后的业务日志片段进行数据打包处理，并将经过所述数据打包处理后的业务日志片段发送至所述业务处理服务器的业务日志处理队列，以使所述业务处理服务器依次对所述业务日志处理队列中的业务日志片段进行对应的业务日志分析。
为了能够充分利用日志采集端的边缘计算能力，提高日志采集处理过程中的效率和准确性，本申请提供一种用于实现所述分布式服务器集群日志数据处理方法的全部或部分内容的分布式服务器集群日志数据处理装置的实施例，参见图13，所述分布式服务器集群日志数据处理装置具体包含有如下内容：
业务日志片段接收模块40，用于接收分布式服务器集群中各日志采集服务器发送的业务日志片段，其中，所述业务日志片段是所述日志采集服务器根据预设业务日志划分规则对获取到的初始日志数据进行业务片段划分之后，根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理后得到的。
业务日志片段分析模块50，用于根据所述业务日志片段进行对应的业务日志分析。
从上述描述可知，本申请实施例提供的分布式服务器集群日志数据处理装置，能够通过分布式服务器集群中的日志采集服务器获取各自的初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段，然后根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析，本申请能够充分利用分布式服务器集群中各个日志采集服务器的边缘计算能力，提前从繁杂无序的海量初始日志数据中将对应各个不同业务的业务日。
为了能够提升业务处理服务器端的日志处理效率和准确性，在本申请的分布式服务器集群日志数据处理装置的一实施例中，参见图14，所述业务日志片段分析模块50包括：
任务队列处理单元51，用于依次对业务日志处理队列中的业务日志片段进行对应的业务日志分析，其中，所述业务日志处理队列包括各日志采集服务器发送的业务日志片段。
为了能够充分利用日志采集端的边缘计算能力，提高日志采集处理过程中的效率和准确性，本申请提供一种用于包含所述分布式服务器集群日志数据处理装置的全部或部分内容的分布式服务器集群日志数据处理系统的实施例，参见图15，所述分布式服务器集群日志数据处理系统包括日志采集服务器和业务处理服务器，具体还包含有如下内容：
所述日志采集服务器包括：
业务日志片段划分模块10，用于获取初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段。
业务日志片段预处理模块20，用于根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析；
所述业务处理服务器包括：
业务日志片段接收模块40，用于接收所述日志采集服务器发送的业务日志片段。
业务日志片段分析模块50，用于根据所述业务日志片段进行对应的业务日志分析。
从硬件层面来说，为了能够充分利用日志采集端的边缘计算能力，提高日志采集处理过程中的效率和准确性，本申请提供一种用于实现所述分布式服务器集群日志数据处理方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现分布式服务器集群日志数据处理装置与核心业务系统、用户终端以及相关数据库等相关设备之间的信息传输；该逻辑控制器可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该逻辑控制器可以参照实施例中的分布式服务器集群日志数据处理方法的实施例，以及分布式服务器集群日志数据处理装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
可以理解的是，所述用户终端可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
在实际应用中，分布式服务器集群日志数据处理方法的部分可以在如上述内容所述的电子设备侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器。
上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
图16为本申请实施例的电子设备9600的系统构成的示意框图。如图16所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图16是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
一实施例中，分布式服务器集群日志数据处理方法功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：
步骤S101：获取初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段。
步骤S102：根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析。
从上述描述可知，本申请实施例提供的电子设备，通过分布式服务器集群中的日志采集服务器获取各自的初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段，然后根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析，本申请能够充分利用分布式服务器集群中各个日志采集服务器的边缘计算能力，提前从繁杂无序的海量初始日志数据中将对应各个不同业务的业务日。
在另一个实施方式中，分布式服务器集群日志数据处理装置可以与中央处理器9100分开配置，例如可以将分布式服务器集群日志数据处理装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现分布式服务器集群日志数据处理方法功能。
如图16所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图16中所示的所有部件；此外，电子设备9600还可以包括图16中没有示出的部件，可以参考现有技术。
如图16所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的分布式服务器集群日志数据处理方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的分布式服务器集群日志数据处理方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
步骤S101：获取初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段。
步骤S102：根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析。
从上述描述可知，本申请实施例提供的计算机可读存储介质，通过分布式服务器集群中的日志采集服务器获取各自的初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段，然后根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析，本申请能够充分利用分布式服务器集群中各个日志采集服务器的边缘计算能力，提前从繁杂无序的海量初始日志数据中将对应各个不同业务的业务日。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (23)
1.一种分布式服务器集群日志数据处理方法，其特征在于，所述方法包括：
获取初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段；
根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析。
2.根据权利要求1所述的分布式服务器集群日志数据处理方法，其特征在于，所述根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段，包括：
确定所述初始日志数据中的起始标识符和对应的终止标识符；
将所述起始标识符和所述终止标识符之间的初始日志数据设定为业务日志片段。
3.根据权利要求1所述的分布式服务器集群日志数据处理方法，其特征在于，在所述根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理之前，包括：
根据所述业务日志片段的业务类型，确定对应的日志解析规则；
根据所述日志解析规则对所述业务日志片段进行数据指标提取，得到对应的业务数据指标。
4.根据权利要求1所述的分布式服务器集群日志数据处理方法，其特征在于，所述根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，包括：
根据预设键值对格式对所述业务日志片段的业务数据指标进行数据格式转换，得到经过所述数据格式转换后的业务日志片段。
5.根据权利要求1所述的分布式服务器集群日志数据处理方法，其特征在于，所述根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，包括：
根据预设特征指标过滤规则对所述业务日志片段中的业务数据指标进行数据过滤处理，得到经过所述数据过滤处理后的业务日志片段。
6.根据权利要求1所述的分布式服务器集群日志数据处理方法，其特征在于，所述根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，包括：
根据用户发送的数据编辑指令和预设数值编辑方法对所述业务日志片段中的业务数据指标进行数值编辑处理，得到经过所述数值编辑处理后的业务日志片段。
7.根据权利要求1所述的分布式服务器集群日志数据处理方法，其特征在于，所述根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，包括：
根据预设数据统计规则对所述业务日志片段中的业务数据指标进行数据统计，得到对应的数据统计结果。
8.根据权利要求1所述的分布式服务器集群日志数据处理方法，其特征在于，所述将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析，包括：
对经过所述数据预处理后的业务日志片段进行数据打包处理，并将经过所述数据打包处理后的业务日志片段发送至所述业务处理服务器的业务日志处理队列，以使所述业务处理服务器依次对所述业务日志处理队列中的业务日志片段进行对应的业务日志分析。
9.一种分布式服务器集群日志数据处理方法，其特征在于，所述方法包括：
接收分布式服务器集群中各日志采集服务器发送的业务日志片段，其中，所述业务日志片段是所述日志采集服务器根据预设业务日志划分规则对获取到的初始日志数据进行业务片段划分之后，根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理后得到的；
根据所述业务日志片段进行对应的业务日志分析。
10.根据权利要求9所述的分布式服务器集群日志数据处理方法，其特征在于，所述根据所述业务日志片段进行对应的业务日志分析，包括：
依次对业务日志处理队列中的业务日志片段进行对应的业务日志分析，其中，所述业务日志处理队列包括各日志采集服务器发送的业务日志片段。
11.一种分布式服务器集群日志数据处理装置，其特征在于，包括：
业务日志片段划分模块，用于获取初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段；
业务日志片段预处理模块，用于根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述分布式服务器集群中的业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析。
12.根据权利要求11所述的分布式服务器集群日志数据处理装置，其特征在于，所述业务日志片段划分模块包括：
标识符确定单元，用于确定所述初始日志数据中的起始标识符和对应的终止标识符；
业务日志片段确定单元，用于将所述起始标识符和所述终止标识符之间的初始日志数据设定为业务日志片段。
13.根据权利要求11所述的分布式服务器集群日志数据处理装置，其特征在于，还包括：
日志解析规则确定单元，用于根据所述业务日志片段的业务类型，确定对应的日志解析规则；
业务数据指标提取单元，用于根据所述日志解析规则对所述业务日志片段进行数据指标提取，得到对应的业务数据指标。
14.根据权利要求11所述的分布式服务器集群日志数据处理装置，其特征在于，所述业务日志片段预处理模块包括：
格式归一化单元，用于根据预设键值对格式对所述业务日志片段的业务数据指标进行数据格式转换，得到经过所述数据格式转换后的业务日志片段。
15.根据权利要求11所述的分布式服务器集群日志数据处理装置，其特征在于，所述业务日志片段预处理模块包括：
数据过滤单元，用于根据预设特征指标过滤规则对所述业务日志片段中的业务数据指标进行数据过滤处理，得到经过所述数据过滤处理后的业务日志片段。
16.根据权利要求11所述的分布式服务器集群日志数据处理装置，其特征在于，所述业务日志片段预处理模块包括：
数据编辑单元，用于根据用户发送的数据编辑指令和预设数值编辑方法对所述业务日志片段中的业务数据指标进行数值编辑处理，得到经过所述数值编辑处理后的业务日志片段。
17.根据权利要求11所述的分布式服务器集群日志数据处理装置，其特征在于，所述业务日志片段预处理模块包括：
数据统计单元，用于根据预设数据统计规则对所述业务日志片段中的业务数据指标进行数据统计，得到对应的数据统计结果。
18.根据权利要求11所述的分布式服务器集群日志数据处理装置，其特征在于，所述业务日志片段预处理模块包括：
数据打包发送单元，用于对经过所述数据预处理后的业务日志片段进行数据打包处理，并将经过所述数据打包处理后的业务日志片段发送至所述业务处理服务器的业务日志处理队列，以使所述业务处理服务器依次对所述业务日志处理队列中的业务日志片段进行对应的业务日志分析。
19.一种分布式服务器集群日志数据处理装置，其特征在于，包括：
业务日志片段接收模块，用于接收分布式服务器集群中各日志采集服务器发送的业务日志片段，其中，所述业务日志片段是所述日志采集服务器根据预设业务日志划分规则对获取到的初始日志数据进行业务片段划分之后，根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理后得到的；
业务日志片段分析模块，用于根据所述业务日志片段进行对应的业务日志分析。
20.根据权利要求19所述的分布式服务器集群日志数据处理装置，其特征在于，所述业务日志片段分析模块包括：
任务队列处理单元，用于依次对业务日志处理队列中的业务日志片段进行对应的业务日志分析，其中，所述业务日志处理队列包括各日志采集服务器发送的业务日志片段。
21.一种分布式服务器集群日志数据处理系统，包括分布式服务器集群中的日志采集服务器和业务处理服务器，其特征在于，
所述日志采集服务器包括：
业务日志片段划分模块，用于获取初始日志数据，并根据预设业务日志划分规则对所述初始日志数据进行业务片段划分，得到业务日志片段；
业务日志片段预处理模块，用于根据与所述业务日志划分规则对应的预设日志预处理规则对所述业务日志片段进行数据预处理，并将经过所述数据预处理后的业务日志片段发送至所述业务处理服务器，以使所述业务处理服务器根据所述业务日志片段进行对应的业务日志分析；
所述业务处理服务器包括：
业务日志片段接收模块，用于接收所述日志采集服务器发送的业务日志片段；
业务日志片段分析模块，用于根据所述业务日志片段进行对应的业务日志分析。
22.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至10任一项所述的分布式服务器集群日志数据处理方法的步骤。
23.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至10任一项所述的分布式服务器集群日志数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010469177.1A CN111680016A (zh) | 2020-05-28 | 2020-05-28 | 分布式服务器集群日志数据处理方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010469177.1A CN111680016A (zh) | 2020-05-28 | 2020-05-28 | 分布式服务器集群日志数据处理方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111680016A true CN111680016A (zh) | 2020-09-18 |
Family
ID=72453454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010469177.1A Pending CN111680016A (zh) | 2020-05-28 | 2020-05-28 | 分布式服务器集群日志数据处理方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111680016A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112163946A (zh) * | 2020-09-30 | 2021-01-01 | 中国工商银行股份有限公司 | 基于分布式交易系统的账务处理方法及装置 |
| CN112751729A (zh) * | 2020-12-30 | 2021-05-04 | 平安证券股份有限公司 | 日志监控方法、装置、介质及电子设备 |
| CN113010483A (zh) * | 2020-11-20 | 2021-06-22 | 云智慧（北京）科技有限公司 | 一种海量日志管理方法和系统 |
| CN113434477A (zh) * | 2021-05-25 | 2021-09-24 | 延锋伟世通电子科技（上海）有限公司 | 保存日志文件的方法、系统、介质及服务器端 |
| CN114913967A (zh) * | 2022-02-10 | 2022-08-16 | 卫宁健康科技集团股份有限公司 | 一种医疗日志处理方法、装置、边缘节点及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101192227A (zh) * | 2006-11-30 | 2008-06-04 | 阿里巴巴公司 | 一种基于分布式计算网络的日志文件分析方法和系统 |
| US8793728B1 (en) * | 2013-03-15 | 2014-07-29 | Tribune Broadcasting Company, Llc | Systems and methods for processing a traffic log having an optional-promotion log entry |
| CN107291928A (zh) * | 2017-06-29 | 2017-10-24 | 国信优易数据有限公司 | 一种日志存储系统和方法 |
| CN109376131A (zh) * | 2018-11-02 | 2019-02-22 | 郑州云海信息技术有限公司 | 一种日志分布式部署保存方法、装置及系统 |
| CN110262942A (zh) * | 2019-06-13 | 2019-09-20 | 腾讯科技(成都)有限公司 | 一种日志分析方法及装置 |
| CN111078657A (zh) * | 2019-12-26 | 2020-04-28 | 北京思特奇信息技术股份有限公司 | 一种分布式系统的业务日志查询方法、系统、介质及设备 |
-
2020
- 2020-05-28 CN CN202010469177.1A patent/CN111680016A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101192227A (zh) * | 2006-11-30 | 2008-06-04 | 阿里巴巴公司 | 一种基于分布式计算网络的日志文件分析方法和系统 |
| US8793728B1 (en) * | 2013-03-15 | 2014-07-29 | Tribune Broadcasting Company, Llc | Systems and methods for processing a traffic log having an optional-promotion log entry |
| CN107291928A (zh) * | 2017-06-29 | 2017-10-24 | 国信优易数据有限公司 | 一种日志存储系统和方法 |
| CN109376131A (zh) * | 2018-11-02 | 2019-02-22 | 郑州云海信息技术有限公司 | 一种日志分布式部署保存方法、装置及系统 |
| CN110262942A (zh) * | 2019-06-13 | 2019-09-20 | 腾讯科技(成都)有限公司 | 一种日志分析方法及装置 |
| CN111078657A (zh) * | 2019-12-26 | 2020-04-28 | 北京思特奇信息技术股份有限公司 | 一种分布式系统的业务日志查询方法、系统、介质及设备 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112163946A (zh) * | 2020-09-30 | 2021-01-01 | 中国工商银行股份有限公司 | 基于分布式交易系统的账务处理方法及装置 |
| CN113010483A (zh) * | 2020-11-20 | 2021-06-22 | 云智慧（北京）科技有限公司 | 一种海量日志管理方法和系统 |
| CN112751729A (zh) * | 2020-12-30 | 2021-05-04 | 平安证券股份有限公司 | 日志监控方法、装置、介质及电子设备 |
| CN113434477A (zh) * | 2021-05-25 | 2021-09-24 | 延锋伟世通电子科技（上海）有限公司 | 保存日志文件的方法、系统、介质及服务器端 |
| CN113434477B (zh) * | 2021-05-25 | 2023-08-04 | 延锋伟世通电子科技（上海）有限公司 | 保存日志文件的方法、系统、介质及服务器端 |
| CN114913967A (zh) * | 2022-02-10 | 2022-08-16 | 卫宁健康科技集团股份有限公司 | 一种医疗日志处理方法、装置、边缘节点及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111680016A (zh) | 分布式服务器集群日志数据处理方法、装置及系统 | |
| CN108776934B (zh) | 分布式数据计算方法、装置、计算机设备及可读存储介质 | |
| CN111740860B (zh) | 日志数据传输链路监控方法及装置 | |
| CN109523022B (zh) | 终端数据处理方法、装置及终端 | |
| CN111639138A (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN105793822A (zh) | 动态混洗重新配置 | |
| CN112434039A (zh) | 数据的存储方法、装置、存储介质以及电子装置 | |
| CN111782470A (zh) | 分布式容器日志数据处理方法及装置 | |
| CN112988679B (zh) | 日志采集控制方法、装置、存储介质及服务器 | |
| CN109684290A (zh) | 日志存储方法、装置、设备及计算机可读存储介质 | |
| CN105574032A (zh) | 规则匹配运算方法及装置 | |
| CN102957622A (zh) | 一种数据处理的方法、装置及系统 | |
| CN105765537A (zh) | 持久混洗系统 | |
| CN111324576B (zh) | 一种录音数据保存的方法、装置、存储介质及终端设备 | |
| CN116737482A (zh) | 一种芯片测试数据的实时收集方法、装置及电子设备 | |
| CN111866882A (zh) | 一种基于生成对抗网络的移动应用流量生成方法 | |
| CN114915753A (zh) | 云服务器的构架、数据处理方法及存储介质 | |
| CN112396511A (zh) | 分布式风控变量数据处理方法、装置及系统 | |
| CN112507265A (zh) | 基于树结构进行异常侦测的方法、装置及相关产品 | |
| CN115114805B (zh) | 自主式交通系统架构的信息交互对离散仿真方法 | |
| CN116166427A (zh) | 自动扩缩容方法、装置、设备及存储介质 | |
| CN116319948A (zh) | 会话时长计算方法、装置、计算机设备及存储介质 | |
| CN114661563A (zh) | 基于流处理框架的数据处理方法以及系统 | |
| CN104219102A (zh) | 一种网络数据压缩统计的方法、装置和系统 | |
| CN113467718A (zh) | 一种数据处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |