CN114185920A - 日志数据处理方法、装置、计算机设备和存储介质 - Google Patents

日志数据处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN114185920A
CN114185920A CN202111360892.2A CN202111360892A CN114185920A CN 114185920 A CN114185920 A CN 114185920A CN 202111360892 A CN202111360892 A CN 202111360892A CN 114185920 A CN114185920 A CN 114185920A
Authority
CN
China
Prior art keywords
log
log data
data
original
convergence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111360892.2A
Other languages
English (en)
Inventor
崔洋
肖军
汪伟
耿志亮
顾莉莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xingyun Digital Technology Co Ltd
Original Assignee
Nanjing Xingyun Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xingyun Digital Technology Co Ltd filed Critical Nanjing Xingyun Digital Technology Co Ltd
Priority to CN202111360892.2A priority Critical patent/CN114185920A/zh
Publication of CN114185920A publication Critical patent/CN114185920A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2428—Query predicate definition using graphical user interfaces, including menus and forms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G06F11/3082—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by aggregating or compressing the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/244—Grouping and aggregation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及一种日志数据处理方法、装置、计算机设备和存储介质。所述方法包括：在监听到业务系统的原始日志发生了数据写入操作时，从原始日志中读取多条原始日志数据；分别解析各条原始日志数据中所携带的属性信息；以预设的时间周期为最小数据汇聚维度，对属性信息相同的原始日志数据进行汇聚计算；根据汇聚计算的汇聚结果生成汇聚日志，以使得日志系统从汇聚日志中获取汇聚日志数据进行处理。采用本方法能够提高日志数据传输的稳定性和日志数据处理的效率。

Description

日志数据处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及数据处理技术领域，特别是涉及一种日志数据处理方法、装置、计算机设备和存储介质。
背景技术
随着数据处理技术的发展，出现了日志数据处理技术，业务系统在运行过程中会输出大量的日志数据，日志数据会被传输到日志系统，由日志系统进行数据处理。业务系统中输出的日志数据，一条日志数据代表了一个接口的一次调用，若接口在1秒钟被调用了100次，那么就会输出100条日志数据。
在传统的日志数据处理方法中，会将日志数据通过数据采集系统以单条的方式逐条采集到消息队列，以供下游的日志系统进行消费和计算。然而，随着业务系统、调用接口以及调用次数的增加，各个业务系统的日志数据急剧膨胀。例如，在电商的大促期间，日志数据量成几何量级增加，每分钟可以达到过3亿的日志数据量。在日志数据量较大的情况下，利用传统方法进行日志数据处理时，将日志数据传输至日志系统时需要占用大量的网络I/O宽带，而且，在日志系统中进行日志计算时也需要消耗大量的机器资源和时间，导致了日志数据处理不稳定、效率低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高日志数据处理稳定性和处理效率的日志数据处理方法、装置、计算机设备和存储介质。
一种日志数据处理方法，该方法应用于业务系统的客户端，该方法包括：在监听到业务系统的原始日志发生了数据写入操作时，从原始日志中读取多条原始日志数据；分别解析各条原始日志数据中所携带的属性信息；以预设的时间周期为最小数据汇聚维度，对属性信息相同的原始日志数据进行汇聚计算；根据汇聚计算的汇聚结果生成汇聚日志，以使得日志系统从汇聚日志中获取汇聚日志数据进行处理。
在一个实施例中，从原始日志中读取多条原始日志数据，包括：以换行符作为分割标识，从原始日志中逐行读取数据，将一行数据作为一条原始日志数据。
在一个实施例中，属性信息包括日志输出时间点或时间段信息、日志前缀信息、接口标识信息、调用情况信息、扩展字段信息之中的至少一个。
在一个实施例中，分别解析各条原始日志数据中所携带的属性信息，包括：响应于通过客户端的显示界面配置的解析规则，根据解析规则分别对各原始日志数据进行解析以得到各条原始日志数据中所携带的属性信息。
在一个实施例中，对属性信息相同的原始日志数据进行汇聚计算，包括：创建用于进行汇聚计算的缓存；在缓存中以键值对的形式生成汇聚日志数据；其中，键值对的键为属性信息，键值对的值为属性信息相同的原始日志数据的总条数和接口调用总耗时。
在一个实施例中，以使得日志系统从汇聚日志中获取汇聚日志数据进行处理，包括：通过数据采集系统从汇聚日志中采集汇聚日志数据到消息队列，以使得日志系统从消息队列中获取汇聚日志数据并进行处理。
在一个实施例中，该方法还包括：在客户端的显示界面对汇聚结果进行展示。
一种日志数据处理装置，该装置应用于业务系统的客户端，该装置包括：
原始日志监听模块，在监听到业务系统的原始日志发生了数据写入操作时，从所述原始日志中读取多条原始日志数据；
日志数据解析模块，用于分别解析各条所述原始日志数据中所携带的属性信息；
日志数据汇聚模块，用于以预设的时间周期为最小数据汇聚维度，对所述属性信息相同的所述原始日志数据进行汇聚计算；
汇聚日志生成模块，根据汇聚计算的汇聚结果生成汇聚日志，以使得日志系统从汇聚日志中获取汇聚日志数据进行处理。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的日志数据处理方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的日志数据处理方法的步骤。
上述日志数据处理方法、装置、计算机设备和存储介质，在业务系统的客户端侧监测、读取并解析该业务系统的原始日志，并按照预设的汇聚维度对原始日志数据进行汇聚计算以在业务系统侧预先生成汇聚日志。由于在业务系统侧预先对原始日志数据进行了边缘计算处理，因此，当日志系统进行日志处理时，可以从汇聚日志中获取数据，一定程度上缩小了日志系统获取日志数据的量和次数，从而提高了日志数据传输的稳定性和处理效率。
附图说明
图1为一个实施例中日志数据处理方法的应用环境图；
图2为一个实施例中日志数据处理方法的流程示意图；
图3为一个实施例中原始日志中的原始日志数据的格式示意图；
图4为一个实施例中经过汇聚计算后的汇聚日志数据的格式示意图；
图5为一个实施例中数据采集系统从汇聚日志中采集汇聚日志数据的示意图；
图6为一个实施例中汇聚结果的展示界面的示意图；
图7为一个实施例中日志数据处理装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请提供的日志数据处理方法，可以应用于如图1所示的应用环境中。其中，客户端102通过网络与服务器104进行通信。其中，客户端102为用于实现业务处理的业务系统101的客户端，服务器104为用于实现日志处理的日志系统103的服务器。具体地，客户端102在监听到业务系统101的原始日志发生了数据写入操作时，从原始日志中读取多条原始日志数据，分别解析各条原始日志数据中所携带的属性信息，以预设的时间周期为最小数据汇聚维度，对属性信息相同的原始日志数据进行汇聚计算，根据汇聚计算的汇聚结果生成汇聚日志，以使得日志系统103从汇聚日志中获取汇聚日志数据进行处理。
其中，客户端102可以但不限于是各种终端服务器、个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种日志数据处理方法，以该方法应用于图1中的客户端为例进行说明，包括以下步骤：
步骤S202：在监听到业务系统的原始日志发生了数据写入操作时，从原始日志中读取多条原始日志数据。
其中，业务系统是指用于处理指定业务的系统，一般情况下，业务系统可以包括客户端和服务端，客户端可以由终端设备实现，服务端可以由服务器或服务器集群实现。业务系统在运行过程中会输出大量日志数据，对于业务系统中输出的日志数据而言，一条日志数据代表了一个业务接口的一次调用，例如，一个业务接口在1秒钟被调用了100次，那么就会输出100条日志数据。日志数据会被输入到各业务系统的本地磁盘系统中，并以日志文件的形式存储在本地磁盘中。原始日志是指未经过处理的包括业务系统所生成的原始的日志数据的日志文件。原始日志数据是指原始日志中的未处理的日志数据。
具体地，客户端可以监听输入至本地磁盘系统中的业务系统的原始日志，当监听到原始日志发生了数据写入操作时，客户端可以实时或者周期性地读取写入至原始日志中的原始日志数据。
步骤S204：分别解析各条原始日志数据中所携带的属性信息。
其中，属性信息可以包括日志输出时间点或时间段信息、接口标识信息、调用情况信息、扩展字段信息之中的至少一个。
示例性地，对于汇聚所依赖的属性信息，用户可以通过客户端的显示界面进行自定义设置，客户端响应于用户通过显示界面进行的设置将用户选定的信息或信息的组合作为属性信息。在进行汇聚时，客户端可以对读取到的原始日志数据进行解析，从而分别得到每条原始日志数据中所携带的属性信息。例如，可以将日志输出时间信息+接口标识信息作为属性信息，也可以将接口标识信息+调用情况信息作为属性信息，还可以将日志输出时间信息+接口标识信息+扩展字段信息作为属性信息等等。
步骤S206：以预设的时间周期为最小数据汇聚维度，对属性信息相同的原始日志数据进行汇聚计算。
具体地，汇聚维度也可以称为统计维度，时间周期可以根据需求通过客户端的显示界面等进行自定义设置，例如可以是1秒、1分钟等，也可以设置为3秒、2分钟等不限。示例性地，时间周期可以设置为1秒，也即是，以1秒为最小汇聚维度，统计计算每1秒内的属性信息相同的日志数据的总条数。
步骤S208：根据汇聚计算的汇聚结果生成汇聚日志，以使得日志系统从汇聚日志中获取汇聚日志数据进行处理。
其中，汇聚日志数据是指由原始日志数据经过汇聚计算得到的以预设时间周期为维度的日志数据。汇聚日志是指根据汇聚日志数据所生成的日志文件。日志系统是指用于处理各业务系统的日志数据的服务器或服务器集群所实现的系统。
具体地，客户端可以根据汇聚结果生成该业务系统的汇聚日志，并将汇聚日志传输至该业务系统的本地磁盘。或者，也可以设置定时任务，在生成汇聚日志后，定时在本地磁盘中检查并删除与该汇聚日志对应的原始日志。
更进一步地，客户端可以指示业务系统从各汇聚日志中采集汇聚日志数据进行处理，或可以指示数据采集系统从各汇聚日志中采集数据到消息队列，以供日志系统进行消费。
上述日志数据处理方法，在业务系统的客户端侧监测、读取并解析该业务系统的原始日志，并按照预设的汇聚维度对原始日志数据进行汇聚计算以在业务系统侧预先生成汇聚日志。由于在业务系统侧预先对原始日志数据进行了边缘计算处理，因此，当日志系统进行日志处理时，可以从汇聚日志中获取数据，一定程度上缩小了日志系统获取日志数据的量和次数，从而提高了日志数据传输的稳定性和处理效率。
在一个实施例中，从原始日志中读取多条原始日志数据，包括：以换行符作为分割标识，从原始日志中逐行读取数据，将一行数据作为一条原始日志数据。
在本实施例中，原始日志中的数据可以以换行符作为分割标识，每一行数据记录了一个业务接口的一次调用的日志，因此，可以以换行符作为分割标识，逐行读取数据，将一行数据作为一条原始日志数据。
在一个实施例中，属性信息包括日志输出时间点或时间段信息、日志前缀信息、接口标识信息、调用情况信息、扩展字段信息之中的至少一个。
示例性地，如图3所示，图3为一个实施例中原始日志中的一条原始日志数据的格式示意图。其中，一条原始日志数据中可以但不限于包括以下信息：日志输出时间信息、日志前缀信息、接口标识信息、调用耗时信息、调用情况信息、扩展字段信息等。
日志输出时间：用于表示日志数据生成的时间，可以精确到毫秒，其格式可以为yyyy-MM-dd HH:mm:ss，SSS，即，年-月-日小时：分钟：秒，毫秒。
日志前缀：用于标识该条日志数据所归属的系统，也可以用于确定该条日志数据的解析方式和过滤方式。
接口标识：各个业务系统记录的用于标识各个接口的名称信息。
调用耗时：从开始到完成接口调用的时间戳，可以是毫秒数。
调用情况：用于表征接口的调用是成功还是失败，例如，可以是错误码，默认0000表征调用成功，其它编码表征调用失败。
扩展字段：其他自定义的字段。
在一个实施例中，分别解析各条原始日志数据中所携带的属性信息，包括：响应于通过客户端的显示界面配置的解析规则，根据解析规则分别对各原始日志数据进行解析以得到各条原始日志数据中所携带的属性信息。
在本实施例中，用户可以通过客户端的显示界面，例如，可以是规则配置界面等，进行解析规则的自定义灵活配置。例如，可以配置解析规则为：从日志数据中解析日志输出时间信息+接口标识信息，或从日志数据中解析接口标识信息+调用情况信息，或从日志数据中解析日志输出时间信息+接口标识信息+扩展字段信息作为属性信息等，也即是，需要进行解析的属性信息可根据业务需求进行配置。
本实施例，通过解析规则可配置，能够匹配多业务场景下的多业务系统，可以根据业务系统的不同，对应调整解析规则，从而能够得到符合业务要求的汇聚计算结果。
在一个实施例中，对属性信息相同的原始日志数据进行汇聚计算，包括：创建用于进行汇聚计算的缓存；在缓存中以键值对的形式生成汇聚日志数据；其中，键值对的键为属性信息，键值对的值为属性信息相同的原始日志数据的总条数和接口调用总耗时。
在本实施例中，通过在客户端创建缓存进行汇聚计算可以提高计算的时效性，以键值对的形式生成汇聚日志数据，能够清晰地反映汇聚结果，便于后续日志系统的数据处理。
更进一步地，还可以通过设置定时任务的方式，在汇聚日志生成后，周期性地删除已创建的缓存，从而减少资源浪费，提高计算效率。
示例性地，如图4所示，图4为一个实施例中经过汇聚计算后的汇聚日志数据的格式示意图。可以但不限于包括：汇聚后的日志输出时间、日志前缀、接口标识、汇聚总数和汇聚总耗时。
汇聚后的日志输出时间：可以精确到秒，格式可以为yyyy-MM-dd HH:mm:ss，即，年-月-日小时：分钟：秒，毫秒。此处，可以参考图3所示的实施例，若汇聚前的日志输出时间精确到毫秒，且预设的时间周期为1秒，按照1秒维度进行汇聚后，汇聚后的日志输出时间可以精确到秒。
日志前缀：用于标识该条日志数据所归属的系统，也可以用于确定该条日志数据的解析方式和过滤方式。
接口标识：各个业务系统所记录的标识各个接口的名称信息。
汇聚总数：以预设的时间周期为汇聚维度，累加得到的属性信息相同的日志的条数总和。例如，在1秒内，累加得到的相同接口标识、相同接口调用情况的日志数据的总条数。
汇聚总耗时：以预设的时间周期为汇聚维度，累加得到的相同接口标识、相同接口调用情况的日志数据的接口调用耗时的总和。例如，在1秒内，相同接口标识、相同接口调用情况的日志数据的接口调用总耗时。
在一个实施例中，该方法还包括：以使得日志系统从汇聚日志中获取汇聚日志数据进行处理，包括：通过数据采集系统从汇聚日志中采集汇聚日志数据到消息队列，以使得日志系统从消息队列中获取汇聚日志数据并进行处理。
示例性地，可以参考图5所示，图5为一个实施例中数据采集系统从汇聚日志中采集汇聚日志数据的示意图。示例性地，可以在各业务系统侧的客户端对原始日志中的日志数据进行汇聚计算(边缘计算)后，将生成的汇聚日志输入到各业务系统的本地磁盘中，经由flume数据采集系统，分别从各业务系统的本地磁盘中的汇聚日志中采集汇聚日志数据，并将采集到的汇聚日志数据通过kafka分布式发布订阅消息系统进行分发，日志系统的flink分布式计算集群可以订阅汇聚日志数据进行计算，从而完成各类日志计算业务。
在一个实施例中，该方法还包括：在客户端的显示界面对汇聚结果进行展示。本实施例，通过将汇聚结果在显示界面进行展示，用户能够根据展示的汇聚结果更好地监控各业务系统的日志数据。
更进一步地，客户端还可以响应于用户选择的不同的展示规则，实现对汇聚结果的分类展示或管理。示例性地，可以参考图6所示，图6为一个实施例中汇聚结果的展示界面的示意图。
下面，结合一个应用实例，对本申请所涉及的日志数据处理方法进行更进一步地详细说明。具体地，可以在各个业务系统一侧部署边缘计算组件，该边缘计算组件用于完成业务的原始日志到业务的汇聚日志的计算。
该边缘计算组件用以实现以下步骤：
1)在业务系统启动时，加载业务系统的配置参数，配置参数以key和value的方式保存在服务器的系统环境中。
2)监听各业务系统输出的原始日志，在原始日志有写入操作时，开始读取新增的文件内容，以换行符为分割进行逐行读取。
3)解析原始日志数据，根据日志前缀进行过滤和解析操作。
4)创建缓存，按照方法名称(接口标识)、错误码和时间刻度(日志输出时间)，读取的时间刻度的精度单位与预设的进行汇聚的时间周期的精度单位相同，把汇聚后的日志数据保存为key和value的形成，key为：方法名称+错误码+时间刻度，value为：汇聚总数和汇聚总耗时。
5)数据累加，方法名称+错误码+时间刻度相同的日志数据，累加汇聚总数和汇聚总耗时。
6)缓存清除，缓存在创建5秒后，进行数据输出，这5秒已能保证同1秒的数据累加完成。
7)汇聚完成的日志数据以文件的形成输出。
8)汇聚完成的日志数据，经flume采集，kafka分发，flink计算集群进行日志计算，完成最终的计算需求。
9)汇聚结果或最终计算结果通过展示平台进行展示。
在传统的日志处理方式中，从业务系统至日志系统，日志数据的传输需要大量的网络I/O地址，在业务高峰中会因日志数据爆增而导致日志数据延时或日志数据丢弃，造成统计异常。
本申请的方案基于边缘计算的思想对日志数据进行处理，是基于边缘计算的一次创造性的实践，通过在业务系统的客户端部署边缘计算组件，通过基础的汇聚计算完成原始日志数据的收集，在业务系统一侧把原来庞大的日志数据量减少到很少，在数据传输中大大的节省了I/O，在消息队列进行日志数据分发中也减少了分区数，在日志系统的最终计算中也减少了并行计算资源。在业务系统的运行高峰期时，也可以提高高峰期的日志数据处理的稳定性。
应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种日志数据处理装置，包括：原始日志监听模块710、日志数据解析模块720和日志数据汇聚模块730，其中：
原始日志监听模块710，在监听到业务系统的原始日志发生了数据写入操作时，从原始日志中读取多条原始日志数据；
日志数据解析模块720，用于分别解析各条原始日志数据中所携带的属性信息；
日志数据汇聚模块730，用于以预设的时间周期为最小数据汇聚维度，对属性信息相同的原始日志数据进行汇聚计算；
汇聚日志生成模块740，用于根据汇聚计算的汇聚结果生成汇聚日志，以使得日志系统从汇聚日志中获取汇聚日志数据进行处理。
在一个实施例中，原始日志监听模块710以换行符作为分割标识，从原始日志中逐行读取数据，将一行数据作为一条原始日志数据。
在一个实施例中，日志数据解析模块720响应于通过客户端的显示界面配置的解析规则，根据解析规则分别对各原始日志数据进行解析以得到各条原始日志数据中所携带的属性信息。
在一个实施例中，日志数据汇聚模块730创建用于进行汇聚计算的缓存；在缓存中以键值对的形式生成汇聚日志数据；其中，键值对的键为属性信息，键值对的值为属性信息相同的原始日志数据的总条数和接口调用总耗时。
在一个实施例中，汇聚日志生成模块740通过数据采集系统从汇聚日志中采集汇聚日志数据到消息队列，以使得日志系统从消息队列中获取汇聚日志数据并进行处理。
关于日志数据处理装置的具体限定可以参见上文中对于日志数据处理方法的限定，在此不再赘述。上述日志数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种日志数据处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：在监听到业务系统的原始日志发生了数据写入操作时，从原始日志中读取多条原始日志数据；分别解析各条原始日志数据中所携带的属性信息；以预设的时间周期为最小数据汇聚维度，对属性信息相同的原始日志数据进行汇聚计算；根据汇聚计算的汇聚结果生成汇聚日志，以使得日志系统从汇聚日志中获取汇聚日志数据进行处理。
在一个实施例中，处理器执行计算机程序实现从原始日志中读取多条原始日志数据时，具体实现以下步骤：以换行符作为分割标识，从原始日志中逐行读取数据，将一行数据作为一条原始日志数据。
在一个实施例中，处理器执行计算机程序实现分别解析各条原始日志数据中所携带的属性信息时，具体实现以下步骤：响应于通过客户端的显示界面配置的解析规则，根据解析规则分别对各原始日志数据进行解析以得到各条原始日志数据中所携带的属性信息。
在一个实施例中，处理器执行计算机程序实现对属性信息相同的原始日志数据进行汇聚计算时，具体实现以下步骤：创建用于进行汇聚计算的缓存；在缓存中以键值对的形式生成汇聚日志数据；其中，键值对的键为属性信息，键值对的值为属性信息相同的原始日志数据的总条数和接口调用总耗时。
在一个实施例中，处理器执行计算机程序实现以使得日志系统从汇聚日志中获取汇聚日志数据进行处理时，具体实现以下步骤：通过数据采集系统从汇聚日志中采集汇聚日志数据到消息队列，以使得日志系统从消息队列中获取汇聚日志数据并进行处理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：在客户端的显示界面对汇聚结果进行展示。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：在监听到业务系统的原始日志发生了数据写入操作时，从原始日志中读取多条原始日志数据；分别解析各条原始日志数据中所携带的属性信息；以预设的时间周期为最小数据汇聚维度，对属性信息相同的原始日志数据进行汇聚计算；根据汇聚计算的汇聚结果生成汇聚日志，以使得日志系统从汇聚日志中获取汇聚日志数据进行处理。
在一个实施例中，计算机程序被处理器执行实现从原始日志中读取多条原始日志数据时，具体实现以下步骤：以换行符作为分割标识，从原始日志中逐行读取数据，将一行数据作为一条原始日志数据。
在一个实施例中，计算机程序被处理器执行实现分别解析各条原始日志数据中所携带的属性信息时，具体实现以下步骤：响应于通过客户端的显示界面配置的解析规则，根据解析规则分别对各原始日志数据进行解析以得到各条原始日志数据中所携带的属性信息。
在一个实施例中，计算机程序被处理器执行实现对属性信息相同的原始日志数据进行汇聚计算时，具体实现以下步骤：创建用于进行汇聚计算的缓存；在缓存中以键值对的形式生成汇聚日志数据；其中，键值对的键为属性信息，键值对的值为属性信息相同的原始日志数据的总条数和接口调用总耗时。
在一个实施例中，计算机程序被处理器执行实现以使得日志系统从汇聚日志中获取汇聚日志数据进行处理时，具体实现以下步骤：通过数据采集系统从汇聚日志中采集汇聚日志数据到消息队列，以使得日志系统从消息队列中获取汇聚日志数据并进行处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在客户端的显示界面对汇聚结果进行展示。
本领域普通技术人员可以理解实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种日志数据处理方法，所述方法应用于业务系统的客户端，所述方法包括：
在监听到业务系统的原始日志发生了数据写入操作时，从所述原始日志中读取多条原始日志数据；
分别解析各条所述原始日志数据中所携带的属性信息；
以预设的时间周期为最小数据汇聚维度，对所述属性信息相同的所述原始日志数据进行汇聚计算；
根据所述汇聚计算的汇聚结果生成汇聚日志，以使得日志系统从所述汇聚日志中获取汇聚日志数据进行处理。
2.根据权利要求1所述的方法，其特征在于，所述从所述原始日志中读取多条原始日志数据，包括：
以换行符作为分割标识，从所述原始日志中逐行读取数据，将一行数据作为一条所述原始日志数据。
3.根据权利要求1所述的方法，其特征在于，所述属性信息包括日志输出时间点或时间段信息、日志前缀信息、接口标识信息、调用情况信息、扩展字段信息之中的至少一个。
4.根据权利要求1所述的方法，其特征在于，所述分别解析各条所述原始日志数据中所携带的属性信息，包括：
响应于通过所述客户端的显示界面配置的解析规则，根据所述解析规则分别对各所述原始日志数据进行解析以得到各条所述原始日志数据中所携带的属性信息。
5.根据权利要求1所述的方法，其特征在于，所述对所述属性信息相同的所述原始日志数据进行汇聚计算，包括：
创建用于进行汇聚计算的缓存；
在所述缓存中以键值对的形式生成汇聚日志数据；其中，所述键值对的键为所述属性信息，所述键值对的值为属性信息相同的原始日志数据的总条数和接口调用总耗时。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述以使得日志系统从所述汇聚日志中获取汇聚日志数据进行处理，包括：
通过数据采集系统从所述汇聚日志中采集汇聚日志数据到消息队列，以使得日志系统从所述消息队列中获取汇聚日志数据并进行处理。
7.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
在所述客户端的显示界面对所述汇聚结果进行展示。
8.一种日志数据处理装置，其特征在于，所述装置应用于业务系统的客户端，所述装置包括：
原始日志监听模块，在监听到业务系统的原始日志发生了数据写入操作时，从所述原始日志中读取多条原始日志数据；
日志数据解析模块，用于分别解析各条所述原始日志数据中所携带的属性信息；
日志数据汇聚模块，用于以预设的时间周期为最小数据汇聚维度，对所述属性信息相同的所述原始日志数据进行汇聚计算；
汇聚日志生成模块，用于根据所述汇聚计算的汇聚结果生成汇聚日志，以使得日志系统从所述汇聚日志中获取汇聚日志数据进行处理。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202111360892.2A 2021-11-17 2021-11-17 日志数据处理方法、装置、计算机设备和存储介质 Pending CN114185920A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111360892.2A CN114185920A (zh) 2021-11-17 2021-11-17 日志数据处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111360892.2A CN114185920A (zh) 2021-11-17 2021-11-17 日志数据处理方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN114185920A true CN114185920A (zh) 2022-03-15

Family

ID=80540227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111360892.2A Pending CN114185920A (zh) 2021-11-17 2021-11-17 日志数据处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN114185920A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115037729A (zh) * 2022-04-21 2022-09-09 中国建设银行股份有限公司 数据汇聚方法、装置、电子设备及计算机可读介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115037729A (zh) * 2022-04-21 2022-09-09 中国建设银行股份有限公司 数据汇聚方法、装置、电子设备及计算机可读介质
CN115037729B (zh) * 2022-04-21 2024-05-28 中国建设银行股份有限公司 数据汇聚方法、装置、电子设备及计算机可读介质

Similar Documents

Publication Publication Date Title
CN112910945B (zh) 请求链路跟踪方法和业务请求处理方法
CN110209652B (zh) 数据表迁移方法、装置、计算机设备和存储介质
CN109474578B (zh) 报文消息校验方法、装置、计算机设备和存储介质
CN111752799B (zh) 一种业务链路跟踪方法、装置、设备及储存介质
CN110290212B (zh) 服务调用记录方法、装置、计算机设备和存储介质
CN110688598B (zh) 业务参数采集方法、装置、计算机设备和存储介质
CN111190753B (zh) 分布式任务处理方法、装置、存储介质和计算机设备
CN111475376A (zh) 处理测试数据的方法、装置、计算机设备和存储介质
CN111143163A (zh) 数据监控方法、装置、计算机设备和存储介质
CN112527414B (zh) 一种基于前端的数据处理方法、装置、设备及存储介质
CN108052440B (zh) 对业务系统操作逻辑的修正方法、装置、设备和存储介质
CN111400361B (zh) 数据实时存储方法、装置、计算机设备和存储介质
CN110727567A (zh) 软件质量检测的方法、装置、计算机设备和存储介质
CN112051771B (zh) 多云数据采集方法、装置、计算机设备和存储介质
CN110659435A (zh) 页面数据采集处理方法、装置、计算机设备和存储介质
CN112866319A (zh) 日志数据处理方法、系统和存储介质
CN117170894A (zh) 基于实时计算的事件中心管理方法和装置
CN114185920A (zh) 日志数据处理方法、装置、计算机设备和存储介质
CN114244905B (zh) 数据转发方法、装置、计算机设备和存储介质
CN109474386B (zh) 信令跟踪方法、系统、网元设备和存储介质
CN111046240A (zh) 网关流量统计方法、装置、计算机设备和存储介质
CN114218303B (zh) 一种交易数据的处理系统、处理方法、介质和设备
CN115409345A (zh) 业务指标计算方法、装置、计算机设备和存储介质
CN115168203A (zh) 接口模拟方法、装置、系统、计算机设备和存储介质
CN110704218B (zh) 数据处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination