CN113326237A - 日志数据的加工方法、装置、终端设备以及存储介质 - Google Patents

日志数据的加工方法、装置、终端设备以及存储介质 Download PDF

Info

Publication number
CN113326237A
CN113326237A CN202110682971.9A CN202110682971A CN113326237A CN 113326237 A CN113326237 A CN 113326237A CN 202110682971 A CN202110682971 A CN 202110682971A CN 113326237 A CN113326237 A CN 113326237A
Authority
CN
China
Prior art keywords
data
log
log data
preset
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110682971.9A
Other languages
English (en)
Inventor
王磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mingyuan Cloud Technology Co Ltd
Original Assignee
Shenzhen Mingyuan Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mingyuan Cloud Technology Co Ltd filed Critical Shenzhen Mingyuan Cloud Technology Co Ltd
Priority to CN202110682971.9A priority Critical patent/CN113326237A/zh
Publication of CN113326237A publication Critical patent/CN113326237A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种日志数据的加工方法、装置、终端设备以及存储介质，通过数据处理终端将采集到的日志数据写入多个预设日志存储空间；根据预设数据消费者对所述预设日志存储空间内的所述日志数据进行加工得到加工后的日志数据；将所述加工后的日志数据传输至总数据库。如此，本发明涉及的日志数据的加工方法，能够在不增加客户端性能消耗的同时，更为高效地对原始日志数据进行实时处理，在极大程度上提高了原始日志数据的加工和分析效率。

Description

日志数据的加工方法、装置、终端设备以及存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种日志数据的加工方法、装置、终端设备以及存储介质。
背景技术
随着互联网的发展和普及，各种基于网络进行的活动都在源源不断的产生数据。数据挖掘技术能够从大量的数据中发现有价值的知识、模式、规则等信息，为科学研究、商业决策、过程控制等提供辅助支持，成为数据利用的重要方式。基于网络进行的活动通常被网络服务提供商的各个业务平台以日志的形式记录下来，成为用于挖掘和分析的数据来源。在实际应用中，往往会通过收集器上报大量的客户端产生的原始日志数据，而原始日志数据需要经过加工处理才能进行分析。
目前，对于原始日志数据的加工处理的方式包括两种方案：在原始日志数据上报前处理，或者在原始日志数据上报后集中处理；其中，前者会导致客户端性能消耗增加，而后者则会造成数据处理延迟增加。在此基础上，有必要提出一种能够更为高效地对原始日志数据实时处理的日志数据的加工方法。
发明内容
本发明的主要目的在于提供一种日志数据的加工方法、装置、终端设备以及存储介质，旨在实现更为高效地对原始日志数据进行实时处理。
为实现上述目的，本发明提供一种日志数据的加工方法，所述日志数据的加工方法包括：
将采集到的日志数据写入多个预设日志存储空间；
根据预设数据消费者对所述预设日志存储空间内的所述日志数据进行加工得到加工后的日志数据；
将所述加工后的日志数据传输至总数据库。
进一步地，所述将采集到的日志数据写入多个预设日志存储空间的步骤，包括：
判断采集到的所述日志数据的数据类型；
根据所述数据类型，将所述日志数据写入所述数据类型对应的所述预设日志存储空间。
进一步地，所述根据预设数据消费者对所述预设日志存储空间内的所述日志数据进行加工得到加工后的日志数据的步骤，包括：
确定多个所述预设数据消费者，调用多个所述预设数据消费者对一个所述预设日志存储空间内的所述日志数据进行加工得到加工后的日志数据；
确定一个所述预设数据消费者，调用所述预设数据消费者对多个所述预设日志存储空间内的所述日志数据进行加工得到加工后的日志数据。
进一步地，在所述根据预设数据消费者对所述预设日志存储空间内的所述日志数据进行加工得到加工后的日志数据的步骤之前，包括：
根据采集到的所述日志数据的数据类型设置所述预设数据消费者。
进一步地，所述根据采集到的所述日志数据的数据类型设置所述预设数据消费者的步骤，包括：
根据所述数据类型在所述预设数据消费者中添加所述数据类型对应的业务逻辑。
进一步地，所述根据所述数据类型在所述预设数据消费者中添加所述数据类型对应的业务逻辑的步骤，包括：
获取业务逻辑配置数据，并按照所述业务逻辑配置数据设置所述数据类型对应的自定义业务逻辑；
在所述预设数据消费者中添加所述自定义业务逻辑。
进一步地，在所述将所述加工后的日志数据传输至总数据库的步骤之后，还包括：
针对所述总数据库中存储的所述加工后的日志数据进行可视化展示；或，
根据所述总数据库中存储的所述加工后的日志数据生成日志告警。
此外，为实现上述目的，本发明还提供一种日志数据的加工装置，所述日志数据的加工装置包括：
写入模块，用于将采集到的日志数据写入多个预设日志存储空间；
加工模块，用于根据预设数据消费者对所述预设日志存储空间内的所述日志数据进行加工得到加工后的日志数据；
传输模块，用于将所述加工后的日志数据传输至总数据库。
本发明日志数据的加工装置的各功能模块在运行时实现如上述中的日志数据的加工方法的步骤。
此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志数据的加工程序，所述日志数据的加工程序被所述处理器执行时实现如上述中的日志数据的加工方法的步骤。
此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的日志数据的加工方法的步骤。
此外，本发明实施例还提出一种计算机程序产品，该计算机程序产品上包括日志数据的加工程序，所述日志数据的加工程序被处理器执行时实现如上所述的日志数据的加工方法的步骤。
其中，在所述处理器上运行的日志数据的加工程序被执行时所实现的步骤可参照本发明日志数据的加工方法的各个实施例，此处不再赘述。
本发明提出的一种日志数据的加工方法、装置、终端设备、存储介质以及计算机程序产品，将日志数据分别写入多个预设日志存储空间；使用预设数据消费者对所述预设日志存储空间内的所述日志数据加工；将经过加工的所述日志数据传输至总数据库。
本发明通过数据处理终端指定多个预设日志存储空间，并将日志数据分别写入多个预设日志存储空间，然后使用预设数据消费者对多个预设日志存储空间内的日志数据进行加工处理，最后将经过加工的日志数据传输至总数据库进行数据汇总。
如此，本发明涉及的日志数据的加工方法，能够在不增加客户端性能消耗的同时，更为高效地对原始日志数据进行实时处理，在极大程度上提高了原始日志数据的加工和分析效率。
本发明相比于传统对原始日志数据的加工处理方式，基于多个存储空间来分别存储日志数据，并使用数据消费者对该多个存储空间中的日志数据进行处理之后，再针对处理之后的日志数据进行汇总，由于大量的原始日志数据不是集中处理，而是分开写入多个存储空间并通过数据消费者进行同时处理，从而减少了数据延迟，如此，能够在不增加客户端性能消耗的同时，更为高效地对原始日志数据进行实时处理，在极大程度上提高了原始日志数据的加工和分析效率。
附图说明
图1是本发明实施例方案涉及的终端设备的硬件运行环境的结构示意图；
图2是本发明一种日志数据的加工方法一实施例的流程示意图；
图3是本发明一种日志数据的加工方法一实施例的细化流程示意图；
图4是本发明一种日志数据的加工装置的模块结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及终端设备的硬件运行环境的结构示意图。
需要说明的是，图1即可为终端设备的硬件运行环境的结构示意图。本发明实施例终端设备可以是PC，便携计算机等终端设备。
如图1所示，该终端设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及分布式任务的处理程序。其中，操作系统是管理和控制样本终端设备硬件和软件资源的程序，支持分布式任务的处理程序以及其它软件或程序的运行。
在图1所示的终端设备中，用户接口1003主要用于与各个终端进行数据通信；网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；而处理器1001可以用于调用存储器1005中存储的日志数据的加工程序，并执行以下操作：
将采集到的日志数据写入多个预设日志存储空间；
根据预设数据消费者对所述预设日志存储空间内的所述日志数据进行加工得到加工后的日志数据；
将所述加工后的日志数据传输至总数据库。
进一步地，处理器1001可以调用存储器1005中存储的日志数据的加工程序，还执行以下操作：
判断采集到的所述日志数据的数据类型；
根据所述数据类型，将所述日志数据写入所述数据类型对应的所述预设日志存储空间。
进一步地，处理器1001可以调用存储器1005中存储的日志数据的加工程序，还执行以下操作：
确定多个所述预设数据消费者，调用多个所述预设数据消费者对一个所述预设日志存储空间内的所述日志数据进行加工得到加工后的日志数据；
确定一个所述预设数据消费者，调用所述预设数据消费者对多个所述预设日志存储空间内的所述日志数据进行加工得到加工后的日志数据。
进一步地，处理器1001可以调用存储器1005中存储的日志数据的加工程序，在所述根据预设数据消费者对所述预设日志存储空间内的所述日志数据进行加工得到加工后的日志数据的步骤之前，还执行以下操作：
根据采集到的所述日志数据的数据类型设置所述预设数据消费者。
进一步地，处理器1001可以调用存储器1005中存储的日志数据的加工程序，还执行以下操作：
根据所述数据类型在所述预设数据消费者中添加所述数据类型对应的业务逻辑。
进一步地，处理器1001可以调用存储器1005中存储的日志数据的加工程序，还执行以下操作：
获取业务逻辑配置数据，并按照所述业务逻辑配置数据设置所述数据类型对应的自定义业务逻辑；
在所述预设数据消费者中添加所述自定义业务逻辑。
进一步地，处理器1001可以调用存储器1005中存储的日志数据的加工程序，在所述将所述加工后的日志数据传输至总数据库的步骤之后，还执行以下操作：
针对所述总数据库中存储的所述加工后的日志数据进行可视化展示；或，
根据所述总数据库中存储的所述加工后的日志数据生成日志告警。
基于上述的结构，提出本发明日志数据的加工方法的各个实施例。
需要说明的是，随着互联网的发展和普及，各种基于网络进行的活动都在源源不断的产生数据。数据挖掘技术能够从大量的数据中发现有价值的知识、模式、规则等信息，为科学研究、商业决策、过程控制等提供辅助支持，成为数据利用的重要方式。基于网络进行的活动通常被网络服务提供商的各个业务平台以日志的形式记录下来，成为用于挖掘和分析的数据来源。在实际应用中，往往会通过收集器上报大量的客户端产生的原始日志数据，而原始日志数据需要经过加工处理才能进行分析。
目前，对于原始日志数据的加工处理的方式包括两种方案：在原始日志数据上报前处理，或者在原始日志数据上报后集中处理；其中，前者会导致客户端性能消耗增加，而后者则会造成数据处理延迟增加。在此基础上，有必要提出一种能够更为高效地对原始日志数据实时处理的日志数据的加工方法。
基于上述现象，提出本发明日志数据的加工方法的各实施例。需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
第一实施例：请参照图2，图2为本发明日志数据的加工方法第一实施例的流程示意图。本发明日志数据的加工方法，本发明日志数据的加工方法包括：
步骤S100，将采集到的日志数据写入多个预设日志存储空间。
需要说明的是，在本实施例中，预设日志存储空间指的是由用户发出指令进行指定的日志存储空间，或者系统自动生成的用于存储日志数据的日志存储空间。
数据处理终端从前端应用采集到日志数据，并将该采集到的日志数据写入多个预设日志存储空间。
具体地，例如，数据处理终端将从前端应用采集到的日志数据分别写入预设日志储存空间A、预设日志储存空间B及预设日志储存空间C等多个预设日志存储空间。
进一步地，在一种实施例中，上述步骤S100，可以包括：
步骤S101，判断采集到的所述日志数据的数据类型。
数据处理终端判断从前端应用采集到的日志数据的数据类型。
数据处理终端在从前端应用采集到日志数据之后，进一步先判断该日志数据的数据类型。
需要说明的是，在本实施例中，日志数据的数据类型包括但不限于：“用户行为数据”、“应用性能数据”和“应用异常数”等。这其中，“用户行为数据”用于反映用户的操作，如，用户在前端应用——APP(增加英文全称)点击了某个应用控件；“应用性能数据”用于反映应用运行性能质量，如从用户点击了某个应用控件开始，到该应用控件对应产生的数据具体输出呈现的时间数据；“应用异常数”用于反映前端应用——APP在使用过程中崩溃的次数。
具体地，例如，数据处理终端在从前端应用——APP采集到日志数据之后，若该日志数据反映的是用户点击了某个应用控件等操作，则该数据处理终端判断该日志数据的数据类型为“用户行为数据”，或者，若该日志数据反映的是该APP的运行性能质量，则该数据处理终端判断该日志数据的数据类型为“应用性能数据”，再或者，若该日志数据反映的是该APP在使用过程中崩溃的次数，则该数据处理终端判断该日志数据的数据类型为“应用异常数”。
步骤S102，根据所述数据类型，将所述日志数据写入所述数据类型对应的所述预设日志存储空间。
数据处理终端在判断出从前端应用中采集到的日志数据的数据类型后，将不同数据类型的日志数据分别写入与该数据类型对应的预设日志存储空间。
需要说明的是，在本实施例中，不同的数据类型，各自对应一个或者多个的预设日志存储空间。
数据处理终端在判断到从前端应用采集到的日志数据的数据类型后，先确定该数据类型所对应的预设日志存储空间，然后将该日志数据存写入该数据类型所对应的该预设日志存储空间。
具体地，例如，假定数据类型——“用户行为数据”对应的一个预设日志存储空间为：存储空间A、数据类型——“应用性能数据”对应的一个预设日志存储空间为：存储空间B、而数据类型——“应用异常数”对应的一个预设日志存储空间为：存储空间C，则数据处理终端在判断并区分出从前端应用中采集到的日志数据的数据类型为“用户行为数据”时，该数据处理终端即将该日志数据存写入存储空间A，或者，数据处理终端在判断并区分出从前端应用中采集到的日志数据的数据类型为“应用性能数据”时，该数据处理终端即将该日志数据存写入存储空间B，再或者，数据处理终端在判断并区分出从前端应用中采集到的日志数据的数据类型为“应用异常数”时，该数据处理终端即将该日志数据存写入存储空间C。
步骤S200，根据预设数据消费者对所述预设日志存储空间内的所述日志数据进行加工得到加工后的日志数据。
需要说明的是，在本实施例中，预设数据消费者是指由业务逻辑组合形成的集合程序，用于对日志数据进行处理。
在数据处理终端将采集到的日志数据写入与该日志数据的数据类型对应的预设日志存储空间后，数据处理终端调用由业务逻辑组合形成、用于对日志数据进行处理的集合程序，对预设日志存储空间内的日志数据进行加工得到加工后的日志数据。
具体地，例如，假定数据类型为“用户行为数据”的日志数据，由预设数据消费者a对应加工，则数据处理终端在判断并区分出从前端应用中采集到的日志数据的数据类型为“用户行为数据”，并且，该数据处理终端即将该日志数据存写入存储空间A后，调用由业务逻辑组合形成、用于对日志数据进行处理的预设数据消费者a，对存储空间A内的日志数据进行加工，得到加工后的日志数据；或者，数据处理终端在判断并区分出从前端应用中采集到的日志数据的数据类型为“应用性能数据”，并且，该数据处理终端即将该日志数据存写入存储空间B后，调用由业务逻辑组合形成、用于对日志数据进行处理的预设数据消费者b，对存储空间B内的日志数据进行加工，得到加工后的日志数据；再或者，数据处理终端在判断并区分出从前端应用中采集到的日志数据的数据类型为“应用异常数”，并且，该数据处理终端即将该日志数据存写入存储空间C后，调用由业务逻辑组合形成、用于对日志数据进行处理的预设数据消费者c，对存储空间C内的日志数据进行加工，得到加工后的日志数据。
进一步地，在一种实施例中，上述步骤S200，可以包括：
步骤S201，确定多个所述预设数据消费者，调用多个所述预设数据消费者对一个所述预设日志存储空间内的所述日志数据进行加工得到加工后的日志数据。
在数据处理终端将采集到的日志数据写入与该日志数据的数据类型对应的预设日志存储空间后，数据处理终端确定多个与该数据类型相关的预设数据消费者，并调用该多个预设数据消费者对预设日志存储空间内的日志数据进行加工得到加工后的日志数据。
具体地，例如，数据处理终端将采集到的数据类型为“用户行为数据”的日志数据，写入与数据类型“用户行为数据”对应的存储空间A后，数据处理终端确定多个与数据类型“用户行为数据”对应的预设数据消费者a1、a2和a3等，并调用该多个预设数据消费者a1、a2和a3等对存储空间A内的日志数据进行加工，得到加工后的日志数据；或者，数据处理终端将采集到的数据类型为“应用性能数据”的日志数据，写入与数据类型“应用性能数据”对应的存储空间B后，数据处理终端确定多个与数据类型“应用性能数据”对应的预设数据消费者b1、b2和b3等，并调用该多个预设数据消费者b1、b2和b3等对存储空间B内的日志数据进行加工，得到加工后的日志数据；再或者，数据处理终端将采集到的数据类型为“应用异常数”的日志数据，写入与数据类型“应用异常数”对应的存储空间C后，数据处理终端确定多个与数据类型“应用异常数”对应的预设数据消费者c1、c2和c3等，并调用该多个预设数据消费者c1、c2和c3等对存储空间C内的日志数据进行加工，得到加工后的日志数据
此外，在本实施例中，多个预设数据消费者除了对多个预设日志存储空间内各自包含不同数据日志数据实现相互独立的个性化加工以外，还可同时对多个包含相同数据类型的日志数据的预设日志存储空间进行并列加工，即倘若数据类型为“应用异常数”的日志数据数量较大，则将数据类型为“应用异常数”的日志数据分别存入存储空间C1、C2和C3，并调用多个预设数据消费者c11、c12和c13对存储空间C1、C2和C3内的日志数据进行并列加工，以提高日志数据的处理效率。
步骤S202，确定一个所述预设数据消费者，调用所述预设数据消费者对多个所述预设日志存储空间内的所述日志数据进行加工得到加工后的日志数据。
在数据处理终端将采集到的日志数据写入与该日志数据的数据类型对应的多个预设日志存储空间后，数据处理终端确定一个与该数据类型相关的预设数据消费者，并调用该预设数据消费者分别对多个预设日志存储空间内的日志数据进行加工得到加工后的日志数据。
具体地，例如，数据处理终端将采集到的数据类型为“用户行为数据”的日志数据，写入与数据类型“用户行为数据”对应的存储空间A1、A2和A3后，数据处理终端确定一个与数据类型“用户行为数据”相关的预设数据消费者a，并调用该预设数据消费者a对存储空间A1、A2和A3内的日志数据进行加工，得到加工后的日志数据；或者，数据处理终端将采集到的数据类型为“应用性能数据”的日志数据，写入与数据类型“应用性能数据”对应的存储空间B1、B2和B3后，数据处理终端确定一个与数据类型“应用性能数据”相关的预设数据消费者b，并调用该预设数据消费者b对存储空间B1、B2和B3内的日志数据进行加工，得到加工后的日志数据；再或者，数据处理终端将采集到的数据类型为“应用异常数”的日志数据，写入与数据类型“应用异常数”对应的存储空间C1、C2和C3后，数据处理终端确定一个与数据类型“应用异常数”相关的预设数据消费者c，并调用该预设数据消费者c对存储空间C1、C2和C3内的日志数据进行加工，得到加工后的日志数据。
步骤S300，将所述加工后的日志数据传输至总数据库。
数据处理终端在调用预设数据消费者对预设日志存储空间内的日志数据进行加工后，将加工后的日志数据传输至总数据库进行汇总，以使此前分布于多个预设日志存储空间进行存储和加工的各种数据类型的日志数据能够形成汇总，以供进一步的分析利用。
具体地，例如，数据处理终端在调用预设数据消费者a、b和c分别对存储空间A、B和C内的日志数据进行加工后，将存储空间A、B和C加工后的日志数据传输至总数据库进行汇总，以使此前分布于存储空间A进行存储和加工的、数据类型为“用户行为数据”的日志数据，和存储空间B进行存储和加工的、数据类型为“应用性能数据”的日志数据，以及存储空间C进行存储和加工的、数据类型为“应用异常数”的日志数据，能够形成汇总并进行集中存储，以供进一步的分析利用。
在本实施例中，通过数据处理终端将从前端应用采集到的日志数据写入多个预设数据存储空间；在数据处理终端将采集到的日志数据写入与该日志数据的数据类型对应的预设日志存储空间后，数据处理终端调用由业务逻辑组合形成、用于对日志数据进行处理的集合程序，对预设日志存储空间内的日志数据进行加工得到加工后的日志数据；在调用预设数据消费者对预设日志存储空间内的日志数据进行加工后，将加工后的日志数据传输至总数据库进行汇总，以使此前分布于多个预设日志存储空间进行存储和加工的各种数据类型的日志数据能够形成汇总，以供进一步的分析利用。
本发明相比于传统对原始日志数据的加工处理方式，基于多个存储空间来分别存储日志数据，并使用数据消费者对该多个存储空间中的日志数据进行处理之后，再针对处理之后的日志数据进行汇总，由于大量的原始日志数据不是集中处理，而是分开写入多个存储空间并通过数据消费者进行同时处理，从而减少了数据延迟，同时，由于预设数据消费者支持弹性伸缩容，可在日志数据流量大的时候自动增加预设数据消费者的数量，从而提高数据处理速度，降低数据迟延，如此，能够在不增加客户端性能消耗的同时，更为高效地对原始日志数据进行实时处理，在极大程度上提高了原始日志数据的加工和分析效率。
进一步地，基于上述日志数据的加工方法第一实施例，提出本发明日志数据的加工方法的第二实施例。
在本发明日志数据的加工方法的第二实施例中，在上述步骤S200之前，还包括：
步骤S400，根据采集到的所述日志数据的数据类型设置所述预设数据消费者。
在数据处理终端将采集到的日志数据写入与该日志数据的数据类型对应的预设日志存储空间后，数据处理终端根据采集到的日志数据的数据类型，对应设置预设数据消费者，以用于对该预设日志存储空间内的日志数据进行加工。
具体地，例如，在数据处理终端将采集到的数据类型为“用户行为数据”的日志数据写入与数据类型“用户行为数据”对应的存储空间A后，数据处理终端根据采集到的日志数据的数据类型“用户行为数据”，对应设置预设数据消费者a1、a2和a3等，用于对该存储空间A内的日志数据进行加工；或者，在数据处理终端将采集到的数据类型为“应用性能数据”的日志数据写入与数据类型“应用性能数据”对应的存储空间B后，数据处理终端根据采集到的日志数据的数据类型“应用性能数据”，对应设置预设数据消费者b1、b2和b3等，用于对该存储空间B内的日志数据进行加工；再或者，在数据处理终端将采集到的数据类型为“应用异常数”的日志数据写入与数据类型“应用异常数”对应的存储空间C后，数据处理终端根据采集到的日志数据的数据类型“应用异常数”，对应设置预设数据消费者c1、c2和c3等，用于对该存储空间C内的日志数据进行加工。
进一步地，参考如图3所示的流程示意图，在一种实施例中，上述步骤S400，可以包括：
步骤S401，根据所述数据类型在所述预设数据消费者中添加所述数据类型对应的业务逻辑。
数据处理终端根据预设日志存储空间内的日志数据的数据类型，在预设数据消费者中添加用于处理该日志数据的业务逻辑，其中，添加的业务逻辑为一个或多个，由该添加的一个或多个业务逻辑组合形成预设数据消费者，从而完成对预设数据消费者的设置过程。
具体地，例如，数据处理终端根据存储空间A内的日志数据的数据类型为“用户行为数据”，在预设数据消费者中添加用于处理数据类型为“用户行为数据”的日志数据的一个业务逻辑a1，或者多个业务逻辑如a1、a2和a3等，以形成与数据类型“用户行为数据”对应的预设数据消费者a，从而完成对预设数据消费者a的设置过程；或者，数据处理终端根据存储空间B内的日志数据的数据类型为“应用性能数据”，在预设数据消费者中添加用于处理数据类型为“应用性能数据”的日志数据的一个业务逻辑b1，或者多个业务逻辑如b1、b2和b3等，以形成与数据类型“用户行为数据”对应的预设数据消费者b，从而完成对预设数据消费者b的设置过程；再或者，数据处理终端根据存储空间C内的日志数据的数据类型为“应用异常数”，在预设数据消费者中添加用于处理数据类型为“应用异常数”的日志数据的一个业务逻辑c1，或者多个业务逻辑如c1、c2和c3等，以形成与数据类型“应用异常数”对应的预设数据消费者c，从而完成对预设数据消费者c的设置过程。
进一步地，在一种实施例中，上述步骤S401，可以包括：
步骤S4011，获取业务逻辑配置数据，并按照所述业务逻辑配置数据设置所述数据类型对应的自定义业务逻辑。
需要说明的是，在本实施例中，业务逻辑配置数据是用于设置自定义业务逻辑的基础数据，具体为数据处理终端中预存的系统数据，或者用户主动触发的指令，即自定义业务逻辑可根据数据处理终端中预存的系统数据生成，或者根据用户主动触发的指令生成。
数据处理终端获取预存的系统数据，或者用户主动触发的指令，并按照该系统数据或该指令设置与预设日志存储空间内的日志数据的数据类型对应、用于处理该日志数据的自定义业务逻辑。
具体地，例如，数据处理终端获取预存的系统数据X1，或者用户主动触发的指令Y1，并按照该系统数据X1或该指令Y1，设置与存储空间A内的日志数据的数据类型“用户行为数据”对应的自定义业务逻辑a1,，以用于处理数据类型为“用户行为数据”的日志数据；或者，数据处理终端获取预存的系统数据X2，或者用户主动触发的指令Y2，并按照该系统数据X2或该指令Y2，设置与存储空间B内的日志数据的数据类型“应用性能数据”对应的自定义业务逻辑b1,，以用于处理数据类型为“应用性能数据”的日志数据；再或者，数据处理终端获取预存的系统数据X3，或者用户主动触发的指令Y3，并按照该系统数据X3或该指令Y3，设置与存储空间C内的日志数据的数据类型“应用异常数”对应的自定义业务逻辑c1,，以用于处理数据类型为“应用异常数”的日志数据。
在本实施例中，通过数据处理终端将采集到的日志数据写入与该日志数据的数据类型对应的预设日志存储空间后，数据处理终端根据采集到的日志数据的数据类型，获取预存的系统数据、或者用户主动触发的指令，并按照该系统数据或该指令设置与预设日志存储空间内日志数据的数据类型对应、用于处理该日志数据的自定义业务逻辑，对应设置预设数据消费者以用于对该预设日志存储空间内的日志数据进行加工。
实现了，可根据日志数据加工的实际需求，以及日志数据的不同数据类型，设置不同的自定义业务逻辑和多个预设数据消费者，支持个性化日志数据加工处理需求，提升日志数据的加工方法的适用性，以及进一步提高日志数据的加工效率。
进一步地，基于上述日志数据的加工方法第一实施例，提出本发明日志数据的加工方法的第三实施例。
在本发明日志数据的加工方法的第三实施例中，在上述步骤S300之后，还包括：
步骤S500，针对所述总数据库中存储的所述加工后的日志数据进行可视化展示。
需要说明的是，在本实施例中，可视化展示包括但不限于对加工后的日志数据进行表格展示、图表展示或纯数字组合展示等常规展示方法，在此不作具体限制。
数据处理终端将加工后的日志数据传输至总数据库后，根据实际需求对总数据库中存储的加工后的日志数据进行表格展示、图表展示或纯数字组合展示等方法的可视化展示。
具体地，例如，数据处理终端将数据类型分别为“订单数量”、“订单编号”和“订单金额”的加工后的日志数据传输至总数据库进行汇总后，此时若想查看关于某app的用户订单数量、订单编号及对应的订单金额，则可从总数据库中确定与该app相关的的数据类型分别为“订单数量”、“订单编号”和“订单金额”的加工后的日志数据，在进行组合后以表格展示、图表展示或纯数字组合展示等方法实现可视化展示。
进一步地，在本实施例中，在上述步骤S300之后，还包括：
步骤S600，根据所述总数据库中存储的所述加工后的日志数据生成日志告警。
需要说明的是，在本实施例中，日志告警包含关于应用的内部错误信息、块损坏错误信息和死锁错误信息等，以及日志数据加工过程一些信息。
数据处理终端将加工后的日志数据传输至总数据库后，根据实际需求以及总数据库中存储的加工后的日志数据，生成包含关于应用的内部错误信息、块损坏错误信息和死锁错误信息等，以及日志数据加工过程的信息的日志告警。
具体地，例如，数据处理终端将数据类型分别为“用户行为数据”、“应用性能数据”和“应用异常数”的加工后的日志数据传输至总数据库进行汇总后，此时若想查看关于某app的使用及运行信息，则可从总数据库中确定以及生成包含关于该app的数据类型分别为“用户行为数据”、“应用性能数据”和“应用异常数”的加工后的日志数据的日志告警。
在本实施例中，通过数据处理终端将加工后的日志数据传输至总数据库后，根据实际需求对总数据库中存储的加工后的日志数据进行可视化展示或生成日志数据。
实现了，对总数据库中存储的加工后的日志数据进行展示输出，进一步地提升日志数据的分析效率，降低对日志数据进行分析的操作难度，并且使日志数据分析的结果更为直观和全面。
此外，请参照图4，本发明实施例还提出一种日志数据的加工装置，本发明日志数据的加工装置包括：
写入模块，用于将采集到的日志数据写入多个预设日志存储空间；
加工模块，用于根据预设数据消费者对所述预设日志存储空间内的所述日志数据进行加工得到加工后的日志数据；
传输模块，用于将所述加工后的日志数据传输至总数据库。
优选地，写入模块，包括：
判断单元，用于判断采集到的所述日志数据的数据类型；以及，根据所述数据类型，将所述日志数据写入所述数据类型对应的所述预设日志存储空间。
优选地，加工模块，还包括：
确定单元，用于确定多个所述预设数据消费者，调用多个所述预设数据消费者对一个所述预设日志存储空间内的所述日志数据进行加工得到加工后的日志数据；以及，用于确定一个所述预设数据消费者，调用所述预设数据消费者对多个所述预设日志存储空间内的所述日志数据进行加工得到加工后的日志数据。
优选地，本发明日志数据的加工装置，还包括：
设置模块，用于根据采集到的所述日志数据的数据类型设置所述预设数据消费者。
优选地，设置模块，包括：
添加单元，用于根据所述数据类型在所述预设数据消费者中添加所述数据类型对应的业务逻辑。
优选地，添加单元，包括：
获取子单元，用于获取业务逻辑配置数据，并按照所述业务逻辑配置数据设置所述数据类型对应的自定义业务逻辑；以及，在所述预设数据消费者中添加所述自定义业务逻辑。
优选地，本发明日志数据的加工装置，还包括：
展示模块，用于针对所述总数据库中存储的所述加工后的日志数据进行可视化展示；
生成模块，用于根据所述总数据库中存储的所述加工后的日志数据生成日志告警。
此外，本发明实施例还提出一种终端设备，该终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志数据的加工程序，该日志数据的加工程序被所述处理器执行时实现如上述中的日志数据的加工方法的步骤。
其中，在所述处理器上运行的日志数据的加工程序被执行时所实现的步骤可参照本发明日志数据的加工方法的各个实施例，此处不再赘述。
此外，本发明实施例还提出一种存储介质，应用于计算机，该存储介质可以为非易失性计算机可读存储介质，该存储介质上存储有日志数据的加工程序，所述日志数据的加工程序被处理器执行时实现如上所述的日志数据的加工方法的步骤。
其中，在所述处理器上运行的日志数据的加工程序被执行时所实现的步骤可参照本发明日志数据的加工方法的各个实施例，此处不再赘述。
此外，本发明实施例还提出一种计算机程序产品，该计算机程序产品上包括日志数据的加工程序，所述日志数据的加工程序被处理器执行时实现如上所述的日志数据的加工方法的步骤。
其中，在所述处理器上运行的日志数据的加工程序被执行时所实现的步骤可参照本发明日志数据的加工方法的各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台智能快递柜执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种日志数据的加工方法，其特征在于，所述日志数据的加工方法包括：
将采集到的日志数据写入多个预设日志存储空间；
根据预设数据消费者对所述预设日志存储空间内的所述日志数据进行加工得到加工后的日志数据；
将所述加工后的日志数据传输至总数据库。
2.如权利要求1所述的日志数据的加工方法，其特征在于，所述将采集到的日志数据写入多个预设日志存储空间的步骤，包括：
判断采集到的所述日志数据的数据类型；
根据所述数据类型，将所述日志数据写入所述数据类型对应的所述预设日志存储空间。
3.如权利要求1所述的日志数据的加工方法，其特征在于，所述根据预设数据消费者对所述预设日志存储空间内的所述日志数据进行加工得到加工后的日志数据的步骤，包括：
确定多个所述预设数据消费者，调用多个所述预设数据消费者对一个所述预设日志存储空间内的所述日志数据进行加工得到加工后的日志数据；
确定一个所述预设数据消费者，调用所述预设数据消费者对多个所述预设日志存储空间内的所述日志数据进行加工得到加工后的日志数据。
4.如权利要求1至3任意一项所述的日志数据的加工方法，其特征在于，在所述根据预设数据消费者对所述预设日志存储空间内的所述日志数据进行加工得到加工后的日志数据的步骤之前，包括：
根据采集到的所述日志数据的数据类型设置所述预设数据消费者。
5.如权利要求4所述的日志数据的加工方法，其特征在于，所述根据采集到的所述日志数据的数据类型设置所述预设数据消费者的步骤，包括：
根据所述数据类型在所述预设数据消费者中添加所述数据类型对应的业务逻辑。
6.如权利要求5所述的日志数据的加工方法，其特征在于，所述根据所述数据类型在所述预设数据消费者中添加所述数据类型对应的业务逻辑的步骤，包括：
获取业务逻辑配置数据，并按照所述业务逻辑配置数据设置所述数据类型对应的自定义业务逻辑；
在所述预设数据消费者中添加所述自定义业务逻辑。
7.如权利要求1所述的日志数据的加工方法，其特征在于，在所述将所述加工后的日志数据传输至总数据库的步骤之后，还包括：
针对所述总数据库中存储的所述加工后的日志数据进行可视化展示；或，根据所述总数据库中存储的所述加工后的日志数据生成日志告警。
8.一种日志数据的加工装置，其特征在于，所述日志数据的加工装置包括：
写入模块，用于将采集到的日志数据写入多个预设日志存储空间；
加工模块，用于根据预设数据消费者对所述预设日志存储空间内的所述日志数据进行加工得到加工后的日志数据；
传输模块，用于将所述加工后的日志数据传输至总数据库。
9.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志数据的加工程序，所述日志数据的加工程序被所述处理器执行时实现如权利要求1至7中任一项所述的日志数据的加工方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的日志数据的加工方法的步骤。
CN202110682971.9A 2021-06-16 2021-06-16 日志数据的加工方法、装置、终端设备以及存储介质 Pending CN113326237A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110682971.9A CN113326237A (zh) 2021-06-16 2021-06-16 日志数据的加工方法、装置、终端设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110682971.9A CN113326237A (zh) 2021-06-16 2021-06-16 日志数据的加工方法、装置、终端设备以及存储介质

Publications (1)

Publication Number Publication Date
CN113326237A true CN113326237A (zh) 2021-08-31

Family

ID=77424032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110682971.9A Pending CN113326237A (zh) 2021-06-16 2021-06-16 日志数据的加工方法、装置、终端设备以及存储介质

Country Status (1)

Country Link
CN (1) CN113326237A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113746685A (zh) * 2021-11-02 2021-12-03 深圳市明源云科技有限公司 基于pulsar日志采集流处理方法、处理装置及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391746A (zh) * 2017-08-10 2017-11-24 深圳前海微众银行股份有限公司 日志分析方法、设备和计算机可读存储介质
CN107577805A (zh) * 2017-09-26 2018-01-12 华南理工大学 一种面向日志大数据分析的业务服务系统
CN108052675A (zh) * 2017-12-28 2018-05-18 惠州Tcl家电集团有限公司 日志管理方法、系统及计算机可读存储介质
CN108874639A (zh) * 2018-03-27 2018-11-23 平安科技（深圳）有限公司 日志归档方法、电子装置及可读存储介质
CN109656700A (zh) * 2018-12-17 2019-04-19 广州市玄武无线科技股份有限公司 多租户下分布式链路跟踪方法、系统、设备以及存储介质
CN109933505A (zh) * 2019-03-14 2019-06-25 深圳市珍爱捷云信息技术有限公司 日志处理方法、装置、计算机设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391746A (zh) * 2017-08-10 2017-11-24 深圳前海微众银行股份有限公司 日志分析方法、设备和计算机可读存储介质
CN107577805A (zh) * 2017-09-26 2018-01-12 华南理工大学 一种面向日志大数据分析的业务服务系统
CN108052675A (zh) * 2017-12-28 2018-05-18 惠州Tcl家电集团有限公司 日志管理方法、系统及计算机可读存储介质
CN108874639A (zh) * 2018-03-27 2018-11-23 平安科技（深圳）有限公司 日志归档方法、电子装置及可读存储介质
WO2019184218A1 (zh) * 2018-03-27 2019-10-03 平安科技（深圳）有限公司 日志归档方法、电子装置及可读存储介质
CN109656700A (zh) * 2018-12-17 2019-04-19 广州市玄武无线科技股份有限公司 多租户下分布式链路跟踪方法、系统、设备以及存储介质
CN109933505A (zh) * 2019-03-14 2019-06-25 深圳市珍爱捷云信息技术有限公司 日志处理方法、装置、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113746685A (zh) * 2021-11-02 2021-12-03 深圳市明源云科技有限公司 基于pulsar日志采集流处理方法、处理装置及可读存储介质
CN113746685B (zh) * 2021-11-02 2022-02-25 深圳市明源云科技有限公司 基于pulsar日志采集流处理方法、处理装置及可读存储介质

Similar Documents

Publication Publication Date Title
US20140201717A1 (en) Simulation environment for distributed programs
CN108038665B (zh) 业务规则管理方法、装置、设备及计算机可读存储介质
CN110580189A (zh) 生成前端页面的方法、装置、计算机设备以及存储介质
WO2021129335A1 (zh) 操作监控方法及装置、操作分析方法及装置
CN110955438A (zh) 一种小程序的性能监控方法、装置、设备及存储介质
CN110263070A (zh) 事件上报方法及装置
US20180316587A1 (en) Automated analysis and recommendations for highly performant single page web applications
CN110781180A (zh) 一种数据筛选方法和数据筛选装置
CN113934913A (zh) 数据抓取方法、装置、存储介质及电子设备
CN111010453B (zh) 服务请求处理方法、系统、电子设备及计算机可读介质
CN113326237A (zh) 日志数据的加工方法、装置、终端设备以及存储介质
CN108062401B (zh) 应用推荐方法、装置及存储介质
CN111402000B (zh) 一种业务页面的生成方法、装置、系统及计算机系统
CN113553123A (zh) 数据处理方法、装置、电子设备及存储介质
CN113361220A (zh) 一种对集成电路设计自动裁剪的验证环境构建方法及装置
US11627193B2 (en) Method and system for tracking application activity data from remote devices and generating a corrective action data structure for the remote devices
CN111338928A (zh) 基于chrome浏览器测试的方法及装置
US9740512B2 (en) Virtualizing extension code in an application
CN111881025B (zh) 一种自动化测试任务调度方法、装置及系统
CN114564249A (zh) 推荐调度引擎、推荐调度方法及计算机可读存储介质
CN115729552A (zh) 算子级别的并行度的设置方法及其装置
US10097399B1 (en) Distributed computing management links
CN110347577B (zh) 一种页面测试方法、装置及其设备
CN111796878A (zh) 一种应用于单页应用的资源拆分、加载方法和装置
CN111680240A (zh) 一种页面展示的方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210831