CN115510012A - 业务数据处理方法、装置、计算机设备和存储介质 - Google Patents

业务数据处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN115510012A
CN115510012A CN202211109110.2A CN202211109110A CN115510012A CN 115510012 A CN115510012 A CN 115510012A CN 202211109110 A CN202211109110 A CN 202211109110A CN 115510012 A CN115510012 A CN 115510012A
Authority
CN
China
Prior art keywords
data
service data
target service
target
summarized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211109110.2A
Other languages
English (en)
Inventor
赖韬
薛红星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
CCB Finetech Co Ltd
Original Assignee
China Construction Bank Corp
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp, CCB Finetech Co Ltd filed Critical China Construction Bank Corp
Priority to CN202211109110.2A priority Critical patent/CN115510012A/zh
Publication of CN115510012A publication Critical patent/CN115510012A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及大数据技术领域，具体公开了一种业务数据处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：实时获取多个终端设备上同一应用对应的日志文件；基于目标业务标识，对多个日志文件中的业务数据进行过滤，得到目标业务数据；基于目标报文标识，对多个目标业务数据进行匹配，得到多个匹配成功的目标业务数据，对多个匹配成功的目标业务数据进行解析，得到汇总数据；将汇总数据通过网络发送至分析系统，通过分析系统对汇总数据进行数据处理，得到数据处理结果。采用本方法能够将分析系统与终端设备分离，对采集的数据进行数据预处理后通过网络发送到分析系统，可以减少服务器端的负担，提高业务数据处理的效率。

Description

业务数据处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及大数据技术领域，特别是涉及一种业务数据处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着信息技术的快速发展，互联网产品的业务量也呈现快速增长的趋势。对于海量数据，单台计算机的处理能力已经远远不够，由此推动了分布式系统的研究和进展，将海量数据源进行任务分割，将分割后的任务分发给多台计算机并行处理，并将并行处理的结果合并为最终的结果。
传统方案中通常将每个业务数据保存到数据库中，再对数据库中的数据进行调取与统计分析等处理。
但传统方案依赖于数据库，每一个业务数据都需要先登记流水，在对登记后的数据进行处理，业务处理效率低。
发明内容
基于此，有必要针对上述技术问题，提供一种业务数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种业务数据处理方法。所述方法包括：
实时获取多个终端设备上同一应用对应的日志文件；
基于目标业务标识，对多个日志文件中的业务数据进行过滤，得到目标业务数据；
基于目标报文标识，对多个目标业务数据进行匹配，得到多个匹配成功的目标业务数据，对多个匹配成功的目标业务数据进行解析，得到汇总数据；
将汇总数据通过网络发送至分析系统，通过分析系统对汇总数据进行数据处理，得到数据处理结果。
在其中一个实施例中，基于目标业务标识，对多个日志文件中的业务数据进行过滤，得到目标业务数据，包括：
获取多个日志文件中业务数据的业务标识；
当目标业务标识与业务标识一致时，将业务标识对应的业务数据作为目标业务数据。
在其中一个实施例中，基于目标报文标识，对多个目标业务数据进行匹配，得到多个匹配成功的目标业务数据，对多个匹配成功的目标业务数据进行解析，包括：
获取多个目标业务数据的报文标识；
当目标报文标识与报文标识一致时，将报文标识对应的目标业务数据作为匹配成功的目标业务数据；
基于目标报文标识，对多个匹配成功的目标业务数据进行报文解析。
在其中一个实施例中，通过分析系统对汇总数据进行数据处理，得到数据处理结果，包括：
基于预设目标，通过分析系统对汇总数据中的多个业务数据进行分析统计，生成对应预设目标的数据处理结果。
在其中一个实施例中，上述方法还包括：
通过分析系统将多个汇总数据记录至数据库。
第二方面，本申请还提供了一种业务数据处理装置。所述装置包括：
日志文件获取模块，用于实时获取多个终端设备上同一应用对应的日志文件；
过滤模块，用于基于目标业务标识，对多个日志文件中的业务数据进行过滤，得到目标业务数据；
匹配模块，用于基于目标报文标识，对多个目标业务数据进行匹配，得到多个匹配成功的目标业务数据，对多个匹配成功的目标业务数据进行解析，得到汇总数据；
分析模块，用于将汇总数据通过网络发送至分析系统，通过分析系统对汇总数据进行数据处理，得到数据处理结果。
在其中一个实施例中，过滤模块，包括：
业务标识获取子模块，用于获取多个日志文件中业务数据的业务标识；
目标业务数据获取子模块，用于当目标业务标识与业务标识一致时，将业务标识对应的业务数据作为目标业务数据。
在其中一个实施例中，匹配模块，包括：
报文标识获取子模块，用于获取多个目标业务数据的报文标识；
报文匹配子模块，用于当目标报文标识与报文标识一致时，将报文标识对应的目标业务数据作为匹配成功的目标业务数据；
报文解析子模块，用于基于目标报文标识，对多个匹配成功的目标业务数据进行报文解析。
在其中一个实施例中，分析模块，包括：
分析统计子模块，用于基于预设目标，通过分析系统对汇总数据中的多个业务数据进行分析统计，生成对应预设目标的数据处理结果。
在其中一个实施例中，上述装置还包括：
记录模块，用于通过分析系统将多个汇总数据记录至数据库。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例所述方法的步骤。
第四方面，本申请还提供了一种计算机设备可读存储介质。所述计算机设备可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述方法的步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一实施例所述方法的步骤。
上述业务数据处理方法、装置、计算机设备、存储介质和计算机程序产品，首先实时获取多个终端设备上同一应用对应的日志文件。然后基于目标业务标识，对多个日志文件中的业务数据进行过滤，得到目标业务数据；基于目标报文标识，对多个目标业务数据进行匹配，得到多个匹配成功的目标业务数据，对多个匹配成功的目标业务数据进行解析，得到汇总数据。最后将汇总数据通过网络发送至分析系统，通过分析系统对汇总数据进行数据处理，得到数据处理结果。本申请从终端设备采集日志文件的数据，对采集的数据进行数据预处理后通过网络发送到分析系统，通过将分析系统与终端设备分离，在终端设备和分析系统分步进行数据的处理，可以减少服务器端的负担，提高业务数据处理的效率。
附图说明
图1为一个实施例中业务数据处理方法的应用环境图；
图2为一个实施例中业务数据处理方法的流程示意图；
图3为一个实施例中数据采集系统提取日志文件中数据的流程示意图；
图4为一个实施例中业务数据处理装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
需要说明的是，本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本申请实施例提供的业务数据处理方法，可以应用于服务器或终端单侧实现，也可以应用于包括终端和服务器的系统，通过终端和服务器的交互实现。
本申请实施例提供的业务数据处理方法，可以应用于如图1所示的应用环境中。其中，多个终端设备102分别通过网络与数据采集系统106进行通信，数据采集系统106通过网络与分析系统104进行通信。数据存储系统可以存储分析系统104需要处理的数据。数据存储系统可以集成在服务器上，也可以放在云上或其他网络服务器上。首先，数据采集系统106实时获取多个终端设备102上同一应用对应的日志文件。然后，数据采集系统106基于预设数据标识，对多个日志文件中的业务数据进行数据采集，得到汇总数据。最后，数据采集系统106将汇总数据通过网络发送至分析系统104，通过分析系统对汇总数据进行数据处理，得到数据处理结果。本申请通过将分析系统与终端设备分离，对采集的数据数据与处理后通过网络发送到分析系统，可以减少服务器端的负担，提高业务数据处理的效率。其中，终端设备102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。分析系统104以及数据采集系统106可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种业务数据处理方法，以该方法应用于图1中的数据采集系统侧为例进行说明，包括以下步骤202至步骤206。
步骤202，实时获取多个终端设备上同一应用对应的日志文件。
在本实施例中，日志文件中包括应用在运行过程中产生的各类数据，包括但不限于业务数据(如：交易数据)。
在本实施例中，多个终端设备上的同一应用产生的数据的数据类型相一致。例如，多个终端设备上的社交软件产生的数据的数据类型都包括：运行数据、语音数据、图像数据、视频数据等。
在本实施例中，数据采集系统可以通过微服务获取应用实时产生的日志文件。
在另一个实施例中，数据采集系统还可以获取应用当前时间节点之前预设时间段的日志文件。例如，数据采集系统对日志文件进行数据获取时，可以抓取从当前时间节点，到当前时间节点之前十分钟的时间区间内的日志文件。进一步，数据采集系统对日志文件进行数据采集的预设时间段可以预先设置。
在本实施例中，数据采集系统对多个终端设备上同一应用进行日志文件的获取后，上述应用的日志文件中可以记录数据采集系统的本次访问，具体可以记录数据采集系统本次访问的位置，方便数据采集系统下一次对该日志文件进行数据获取时可以快速找到获取对日志文件进行访问的位置。
在另一个实施例中，数据采集系统对多个终端设备上同一应用进行日志文件的获取后，数据采集系统对上述应用的日志文件，在本次访问的结束位置可以进行标记，方便数据采集系统下一次对该日志文件进行数据获取时可以通过查找标记快速找到对日志文件进行访问的位置。
在另一个实施例中，数据采集系统还可以在对多个终端设备上同一应用进行日志文件的获取时，同时获取日志文件的文件时间戳。进一步，数据采集系统可以基于本次获取的日志文件的文件时间戳确定下一次获取日志文件的文件时间戳。
步骤204，基于预设数据标识，对多个日志文件中的业务数据进行数据采集，得到汇总数据。
在本实施例中，日志文件中包括应用在运行过程中产生的各类数据，包括但不限于业务数据(如：交易数据)、运行数据等。其中，不同类型的数据携带有不同的数据标识。
在本实施例中，数据采集系统可以基于预设数据标识对日志文件中的多个数据进行过滤、匹配等数据预处理，得到汇总数据。例如，数据采集系统可以基于交易数据的业务标识对日志文件进行过滤，得到携带有交易数据对应的业务标识的数据。
在本实施例中，数据采集系统将多个终端设备上同一应用的日志文件中经过预处理的数据汇总至一个文件或一个文件夹中，作为汇总数据。
步骤206，将汇总数据通过网络发送至分析系统，通过分析系统对汇总数据进行数据处理，得到数据处理结果。
在本实施例中，终端设备与分析系统单独部署，相互独立，单独启停。
在本实施例中，数据采集系统可以通过TCP(Transmission Control Protocol，传输控制协议)协议向分析系统发送汇总数据。
在本实施例中，数据采集系统在向分析系统发送汇总数据之前，还可以对汇总数据进行打包、压缩等数据处理，提高数据传输的效率。
上述业务数据处理方法中，首先实时获取多个终端设备上同一应用对应的日志文件。然后基于目标业务标识，对多个日志文件中的业务数据进行过滤，得到目标业务数据；基于目标报文标识，对多个目标业务数据进行匹配，得到多个匹配成功的目标业务数据，对多个匹配成功的目标业务数据进行解析，得到汇总数据。最后将汇总数据通过网络发送至分析系统，通过分析系统对汇总数据进行数据处理，得到数据处理结果。本申请从终端设备采集日志文件的数据，对采集的数据进行数据预处理后通过网络发送到分析系统，通过将分析系统与终端设备分离，在终端设备和分析系统分步进行数据的处理，可以减少服务器端的负担，提高业务数据处理的效率。
在一些实施例中，如图3所示，基于预设数据标识，对多个日志文件中的业务数据进行数据采集，得到汇总数据，包括：基于目标业务标识，对多个日志文件中的业务数据进行过滤，得到目标业务数据；基于目标报文标识，对多个目标业务数据进行匹配，得到多个匹配成功的目标业务数据，对多个匹配成功的目标业务数据进行解析，得到汇总数据。
在本实施例中，日志文件中包括应用在运行过程中产生的各类数据，包括但不限于业务数据、运行数据、浏览数据等。其中，不同类型的数据携带有不同的数据标识，例如，业务数据携带有业务标识，运行数据携带有运行标识、浏览数据携带有浏览标识等。其中，多种业务数据中，每种业务数据携带有其对应的业务标识，例如：交易业务携带有交易业务标识，转移业务携带有转移业务表示，审核业务携带有审核业务标识等。
在本实施例中，在数据采集系统基于目标业务标识，对多个日志文件中的业务数据进行过滤，得到目标业务数据之前，数据采集系统还可以基于业务标识对日志文件中各类数据进行数据筛选，得到多个业务数据。
在本实施例中，每种业务数据中包括多种格式文件，每种格式文件对应有一个报文标识。例如，当业务数据为交易数据时，业务数据对应的多个格式文件可以包括但不限于：商户编号、终端编号、订单编号、订单状态(成功或失败或交易中)，交易日期、交易时间、分行号、错误码、错误描述等。
在本实施例中，数据采集系统可以基于目标报文标识获取目标报文标识对应的报文解析方式。进一步，数据采集系统得到多个匹配成功的目标业务数据后，可以基于目标报文标识对应的报文解析方式，对个匹配成功的目标业务数据进行解析，得到汇总数据。
在一些实施例中，基于目标业务标识，对多个日志文件中的业务数据进行过滤，得到目标业务数据，包括：获取多个日志文件中业务数据的业务标识；当目标业务标识与业务标识一致时，将业务标识对应的业务数据作为目标业务数据。
在本实施例中，数据采集系统可以基于目标业务标识，对多个日志文件中的业务数据进行过滤，得到携带有目标业务标识的目标业务数据。例如，数据采集系统可以将交易数据对应的业务标识作为目标业务标识，基于目标业务标识对多个日志文件中的业务数据进行过滤，得到多个日志文件中所有携带有目标业务标识的数据，作为目标业务数据。
在另一个实施例中，数据采集系统可以同时基于多个目标业务标识，对多个日志文件中的业务数据进行过滤。
在另一个实施例中，目标业务标识可依据本优先级，当同时存在多个目标业务标识时，数据采集系统还可以基于多个业务标识的优先级，依次对日志文件中各类数据进行数据筛选，得到每个业务标识对应的多个业务数据。
在一些实施例中，基于目标报文标识，对多个目标业务数据进行匹配，得到多个匹配成功的目标业务数据，对多个匹配成功的目标业务数据进行解析，包括：获取多个目标业务数据的报文标识；当目标报文标识与报文标识一致时，将报文标识对应的目标业务数据作为匹配成功的目标业务数据；基于目标报文标识，对多个匹配成功的目标业务数据进行报文解析。
在本实施例中，每种业务数据都对应有多种格式文件，每个格式文件对应有一个报文标识。例如，当业务数据为交易数据时，目标业务数据对应的多个格式文件可以包括但不限于：商户编号、终端编号、订单编号、订单状态(成功或失败或交易中)，交易日期、交易时间、分行号、错误码、错误描述等。基于目标报文标识，数据采集系统可以对每种业务数据下的多种格式文件进行匹配，获取目标格式文件。先对业务数据类型进行规律，在对每种业务数据下的多种格式文件进行匹配，采用分布式处理，可以提高数据处理的效率。
在另一个实施例中，数据采集系统可以同时基于多个目标报文标识，对多个目标业务数据进行匹配。例如，数据采集系统可以将交易日期对应的报文标识作为第一目标报文标识，将分行号对应的报文标识作为第二目标报文标识，同时基于第一目标报文标识与第二目标报文标识，对多个目标业务数据进行匹配，得到与第一目标报文标识匹配成功的目标业务数据、与第二目标报文标识匹配成功的目标业务数据。
在一些实施例中，通过分析系统对汇总数据进行数据处理，得到数据处理结果，包括：基于预设目标，通过分析系统对汇总数据中的多个业务数据进行分析统计，生成对应预设目标的数据处理结果。
在本实施例中，数据采集系统可以通过TCP协议向分析系统发送汇总数据。分析系统收到数据采集系统发送的汇总数据后，可以基于预设目标对汇总数据进行统计，将统计结果作为对应预设目标的数据处理结果。
在本实施例中，预设目标可以包括但不限于：预设时间区间内的交易成功率、常见错误码前十位、成功率低商户前十位等。
在另一个实施例中，数据采集系统还可以对汇总数据进行打包、压缩等数据处理，得到压缩文件，再通过TCP协议将压缩文件发送至分析系统。分析系统在接收到上述压缩文件后，可以对压缩文件进行解析，得到汇总数据。
在本实施例中，分析系统生成对应预设目标的数据处理结果后，还可以通过页面进行结果展示。
在另一个实施例中，服务器可以同时基于多个不同的预设目标对汇总数据进行统计。例如，预设目标为预设时间区间内的交易成功率(第一预设目标)、成功率低商户前十位(第二预设目标)时，分析系统收到数据采集系统发送的汇总数据后，可以分别基于第一预设目标与第二预设目标，同时对汇总数据进行统计，将统计结果作为对应预设目标的数据处理结果。
在另一个实施例中，预设目标还可以具备优先级，当同时存在多个预设目标时，服务器可以基于预设目标的优先级对汇总数据进行统计。
在一些实施例中，上述方法还包括：通过分析系统将多个汇总数据记录至数据库。
在本实施例中，分析系统可以将汇总数据记录至分析系统对应的数据库中。
在本实施例中，分析系统对应的数据库，与终端设备对应的数据库相互独立，单独启停。
在本实施例中，终端设备与分析系统单独部署，使得数据采集系统对终端设备的数据采集，与分析系统对汇总数据的统计分析之间相互独立，单独启停。终端设备在生成日志文件后无需在终端设备对应的数据库中进行数据的记录，可以提高终端设备上多个应用的业务处理效率。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的业务数据处理方法的业务数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个业务数据处理装置实施例中的具体限定可以参见上文中对于业务数据处理方法的限定，在此不再赘述。
在一个实施例中，如图4所示，提供了一种业务数据处理装置，包括：日志文件获取模块402、过滤模块404、匹配模块406和分析模块408，其中：
日志文件获取模块402，用于实时获取多个终端设备上同一应用对应的日志文件。
过滤模块404，用于基于目标业务标识，对多个日志文件中的业务数据进行过滤，得到目标业务数据。
匹配模块406，用于基于目标报文标识，对多个目标业务数据进行匹配，得到多个匹配成功的目标业务数据，对多个匹配成功的目标业务数据进行解析，得到汇总数据。
分析模块408，用于将汇总数据通过网络发送至分析系统，通过分析系统对汇总数据进行数据处理，得到数据处理结果。
在其中一个实施例中，过滤模块404可以包括：
业务标识获取子模块，用于获取多个日志文件中业务数据的业务标识。
目标业务数据获取子模块，用于当目标业务标识与业务标识一致时，将业务标识对应的业务数据作为目标业务数据。
在其中一个实施例中，匹配模块406可以包括：
报文标识获取子模块，用于获取多个目标业务数据的报文标识。
报文匹配子模块，用于当目标报文标识与报文标识一致时，将报文标识对应的目标业务数据作为匹配成功的目标业务数据。
报文解析子模块，用于基于目标报文标识，对多个匹配成功的目标业务数据进行报文解析。
在其中一个实施例中，分析模块408可以包括：
分析统计子模块，用于基于预设目标，通过分析系统对汇总数据中的多个业务数据进行分析统计，生成对应预设目标的数据处理结果。
在其中一个实施例中，上述装置还包括：
记录模块，用于通过分析系统将多个汇总数据记录至数据库。
上述业务数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标业务标识、目标报文标识等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种业务数据处理方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：实时获取多个终端设备上同一应用对应的日志文件；基于预设数据标识，对多个日志文件中的业务数据进行数据采集，得到汇总数据；将汇总数据通过网络发送至分析系统，通过分析系统对汇总数据进行数据处理，得到数据处理结果。
在一个实施例中，处理器执行计算机程序时还实现基于预设数据标识，对多个日志文件中的业务数据进行数据采集，得到汇总数据，可以包括：基于目标业务标识，对多个日志文件中的业务数据进行过滤，得到目标业务数据；基于目标报文标识，对多个目标业务数据进行匹配，得到多个匹配成功的目标业务数据，对多个匹配成功的目标业务数据进行解析，得到汇总数据。
在一个实施例中，处理器执行计算机程序时还实现基于目标业务标识，对多个日志文件中的业务数据进行过滤，得到目标业务数据，可以包括：获取多个日志文件中业务数据的业务标识；当目标业务标识与业务标识一致时，将业务标识对应的业务数据作为目标业务数据。
在一个实施例中，处理器执行计算机程序时还实现基于目标报文标识，对多个目标业务数据进行匹配，得到多个匹配成功的目标业务数据，对多个匹配成功的目标业务数据进行解析，可以包括：获取多个目标业务数据的报文标识；当目标报文标识与报文标识一致时，将报文标识对应的目标业务数据作为匹配成功的目标业务数据；基于目标报文标识，对多个匹配成功的目标业务数据进行报文解析。
在一个实施例中，处理器执行计算机程序时还实现通过分析系统对汇总数据进行数据处理，得到数据处理结果，可以包括：基于预设目标，通过分析系统对汇总数据中的多个业务数据进行分析统计，生成对应预设目标的数据处理结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过分析系统将多个汇总数据记录至数据库。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：实时获取多个终端设备上同一应用对应的日志文件；基于预设数据标识，对多个日志文件中的业务数据进行数据采集，得到汇总数据；将汇总数据通过网络发送至分析系统，通过分析系统对汇总数据进行数据处理，得到数据处理结果。
在一个实施例中，计算机程序被处理器执行时还实现基于预设数据标识，对多个日志文件中的业务数据进行数据采集，得到汇总数据，可以包括：基于目标业务标识，对多个日志文件中的业务数据进行过滤，得到目标业务数据；基于目标报文标识，对多个目标业务数据进行匹配，得到多个匹配成功的目标业务数据，对多个匹配成功的目标业务数据进行解析，得到汇总数据。
在一个实施例中，计算机程序被处理器执行时还实现基于目标业务标识，对多个日志文件中的业务数据进行过滤，得到目标业务数据，可以包括：获取多个日志文件中业务数据的业务标识；当目标业务标识与业务标识一致时，将业务标识对应的业务数据作为目标业务数据。
在一个实施例中，计算机程序被处理器执行时还实现基于目标报文标识，对多个目标业务数据进行匹配，得到多个匹配成功的目标业务数据，对多个匹配成功的目标业务数据进行解析，可以包括：获取多个目标业务数据的报文标识；当目标报文标识与报文标识一致时，将报文标识对应的目标业务数据作为匹配成功的目标业务数据；基于目标报文标识，对多个匹配成功的目标业务数据进行报文解析。
在一个实施例中，计算机程序被处理器执行时还实现通过分析系统对汇总数据进行数据处理，得到数据处理结果，可以包括：基于预设目标，通过分析系统对汇总数据中的多个业务数据进行分析统计，生成对应预设目标的数据处理结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过分析系统将多个汇总数据记录至数据库。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：实时获取多个终端设备上同一应用对应的日志文件；基于预设数据标识，对多个日志文件中的业务数据进行数据采集，得到汇总数据；将汇总数据通过网络发送至分析系统，通过分析系统对汇总数据进行数据处理，得到数据处理结果。
在一个实施例中，计算机程序被处理器执行时还实现基于预设数据标识，对多个日志文件中的业务数据进行数据采集，得到汇总数据，可以包括：基于目标业务标识，对多个日志文件中的业务数据进行过滤，得到目标业务数据；基于目标报文标识，对多个目标业务数据进行匹配，得到多个匹配成功的目标业务数据，对多个匹配成功的目标业务数据进行解析，得到汇总数据。
在一个实施例中，计算机程序被处理器执行时还实现基于目标业务标识，对多个日志文件中的业务数据进行过滤，得到目标业务数据，可以包括：获取多个日志文件中业务数据的业务标识；当目标业务标识与业务标识一致时，将业务标识对应的业务数据作为目标业务数据。
在一个实施例中，计算机程序被处理器执行时还实现基于目标报文标识，对多个目标业务数据进行匹配，得到多个匹配成功的目标业务数据，对多个匹配成功的目标业务数据进行解析，可以包括：获取多个目标业务数据的报文标识；当目标报文标识与报文标识一致时，将报文标识对应的目标业务数据作为匹配成功的目标业务数据；基于目标报文标识，对多个匹配成功的目标业务数据进行报文解析。
在一个实施例中，计算机程序被处理器执行时还实现通过分析系统对汇总数据进行数据处理，得到数据处理结果，可以包括：基于预设目标，通过分析系统对汇总数据中的多个业务数据进行分析统计，生成对应预设目标的数据处理结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过分析系统将多个汇总数据记录至数据库。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (13)

1.一种业务数据处理方法，其特征在于，所述方法包括：
实时获取多个终端设备上同一应用对应的日志文件；
基于目标业务标识，对多个所述日志文件中的业务数据进行过滤，得到目标业务数据；
基于目标报文标识，对多个所述目标业务数据进行匹配，得到多个匹配成功的目标业务数据，对多个所述匹配成功的目标业务数据进行解析，得到汇总数据；
将所述汇总数据通过网络发送至分析系统，通过所述分析系统对所述汇总数据进行数据处理，得到数据处理结果。
2.根据权利要求1所述的方法，其特征在于，所述基于目标业务标识，对多个所述日志文件中的业务数据进行过滤，得到目标业务数据，包括：
获取多个所述日志文件中业务数据的业务标识；
当所述目标业务标识与所述业务标识一致时，将所述业务标识对应的业务数据作为目标业务数据。
3.根据权利要求1所述的方法，其特征在于，所述基于目标报文标识，对多个所述目标业务数据进行匹配，得到多个匹配成功的目标业务数据，对多个所述匹配成功的目标业务数据进行解析，包括：
获取多个所述目标业务数据的报文标识；
当所述目标报文标识与所述报文标识一致时，将所述报文标识对应的目标业务数据作为匹配成功的目标业务数据；
基于所述目标报文标识，对多个所述匹配成功的目标业务数据进行报文解析。
4.根据权利要求1所述的方法，其特征在于，所述通过所述分析系统对所述汇总数据进行数据处理，得到数据处理结果，包括：
基于预设目标，通过所述分析系统对所述汇总数据中的多个业务数据进行分析统计，生成对应所述预设目标的数据处理结果。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
通过所述分析系统将多个所述汇总数据记录至数据库。
6.一种业务数据处理装置，其特征在于，所述装置包括：
日志文件获取模块，用于实时获取多个终端设备上同一应用对应的日志文件；
过滤模块，用于基于目标业务标识，对多个所述日志文件中的业务数据进行过滤，得到目标业务数据；
匹配模块，用于基于目标报文标识，对多个所述目标业务数据进行匹配，得到多个匹配成功的目标业务数据，对多个所述匹配成功的目标业务数据进行解析，得到汇总数据；
分析模块，用于将所述汇总数据通过网络发送至分析系统，通过所述分析系统对所述汇总数据进行数据处理，得到数据处理结果。
7.根据权利要求6所述的装置，其特征在于，所述过滤模块，包括：
业务标识获取子模块，用于获取多个所述日志文件中业务数据的业务标识；
目标业务数据获取子模块，用于当所述目标业务标识与所述业务标识一致时，将所述业务标识对应的业务数据作为目标业务数据。
8.根据权利要求6所述的装置，其特征在于，所述匹配模块，包括：
报文标识获取子模块，用于获取多个所述目标业务数据的报文标识；
报文匹配子模块，用于当所述目标报文标识与所述报文标识一致时，将所述报文标识对应的目标业务数据作为匹配成功的目标业务数据；
报文解析子模块，用于基于所述目标报文标识，对多个所述匹配成功的目标业务数据进行报文解析。
9.根据权利要求6所述的装置，其特征在于，所述分析模块，包括：
分析统计子模块，用于基于预设目标，通过所述分析系统对所述汇总数据中的多个业务数据进行分析统计，生成对应所述预设目标的数据处理结果。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
记录模块，用于通过所述分析系统将多个所述汇总数据记录至数据库。
11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
13.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN202211109110.2A 2022-09-13 2022-09-13 业务数据处理方法、装置、计算机设备和存储介质 Pending CN115510012A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211109110.2A CN115510012A (zh) 2022-09-13 2022-09-13 业务数据处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211109110.2A CN115510012A (zh) 2022-09-13 2022-09-13 业务数据处理方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN115510012A true CN115510012A (zh) 2022-12-23

Family

ID=84504161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211109110.2A Pending CN115510012A (zh) 2022-09-13 2022-09-13 业务数据处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN115510012A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117251301A (zh) * 2023-06-26 2023-12-19 上海数禾信息科技有限公司 数据调用方法、组件、系统、计算机设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117251301A (zh) * 2023-06-26 2023-12-19 上海数禾信息科技有限公司 数据调用方法、组件、系统、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN109034993B (zh) 对账方法、设备、系统及计算机可读存储介质
CA2895893C (en) Searchable data archive
CN108847977B (zh) 一种业务数据的监控方法、存储介质和服务器
CN107748797A (zh) 金融行情数据的处理方法
US10387370B2 (en) Collecting test results in different formats for storage
CN112035471B (zh) 一种事务处理方法及计算机设备
CN109359109B (zh) 一种基于分布式流计算的数据处理方法及系统
CN110932918A (zh) 日志数据采集方法、装置及存储介质
CN113656194A (zh) 对账结果数据的通知方法、装置、电子装置及存储介质
CN112732793A (zh) 业务数据的处理方法和装置、存储介质、电子装置
CN115510012A (zh) 业务数据处理方法、装置、计算机设备和存储介质
CN116737482A (zh) 一种芯片测试数据的实时收集方法、装置及电子设备
CN111367686A (zh) 业务接口的调用方法及装置、计算机设备、存储介质
CN114218173B (zh) 传帐类交易文件的批处理系统、处理方法、介质和设备
CN112860456B (zh) 日志处理方法和装置
CN115062086A (zh) 应用程序功能推送方法、装置、计算机设备和存储介质
CN110363537B (zh) 远程面签录屏调取方法、装置、存储介质及计算机设备
CN113902415A (zh) 财务数据核对方法、装置、计算机设备和存储介质
CN111611056A (zh) 数据处理方法、装置、计算机设备及存储介质
CN106506478B (zh) 一种针对移动终端Zello应用的数据取证方法
US11531711B1 (en) Forensic criminal investigation digital data intersection
EP2767911A1 (en) Data storage and retrieval
CN114328113A (zh) 预警处理方法、装置、计算机设备和存储介质
CN118035189A (zh) 一种日志压缩方法、装置、存储介质、产品及电子设备
CN118485440A (zh) 业务数据监控方法、系统、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination