CN116629870A - 基于分布式技术的数据处理方法、装置、设备及存储介质 - Google Patents

基于分布式技术的数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116629870A
CN116629870A CN202310720439.0A CN202310720439A CN116629870A CN 116629870 A CN116629870 A CN 116629870A CN 202310720439 A CN202310720439 A CN 202310720439A CN 116629870 A CN116629870 A CN 116629870A
Authority
CN
China
Prior art keywords
nodes
transaction
data
transaction response
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310720439.0A
Other languages
English (en)
Inventor
孙波
侯慧欣
吴文建
赵永杰
陈俊彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202310720439.0A priority Critical patent/CN116629870A/zh
Publication of CN116629870A publication Critical patent/CN116629870A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/389—Keeping log of transactions for guaranteeing non-repudiation of a transaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24532—Query optimisation of parallel queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Data Mining & Analysis (AREA)
  • Finance (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Technology Law (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了基于分布式技术的数据处理方法、装置、设备及存储介质，可应用于分布式领域或金融领域。该方法包括：获取分布式交易系统中的多个节点针对交易请求的交易响应数据；对多个节点分别对应的交易响应数据进行分片，得到分片文件；对分片文件进行分析，得到多个节点的交易响应情况。由于上述多个节点分别对应的交易响应数据可以表示同一交易请求在多个节点之间的流转情况，因此，可以通过交易请求对应的完整链路的数据分析，得到多个节点的交易响应情况，如此，即可实现对于交易流程的监控，从而能够在交易和/或系统出现问题后及时调整，尽可能地保证交易正常进行，系统正常运行。

Description

基于分布式技术的数据处理方法、装置、设备及存储介质
技术领域
本申请涉及分布式技术领域，尤其涉及基于分布式技术的数据处理方法、装置、设备及存储介质。
背景技术
近年来，随着大数据、云计算等新兴技术的发展，传统的集中式架构正逐步向分布式架构迁移，技术架构下的服务粒度也随之变细。在分布式架构下，单个应用系统可以被划分为多个节点，这些节点通过对应的微服务之间的协调配合来实现该应用程序对应的业务功能。
以银行的交易场景为例，银行内部的员工可以通过员工统一门户系统这种分布式交易系统来完成交易。但是，分布式交易系统中包括许多节点，且各个节点都存在对应的前端交易，在不同的交易场景下也相应存在着不同的交易链路。基于此，当下需要对交易流程进行监控，使交易可以正常进行，系统正常运行。
发明内容
本申请实施例提供了基于分布式技术的数据处理方法、装置、设备及存储介质，以实现分布式交易系统中的数据分析，便于后续依据分析结果提升系统性能。
第一方面，本申请实施例提供了一种基于分布式技术的数据处理方法，包括：
获取分布式交易系统中的多个节点针对交易请求的交易响应数据；
对所述多个节点分别对应的交易响应数据进行分片，得到分片文件；
对所述分片文件进行分析，得到所述多个节点的交易响应情况。
可选地，所述多个节点分别对应的交易响应数据存储于交易数据表；
所述对所述多个节点分别对应的交易响应数据进行分片，得到分片文件，包括：
通过多线程分页查询的方式，从所述交易数据表中读取所述多个节点分别对应的交易响应数据；
按照预设数据类型处理所述多个节点分别对应的交易响应数据，以生成日志文件；
按照预设时间粒度对所述日志文件进行分片，得到所述分片文件。
可选地，所述按照预设时间粒度对所述日志文件进行分片，得到所述分片文件，包括：
按照所述预设时间粒度将所述日志文件压缩为预设格式的文件，以生成所述分片文件。
可选地，所述方法还包括：
响应于所述交易请求，基于当前时间信息、所述多个节点各自的编码信息，以及随机数生成所述交易请求对应的全局标识信息；
所述对所述分片文件进行分析，得到所述多个节点的交易响应情况，包括：
基于所述全局标识信息和所述多个节点各自的编码信息对所述分片文件进行分析，得到所述多个节点之间的响应时延；
将所述多个节点之间的响应时延作为所述多个节点的交易响应情况。
可选地，所述方法还包括：
响应于所述交易请求，基于当前时间信息、所述多个节点各自的编码信息，以及随机数生成所述交易请求对应的全局标识信息；
确定所述交易请求分别流转到所述多个节点的微服务环节数据；
所述对所述分片文件进行分析，得到所述多个节点的交易响应情况，包括：
基于所述全局标识信息和所述微服务环节数据，对所述分片文件进行分析，确定所述多个节点各自的微服务性能数据；
将所述多个节点各自的微服务性能数据作为所述多个节点的交易响应情况。
可选地，所述多个节点分别对应的交易响应数据为所述多个节点在预设时长内分别针对多个交易请求的交易响应数据；
所述对所述分片文件进行分析，得到所述多个节点的交易响应情况，包括：
基于所述预设时长横向对比所述分片文件，得到所述多个节点各自的业务高峰数据和/或性能压力数据；
将所述多个节点各自的业务高峰数据和/或性能压力数据作为所述多个节点的交易响应情况。
可选地，所述方法还包括：
在所述多个节点分别对应的交易响应数据的存放时间超过预设存放时间时，删除所述多个节点分别对应的交易响应数据；和/或，
在所述分片文件的存放时间超过预设存放时间时，删除所述分片文件。
第二方面，本申请实施例提供了一种信贷风险评估模型的训练装置，包括
获取模块，用于获取分布式交易系统中的多个节点针对交易请求的交易响应数据；
分片模块，用于对所述多个节点分别对应的交易响应数据进行分片，得到分片文件；
分析模块，用于对所述分片文件进行分析，得到所述多个节点的交易响应情况。
第三方面，本申请实施例提供了一种电子设备，所述设备包括：处理器、存储器、系统总线；
所述处理器以及所述存储器通过所述系统总线相连；
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述基于分布式技术的数据处理方法的任一实现方式。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述基于分布式技术的数据处理方法的任一实现方式。
从以上技术方案可以看出，本申请实施例具有以下优点：
在本申请实施例中，获取分布式交易系统中的多个节点针对交易请求的交易响应数据之后，可以对所述多个节点分别对应的交易响应数据进行分片，得到分片文件，再对分片文件进行分析，得到多个节点的交易响应情况。由于上述多个节点分别对应的交易响应数据可以表示同一交易请求在多个节点之间的流转情况，因此，可以通过交易请求对应的完整链路的数据分析，得到多个节点的交易响应情况，如此，即可实现对于交易流程的监控，从而能够在交易和/或系统出现问题后及时调整，尽可能地保证交易正常进行，系统正常运行。
附图说明
图1为本申请实施例提供的一种基于分布式技术的数据处理方法的流程图；
图2为本申请实施例提供的一种基于分布式技术的数据处理装置的结构示意图。
具体实施方式
正如前文所述，以银行的交易场景为例，银行内部的员工可以通过员工统一门户系统这种分布式交易系统来完成交易。但是，分布式交易系统中包括许多节点，且各个节点都存在对应的前端交易，在不同的交易场景下也相应存在着不同的交易链路。基于此，当下需要对交易流程进行监控，使交易可以正常进行，系统正常运行。
为了解决上述问题，本申请实施例提供了一种基于分布式技术的数据处理方法，该方法包括：获取分布式交易系统中的多个节点针对交易请求的交易响应数据之后，可以对多个节点分别对应的交易响应数据进行分片，得到分片文件，再对分片文件进行分析，得到多个节点的交易响应情况。
由于上述多个节点分别对应的交易响应数据可以表示同一交易请求在多个节点之间的流转情况，因此，可以通过交易请求对应的完整链路的数据分析，得到多个节点的交易响应情况，如此，即可实现对于交易流程的监控，从而能够在交易和/或系统出现问题后及时调整，尽可能地保证交易正常进行，系统正常运行。
需要说明的是，本发明提供的基于分布式技术的数据处理方法、装置、设备及存储介质可用于分布式领域或金融领域。上述仅为示例，并不对本发明提供的基于分布式技术的数据处理方法、装置、设备及存储介质的应用领域进行限定。另外，本申请实施例亦可不限定基于分布式技术的数据处理方法的执行主体，例如，本申请实施例的基于分布式技术的数据处理方法可以应用于终端设备或服务器等数据处理设备。其中，终端设备可以为智能手机、计算机、个人数字助理(Personal Digital Assistant，PDA)、平板电脑等电子设备。服务器可以为独立服务器、集群服务器或云服务器。
为了使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的一种基于分布式技术的数据处理方法的流程图。结合图1所示，本申请实施例提供的基于分布式技术的数据处理方法可以包括：
S101：获取分布式交易系统中的多个节点针对交易请求的交易响应数据。
这里，分布式交易系统中的多个节点，是指分布式交易系统中能够提供不同微服务的多个子组件。对于一个交易请求，其在分布式系统中的流转链路，不一定需要该系统中的全部节点来参与，因此，上述多个节点可以是分布式交易系统中的全部节点，也可以是分布式交易系统中的部分节点，对此需要结合交易请求对应的实际业务需求来调用对应的节点，本申请实施例可不做具体限定。
交易请求，是指与用户需求匹配的交易请求。在分布式交易系统中，该交易请求可以被预先分为多个对应的微服务请求，而后，多个节点可以响应各自对应的微服务请求，实现节点之间的协调工作，完成该交易请求。多个节点针对交易请求的交易响应数据，可以包括：从发起交易请求到完成交易请求这一条完整的流转链路中，请求分别到达各个节点时的交易数据和时间。
在实际应用中，以存款场景为例，若用户需求为存款需求，则该交易请求可以体现为银行内部员工发起的针对该用户的存款需求的存款请求。在分布式交易系统中，该存款请求可以被拆分为网关服务请求、总控服务请求、账户查询服务请求和记账服务请求。相应地，从发起交易请求到完成交易请求这一条完整的流转链路，具体可以体现为：网关服务将账户A、存款金额B和存款货币类型C作为请求报文发送至总控服务；总控服务将账户A作为新的请求报文发送至账户查询服务，账户查询服务将用于表示账户A存在的返回报文反馈至总控服务；总控服务再将账户A、存款金额B和存款货币类型C作为新的请求报文发送至记账服务，记账服务将用于表示存款成功的返回报文反馈至总控服务；总控服务再根据账户查询服务反馈的返回报文、记账服务反馈的返回报文，向网关服务反馈用于表示交易成功的返回报文，并由网关服务反馈该用于表示交易成功的返回报文。
S102：对多个节点分别对应的交易响应数据进行分片，得到分片文件。
在本申请实施例中，针对交易响应数据进行分片的过程，也就是S102，可不具体限定，为了便于理解，下面结合一种可能的实现方式进行说明。
作为一种可能的实现方式，多个节点分别对应的交易响应数据存储于交易数据表。相应地，S102可以包括：通过多线程分页查询的方式，从交易数据表中读取多个节点分别对应的交易响应数据；按照预设数据类型处理多个节点分别对应的交易响应数据，以生成日志文件；按照预设时间粒度对日志文件进行分片，得到分片文件。如此，通过对多个节点分别对应的交易响应数据进行分片处理，可以使交易相应数据按照预设的时间粒度进行存储，其颗粒度较小，便于进行数据的存储和分析，也就是便于从中分析出多个节点的交易相应情况。另外，通过多线程分页查询的方式可以快速从数据量较大的交易数据表中快速读取到交易响应数据，提高处理效率。
具体来说，预设数据类型可以是字符串，相应地，可以按照字符串的形式将多个节点分别对应的交易响应数据拼接起来，再在各字符串字段之间添加间隔符，以生成日志文件。
进一步地，对日志文件进行分片的实现过程可以包括：按照预设时间粒度将日志文件压缩为预设格式的文件，以生成分片文件。其中，预设时间粒度，例如是1小时，如此，每小时便会压缩一遍日志文件，即生成1个分片文件，每日共生成24个日志文件。此外，若每日均压缩成功，则可以将当日的日志文件删除，以进一步节约数据空间，减少内存压力。
S103：对分片文件进行分析，得到多个节点的交易响应情况。
在本申请实施例中，对分片文件进行分析的实现过程，也就是S103，可不具体限定，为了便于理解，下面可以提供多种可能的实现方式进行说明。
作为一种可能的实施方式，在本申请实施例中，可以先响应于交易请求，基于当前时间信息、多个节点各自的编码信息，以及随机数生成交易请求对应的全局标识信息。其中，全局标识信息，例如是全局流水号，该全局流水号可由交易请求发起时到达的节点依次传递到交易请求完成时到达的节点，从而可以标识出该交易请求的完整流转链路。相应地，S103具体可以包括：基于全局标识信息和多个节点各自的编码信息对分片文件进行分析，得到多个节点之间的响应时延；将多个节点之间的响应时延作为多个节点的交易响应情况。如此，通过多个节点之间的响应时延，可以判断出是否存在时延较大的节点，从而在存在时延较大的节点时可以及时调整系统或对应节点，尽可能地保证交易正常进行，系统正常运行。
作为另一种可能的实施方式，在本申请实施例中，可以先响应于交易请求，基于当前时间信息、多个节点各自的编码信息，以及随机数生成交易请求对应的全局标识信息，而后再确定交易请求分别流转到多个节点的微服务环节数据。其中，全局标识信息，例如是全局流水号，该全局流水号可由交易请求发起时到达的节点依次传递到交易请求完成时到达的节点，从而可以标识出该交易请求的完整流转链路。微服务环节数据，例如是微服务的服务时长。相应地，S103具体可以包括：基于全局标识信息和微服务环节数据，对分片文件进行分析，确定多个节点各自的微服务性能数据；将多个节点各自的微服务性能数据作为多个节点的交易响应情况。如此，通过多个节点各自的微服务性能数据，可以判断出是否存在微服务性能不良的节点，从而在存在微服务不良的节点时，及时对该节点相关的微服务参数及时调整，尽可能地保证交易正常进行，系统正常运行。
作为又一种可能的实施方式，在本申请实施例中，多个节点分别对应的交易响应数据可以为多个节点在预设时长内分别针对多个交易请求的交易响应数据。举例来说，预设时长例如是3天，则交易响应数据即为这3天内多个节点分别针对不同交易请求的交易响应数据。相应地，S103具体可以包括：基于预设时长横向对比分片文件，得到多个节点各自的业务高峰数据和/或性能压力数据；将多个节点各自的业务高峰数据和/或性能压力数据作为多个节点的交易响应情况。如此，通过预设市场内横向对比分片文件，可以判断出哪个或哪些时段为业务量高峰期和/或性能压力瓶颈期，从而针对业务高峰情况和/或性能压力情况，及时调整相关节点和系统，尽可能地保证交易正常进行，系统正常运行。
另外，在本申请实施例中，为了进一步保证数据安全，减少内存压力，可以及时对相关数据进行清理。具体来说，在多个节点分别对应的交易响应数据的存放时间超过预设存放时间时，删除多个节点分别对应的交易响应数据；和/或，在分片文件的存放时间超过预设存放时间时，删除分片文件。其中，预设存放时间可以由银行的工作人员自行配置，或者是结合实际的业务自动调整，此处可不做具体限定。
基于以上S101-S103相关内容可知，在本申请实施例中，获取分布式交易系统中的多个节点针对交易请求的交易响应数据之后，可以对多个节点分别对应的交易响应数据进行分片，得到分片文件，再对分片文件进行分析，得到多个节点的交易响应情况。由于上述多个节点分别对应的交易响应数据可以表示同一交易请求在多个节点之间的流转情况，因此，可以通过交易请求对应的完整链路的数据分析，得到多个节点的交易响应情况，如此，即可实现对于交易流程的监控，从而能够在交易和/或系统出现问题后及时调整，尽可能地保证交易正常进行，系统正常运行。
基于上述实施例提供的基于分布式技术的数据处理方法，本申请实施例还可以提供一种基于分布式技术的数据处理装置。下面分别结合实施例和附图，对该基于分布式技术的数据处理装置进行描述。
图2为本申请实施例提供的一种基于分布式技术的数据处理装置的结构示意图。结合图2所示，本申请实施例提供的基于分布式技术的数据处理装置200，包括：
获取模块201，用于获取分布式交易系统中的多个节点针对交易请求的交易响应数据；
分片模块202，用于对所述多个节点分别对应的交易响应数据进行分片，得到分片文件；
分析模块203，用于对所述分片文件进行分析，得到所述多个节点的交易响应情况。
作为一种实施方式，所述多个节点分别对应的交易响应数据存储于交易数据表；所述分析模块202包括：
读取模块，用于通过多线程分页查询的方式，从所述交易数据表中读取所述多个节点分别对应的交易响应数据；
处理模块，用于按照预设数据类型处理所述多个节点分别对应的交易响应数据，以生成日志文件；
分片子模块，用于按照预设时间粒度对所述日志文件进行分片，得到所述分片文件。
作为一种实施方式，所述分片子模块包括：
压缩模块，用于按照所述预设时间粒度将所述日志文件压缩为预设格式的文件，以生成所述分片文件。
作为一种实施方式，所述基于分布式技术的数据处理装置200还包括：
生成模块，用于响应于所述交易请求，基于当前时间信息、所述多个节点各自的编码信息，以及随机数生成所述交易请求对应的全局标识信息；
所述分析模块203包括：
第一分析模块，用于基于所述全局标识信息和所述多个节点各自的编码信息对所述分片文件进行分析，得到所述多个节点之间的响应时延；
第一确定模块，用于将所述多个节点之间的响应时延作为所述多个节点的交易响应情况。
作为一种实施方式，所述基于分布式技术的数据处理装置200还包括：
生成模块，用于响应于所述交易请求，基于当前时间信息、所述多个节点各自的编码信息，以及随机数生成所述交易请求对应的全局标识信息；
第二确定模块，用于确定所述交易请求分别流转到所述多个节点的微服务环节数据；
所述分析模块203包括：
第二分析模块，用于基于所述全局标识信息和所述微服务环节数据，对所述分片文件进行分析，确定所述多个节点各自的微服务性能数据；
第三确定模块，用于将所述多个节点各自的微服务性能数据作为所述多个节点的交易响应情况。
作为一种实施方式，所述多个节点分别对应的交易响应数据为所述多个节点在预设时长内分别针对多个交易请求的交易响应数据；
所述分析模块203包括：
对比模块，用于基于所述预设时长横向对比所述分片文件，得到所述多个节点各自的业务高峰数据和/或性能压力数据；
第四确定模块，用于将所述多个节点各自的业务高峰数据和/或性能压力数据作为所述多个节点的交易响应情况。
作为一种实施方式，所述基于分布式技术的数据处理装置200还包括：
第一删除模块，用于在所述多个节点分别对应的交易响应数据的存放时间超过预设存放时间时，删除所述多个节点分别对应的交易响应数据；和/或，
第二删除模块，用于在所述分片文件的存放时间超过预设存放时间时，删除所述分片文件。
进一步地，本申请实施例还提供了一种电子设备，包括：处理器、存储器、系统总线；
所述处理器以及所述存储器通过所述系统总线相连；
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述基于分布式技术的数据处理方法的任一实现方式。
进一步地，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述基于分布式技术的数据处理方法的任一实现方式。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如媒体网关等网络通信设备，等等)执行本申请各个实施例或者实施例的某些部分所述的方法。需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于分布式技术的数据处理方法，其特征在于，包括：
获取分布式交易系统中的多个节点针对交易请求的交易响应数据；
对所述多个节点分别对应的交易响应数据进行分片，得到分片文件；
对所述分片文件进行分析，得到所述多个节点的交易响应情况。
2.根据权利要求1所述的数据处理方法，其特征在于，所述多个节点分别对应的交易响应数据存储于交易数据表；
所述对所述多个节点分别对应的交易响应数据进行分片，得到分片文件，包括：
通过多线程分页查询的方式，从所述交易数据表中读取所述多个节点分别对应的交易响应数据；
按照预设数据类型处理所述多个节点分别对应的交易响应数据，以生成日志文件；
按照预设时间粒度对所述日志文件进行分片，得到所述分片文件。
3.根据权利要求2所述的数据处理方法，其特征在于，所述按照预设时间粒度对所述日志文件进行分片，得到所述分片文件，包括：
按照所述预设时间粒度将所述日志文件压缩为预设格式的文件，以生成所述分片文件。
4.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：
响应于所述交易请求，基于当前时间信息、所述多个节点各自的编码信息，以及随机数生成所述交易请求对应的全局标识信息；
所述对所述分片文件进行分析，得到所述多个节点的交易响应情况，包括：
基于所述全局标识信息和所述多个节点各自的编码信息对所述分片文件进行分析，得到所述多个节点之间的响应时延；
将所述多个节点之间的响应时延作为所述多个节点的交易响应情况。
5.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：
响应于所述交易请求，基于当前时间信息、所述多个节点各自的编码信息，以及随机数生成所述交易请求对应的全局标识信息；
确定所述交易请求分别流转到所述多个节点的微服务环节数据；
所述对所述分片文件进行分析，得到所述多个节点的交易响应情况，包括：
基于所述全局标识信息和所述微服务环节数据，对所述分片文件进行分析，确定所述多个节点各自的微服务性能数据；
将所述多个节点各自的微服务性能数据作为所述多个节点的交易响应情况。
6.根据权利要求1所述的数据处理方法，其特征在于，所述多个节点分别对应的交易响应数据为所述多个节点在预设时长内分别针对多个交易请求的交易响应数据；
所述对所述分片文件进行分析，得到所述多个节点的交易响应情况，包括：
基于所述预设时长横向对比所述分片文件，得到所述多个节点各自的业务高峰数据和/或性能压力数据；
将所述多个节点各自的业务高峰数据和/或性能压力数据作为所述多个节点的交易响应情况。
7.根据权利要求1至6任一项所述的数据处理方法，其特征在于，所述方法还包括：
在所述多个节点分别对应的交易响应数据的存放时间超过预设存放时间时，删除所述多个节点分别对应的交易响应数据；和/或，
在所述分片文件的存放时间超过预设存放时间时，删除所述分片文件。
8.一种基于分布式技术的数据处理装置，其特征在于，包括：
获取模块，用于获取分布式交易系统中的多个节点针对交易请求的交易响应数据；
分片模块，用于对所述多个节点分别对应的交易响应数据进行分片，得到分片文件；
分析模块，用于对所述分片文件进行分析，得到所述多个节点的交易响应情况。
9.一种电子设备，其特征在于，所述设备包括：处理器、存储器、系统总线；
所述处理器以及所述存储器通过所述系统总线相连；
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行权利要求1至7任一项所述的基于分布式技术的数据处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行权利要求1至7任一项所述的基于分布式技术的数据处理方法。
CN202310720439.0A 2023-06-16 2023-06-16 基于分布式技术的数据处理方法、装置、设备及存储介质 Pending CN116629870A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310720439.0A CN116629870A (zh) 2023-06-16 2023-06-16 基于分布式技术的数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310720439.0A CN116629870A (zh) 2023-06-16 2023-06-16 基于分布式技术的数据处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116629870A true CN116629870A (zh) 2023-08-22

Family

ID=87638270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310720439.0A Pending CN116629870A (zh) 2023-06-16 2023-06-16 基于分布式技术的数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116629870A (zh)

Similar Documents

Publication Publication Date Title
CN108874587B (zh) 一种事务的最终一致性保障方法及系统
CN106548402B (zh) 资源转移监控方法及装置
CN110830437B (zh) 高频业务数据的数据压缩方法、装置、设备及存储介质
CN112039701B (zh) 接口调用监控方法、装置、设备及存储介质
CN115760258A (zh) 投标文件智能生成方法、系统、计算机装置和存储介质
CN111371672A (zh) 消息推送方法及装置
CN111639902A (zh) 基于kafka的数据审核方法、控制装置及计算机设备、存储介质
CN111046083A (zh) 一种数据分析方法、系统及大数据平台
CN108243046B (zh) 一种基于数据稽核的业务质量评估方法及装置
CN113327111A (zh) 一种网络金融交易风险的评估方法及系统
CN116629870A (zh) 基于分布式技术的数据处理方法、装置、设备及存储介质
CN114048512B (zh) 一种处理敏感数据的方法及装置
CN116109322A (zh) 数据采集方法、数据采集设备以及计算机可读存储介质
CN106845926B (zh) 一种第三方支付监管系统分布式数据流处理方法及系统
CN115344633A (zh) 数据处理方法、装置、设备和存储介质
CN113902415A (zh) 财务数据核对方法、装置、计算机设备和存储介质
CN113407491A (zh) 数据处理方法及装置
CN116385102B (zh) 信息推荐方法、装置、计算机设备及存储介质
CN111179088B (zh) 一种信息处理方法及装置
CN113392081B (zh) 数据处理系统及方法
CN114997977B (zh) 一种数据处理方法、装置、电子设备及计算机可读介质
CN117312030A (zh) 信息处理方法、装置、计算机设备和存储介质
CN116663555A (zh) 一种业务客诉信息处理方法及装置
CN117273742A (zh) 一种交易外呼核实方法、装置、设备和介质
CN117114768A (zh) 保险产品信息推送方法及装置、存储介质、终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination