CN114860349B - 数据加载方法、装置、设备及介质 - Google Patents

数据加载方法、装置、设备及介质 Download PDF

Info

Publication number
CN114860349B
CN114860349B CN202210786607.1A CN202210786607A CN114860349B CN 114860349 B CN114860349 B CN 114860349B CN 202210786607 A CN202210786607 A CN 202210786607A CN 114860349 B CN114860349 B CN 114860349B
Authority
CN
China
Prior art keywords
task
file
data
loaded
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210786607.1A
Other languages
English (en)
Other versions
CN114860349A (zh
Inventor
雷海龙
王义开
何磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huarui Distributed Technology Co ltd
Original Assignee
Shenzhen Huarui Distributed Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huarui Distributed Technology Co ltd filed Critical Shenzhen Huarui Distributed Technology Co ltd
Priority to CN202210786607.1A priority Critical patent/CN114860349B/zh
Publication of CN114860349A publication Critical patent/CN114860349A/zh
Application granted granted Critical
Publication of CN114860349B publication Critical patent/CN114860349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/116—Details of conversion of file system types or formats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/71—Version control; Configuration management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及大数据领域，提供一种数据加载方法、装置、设备及介质，其方法包括：当接收到待加载文件时，获取分布式部署的配置组件，并根据所述配置组件将所述待加载文件拆分为至少一个任务；获取目标数据库，利用所述配置组件处理所述至少一个任务，并将所述待加载文件写入所述目标数据库；对所述目标数据库中的所述待加载文件进行数据清洗，得到与核心交易系统适配的数据表；对所述数据表进行格式转换，得到目标文件；将所述目标文件加载至交易节点。利用本发明能够基于配置的分布式部署的组件实现交易系统中数据的高并发加载，提高了数据处理量，并且在加载过程中能够保证数据的可靠传输。

Description

数据加载方法、装置、设备及介质
技术领域
本发明涉及大数据技术领域，尤其涉及一种数据加载方法、装置、设备及介质。
背景技术
核心交易系统为了达到高性能和低时延的目标，会把交易系统需要的数据加载到内存中运行，因此存在占用内存过高、不支持分布式上场等问题。
并且，周边交易系统的数据如果要与核心交易系统对接，也需要进行数据适配，因此需要支持百万、千万级别的客户数据。
发明内容
鉴于以上内容，有必要提供一种数据加载方法、装置、设备及介质，旨在解决交易系统数据无法高并发加载的问题。
一种数据加载方法，所述数据加载方法包括：
当接收到待加载文件时，获取分布式部署的配置组件，并根据所述配置组件将所述待加载文件拆分为至少一个任务；
获取目标数据库，利用所述配置组件处理所述至少一个任务，并将所述待加载文件写入所述目标数据库；
对所述目标数据库中的所述待加载文件进行数据清洗，得到与核心交易系统适配的数据表；
对所述数据表进行格式转换，得到目标文件；
将所述目标文件加载至交易节点。
根据本发明优选实施例，所述根据所述配置组件将所述待加载文件拆分为至少一个任务包括：
获取所述配置组件的数量，及每个配置组件的性能；
当每个配置组件的性能相同时，根据所述配置组件的数量对所述待加载文件进行均匀拆分，得到所述至少一个任务；或者
当每个配置组件的性能不同时，获取每个配置组件的任务并发量，根据每个配置组件的任务并发量确定每个配置组件的任务分配比例，根据所述配置组件的数量及每个配置组件的任务分配比例拆分所述待加载文件，得到所述至少一个任务。
根据本发明优选实施例，所述利用所述配置组件处理所述至少一个任务包括：
通过轮询所述配置组件的状态查询接口获取所述至少一个任务中每个任务的执行状态；
获取所述执行状态为准备执行或者中止执行的任务作为待处理任务；
根据所述待处理任务的执行状态生成异步任务；
在执行所述异步任务的过程中，通过每个异步任务对应的异步线程获取每个异步任务的任务配置；
基于每个异步任务的任务配置，并调用执行前回调方法执行每个异步任务；
当有异步任务执行完成时，调用回调任务执行完成的异步任务的执行状态通知，并清理任务缓存；
当每个异步任务都执行成功时，更新每个异步任务的执行状态及完成时间；或者
当有异步任务执行失败时，根据执行失败的异步任务生成异常警告。
根据本发明优选实施例，在获取所述执行状态为准备执行或者中止执行的任务作为待处理任务后，所述方法还包括：
当所述执行状态为所述准备执行时，更新处于所述准备执行的任务的开始执行时间及执行状态；或者
当所述执行状态为所述中止执行时，更新处于所述中止执行的任务的重复执行的次数，并为所述处于所述中止执行的任务重新分配所述配置组件的实例。
根据本发明优选实施例，在利用所述配置组件处理所述至少一个任务前，所述方法还包括：
获取所述配置组件对任务的每秒处理量，及获取所述至少一个任务的任务总量；
计算所述任务总量与所述每秒处理量的商作为第一数值；
获取当前时间戳及预设的数据加载时间，并计算所述预设的数据加载时间与所述当前时间戳的差值作为第二数值；
当所述第一数值大于所述第二数值，及/或所述任务总量大于所述任务并发量时，确定所述配置组件的处理能力存在瓶颈；
对所述配置组件进行实例扩展。
根据本发明优选实施例，在将所述待加载文件写入所述目标数据库前，所述方法还包括：
获取所述目标数据库的可用存储空间，及获取所述待加载文件的文件体积；
当所述文件体积大于所述可用存储空间时，确定所述目标数据库的存储能力存在瓶颈；
确定所述目标数据库的类型；
当所述目标数据库的类型为分布式数据库时，增加数据库节点；或者
当所述目标数据库的类型为关系型数据库时，新增关系型数据库实例，计算所述文件体积与所述可用存储空间的差值，并根据计算的差值将所述目标数据库中的数据迁移至新增的关系型数据库实例。
根据本发明优选实施例，所述对所述目标数据库中的所述待加载文件进行数据清洗，得到与核心交易系统适配的数据表包括：
确定是否进行程序转换；
当不进行程序转换时，读取所述核心交易系统的SQL转换配置，并利用所述SQL转换配置对所述待加载文件进行数据清洗；或者
当进行程序转换时，根据所述SQL转换配置生成与所述核心交易系统适配的转换程序，利用所述转换程序对所述待加载文件进行数据清洗。
一种数据加载装置，所述数据加载装置包括：
拆分单元，用于当接收到待加载文件时，获取分布式部署的配置组件，并根据所述配置组件将所述待加载文件拆分为至少一个任务；
处理单元，用于获取目标数据库，利用所述配置组件处理所述至少一个任务，并将所述待加载文件写入所述目标数据库；
清洗单元，用于对所述目标数据库中的所述待加载文件进行数据清洗，得到与核心交易系统适配的数据表；
转换单元，用于对所述数据表进行格式转换，得到目标文件；
加载单元，用于将所述目标文件加载至交易节点。
一种计算机设备，所述计算机设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现所述数据加载方法。
一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被计算机设备中的处理器执行以实现所述数据加载方法。
由以上技术方案可以看出，本发明能够基于配置的分布式部署的组件实现交易系统中数据的高并发加载，提高了数据处理量，并且在加载过程中能够保证数据的可靠传输。
附图说明
图1是本发明数据加载方法的较佳实施例的流程图。
图2是本发明数据加载装置的较佳实施例的功能模块图。
图3是本发明实现数据加载方法的较佳实施例的计算机设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
如图1所示，是本发明数据加载方法的较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
所述数据加载方法应用于一个或者多个计算机设备中，所述计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital SignalProcessor，DSP)、嵌入式设备等。
所述计算机设备可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理（Personal Digital Assistant，PDA）、游戏机、交互式网络电视（Internet Protocol Television，IPTV）、智能式穿戴式设备等。
所述计算机设备还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云。
所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络（Virtual Private Network，VPN）等。
S10，当接收到待加载文件时，获取分布式部署的配置组件，并根据所述配置组件将所述待加载文件拆分为至少一个任务。
其中，所述待加载文件可以包括交易场景下的交易所文件和券商文件等，能够支持直接入库。
在本实施例中，所述配置组件可以包括多个实例，每个实例能够并发处理一个或者多个任务。
在本实施例中，所述根据所述配置组件将所述待加载文件拆分为至少一个任务包括：
获取所述配置组件的数量，及每个配置组件的性能；
当每个配置组件的性能相同时，根据所述配置组件的数量对所述待加载文件进行均匀拆分，得到所述至少一个任务；或者
当每个配置组件的性能不同时，获取每个配置组件的任务并发量，根据每个配置组件的任务并发量确定每个配置组件的任务分配比例，根据所述配置组件的数量及每个配置组件的任务分配比例拆分所述待加载文件，得到所述至少一个任务。
例如：当每个配置组件的性能相同时，如果所述配置组件的数量为10个，所述待加载文件的数量为100个，则每个配置组件执行10个待加载文件。当每个配置组件的性能不同时，如果有两个配置组件，任务并发量分别为10和20，则按照1:2的比例拆分所述待加载文件。
上述实施例通过分布式部署的配置组件实现对待加载文件的拆分，能够有效提升任务的并发量。
S11，获取目标数据库，利用所述配置组件处理所述至少一个任务，并将所述待加载文件写入所述目标数据库。
其中，所述目标数据库可以为分布式数据库，也可以为关系型数据库，本发明不限制。
本实施例可以通过读取所述目标数据库的入库配置将所述待加载文件写入所述目标数据库。
在本发明的至少一个实施例中，所述利用所述配置组件处理所述至少一个任务包括：
通过轮询所述配置组件的状态查询接口获取所述至少一个任务中每个任务的执行状态；
获取所述执行状态为准备执行或者中止执行的任务作为待处理任务；
根据所述待处理任务的执行状态生成异步任务；
在执行所述异步任务的过程中，通过每个异步任务对应的异步线程获取每个异步任务的任务配置；
基于每个异步任务的任务配置，并调用执行前回调方法执行每个异步任务；
当有异步任务执行完成时，调用回调任务执行完成的异步任务的执行状态通知，并清理任务缓存；
当每个异步任务都执行成功时，更新每个异步任务的执行状态及完成时间；或者
当有异步任务执行失败时，根据执行失败的异步任务生成异常警告。
其中，每个任务的执行状态可以包括：准备执行、中止执行、执行成功、执行失败、空加载。
其中，当没有获取到所述待处理任务时，如果同时检测到有任务在执行，可以等待一定时间，再继续尝试获取所述待处理任务。
其中，当没有获取到所述待处理任务时，如果同时检测到没有任务在执行，则清除任务缓存，并发出执行结束的通知。
在采用分布式部署的配置组件的基础上，进一步利用异步线程执行异步任务，进一步提升了加载过程中数据的并发量，大量的数据能够异步同时执行，提高了数据传输的可靠性。
其中，在获取所述执行状态为准备执行或者中止执行的任务作为待处理任务后，所述方法还包括：
当所述执行状态为所述准备执行时，更新处于所述准备执行的任务的开始执行时间及执行状态；或者
当所述执行状态为所述中止执行时，更新处于所述中止执行的任务的重复执行的次数，并为所述处于所述中止执行的任务重新分配所述配置组件的实例。
通过对中止执行的任务进行重新分配，能够有效避免数据的丢失，避免数据加载混乱。
在本发明的至少一个实施例中，在利用所述配置组件处理所述至少一个任务前，所述方法还包括：
获取所述配置组件对任务的每秒处理量，及获取所述至少一个任务的任务总量；
计算所述任务总量与所述每秒处理量的商作为第一数值；
获取当前时间戳及预设的数据加载时间，并计算所述预设的数据加载时间与所述当前时间戳的差值作为第二数值；
当所述第一数值大于所述第二数值，及/或所述任务总量大于所述任务并发量时，确定所述配置组件的处理能力存在瓶颈；
对所述配置组件进行实例扩展。
可以理解的是，当所述第一数值大于所述第二数值，及/或所述任务总量大于所述任务并发量时，说明当前的组件没有能力及时且全量的处理任务，因此，需要对所述配置组件进行实例扩展。
其中，在对所述配置组件进行实例扩展时，可以根据所述第一数值与所述第二数值的时间差以及无法被处理的任务量（即所述任务总量与所述任务并发量的差值）综合确定扩展实例的数量，在此不赘述。
通过对配置组件进行扩展，能够进一步提高数据加载的处理量，避免由于配置组件的处理能力存在瓶颈而影响数据的正常加载。
在本发明的至少一个实施例中，在将所述待加载文件写入所述目标数据库前，所述方法还包括：
获取所述目标数据库的可用存储空间，及获取所述待加载文件的文件体积；
当所述文件体积大于所述可用存储空间时，确定所述目标数据库的存储能力存在瓶颈；
确定所述目标数据库的类型；
当所述目标数据库的类型为分布式数据库时，增加数据库节点；或者
当所述目标数据库的类型为关系型数据库时，新增关系型数据库实例，计算所述文件体积与所述可用存储空间的差值，并根据计算的差值将所述目标数据库中的数据迁移至新增的关系型数据库实例。
其中，增加的数据库节点的数量也可以根据新增数据库的存储能力以及所述文件体积与所述可用存储空间的差值进行综合配置，在此不赘述。
通过对数据库进行扩展，能够进一步提高数据加载的处理量，避免由于数据库的存储能力存在瓶颈而影响数据的正常加载。
S12，对所述目标数据库中的所述待加载文件进行数据清洗，得到与核心交易系统适配的数据表。
需要说明的是，为了与所述核心交易系统对数据格式的要求进行适配，还需要对所述目标数据库中的所述待加载文件进行数据清洗。
具体地，所述对所述目标数据库中的所述待加载文件进行数据清洗，得到与核心交易系统适配的数据表包括：
确定是否进行程序转换；
当不进行程序转换时，读取所述核心交易系统的SQL（Structured QueryLanguage，结构化查询语言）转换配置，并利用所述SQL转换配置对所述待加载文件进行数据清洗；或者
当进行程序转换时，根据所述SQL转换配置生成与所述核心交易系统适配的转换程序，利用所述转换程序对所述待加载文件进行数据清洗。
具体地，可以从所述核心交易系统的配置中确定是否进行程序转换。
进一步地，当不需要进行程序转换时，可以根据SQL转换配置直接生成SQL程序对所述待加载文件进行数据清洗。当需要进行程序转换时，根据SQL转换配置生成与所述核心交易系统适配的转换程序对所述待加载文件进行数据清洗。
通过执行数据清洗，能够使待加载的数据与交易系统对数据格式的要求进行适配，使交易系统能够读取数据内容。
S13，对所述数据表进行格式转换，得到目标文件。
可以理解的是，生成的数据表是所述核心交易系统自己的表格，如果不进行格式转换，外部将无法读取到所述数据表的内容。
具体地，可以将所述数据表转换为xml文件、bin文件等，以方便识别所述数据表中的数据内容。
S14，将所述目标文件加载至交易节点。
其中，所述交易节点可以包括java微服务节点。
在本实施例中，在将所述目标文件加载至所述交易节点后，可以进一步执行所述目标文件的下场操作，实现数据清算、结算等场景下的数据处理。
由以上技术方案可以看出，本发明能够基于配置的分布式部署的组件实现交易系统中数据的高并发加载，提高了数据处理量，并且在加载过程中能够保证数据的可靠传输。
如图2所示，是本发明数据加载装置的较佳实施例的功能模块图。所述数据加载装置11包括拆分单元110、处理单元111、清洗单元112、转换单元113、加载单元114。本发明所称的模块/单元是指一种能够被处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块/单元的功能将在后续的实施例中详述。
当接收到待加载文件时，拆分单元110获取分布式部署的配置组件，并根据所述配置组件将所述待加载文件拆分为至少一个任务。
其中，所述待加载文件可以包括交易场景下的交易所文件和券商文件等，能够支持直接入库。
在本实施例中，所述配置组件可以包括多个实例，每个实例能够并发处理一个或者多个任务。
在本实施例中，所述拆分单元110根据所述配置组件将所述待加载文件拆分为至少一个任务包括：
获取所述配置组件的数量，及每个配置组件的性能；
当每个配置组件的性能相同时，根据所述配置组件的数量对所述待加载文件进行均匀拆分，得到所述至少一个任务；或者
当每个配置组件的性能不同时，获取每个配置组件的任务并发量，根据每个配置组件的任务并发量确定每个配置组件的任务分配比例，根据所述配置组件的数量及每个配置组件的任务分配比例拆分所述待加载文件，得到所述至少一个任务。
例如：当每个配置组件的性能相同时，如果所述配置组件的数量为10个，所述待加载文件的数量为100个，则每个配置组件执行10个待加载文件。当每个配置组件的性能不同时，如果有两个配置组件，任务并发量分别为10和20，则按照1:2的比例拆分所述待加载文件。
上述实施例通过分布式部署的配置组件实现对待加载文件的拆分，能够有效提升任务的并发量。
处理单元111获取目标数据库，利用所述配置组件处理所述至少一个任务，并将所述待加载文件写入所述目标数据库。
其中，所述目标数据库可以为分布式数据库，也可以为关系型数据库，本发明不限制。
本实施例可以通过读取所述目标数据库的入库配置将所述待加载文件写入所述目标数据库。
在本发明的至少一个实施例中，所述处理单元111利用所述配置组件处理所述至少一个任务包括：
通过轮询所述配置组件的状态查询接口获取所述至少一个任务中每个任务的执行状态；
获取所述执行状态为准备执行或者中止执行的任务作为待处理任务；
根据所述待处理任务的执行状态生成异步任务；
在执行所述异步任务的过程中，通过每个异步任务对应的异步线程获取每个异步任务的任务配置；
基于每个异步任务的任务配置，并调用执行前回调方法执行每个异步任务；
当有异步任务执行完成时，调用回调任务执行完成的异步任务的执行状态通知，并清理任务缓存；
当每个异步任务都执行成功时，更新每个异步任务的执行状态及完成时间；或者
当有异步任务执行失败时，根据执行失败的异步任务生成异常警告。
其中，每个任务的执行状态可以包括：准备执行、中止执行、执行成功、执行失败、空加载。
其中，当没有获取到所述待处理任务时，如果同时检测到有任务在执行，可以等待一定时间，再继续尝试获取所述待处理任务。
其中，当没有获取到所述待处理任务时，如果同时检测到没有任务在执行，则清除任务缓存，并发出执行结束的通知。
在采用分布式部署的配置组件的基础上，进一步利用异步线程执行异步任务，进一步提升了加载过程中数据的并发量，大量的数据能够异步同时执行，提高了数据传输的可靠性。
其中，在获取所述执行状态为准备执行或者中止执行的任务作为待处理任务后，当所述执行状态为所述准备执行时，更新处于所述准备执行的任务的开始执行时间及执行状态；或者
当所述执行状态为所述中止执行时，更新处于所述中止执行的任务的重复执行的次数，并为所述处于所述中止执行的任务重新分配所述配置组件的实例。
通过对中止执行的任务进行重新分配，能够有效避免数据的丢失，避免数据加载混乱。
在本发明的至少一个实施例中，在利用所述配置组件处理所述至少一个任务前，获取所述配置组件对任务的每秒处理量，及获取所述至少一个任务的任务总量；
计算所述任务总量与所述每秒处理量的商作为第一数值；
获取当前时间戳及预设的数据加载时间，并计算所述预设的数据加载时间与所述当前时间戳的差值作为第二数值；
当所述第一数值大于所述第二数值，及/或所述任务总量大于所述任务并发量时，确定所述配置组件的处理能力存在瓶颈；
对所述配置组件进行实例扩展。
可以理解的是，当所述第一数值大于所述第二数值，及/或所述任务总量大于所述任务并发量时，说明当前的组件没有能力及时且全量的处理任务，因此，需要对所述配置组件进行实例扩展。
其中，在对所述配置组件进行实例扩展时，可以根据所述第一数值与所述第二数值的时间差以及无法被处理的任务量（即所述任务总量与所述任务并发量的差值）综合确定扩展实例的数量，在此不赘述。
通过对配置组件进行扩展，能够进一步提高数据加载的处理量，避免由于配置组件的处理能力存在瓶颈而影响数据的正常加载。
在本发明的至少一个实施例中，在将所述待加载文件写入所述目标数据库前，获取所述目标数据库的可用存储空间，及获取所述待加载文件的文件体积；
当所述文件体积大于所述可用存储空间时，确定所述目标数据库的存储能力存在瓶颈；
确定所述目标数据库的类型；
当所述目标数据库的类型为分布式数据库时，增加数据库节点；或者
当所述目标数据库的类型为关系型数据库时，新增关系型数据库实例，计算所述文件体积与所述可用存储空间的差值，并根据计算的差值将所述目标数据库中的数据迁移至新增的关系型数据库实例。
其中，增加的数据库节点的数量也可以根据新增数据库的存储能力以及所述文件体积与所述可用存储空间的差值进行综合配置，在此不赘述。
通过对数据库进行扩展，能够进一步提高数据加载的处理量，避免由于数据库的存储能力存在瓶颈而影响数据的正常加载。
清洗单元112对所述目标数据库中的所述待加载文件进行数据清洗，得到与核心交易系统适配的数据表。
需要说明的是，为了与所述核心交易系统对数据格式的要求进行适配，还需要对所述目标数据库中的所述待加载文件进行数据清洗。
具体地，所述清洗单元112对所述目标数据库中的所述待加载文件进行数据清洗，得到与核心交易系统适配的数据表包括：
确定是否进行程序转换；
当不进行程序转换时，读取所述核心交易系统的SQL（Structured QueryLanguage，结构化查询语言）转换配置，并利用所述SQL转换配置对所述待加载文件进行数据清洗；或者
当进行程序转换时，根据所述SQL转换配置生成与所述核心交易系统适配的转换程序，利用所述转换程序对所述待加载文件进行数据清洗。
具体地，可以从所述核心交易系统的配置中确定是否进行程序转换。
进一步地，当不需要进行程序转换时，可以根据SQL转换配置直接生成SQL程序对所述待加载文件进行数据清洗。当需要进行程序转换时，根据SQL转换配置生成与所述核心交易系统适配的转换程序对所述待加载文件进行数据清洗。
通过执行数据清洗，能够使待加载的数据与交易系统对数据格式的要求进行适配，使交易系统能够读取数据内容。
转换单元113对所述数据表进行格式转换，得到目标文件。
可以理解的是，生成的数据表是所述核心交易系统自己的表格，如果不进行格式转换，外部将无法读取到所述数据表的内容。
具体地，可以将所述数据表转换为xml文件、bin文件等，以方便识别所述数据表中的数据内容。
加载单元114将所述目标文件加载至交易节点。
其中，所述交易节点可以包括java微服务节点。
在本实施例中，在将所述目标文件加载至所述交易节点后，可以进一步执行所述目标文件的下场操作，实现数据清算、结算等场景下的数据处理。
由以上技术方案可以看出，本发明能够基于配置的分布式部署的组件实现交易系统中数据的高并发加载，提高了数据处理量，并且在加载过程中能够保证数据的可靠传输。
如图3所示，是本发明实现数据加载方法的较佳实施例的计算机设备的结构示意图。
所述计算机设备1可以包括存储器12、处理器13和总线，还可以包括存储在所述存储器12中并可在所述处理器13上运行的计算机程序，例如数据加载程序。
本领域技术人员可以理解，所述示意图仅仅是计算机设备1的示例，并不构成对计算机设备1的限定，所述计算机设备1既可以是总线型结构，也可以是星形结构，所述计算机设备1还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置，例如所述计算机设备1还可以包括输入输出设备、网络接入设备等。
需要说明的是，所述计算机设备1仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。
其中，存储器12至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器12在一些实施例中可以是计算机设备1的内部存储单元，例如该计算机设备1的移动硬盘。存储器12在另一些实施例中也可以是计算机设备1的外部存储设备，例如计算机设备1上配备的插接式移动硬盘、智能存储卡（Smart Media Card，SMC）、安全数字（SecureDigital，SD）卡、闪存卡（Flash Card）等。进一步地，存储器12还可以既包括计算机设备1的内部存储单元也包括外部存储设备。存储器12不仅可以用于存储安装于计算机设备1的应用软件及各类数据，例如数据加载程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器13在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器13是所述计算机设备1的控制核心（Control Unit），利用各种接口和线路连接整个计算机设备1的各个部件，通过运行或执行存储在所述存储器12内的程序或者模块（例如执行数据加载程序等），以及调用存储在所述存储器12内的数据，以执行计算机设备1的各种功能和处理数据。
所述处理器13执行所述计算机设备1的操作系统以及安装的各类应用程序。所述处理器13执行所述应用程序以实现上述各个数据加载方法实施例中的步骤，例如图1所示的步骤。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器12中，并由所述处理器13执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机程序在所述计算机设备1中的执行过程。例如，所述计算机程序可以被分割成拆分单元110、处理单元111、清洗单元112、转换单元113、加载单元114。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、计算机设备，或者网络设备等）或处理器（processor）执行本发明各个实施例所述数据加载方法的部分。
所述计算机设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指示相关的硬件设备来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。
其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器等。
进一步地，计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性（防伪）和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
总线可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，在图3中仅用一根直线表示，但并不表示仅有一根总线或一种类型的总线。所述总线被设置为实现所述存储器12以及至少一个处理器13等之间的连接通信。
尽管未示出，所述计算机设备1还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器13逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述计算机设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述计算机设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该计算机设备1与其他计算机设备之间建立通信连接。
可选地，该计算机设备1还可以包括用户接口，用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在计算机设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
图3仅示出了具有组件12-13的计算机设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对所述计算机设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
结合图1，所述计算机设备1中的所述存储器12存储多个指令以实现一种数据加载方法，所述处理器13可执行所述多个指令从而实现：
当接收到待加载文件时，获取分布式部署的配置组件，并根据所述配置组件将所述待加载文件拆分为至少一个任务；
获取目标数据库，利用所述配置组件处理所述至少一个任务，并将所述待加载文件写入所述目标数据库；
对所述目标数据库中的所述待加载文件进行数据清洗，得到与核心交易系统适配的数据表；
对所述数据表进行格式转换，得到目标文件；
将所述目标文件加载至交易节点。
具体地，所述处理器13对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
需要说明的是，本案中所涉及到的数据均为合法取得。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
本发明可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。本发明中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (9)

1.一种数据加载方法，其特征在于，所述数据加载方法包括：
当接收到待加载文件时，获取分布式部署的配置组件，并根据所述配置组件将所述待加载文件拆分为至少一个任务；
获取目标数据库，利用所述配置组件处理所述至少一个任务，并将所述待加载文件写入所述目标数据库；其中，所述利用所述配置组件处理所述至少一个任务包括：通过轮询所述配置组件的状态查询接口获取所述至少一个任务中每个任务的执行状态；获取所述执行状态为准备执行或者中止执行的任务作为待处理任务；根据所述待处理任务的执行状态生成异步任务；在执行所述异步任务的过程中，通过每个异步任务对应的异步线程获取每个异步任务的任务配置；基于每个异步任务的任务配置，并调用执行前回调方法执行每个异步任务；当有异步任务执行完成时，调用回调任务执行完成的异步任务的执行状态通知，并清理任务缓存；当每个异步任务都执行成功时，更新每个异步任务的执行状态及完成时间；或者当有异步任务执行失败时，根据执行失败的异步任务生成异常警告；
对所述目标数据库中的所述待加载文件进行数据清洗，得到与核心交易系统适配的数据表；
对所述数据表进行格式转换，得到目标文件；
将所述目标文件加载至交易节点。
2.如权利要求1所述的数据加载方法，其特征在于，所述根据所述配置组件将所述待加载文件拆分为至少一个任务包括：
获取所述配置组件的数量，及每个配置组件的性能；
当每个配置组件的性能相同时，根据所述配置组件的数量对所述待加载文件进行均匀拆分，得到所述至少一个任务；或者
当每个配置组件的性能不同时，获取每个配置组件的任务并发量，根据每个配置组件的任务并发量确定每个配置组件的任务分配比例，根据所述配置组件的数量及每个配置组件的任务分配比例拆分所述待加载文件，得到所述至少一个任务。
3.如权利要求1所述的数据加载方法，其特征在于，在获取所述执行状态为准备执行或者中止执行的任务作为待处理任务后，所述方法还包括：
当所述执行状态为所述准备执行时，更新处于所述准备执行的任务的开始执行时间及执行状态；或者
当所述执行状态为所述中止执行时，更新处于所述中止执行的任务的重复执行的次数，并为所述处于所述中止执行的任务重新分配所述配置组件的实例。
4.如权利要求2所述的数据加载方法，其特征在于，在利用所述配置组件处理所述至少一个任务前，所述方法还包括：
获取所述配置组件对任务的每秒处理量，及获取所述至少一个任务的任务总量；
计算所述任务总量与所述每秒处理量的商作为第一数值；
获取当前时间戳及预设的数据加载时间，并计算所述预设的数据加载时间与所述当前时间戳的差值作为第二数值；
当所述第一数值大于所述第二数值，及/或所述任务总量大于所述任务并发量时，确定所述配置组件的处理能力存在瓶颈；
对所述配置组件进行实例扩展。
5.如权利要求1所述的数据加载方法，其特征在于，在将所述待加载文件写入所述目标数据库前，所述方法还包括：
获取所述目标数据库的可用存储空间，及获取所述待加载文件的文件体积；
当所述文件体积大于所述可用存储空间时，确定所述目标数据库的存储能力存在瓶颈；
确定所述目标数据库的类型；
当所述目标数据库的类型为分布式数据库时，增加数据库节点；或者
当所述目标数据库的类型为关系型数据库时，新增关系型数据库实例，计算所述文件体积与所述可用存储空间的差值，并根据计算的差值将所述目标数据库中的数据迁移至新增的关系型数据库实例。
6.如权利要求1所述的数据加载方法，其特征在于，所述对所述目标数据库中的所述待加载文件进行数据清洗，得到与核心交易系统适配的数据表包括：
确定是否进行程序转换；
当不进行程序转换时，读取所述核心交易系统的SQL转换配置，并利用所述SQL转换配置对所述待加载文件进行数据清洗；或者
当进行程序转换时，根据所述SQL转换配置生成与所述核心交易系统适配的转换程序，利用所述转换程序对所述待加载文件进行数据清洗。
7.一种数据加载装置，其特征在于，所述数据加载装置包括：
拆分单元，用于当接收到待加载文件时，获取分布式部署的配置组件，并根据所述配置组件将所述待加载文件拆分为至少一个任务；
处理单元，用于获取目标数据库，利用所述配置组件处理所述至少一个任务，并将所述待加载文件写入所述目标数据库；其中，所述利用所述配置组件处理所述至少一个任务包括：通过轮询所述配置组件的状态查询接口获取所述至少一个任务中每个任务的执行状态；获取所述执行状态为准备执行或者中止执行的任务作为待处理任务；根据所述待处理任务的执行状态生成异步任务；在执行所述异步任务的过程中，通过每个异步任务对应的异步线程获取每个异步任务的任务配置；基于每个异步任务的任务配置，并调用执行前回调方法执行每个异步任务；当有异步任务执行完成时，调用回调任务执行完成的异步任务的执行状态通知，并清理任务缓存；当每个异步任务都执行成功时，更新每个异步任务的执行状态及完成时间；或者当有异步任务执行失败时，根据执行失败的异步任务生成异常警告；
清洗单元，用于对所述目标数据库中的所述待加载文件进行数据清洗，得到与核心交易系统适配的数据表；
转换单元，用于对所述数据表进行格式转换，得到目标文件；
加载单元，用于将所述目标文件加载至交易节点。
8.一种计算机设备，其特征在于，所述计算机设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现如权利要求1至6中任意一项所述的数据加载方法。
9.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被计算机设备中的处理器执行以实现如权利要求1至6中任意一项所述的数据加载方法。
CN202210786607.1A 2022-07-06 2022-07-06 数据加载方法、装置、设备及介质 Active CN114860349B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210786607.1A CN114860349B (zh) 2022-07-06 2022-07-06 数据加载方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210786607.1A CN114860349B (zh) 2022-07-06 2022-07-06 数据加载方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114860349A CN114860349A (zh) 2022-08-05
CN114860349B true CN114860349B (zh) 2022-11-08

Family

ID=82626415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210786607.1A Active CN114860349B (zh) 2022-07-06 2022-07-06 数据加载方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114860349B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111858735A (zh) * 2020-07-22 2020-10-30 平安国际智慧城市科技股份有限公司 数据导入方法、装置、电子设备及存储介质
CN112698839A (zh) * 2020-12-30 2021-04-23 深圳前海微众银行股份有限公司 数据中心节点部署方法、装置、系统及计算机存储介质
CN113032368A (zh) * 2021-03-25 2021-06-25 中国建设银行股份有限公司 一种数据迁移方法、装置、存储介质及平台
CN113138882A (zh) * 2021-05-12 2021-07-20 平安国际智慧城市科技股份有限公司 基于MySQL集群的自动化部署方法、装置及相关设备
CN113204353A (zh) * 2021-04-27 2021-08-03 新华三大数据技术有限公司 一种大数据平台组件部署方法及装置
CN113722077A (zh) * 2021-11-02 2021-11-30 腾讯科技（深圳）有限公司 数据处理方法、系统、相关设备、存储介质及产品
CN114398346A (zh) * 2022-01-21 2022-04-26 平安科技（深圳）有限公司 数据迁移方法、装置、设备及存储介质

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2395710B1 (en) * 2010-06-08 2013-11-06 Alcatel Lucent Device and method for data load balancing
US20140025909A1 (en) * 2012-07-10 2014-01-23 Storone Ltd. Large scale storage system
US9843484B2 (en) * 2012-09-25 2017-12-12 A10 Networks, Inc. Graceful scaling in software driven networks
CN103116452A (zh) * 2013-01-31 2013-05-22 华为终端有限公司 桌面组件创建方法、装置和终端设备
CN103247003B (zh) * 2013-05-15 2017-07-07 上海大智慧股份有限公司 面向事件处理的分布式程序化交易系统
CN104683376A (zh) * 2013-11-27 2015-06-03 上海墨芋电子科技有限公司 一种新型云计算分布式数据加密方法及系统
CN105096174A (zh) * 2014-04-16 2015-11-25 阿里巴巴集团控股有限公司 一种交易匹配方法以及系统
CN104408222B (zh) * 2014-10-13 2017-05-24 中国电子科技集团公司第十研究所 实时分布式仿真平台可重构方法
CN105162878B (zh) * 2015-09-24 2018-08-31 网宿科技股份有限公司 基于分布式存储的文件分发系统及方法
CN106598705B (zh) * 2015-10-15 2020-08-11 菜鸟智能物流控股有限公司 一种异步任务的调度方法、装置、系统以及电子设备
CN105872015B (zh) * 2016-03-17 2019-02-12 广东微云科技股份有限公司 一种桌面云中分布式组件服务的自动发现方法
CN106383846A (zh) * 2016-08-31 2017-02-08 天津南大通用数据技术股份有限公司 一种分布式数据库系统数据的加载方法及装置
CN106503058B (zh) * 2016-09-27 2019-01-18 华为技术有限公司 一种数据加载方法、终端和计算集群
CN108415909A (zh) * 2017-02-09 2018-08-17 北京京东尚科信息技术有限公司 一种访问不同数据库的系统及方法
CN107220310A (zh) * 2017-05-11 2017-09-29 中国联合网络通信集团有限公司 一种数据库数据管理系统、方法及装置
CN110019152A (zh) * 2017-07-27 2019-07-16 润泽科技发展有限公司 一种大数据清洗方法
CN108228274B (zh) * 2017-12-07 2020-11-13 中国航空工业集团公司西安航空计算技术研究所 一种机载分布式任务动态分配及动态构建技术的实现方法
CN108073705B (zh) * 2017-12-18 2022-06-14 浪潮云信息技术股份公司 一种分布式海量数据聚合采集方法
CN108363786A (zh) * 2018-02-12 2018-08-03 苏州朗动网络科技有限公司 加载数据的方法、装置、计算机设备和存储介质
CN108446143A (zh) * 2018-02-28 2018-08-24 万惠投资管理有限公司 事件处理方法及装置
CN109189750B (zh) * 2018-09-06 2019-05-31 北京九章云极科技有限公司 数据分析工作流的运行方法、数据分析系统及存储介质
CN109299180B (zh) * 2018-10-31 2021-08-27 武汉光谷联众大数据技术有限责任公司 一种数据仓库etl操作系统
CN109474499A (zh) * 2018-12-29 2019-03-15 杭州趣链科技有限公司 一种分布式区块链监控系统的解决方法
CN111158887B (zh) * 2019-12-31 2023-11-17 中国银行股份有限公司 一种集中式数据分布式处理方法及装置
CN111338608B (zh) * 2020-02-28 2022-03-04 腾讯科技（深圳）有限公司 分布式应用开发方法、装置、节点设备及可读存储介质
CN111541753B (zh) * 2020-04-16 2024-02-27 深圳市迅雷网络技术有限公司 区块链数据的分布式存储系统、方法、计算机设备及介质
CN111881210B (zh) * 2020-06-29 2022-08-26 平安国际智慧城市科技股份有限公司 数据同步方法、装置、内网服务器及介质
CN112286682A (zh) * 2020-10-27 2021-01-29 上海淇馥信息技术有限公司 基于分布式集群的机器学习任务处理方法、装置及设备
CN112380180A (zh) * 2020-11-17 2021-02-19 平安普惠企业管理有限公司 数据同步处理方法、装置、设备及存储介质
CN112559535B (zh) * 2020-12-28 2023-08-22 平安银行股份有限公司 基于多线程的异步任务处理方法、装置、设备及介质
CN113806434B (zh) * 2021-09-22 2023-09-05 平安科技（深圳）有限公司 大数据处理方法、装置、设备及介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111858735A (zh) * 2020-07-22 2020-10-30 平安国际智慧城市科技股份有限公司 数据导入方法、装置、电子设备及存储介质
CN112698839A (zh) * 2020-12-30 2021-04-23 深圳前海微众银行股份有限公司 数据中心节点部署方法、装置、系统及计算机存储介质
CN113032368A (zh) * 2021-03-25 2021-06-25 中国建设银行股份有限公司 一种数据迁移方法、装置、存储介质及平台
CN113204353A (zh) * 2021-04-27 2021-08-03 新华三大数据技术有限公司 一种大数据平台组件部署方法及装置
CN113138882A (zh) * 2021-05-12 2021-07-20 平安国际智慧城市科技股份有限公司 基于MySQL集群的自动化部署方法、装置及相关设备
CN113722077A (zh) * 2021-11-02 2021-11-30 腾讯科技（深圳）有限公司 数据处理方法、系统、相关设备、存储介质及产品
CN114398346A (zh) * 2022-01-21 2022-04-26 平安科技（深圳）有限公司 数据迁移方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN114860349A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN112559535B (zh) 基于多线程的异步任务处理方法、装置、设备及介质
CN113342472A (zh) 微服务集群创建方法、装置、电子设备及可读存储介质
CN114124968B (zh) 基于行情数据的负载均衡方法、装置、设备及介质
CN115118738B (zh) 基于rdma的灾备方法、装置、设备及介质
CN114691050B (zh) 基于kubernetes的云原生存储方法、装置、设备及介质
CN113806434A (zh) 大数据处理方法、装置、设备及介质
CN112256783A (zh) 数据导出方法、装置、电子设备及存储介质
CN115543198A (zh) 非结构化数据入湖方法、装置、电子设备及存储介质
CN114185776A (zh) 应用程序的大数据埋点方法、装置、设备及介质
CN114816371B (zh) 消息处理方法、装置、设备及介质
CN114860349B (zh) 数据加载方法、装置、设备及介质
CN114675976B (zh) 基于kubernetes的GPU共享方法、装置、设备及介质
CN113923218B (zh) 编解码插件分布式部署方法、装置、设备及介质
CN114626103A (zh) 数据一致性比对方法、装置、设备及介质
CN114547696A (zh) 文件脱敏方法、装置、电子设备及存储介质
CN113918305A (zh) 节点调度方法、装置、电子设备及可读存储介质
CN112328656A (zh) 基于中台架构的服务查询方法、装置、设备及存储介质
CN115543214B (zh) 低时延场景下的数据存储方法、装置、设备及介质
CN113687834B (zh) 分布式系统节点部署方法、装置、设备及介质
CN115065642B (zh) 带宽限制下的代码表请求方法、装置、设备及介质
CN115934576B (zh) 交易场景下的测试用例生成方法、装置、设备及介质
CN115277859B (zh) 请求调度方法、装置、设备及介质
CN114139199A (zh) 数据脱敏方法、装置、设备及介质
CN114116427A (zh) 异常日志写入方法、装置、设备及介质
CN114138761A (zh) 基于python的数据查询方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant