CN110308980A - 数据的批量处理方法、装置、设备及存储介质 - Google Patents
数据的批量处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110308980A CN110308980A CN201910583903.XA CN201910583903A CN110308980A CN 110308980 A CN110308980 A CN 110308980A CN 201910583903 A CN201910583903 A CN 201910583903A CN 110308980 A CN110308980 A CN 110308980A
- Authority
- CN
- China
- Prior art keywords
- data
- task
- subtask
- batch
- library
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 215
- 238000000034 method Methods 0.000 claims abstract description 18
- 230000002159 abnormal effect Effects 0.000 claims description 43
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 239000004615 ingredient Substances 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据的批量处理方法、装置、设备及存储介质，该方法通过在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量；在所述总数据量达到分库数据量阈值时，根据每个数据库的数据处理量以及所述总数据量，将所述待处理任务数据分成对应个数的分库子任务数据；根据每个数据表的数据处理量以及分库数据量，将所述分库子任务数据分成对应个数的分库分表子任务数据；通过多台机器批量处理所述分库分表子任务数据。本发明将所述待处理任务数据进行批量处理，提高了数据处理效率。
Description
技术领域
本发明涉及金融科技(Fintech)技术领域，尤其涉及数据的批量处理方法、装置、设备及计算机可读存储介质。
背景技术
随着计算机技术的发展，越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。对于银行的业务系统主要使用IOE架构以及中心数据库的部署方式。对数据库的操作主要是单库单表单线程的串行数据处理方式，在执行批量资源时，无法充分利用系统的CPU资源。因此，现有银行业务系统处理批量数据的时间会随着数据量的增加而增长，处理效率低下。
发明内容
本发明的主要目的在于提出一种数据的批量处理方法、装置、设备及计算机可读存储介质，旨在解决现有银行业务系统的串行数据处理方式造成的数据处理效率低下的技术问题。
为实现上述目的，本发明提供一种数据的批量处理方法，所述数据的批量处理方法包括如下步骤：
在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量；
在所述总数据量达到分库数据量阈值时，根据每个数据库的数据处理量以及所述总数据量，将所述待处理任务数据分成对应个数的分库子任务数据；
根据每个数据表的数据处理量以及所述分库子任务数据的分库数据量，将所述分库子任务数据分成对应个数的分库分表子任务数据；
通过多台机器批量处理所述分库分表子任务数据，以对所述待处理任务数据进行批量处理。
可选地，所述通过多台机器批量处理所述分库分表子任务数据，以对所述待处理任务数据进行批量处理的步骤具体包括：
获取所述分库分表子任务数据中各任务数据对应的数据编号，根据预设取模规则以及所述数据编号，计算各任务数据对应的机器编号；
根据所述个任务数据对应的机器编号，将所述各任务数据对应分配至对应机器进行分段批量处理，以通过多台机器批量处理所述分库分表子任务数据。
可选地，所述在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量的步骤之前，还包括：
获取所述待处理任务数据对应的任务处理时间，并判断所述当前时间是否属于所述任务处理时间；
若所述当前时间属于所述任务处理时间，则根据所述待处理任务数据对应的任务标识，生成对应的数据处理请求。
可选地，所述通过多台机器批量处理所述分库分表子任务数据，以对所述待处理任务数据进行批量处理的步骤之后，还包括：
获取各个分库分表子任务数据在预设时间内对应的各个任务执行结果，并根据所述各个任务执行结果，判断所述各个分库分表子任务数据是否全部执行成功；
若所述各个分库分表子任务数据全部执行成功，则生成所述待处理任务数据处理完成指令，获取下一任务数据，作为待处理任务数据，并执行：获取所述待处理任务数据对应的任务处理时间，并判断所述当前时间是否属于所述任务处理时间的步骤。
可选地，所述获取各个分库分表子任务数据在预设时间内对应的各个任务执行结果，并根据所述各个任务执行结果，判断所述各个分库分表子任务数据是否全部执行成功的步骤之后，还包括：
若所述各个分库分表子任务数据中存在执行失败的异常子任务数据，则获取所述异常子任务数据执行失败的失败日志信息，并根据所述失败日志信息确定所述异常子任务数据的失败类型；
根据所述失败类型，确定所述异常子任务数据对应的异常解决方案，并根据所述异常解决方案，重新处理所述异常子任务数据。
可选地，所述在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量的步骤具体包括：
在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的任务标识，并根据所述任务标识判断所述待处理任务数据是否为可分批数据；
若所述待处理任务数据为可分批数据，则获取所述待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量。
可选地，所述在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的任务标识，并根据所述任务标识判断所述待处理任务数据是否为可分批数据的步骤之后，还包括：
若所述待处理任务数据不是可分批数据，则获取所述多台机器对应的当前机器状态，并将所述待处理任务数据分配至所述当前机器状态为空闲状态的机器进行处理。
可选地，所述在所述总数据量达到分库数据量阈值时，根据每个数据库的数据处理量以及所述总数据量，将所述待处理任务数据分成对应个数的分库子任务数据的步骤之前，还包括：
判断所述总数据量是否达到所述分库数据量阈值；
所述判断所述总数据量是否达到所述分库数据量阈值的步骤之后，还包括：
在所述总数据量未达到所述分库数据量阈值时，根据每个数据表的数据处理量以及所述总数据量，将所述待处理任务数据分成对应个数的待处理分表子任务数据；
通过多台机器批量处理所述待处理分表子任务数据，以对所述待处理任务数据进行批量处理。
此外，为实现上述目的，本发明还提供一种数据的批量处理装置，所述数据的批量处理装置包括：
任务数据计算模块，用于在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量；
任务数据分库模块，用于在所述总数据量达到分库数据量阈值时，根据每个数据库的数据处理量以及所述总数据量，将所述待处理任务数据分成对应个数的分库子任务数据；
任务数据分表模块，用于根据每个数据表的数据处理量以及所述分库子任务数据的分库数据量，将所述分库子任务数据分成对应个数的分库分表子任务数据；
任务批量处理模块，用于通过多台机器批量处理所述分库分表子任务数据，以对所述待处理任务数据进行批量处理。
可选地，所述任务批量处理模块具体包括：
数据取模分配单元，用于获取所述分库分表子任务数据中各任务数据对应的数据编号，根据预设取模规则以及所述数据编号，计算各任务数据对应的机器编号；
数据分段处理单元，用于根据所述个任务数据对应的机器编号，将所述各任务数据对应分配至对应机器进行分段批量处理，以通过多台机器批量处理所述分库分表子任务数据。
可选地，所述数据的批量处理装置还包括任务时间判断模块，所述任务时间判断模块还用于：
获取所述待处理任务数据对应的任务处理时间，并判断所述当前时间是否属于所述任务处理时间；
若所述当前时间属于所述任务处理时间，则根据所述待处理任务数据对应的任务标识，生成对应的数据处理请求。
可选地，所述任务时间判断模块还用于：
获取各个分库分表子任务数据在预设时间内对应的各个任务执行结果，并根据所述各个任务执行结果，判断所述各个分库分表子任务数据是否全部执行成功；
若所述各个分库分表子任务数据全部执行成功，则生成所述待处理任务数据处理完成指令，获取下一任务数据，作为待处理任务数据，并执行：获取所述待处理任务数据对应的任务处理时间，并判断所述当前时间是否属于所述任务处理时间的步骤。
可选地，所述任务时间判断模块还用于：
若所述各个分库分表子任务数据中存在执行失败的异常子任务数据，则获取所述异常子任务数据执行失败的失败日志信息，并根据所述失败日志信息确定所述异常子任务数据的失败类型；
根据所述失败类型，确定所述异常子任务数据对应的异常解决方案，并根据所述异常解决方案，重新处理所述异常子任务数据。
可选地，所述任务数据计算模块具体包括：
数据分批判断单元，用于在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的任务标识，并根据所述任务标识判断所述待处理任务数据是否为可分批数据；
任务数据计算单元，用于若所述待处理任务数据为可分批数据，则获取所述待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量。
此外，为实现上述目的，本发明还提供一种数据的批量处理设备，所述数据的批量处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据的批量处理程序，所述数据的批量处理程序被所述处理器执行时实现如上所述的数据的批量处理方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据的批量处理程序，所述数据的批量处理程序被处理器执行时实现如上所述的数据的批量处理方法的步骤。
本发明在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量；在所述总数据量达到分库数据量阈值时，根据每个数据库的数据处理量以及所述总数据量，将所述待处理任务数据分成对应个数的分库子任务数据；根据每个数据表的数据处理量以及所述分库子任务数据的分库数据量，将所述分库子任务数据分成对应个数的分库分表子任务数据；通过多台机器批量处理所述分库分表子任务数据，以对所述待处理任务数据进行批量处理。通过上述方式，本发明基于预设业务逻辑估算量以及待处理任务数据所属目标业务逻辑，计算出待处理任务数据的总任务量，并根据该总任务量以及分库数据量阈值、每个数据表的数据处理量，将所述待处理任务数据进行分库以及分表处理，从而批量处理分库分表子任务数据，提高了数据处理效率，提升用户体验，解决了现有银行业务系统的串行数据处理方式造成的数据处理效率低下的技术问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本发明数据的批量处理方法第一实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例数据的批量处理设备可以是PC机或服务器设备，其上运行有Java虚拟机。
如图1所示，该数据的批量处理设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据的批量处理程序。
在图1所示的设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的数据的批量处理程序，并执行下述数据的批量处理方法中的操作。
基于上述硬件结构，提出本发明数据的批量处理方法实施例。
参照图2，图2为本发明数据的批量处理方法第一实施例的流程示意图，所述数据的批量处理方法包括：
步骤S10，在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量；
目前银行的业务系统主要使用IOE架构以及中心数据库的部署方式。对数据库的操作主要是单库单表单线程的串行数据处理方式，在执行批量资源时，无法充分利用系统的CPU资源。也就是说，目前银行业务系统都是使用IOE架构，采用Orcale数据库，系统运行的机器都是大型机，业务进程只需要访问一个数据库IP就可以满足业务数据的无限正增长处理需求。由于大型机的性能保障，目前银行都是采用中心数据库的部署方式，不存在性能瓶颈。但是目前银行业务系统对数据库的操作主要是单库单表单线程串行执行批量的数据，但是串行执行批量数据时无法充分利用CPU资源，跑批时间会随着执行数据数量的增加而线性增长。因此，现有银行业务系统处理批量数据的时间会随着数据量的增加而增长，导致处理效率低下。为了解决上述问题，本实施例中基于预设业务逻辑估算量以及待处理任务数据所属目标业务逻辑，计算出待处理任务数据的总任务量，并根据该总任务量以及分库数据量阈值、每个数据表的数据处理量，将所述待处理任务数据进行分库以及分表处理，从而批量处理分库分表子任务数据，提高了数据处理效率。具体地，在接收到客户端发送的数据处理请求时，获取所述数据处理请求中的待处理任务数据。然后获取所述待处理任务数据中各个任务数据对应的目标业务逻辑，并根据预先估算的各个业务逻辑数据估算量，即各个业务逻辑数据处理的数据量大小，将所述各个任务数据对应的目标业务逻辑对应的估算量求和，由此计算出所述待处理任务数据对应的总数据量。
步骤S20，在所述总数据量达到分库数据量阈值时，根据每个数据库的数据处理量以及所述总数据量，将所述待处理任务数据分成对应个数的分库子任务数据；
本实施例中，根据每个数据库对应的数据处理量，确定所述待处理任务数据是否需要多个数据库进行数据处理。即在所述待处理任务数据对应的总数据量达到分库数据量阈值时，即一个数据库的数据处理量达不到所述总数据量，需要将所述总数据量分到对应个数的数据库中进行处理。具体地，根据所述总数据量以及每个数据库对应的数据处理量，确定处理所述待处理任务数据所需的数据库个数。并根据所述数据库对应的数据处理量将所述待处理任务数据进行划分，分成对应所需的数据库个数对应的各个分库子任务数据。其中，所述各个分库子任务数据可以独立并行执行。由此，将整个待处理任务数据分批成分库子任务数据。
所述步骤S20之前，还包括：
判断所述总数据量是否达到所述分库数据量阈值；
所述判断所述总数据量是否达到所述分库数据量阈值的步骤之后，还包括：
在所述总数据量未达到所述分库数据量阈值时，根据每个数据表的数据处理量以及所述总数据量，将所述待处理任务数据分成对应个数的待处理分表子任务数据；
通过多台机器批量处理所述待处理分表子任务数据，以对所述待处理任务数据进行批量处理。
本实施例中，将所述总数据量与数据库处理数据量的阈值，即分库数据量阈值，进行对比。若所述总数据量达到所述分库数据量阈值，则对所述待处理任务数据进行分库处理。若所述总数据量未达到所述分库数据量阈值，即一个数据库即可满足所述待处理任务数据的处理需求。将所述待处理任务数据对应的数据分配至该数据库中的各个数据表进行处理，即根据每个数据表的数据处理量将所述待处理任务数据进行数据划分。也就是将所述总数据量对应的待处理任务数据划分为对应个数的待处理分表子任务数据。然后通过多台机器并行批量处理各个待处理分表子任务数据。
步骤S30，根据每个数据表的数据处理量以及所述分库子任务数据的分库数据量，将所述分库子任务数据分成对应个数的分库分表子任务数据；
本实施例中，在将所述待处理任务数据分成各个分库子任务数据之后，根据数据库中各个数据表的数据处理量以及分库子任务数据对应的分库数据量，将所述分库子任务数据进行数据划分为对应个数的分库分表子任务数据，即将所述分库子任务数据分配至该数据库中的各个数据表进行处理。进一步将所述分批后的分库子任务数据再次分批成分库分表子任务数据。
步骤S40，通过多台机器批量处理所述分库分表子任务数据，以对所述待处理任务数据进行批量处理。
本实施例中，通过多台机器，即可运行的预设台数的机器，同时并行运行，以并行批量处理各个分库分表子任务数据，提高所述待处理任务数据的处理效率，减少所述待处理任务数据的处理时间。
本实施例在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量；在所述总数据量达到分库数据量阈值时，根据每个数据库的数据处理量以及所述总数据量，将所述待处理任务数据分成对应个数的分库子任务数据；根据每个数据表的数据处理量以及所述分库子任务数据的分库数据量，将所述分库子任务数据分成对应个数的分库分表子任务数据；通过多台机器批量处理所述分库分表子任务数据，以对所述待处理任务数据进行批量处理。通过上述方式，本发明基于预设业务逻辑估算量以及待处理任务数据所属目标业务逻辑，计算出待处理任务数据的总任务量，并根据该总任务量以及分库数据量阈值、每个数据表的数据处理量，将所述待处理任务数据进行分库以及分表处理，从而批量处理分库分表子任务数据，提高了数据处理效率，提升用户体验，解决了现有银行业务系统的串行数据处理方式造成的数据处理效率低下的技术问题。
进一步地，基于本发明数据的批量处理方法第一实施例，提出本发明数据的批量处理方法第二实施例。
在本实施例中，所述步骤S30具体包括：
获取所述分库分表子任务数据中各任务数据对应的数据编号，根据预设取模规则以及所述数据编号，计算各任务数据对应的机器编号；
根据所述个任务数据对应的机器编号，将所述各任务数据对应分配至对应机器进行分段批量处理，以通过多台机器批量处理所述分库分表子任务数据。
为了提高数据处理效率，本实施例中，通过多台机器并行处理所述分库分表子任务数据。具体地，通过数据编号取模离散分配到对应编号的机器中。即获取所述分库分表子任务数据中的各个任务数据对应的数据编号，并将所述数据编号对机器个数进行取模，并将取模的尾数，作为待分配的机器编号。例如，待运行的机器个数为5台，将数据编号整除5，得到的余数，即该数据编号对应任务数据对应待分配的机器编号，将所述数据编号对应的任务数据分配至该待分配的机器进行处理。由此，将各任务数据分别分配至各台机器进行并行处理，以通过全部待运行机器并行处理所述分库分表子任务数据进行并行批量处理。
进一步地，基于本发明数据的批量处理方法第二实施例，提出本发明数据的批量处理方法第三实施例。
在本实施例中，所述步骤S10之前，还包括：
获取所述待处理任务数据对应的任务处理时间，并判断所述当前时间是否属于所述任务处理时间；
若所述当前时间属于所述任务处理时间，则根据所述待处理任务数据对应的任务标识，生成对应的数据处理请求。
本实施例中在执行所述待处理任务数据之前，实时获取当前时间，并判断当前时间是否属于所述待处理任务数据的任务处理时间，如当前时间为9:00，任务处理时间为每天的9:00，则所述当前时间属于所述任务处理时间，即可生成数据处理请求，以按时处理所述待处理任务数据。若所述当前时间不属于所述任务处理时间，则继续监测所述待处理任务数据的触发时间。具体实施例中，所述数据处理请求还可以是用户操作触发。
进一步地，所述通过多台机器批量处理所述分库分表子任务数据，以对所述待处理任务数据进行批量处理的步骤之后，还包括：
获取各个分库分表子任务数据在预设时间内对应的各个任务执行结果，并根据所述各个任务执行结果，判断所述各个分库分表子任务数据是否全部执行成功；
若所述各个分库分表子任务数据全部执行成功，则生成所述待处理任务数据处理完成指令，获取下一任务数据，作为待处理任务数据，并执行：获取所述待处理任务数据对应的任务处理时间，并判断所述当前时间是否属于所述任务处理时间的步骤。
本实施例中，在监测到所述分库分表子任务数据执行预设时间之后，分别获取各个分库分表子任务数据的执行结果，并判断各个分库分表子任务数据是否执行成功。若所述各个分库分表子任务数据执行成功，则所述待处理任务数据全部执行成功，生成所述待处理任务数据处理完成指令。然后获取下一任务数据，作为待处理任务数据，并转入执行：获取所述待处理任务数据对应的任务处理时间，并判断所述当前时间是否属于所述任务处理时间的步骤，直至处理完所有任务数据。
进一步地，所述获取各个分库分表子任务数据在预设时间内对应的各个任务执行结果，并根据所述各个任务执行结果，判断所述各个分库分表子任务数据是否全部执行成功的步骤之后，还包括：
若所述各个分库分表子任务数据中存在执行失败的异常子任务数据，则获取所述异常子任务数据执行失败的失败日志信息，并根据所述失败日志信息确定所述异常子任务数据的失败类型；
根据所述失败类型，确定所述异常子任务数据对应的异常解决方案，并根据所述异常解决方案，重新处理所述异常子任务数据。
本实施例中，预先将任务数据执行失败的原因进行统计，并映射对应的解决方案，生成对应的异常记录表，以便后续根据所述异常记录表，自动化解决所述任务数据执行失败问题。若各个分库分表子任务数据中存在执行是黑白的异常子任务数据，该异常子任务数据可以为单个也可以是多个。获取所述异常子任务数据执行失败的失败日志信息，根据所述失败日志信息确定所述异常子任务数据执行失败的失败类型。然后根据所述失败类型在所述异常记录表中确定异常解决方案，并根据所述异常解决方案解决所述执行异常问题，并重新处理所述异常子任务数据。
进一步地，基于本发明数据的批量处理方法第一实施例，提出本发明数据的批量处理方法第二实施例。
在本实施例中，所述步骤S10具体包括：
在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的任务标识，并根据所述任务标识判断所述待处理任务数据是否为可分批数据；
若所述待处理任务数据为可分批数据，则获取所述待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量。
若所述待处理任务数据不是可分批数据，则获取所述多台机器对应的当前机器状态，并将所述待处理任务数据分配至所述当前机器状态为空闲状态的机器进行处理。
为了防止将不可分批数据进行分批，造成数据不可用，本实施例中，在接收到数据处理请求时，预先判断所述待处理任务数据是否为可分批数据。具体地，预先将不可分批数据以及可分批数据对应的任务类型进行对应标识，如记账任务类型，记账数据需要基于上文数据进行记账操作，因此不可将所述记账类型数据进行分批操作，添加不可分批标识。若判定所述待处理任务数据为可分批数据，则将所述待处理任务数据进行分库、分表等分批处理。若所述待处理任务数据为不可分批数据，则将所述待处理任务数据分配至空闲状态的机器进行处理。即获取可运行机器的当前机器状态，并将当前机器状态为空闲状态的机器确定为待分配机器，然后将所述待处理任务数据分配至该待分配机器进行处理。
本发明还提供一种数据的批量处理装置，所述数据的批量处理装置包括：
任务数据计算模块，用于在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量；
任务数据分库模块，用于在所述总数据量达到分库数据量阈值时，根据每个数据库的数据处理量以及所述总数据量，将所述待处理任务数据分成对应个数的分库子任务数据；
任务数据分表模块，用于根据每个数据表的数据处理量以及所述分库子任务数据的分库数据量，将所述分库子任务数据分成对应个数的分库分表子任务数据；
任务批量处理模块，用于通过多台机器批量处理所述分库分表子任务数据，以对所述待处理任务数据进行批量处理。
进一步地，所述任务批量处理模块具体包括：
数据取模分配单元，用于获取所述分库分表子任务数据中各任务数据对应的数据编号，根据预设取模规则以及所述数据编号，计算各任务数据对应的机器编号；
数据分段处理单元，用于根据所述个任务数据对应的机器编号，将所述各任务数据对应分配至对应机器进行分段批量处理，以通过多台机器批量处理所述分库分表子任务数据。
进一步地，所述数据的批量处理装置还包括任务时间判断模块，所述任务时间判断模块还用于：
获取所述待处理任务数据对应的任务处理时间，并判断所述当前时间是否属于所述任务处理时间；
若所述当前时间属于所述任务处理时间，则根据所述待处理任务数据对应的任务标识，生成对应的数据处理请求。
进一步地，所述任务时间判断模块还用于：
获取各个分库分表子任务数据在预设时间内对应的各个任务执行结果，并根据所述各个任务执行结果，判断所述各个分库分表子任务数据是否全部执行成功；
若所述各个分库分表子任务数据全部执行成功，则生成所述待处理任务数据处理完成指令，获取下一任务数据，作为待处理任务数据，并执行：获取所述待处理任务数据对应的任务处理时间，并判断所述当前时间是否属于所述任务处理时间的步骤。
进一步地，所述任务时间判断模块还用于：
若所述各个分库分表子任务数据中存在执行失败的异常子任务数据，则获取所述异常子任务数据执行失败的失败日志信息，并根据所述失败日志信息确定所述异常子任务数据的失败类型；
根据所述失败类型，确定所述异常子任务数据对应的异常解决方案，并根据所述异常解决方案，重新处理所述异常子任务数据。
进一步地，所述任务数据计算模块具体包括：
数据分批判断单元，用于在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的任务标识，并根据所述任务标识判断所述待处理任务数据是否为可分批数据；
任务数据计算单元，用于若所述待处理任务数据为可分批数据，则获取所述待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量。
进一步地，所述任务数据计算模块还用于：
若所述待处理任务数据不是可分批数据，则获取所述多台机器对应的当前机器状态，并将所述待处理任务数据分配至所述当前机器状态为空闲状态的机器进行处理。
进一步地，所述数据的批量处理装置还包括：
分库判断模块，用于判断所述总数据量是否达到所述分库数据量阈值。
进一步地，所述分库判断模块还用于：
在所述总数据量未达到所述分库数据量阈值时，根据每个数据表的数据处理量以及所述总数据量，将所述待处理任务数据分成对应个数的待处理分表子任务数据；
通过多台机器批量处理所述待处理分表子任务数据，以对所述待处理任务数据进行批量处理。
上述各程序模块所执行的方法可参照本发明数据的批量处理方法各个实施例，此处不再赘述。
本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有数据的批量处理程序，所述数据的批量处理程序被处理器执行时实现如上所述的数据的批量处理方法的步骤。
其中，在所述处理器上运行的数据的批量处理程序被执行时所实现的方法可参照本发明数据的批量处理方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (16)
1.一种数据的批量处理方法，其特征在于，所述数据的批量处理方法包括如下步骤：
在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量；
在所述总数据量达到分库数据量阈值时，根据每个数据库的数据处理量以及所述总数据量，将所述待处理任务数据分成对应个数的分库子任务数据；
根据每个数据表的数据处理量以及所述分库子任务数据的分库数据量，将所述分库子任务数据分成对应个数的分库分表子任务数据；
通过多台机器批量处理所述分库分表子任务数据，以对所述待处理任务数据进行批量处理。
2.如权利要求1所述的数据的批量处理方法，其特征在于，所述通过多台机器批量处理所述分库分表子任务数据，以对所述待处理任务数据进行批量处理的步骤具体包括：
获取所述分库分表子任务数据中各任务数据对应的数据编号，根据预设取模规则以及所述数据编号，计算各任务数据对应的机器编号；
根据所述个任务数据对应的机器编号，将所述各任务数据对应分配至对应机器进行分段批量处理，以通过多台机器批量处理所述分库分表子任务数据。
3.如权利要求1所述的数据的批量处理方法，其特征在于，所述在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量的步骤之前，还包括：
获取所述待处理任务数据对应的任务处理时间，并判断所述当前时间是否属于所述任务处理时间；
若所述当前时间属于所述任务处理时间，则根据所述待处理任务数据对应的任务标识，生成对应的数据处理请求。
4.如权利要求3所述的数据的批量处理方法，其特征在于，所述通过多台机器批量处理所述分库分表子任务数据，以对所述待处理任务数据进行批量处理的步骤之后，还包括：
获取各个分库分表子任务数据在预设时间内对应的各个任务执行结果，并根据所述各个任务执行结果，判断所述各个分库分表子任务数据是否全部执行成功；
若所述各个分库分表子任务数据全部执行成功，则生成所述待处理任务数据处理完成指令，获取下一任务数据，作为待处理任务数据，并执行：获取所述待处理任务数据对应的任务处理时间，并判断所述当前时间是否属于所述任务处理时间的步骤。
5.如权利要求4所述的数据的批量处理方法，其特征在于，所述获取各个分库分表子任务数据在预设时间内对应的各个任务执行结果，并根据所述各个任务执行结果，判断所述各个分库分表子任务数据是否全部执行成功的步骤之后，还包括：
若所述各个分库分表子任务数据中存在执行失败的异常子任务数据，则获取所述异常子任务数据执行失败的失败日志信息，并根据所述失败日志信息确定所述异常子任务数据的失败类型；
根据所述失败类型，确定所述异常子任务数据对应的异常解决方案，并根据所述异常解决方案，重新处理所述异常子任务数据。
6.如权利要求1所述的数据的批量处理方法，其特征在于，所述在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量的步骤具体包括：
在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的任务标识，并根据所述任务标识判断所述待处理任务数据是否为可分批数据；
若所述待处理任务数据为可分批数据，则获取所述待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量。
7.如权利要求6所述的数据的批量处理方法，其特征在于，所述在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的任务标识，并根据所述任务标识判断所述待处理任务数据是否为可分批数据的步骤之后，还包括：
若所述待处理任务数据不是可分批数据，则获取所述多台机器对应的当前机器状态，并将所述待处理任务数据分配至所述当前机器状态为空闲状态的机器进行处理。
8.如权利要1-7中任一项所述的数据的批量处理方法，其特征在于，所述在所述总数据量达到分库数据量阈值时，根据每个数据库的数据处理量以及所述总数据量，将所述待处理任务数据分成对应个数的分库子任务数据的步骤之前，还包括：
判断所述总数据量是否达到所述分库数据量阈值；
所述判断所述总数据量是否达到所述分库数据量阈值的步骤之后，还包括：
在所述总数据量未达到所述分库数据量阈值时，根据每个数据表的数据处理量以及所述总数据量，将所述待处理任务数据分成对应个数的待处理分表子任务数据；
通过多台机器批量处理所述待处理分表子任务数据，以对所述待处理任务数据进行批量处理。
9.一种数据的批量处理装置，其特征在于，所述数据的批量处理装置包括：
任务数据计算模块，用于在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量；
任务数据分库模块，用于在所述总数据量达到分库数据量阈值时，根据每个数据库的数据处理量以及所述总数据量，将所述待处理任务数据分成对应个数的分库子任务数据；
任务数据分表模块，用于根据每个数据表的数据处理量以及所述分库子任务数据的分库数据量，将所述分库子任务数据分成对应个数的分库分表子任务数据；
任务批量处理模块，用于通过多台机器批量处理所述分库分表子任务数据，以对所述待处理任务数据进行批量处理。
10.如权利要求9所述的数据的批量处理装置，其特征在于，所述任务批量处理模块具体包括：
数据取模分配单元，用于获取所述分库分表子任务数据中各任务数据对应的数据编号，根据预设取模规则以及所述数据编号，计算各任务数据对应的机器编号；
数据分段处理单元，用于根据所述个任务数据对应的机器编号，将所述各任务数据对应分配至对应机器进行分段批量处理，以通过多台机器批量处理所述分库分表子任务数据。
11.如权利要求9所述的数据的批量处理装置，其特征在于，所述数据的批量处理装置还包括任务时间判断模块，所述任务时间判断模块还用于：
获取所述待处理任务数据对应的任务处理时间，并判断所述当前时间是否属于所述任务处理时间；
若所述当前时间属于所述任务处理时间，则根据所述待处理任务数据对应的任务标识，生成对应的数据处理请求。
12.如权利要求11所述的数据的批量处理装置，其特征在于，所述任务时间判断模块还用于：
获取各个分库分表子任务数据在预设时间内对应的各个任务执行结果，并根据所述各个任务执行结果，判断所述各个分库分表子任务数据是否全部执行成功；
若所述各个分库分表子任务数据全部执行成功，则生成所述待处理任务数据处理完成指令，获取下一任务数据，作为待处理任务数据，并执行：获取所述待处理任务数据对应的任务处理时间，并判断所述当前时间是否属于所述任务处理时间的步骤。
13.如权利要求12所述的数据的批量处理装置，其特征在于，所述任务时间判断模块还用于：
若所述各个分库分表子任务数据中存在执行失败的异常子任务数据，则获取所述异常子任务数据执行失败的失败日志信息，并根据所述失败日志信息确定所述异常子任务数据的失败类型；
根据所述失败类型，确定所述异常子任务数据对应的异常解决方案，并根据所述异常解决方案，重新处理所述异常子任务数据。
14.如权利要求9-13中任一项所述的数据的批量处理装置，其特征在于，所述任务数据计算模块具体包括：
数据分批判断单元，用于在接收到数据处理请求时，获取所述数据处理请求中待处理任务数据对应的任务标识，并根据所述任务标识判断所述待处理任务数据是否为可分批数据；
任务数据计算单元，用于若所述待处理任务数据为可分批数据，则获取所述待处理任务数据对应的目标业务逻辑，并根据预设业务逻辑估算量以及所述目标业务逻辑，计算所述待处理任务数据对应的总数据量。
15.一种数据的批量处理设备，其特征在于，所述数据的批量处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据的批量处理程序，所述数据的批量处理程序被所述处理器执行时实现如权利要求1至8中任一项所述的数据的批量处理方法的步骤。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据的批量处理程序，所述数据的批量处理程序被处理器执行时实现如权利要求1至8中任一项所述的数据的批量处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910583903.XA CN110308980A (zh) | 2019-06-27 | 2019-06-27 | 数据的批量处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910583903.XA CN110308980A (zh) | 2019-06-27 | 2019-06-27 | 数据的批量处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110308980A true CN110308980A (zh) | 2019-10-08 |
Family
ID=68078604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910583903.XA Pending CN110308980A (zh) | 2019-06-27 | 2019-06-27 | 数据的批量处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110308980A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110782351A (zh) * | 2019-10-30 | 2020-02-11 | 河北幸福消费金融股份有限公司 | 适于日终交易的数据处理方法、系统、装置及存储介质 |
| CN110928665A (zh) * | 2019-12-06 | 2020-03-27 | 深圳乐信软件技术有限公司 | 数据处理方法、装置、存储介质及终端 |
| CN111078506A (zh) * | 2019-12-27 | 2020-04-28 | 中国银行股份有限公司 | 业务数据跑批任务监控方法及装置 |
| CN111176762A (zh) * | 2019-12-31 | 2020-05-19 | 北京奇艺世纪科技有限公司 | 批量处理程序的执行方法及装置、电子设备和可存储介质 |
| CN111209284A (zh) * | 2020-01-10 | 2020-05-29 | 北京仁科互动网络技术有限公司 | 基于元数据的分表方法及装置 |
| CN111858653A (zh) * | 2020-07-15 | 2020-10-30 | 武汉众邦银行股份有限公司 | 一种基于数据库分段的分布式批量处理方法 |
| CN112905635A (zh) * | 2021-03-11 | 2021-06-04 | 深圳市分期乐网络科技有限公司 | 一种业务的处理方法、装置、设备及存储介质 |
| CN112925752A (zh) * | 2021-02-25 | 2021-06-08 | 平安普惠企业管理有限公司 | 批量文件处理方法、装置、电子设备和存储介质 |
| CN113032439A (zh) * | 2021-05-20 | 2021-06-25 | 广州宸祺出行科技有限公司 | 一种分库分表结构数据库的查询方法、装置及系统 |
| CN113407429A (zh) * | 2021-06-23 | 2021-09-17 | 中国建设银行股份有限公司 | 一种任务处理方法和装置 |
| CN115438128A (zh) * | 2022-09-16 | 2022-12-06 | 中国建设银行股份有限公司 | 数据处理方法、装置、设备、存储介质及程序产品 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106909597A (zh) * | 2016-06-30 | 2017-06-30 | 阿里巴巴集团控股有限公司 | 一种数据库迁移方法和装置 |
| CN107402950A (zh) * | 2017-04-28 | 2017-11-28 | 阿里巴巴集团控股有限公司 | 基于分库分表的文件处理方法和装置 |
| CN107590257A (zh) * | 2017-09-20 | 2018-01-16 | 郑州云海信息技术有限公司 | 一种数据库管理方法及装置 |
| WO2018014582A1 (zh) * | 2016-07-22 | 2018-01-25 | 平安科技（深圳）有限公司 | 保单数据处理方法、装置、服务器和存储介质 |
| CN109101621A (zh) * | 2018-08-09 | 2018-12-28 | 中国建设银行股份有限公司 | 一种数据的批量处理方法及系统 |
| CN109857741A (zh) * | 2019-01-31 | 2019-06-07 | 重庆零壹空间航天科技有限公司 | 一种火箭遥测数据的遴选方法及装置 |
| CN109918442A (zh) * | 2019-01-24 | 2019-06-21 | 中国联合网络通信集团有限公司 | 一种数据的处理方法及装置 |
-
2019
- 2019-06-27 CN CN201910583903.XA patent/CN110308980A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106909597A (zh) * | 2016-06-30 | 2017-06-30 | 阿里巴巴集团控股有限公司 | 一种数据库迁移方法和装置 |
| WO2018014582A1 (zh) * | 2016-07-22 | 2018-01-25 | 平安科技（深圳）有限公司 | 保单数据处理方法、装置、服务器和存储介质 |
| CN107402950A (zh) * | 2017-04-28 | 2017-11-28 | 阿里巴巴集团控股有限公司 | 基于分库分表的文件处理方法和装置 |
| CN107590257A (zh) * | 2017-09-20 | 2018-01-16 | 郑州云海信息技术有限公司 | 一种数据库管理方法及装置 |
| CN109101621A (zh) * | 2018-08-09 | 2018-12-28 | 中国建设银行股份有限公司 | 一种数据的批量处理方法及系统 |
| CN109918442A (zh) * | 2019-01-24 | 2019-06-21 | 中国联合网络通信集团有限公司 | 一种数据的处理方法及装置 |
| CN109857741A (zh) * | 2019-01-31 | 2019-06-07 | 重庆零壹空间航天科技有限公司 | 一种火箭遥测数据的遴选方法及装置 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110782351A (zh) * | 2019-10-30 | 2020-02-11 | 河北幸福消费金融股份有限公司 | 适于日终交易的数据处理方法、系统、装置及存储介质 |
| CN110928665B (zh) * | 2019-12-06 | 2023-06-06 | 深圳乐信软件技术有限公司 | 数据处理方法、装置、存储介质及终端 |
| CN110928665A (zh) * | 2019-12-06 | 2020-03-27 | 深圳乐信软件技术有限公司 | 数据处理方法、装置、存储介质及终端 |
| CN111078506A (zh) * | 2019-12-27 | 2020-04-28 | 中国银行股份有限公司 | 业务数据跑批任务监控方法及装置 |
| CN111176762A (zh) * | 2019-12-31 | 2020-05-19 | 北京奇艺世纪科技有限公司 | 批量处理程序的执行方法及装置、电子设备和可存储介质 |
| CN111209284A (zh) * | 2020-01-10 | 2020-05-29 | 北京仁科互动网络技术有限公司 | 基于元数据的分表方法及装置 |
| CN111209284B (zh) * | 2020-01-10 | 2023-12-29 | 北京仁科互动网络技术有限公司 | 基于元数据的分表方法及装置 |
| CN111858653A (zh) * | 2020-07-15 | 2020-10-30 | 武汉众邦银行股份有限公司 | 一种基于数据库分段的分布式批量处理方法 |
| CN112925752A (zh) * | 2021-02-25 | 2021-06-08 | 平安普惠企业管理有限公司 | 批量文件处理方法、装置、电子设备和存储介质 |
| CN112905635A (zh) * | 2021-03-11 | 2021-06-04 | 深圳市分期乐网络科技有限公司 | 一种业务的处理方法、装置、设备及存储介质 |
| CN113032439A (zh) * | 2021-05-20 | 2021-06-25 | 广州宸祺出行科技有限公司 | 一种分库分表结构数据库的查询方法、装置及系统 |
| CN113407429A (zh) * | 2021-06-23 | 2021-09-17 | 中国建设银行股份有限公司 | 一种任务处理方法和装置 |
| CN115438128A (zh) * | 2022-09-16 | 2022-12-06 | 中国建设银行股份有限公司 | 数据处理方法、装置、设备、存储介质及程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110308980A (zh) | 数据的批量处理方法、装置、设备及存储介质 | |
| CN108776934B (zh) | 分布式数据计算方法、装置、计算机设备及可读存储介质 | |
| CN113243005A (zh) | 按需网络代码执行系统中的基于性能的硬件仿真 | |
| US6711616B1 (en) | Client-server task distribution system and method | |
| WO2021159638A1 (zh) | 集群队列资源的调度方法、装置、设备及存储介质 | |
| US10505832B2 (en) | Resource coordinate system for data centers | |
| CN115543577B (zh) | 基于协变量的Kubernetes资源调度优化方法、存储介质及设备 | |
| CN110362409A (zh) | 基于多种类型的资源分配方法、装置、设备及存储介质 | |
| CN104182278B (zh) | 一种判定计算机硬件资源繁忙程度的方法和装置 | |
| US20140023185A1 (en) | Characterizing Time-Bounded Incident Management Systems | |
| CN107682391A (zh) | 电子装置、服务器分配控制方法和计算机可读存储介质 | |
| CN115033340A (zh) | 一种宿主机的选择方法及相关装置 | |
| CN109739634A (zh) | 一种原子任务执行方法及装置 | |
| CN116541134A (zh) | 多架构集群中容器的部署方法及装置 | |
| CN109062683A (zh) | 主机资源分配的方法、装置及计算机可读存储介质 | |
| CN117311973A (zh) | 计算设备调度方法、装置、非易失性存储介质及电子设备 | |
| CN112162839A (zh) | 任务调度方法、装置、计算机设备和存储介质 | |
| CN116909714A (zh) | 任务运行时的慢节点检测方法、装置、电子设备和介质 | |
| CN110083506A (zh) | 集群资源量优化的方法及装置 | |
| CN115168014A (zh) | 一种作业调度方法及装置 | |
| CN108228346A (zh) | 服务系统及其控制方法 | |
| CN113961338A (zh) | 一种动态线程池的管理系统、管理方法及线程任务处理方法 | |
| CN112925640A (zh) | 一种集群训练节点分配方法、电子设备 | |
| CN111782364A (zh) | 服务调用方法、装置、电子设备及存储介质 | |
| CN113515355A (zh) | 资源调度方法、装置、服务器及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |