CN116633783A - 批量作业的处理方法、装置、设备及存储介质 - Google Patents
批量作业的处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116633783A CN116633783A CN202310604240.1A CN202310604240A CN116633783A CN 116633783 A CN116633783 A CN 116633783A CN 202310604240 A CN202310604240 A CN 202310604240A CN 116633783 A CN116633783 A CN 116633783A
- Authority
- CN
- China
- Prior art keywords
- server
- batch job
- target
- processing
- target batch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title description 7
- 238000012545 processing Methods 0.000 claims abstract description 79
- 238000000034 method Methods 0.000 claims abstract description 58
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 238000012544 monitoring process Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Hardware Redundancy (AREA)
Abstract
本申请提供一种批量作业的处理方法、装置、设备及存储介质，可用于分布式领域。该方法应用于分布式服务器集群，分布式服务器集群中的节点包含主服务器和从服务器，从服务器包括第一服务器和第二服务器，该方法包括：主服务器响应于检测到对目标批量作业的重启指令，将目标批量作业分配给第一服务器；第一服务器确定目标批量作业的已完成步骤，从共享磁盘获取已完成步骤对应的目标运行结果，目标运行结果是第二服务器在运行完成已完成步骤的情况下，存储至共享磁盘中的；第一服务器根据目标运行结果，针对目标批量作业执行预设运行流程中除已完成步骤之外的其他步骤。本申请能够实现分布式服务器集群对批量作业的断点重提处理。
Description
技术领域
本申请涉及分布式领域，尤其涉及一种批量作业的处理方法、装置、设备及存储介质。
背景技术
批量作业指在指定时间点，对汇总的批量数据进行统一加工处理的程序。
目前，银行的批量作业集中部署在一台主机服务器上，当批量作业处理过程中异常中断、重启批量作业再次处理时，可以根据上一次批量作业运行的中断位置，继续处理批量作业。但是，随着技术的发展，出现了分布式服务器集群，因此，亟需一种对部署于分布式服务器集群的批量作业运行中断时进行处理的方案。
发明内容
本申请提供一种批量作业的处理方法、装置、设备及存储介质，用以提供对部署于分布式服务器集群的批量作业运行中断时进行处理的方案。
第一方面，本申请提供一种批量作业的处理方法，应用于分布式服务器集群，分布式服务器集群中的节点包含主服务器和从服务器，从服务器包括第一服务器和第二服务器，该批量作业的处理方法包括：
主服务器响应于检测到对目标批量作业的重启指令，将目标批量作业分配给第一服务器；
第一服务器确定目标批量作业的已完成步骤，目标批量作业对应有预设运行流程，预设运行流程包括多个步骤；
第一服务器从共享磁盘获取已完成步骤对应的目标运行结果，目标运行结果是第二服务器在运行完成已完成步骤的情况下，存储至共享磁盘中的；
第一服务器根据目标运行结果，针对目标批量作业执行预设运行流程中除已完成步骤之外的其他步骤。
第二方面，本申请提供一种批量作业的处理装置，应用于分布式服务器集群，分布式服务器集群中的节点包含主服务器和从服务器，从服务器包括第一服务器和第二服务器，该批量作业的处理装置包括：
分配模块，用于响应于检测到对目标批量作业的重启指令，将目标批量作业分配给第一服务器；
确定模块，用于确定目标批量作业的已完成步骤，目标批量作业对应有预设运行流程，预设运行流程包括多个步骤；
获取模块，用于从共享磁盘获取已完成步骤对应的目标运行结果，目标运行结果是第二服务器在运行完成已完成步骤的情况下，存储至共享磁盘中的；
处理模块，用于根据目标运行结果，针对目标批量作业执行预设运行流程中除已完成步骤之外的其他步骤。
第三方面，本申请提供一种电子设备，包括：处理器，以及与处理器通信连接的存储器；
存储器存储计算机执行指令；
处理器执行存储器存储的计算机执行指令，以实现如本申请第一方面所述的批量作业的处理方法。
第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序指令，计算机程序指令被执行时，实现如本申请第一方面所述的批量作业的处理方法。
第五方面，本申请提供一种计算机程序产品，包括计算机程序，计算机程序被执行时实现如本申请第一方面所述的批量作业的处理方法。
本申请提供的批量作业的处理方法、装置、设备及存储介质，应用于分布式服务器集群，该分布式服务器集群中的节点包含主服务器和从服务器，从服务器包括第一服务器和第二服务器；通过主服务器响应于检测到对目标批量作业的重启指令，将目标批量作业分配给第一服务器；第一服务器确定目标批量作业的已完成步骤，目标批量作业对应有预设运行流程，预设运行流程包括多个步骤；第一服务器从共享磁盘获取已完成步骤对应的目标运行结果，目标运行结果是第二服务器在运行完成已完成步骤的情况下，存储至共享磁盘中的；第一服务器根据目标运行结果，针对目标批量作业执行预设运行流程中除已完成步骤之外的其他步骤。由于本申请将批量作业的运行结果存储在共享磁盘中，能够保证分布式服务器集群中每个服务器均能共享批量作业的运行结果，准确地获得批量作业的运行结果；在重启批量作业时，根据批量作业的运行结果，继续执行已完成步骤之外的其他步骤，直至运行完成整个批量作业，实现分布式服务器集群对批量作业的断点重提处理；且，由于不是从预设运行流程的第一个步骤开始重新运行批量作业，因此，能够有效节省资源，提升批量作业的运行效率，且能够避免出现数据重复处理的差错问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的应用场景示意图；
图2为本申请一实施例提供的批量作业的处理方法的流程图；
图3为本申请另一实施例提供的批量作业的处理方法的流程图；
图4为本申请一实施例提供的批量作业的处理装置的结构示意图；
图5为本申请一实施例提供的电子设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
需要说明的是，本申请批量作业的处理方法、装置、设备及存储介质可用于分布式领域，也可用于除分布式领域之外的任意领域，本申请批量作业的处理方法、装置、设备及存储介质的应用领域不做限定。
首先，对本申请涉及的部分技术术语进行解释说明：
ZooKeeper，是一个分布式的，开放源码的分布式应用程序协调服务，用于为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。
目前，银行的批量作业是通过银行核心系统对应的核心服务器来处理的。银行的批量作业比如为在银行结束日间业务后，批量进行账务核对、业务结算等数据分析或处理操作。当批量作业处理过程中异常中断、重启批量作业再次处理时，可以根据上一次批量作业运行的中断位置，继续处理批量作业。但是，随着技术的发展，出现了分布式服务器集群，因此，亟需一种对部署于分布式服务器集群的批量作业运行中断时进行处理的方案。
基于上述问题，本申请提供一种批量作业的处理方法、装置、设备及存储介质，通过预先配置批量作业运行的多个步骤，按照每个步骤执行批量作业，通过共享磁盘存储批量作业的运行结果，以保证分布式服务器集群中每个服务器均能共享批量作业的运行结果；在批量作业中断后重提时，确定批量作业的已完成步骤，根据已完成步骤，从共享磁盘获取已完成步骤对应的运行结果，进而继续进行批量作业，能够保证重提的批量作业位于分布式服务器集群中的任一服务器，均能从同一中断位置处进行重提。
以下，首先对本申请提供的方案的应用场景进行示例说明。
图1为本申请一实施例提供的应用场景示意图。如图1所示，该应用场景可以包括：分布式服务器集群10、共享磁盘所在的服务器11、服务器12以及服务器13，分布式服务器集群10分别与服务器11、服务器12、服务器13通过无线网络或有线网络进行通信。其中，分布式服务器集群10中包含主服务器101和多个从服务器102，主服务器101分布式调度从服务器102按照预设运行流程来运行批量作业，预设运行流程包括多个步骤，批量作业的运行结果存储至服务器11的共享磁盘中，批量作业的运行结果对应的步骤存储至服务器12，服务器13用于存储批量作业对应的运行参数。当从服务器102运行批量作业出现异常中断时，重提的从服务器102从服务器12获取批量作业的已完成步骤，从服务器11的共享磁盘获取已完成步骤对应的运行结果，进而根据该运行结果继续运行批量作业。
需要说明的是，图1仅是本申请实施例提供的一种应用场景的示意图，本申请实施例不对图1中包括的设备进行限定，也不对图1中设备之间的位置关系进行限定。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图2为本申请一实施例提供的批量作业的处理方法的流程图。本申请实施例的方法应用于分布式服务器集群，该分布式服务器集群中的节点包含主服务器和从服务器，从服务器包括第一服务器和第二服务器。如图2所示，本申请实施例的方法包括：
S201、主服务器响应于检测到对目标批量作业的重启指令，将目标批量作业分配给第一服务器。
本申请实施例中，对目标批量作业的重启指令可以是用户向主服务器输入的，或者，是主服务器在确定目标批量作业出现中断时自动触发的；分布式服务器集群中的主服务器用于对从服务器进行分布式调度。示例性地，当第二服务器运行目标批量作业出现异常中断后，主服务器响应于检测到对目标批量作业的重启指令，将目标批量作业分配给第一服务器，以通过第一服务器重提目标批量作业。
可选的，目标批量作业的作业内容包括获取待处理数据，对待处理数据进行处理，得到待处理数据对应的处理结果，将处理结果发送给目标接收方。
示例性地，目标批量作业的作业内容比如可以包括：从上游系统或模块读取、汇总各类联机交易信息；对汇总的联机交易信息进行分类及加工处理，得到加工结果；将加工结果转化为预设形式(例如报文、文件等)，得到转化后的加工结果；将转化后的加工结果与下游系统或模块进行交互，例如发送报文给指定目标接收方、传输文件至目标地址等。
S202、第一服务器确定目标批量作业的已完成步骤，目标批量作业对应有预设运行流程，预设运行流程包括多个步骤。
示例性地，目标批量作业是按照预设运行流程运行的，在对目标批量作业进行重启之前，比如通过第二服务器将目标批量作业的已完成步骤存储在数据库的监控表中，分布式服务器集群中的每个服务器均能访问该监控表，以准确地获得目标批量作业的已完成步骤。因此，第一服务器可以根据目标批量作业的作业标识，查询该监控表，从而确定目标批量作业的已完成步骤。
可选的，预设运行流程包括的多个步骤包括初始状态、数据加工、文件压缩、文件传输以及报文报送。
示例性地，对于预设运行流程包括的多个步骤，比如可以用00表示初始状态，用01表示数据加工，用02表示文件压缩，用03表示文件传输，用04表示报文报送。可以理解，初始状态是默认状态。
需要说明的是，本申请实施例不对预设运行流程包括的步骤进行限定，可以根据批量作业的具体运行步骤，进行个性化配置，提升软件兼容性，更好地满足业务需求。
可选的，预设运行流程包括的多个步骤，可以在运行目标批量作业之前预先约定和配置，且仅在初始时配置一次即可。
S203、第一服务器从共享磁盘获取已完成步骤对应的目标运行结果，目标运行结果是第二服务器在运行完成已完成步骤的情况下，存储至共享磁盘中的。
示例性地，在重启目标批量作业之前，第二服务器根据预设运行流程中的每个步骤，运行目标批量作业，得到目标批量作业对应每个步骤的运行结果，并将运行结果存储至共享磁盘中。因此，第一服务器可以从共享磁盘获取已完成步骤对应的目标运行结果。可以理解，通过共享磁盘存储批量作业的运行结果，能够保证分布式服务器集群中每个服务器均能共享批量作业的运行结果，准确地获得批量作业的运行结果。
S204、第一服务器根据目标运行结果，针对目标批量作业执行预设运行流程中除已完成步骤之外的其他步骤。
该步骤中，第一服务器从共享磁盘获取到已完成步骤对应的目标运行结果后，可以根据目标运行结果，针对目标批量作业执行预设运行流程中除已完成步骤之外的其他步骤，直至整个批量作业重新运行成功，而不是从预设运行流程的第一个步骤开始重新运行目标批量作业。当批量作业处理的数据量较大时，能够有效节省资源，且能够避免出现数据重复处理的差错问题。
本申请实施例提供的批量作业的处理方法，应用于分布式服务器集群，该分布式服务器集群中的节点包含主服务器和从服务器，从服务器包括第一服务器和第二服务器；通过主服务器响应于检测到对目标批量作业的重启指令，将目标批量作业分配给第一服务器；第一服务器确定目标批量作业的已完成步骤，目标批量作业对应有预设运行流程，预设运行流程包括多个步骤；第一服务器从共享磁盘获取已完成步骤对应的目标运行结果，目标运行结果是第二服务器在运行完成已完成步骤的情况下，存储至共享磁盘中的；第一服务器根据目标运行结果，针对目标批量作业执行预设运行流程中除已完成步骤之外的其他步骤。由于本申请实施例将批量作业的运行结果存储在共享磁盘中，能够保证分布式服务器集群中每个服务器均能共享批量作业的运行结果，准确地获得批量作业的运行结果；在重启批量作业时，根据批量作业的运行结果，继续执行已完成步骤之外的其他步骤，直至运行完成整个批量作业，实现分布式服务器集群对批量作业的断点重提处理；且，由于不是从预设运行流程的第一个步骤开始重新运行批量作业，因此，能够有效节省资源，提升批量作业的运行效率，且能够避免出现数据重复处理的差错问题。
图3为本申请另一实施例提供的批量作业的处理方法的流程图。在上述实施例的基础上，本申请实施例对批量作业的处理方法进行进一步说明。如图3所示，本申请实施例的方法可以包括：
S301、从服务器响应于对运行流程的配置操作，获取预设运行流程。
示例性地，可以在批量作业运行之前，预先配置好批量作业对应的运行流程，该运行流程比如包括初始状态、数据加工、文件压缩、文件传输以及报文报送等步骤，本申请实施例不对运行流程包括的步骤进行限定，可以根据批量作业的具体运行步骤，进行个性化配置。相应地，从服务器响应于对运行流程的配置操作，可以获取到预设运行流程，以按照预设运行流程包括的步骤来运行批量作业。
S302、从服务器响应于对目标批量作业对应的运行参数的配置操作，获取预设运行参数，以基于预设运行参数运行目标批量作业。
其中，预设运行参数包括运行时间和/或运行频率。
示例性地，预设运行参数包括的运行时间比如为每天定时运行批量作业；预设运行参数包括的运行频率比如为间隔预设时长来运行批量作业。可以预先配置好目标批量作业对应的运行参数，相应地，从服务器响应于对目标批量作业对应的运行参数的配置操作，获取预设运行参数，以基于预设运行参数运行目标批量作业。
S303、主服务器通过Zookeeper注册目标批量作业，以通过Zookeeper分布式调度目标批量作业。
可以理解，可以通过Zookeeper对批量作业进行注册及分布式调度，具体注册方式，可参考目前相关技术。该步骤中，主服务器通过Zookeeper注册目标批量作业后，则可以通过Zookeeper分布式调度目标批量作业，比如可以将目标批量作业分配至第二服务器，通过第二服务器来运行目标批量作业。
S304、第二服务器根据预设运行流程中的每个步骤，运行目标批量作业，得到目标批量作业对应每个步骤的运行结果，并将运行结果存储至共享磁盘中，以及存储运行结果对应的步骤。
该步骤中，主服务器通过Zookeeper注册目标批量作业后，将目标批量作业分配给了第二服务器，则第二服务器基于预设运行参数，比如达到指定的运行时间，从预设运行流程的第一个步骤开始，按照预设运行流程中的每个步骤，运行目标批量作业，得到目标批量作业对应每个步骤的运行结果。第二服务器在本地暂存运行结果后，将运行结果存储至共享磁盘中，以及存储运行结果对应的步骤。例如，可以将运行结果对应的步骤存储至监控表中，分布式服务器集群中的每个服务器均能访问该监控表，以准确地获得目标批量作业的已完成步骤。
S305、主服务器响应于检测到对目标批量作业的重启指令，将目标批量作业分配给第一服务器。
该步骤的具体描述可以参见图2所示实施例中S201的相关描述，此处不再赘述。
可选的，主服务器响应于检测到对目标批量作业的重启指令，可以将目标批量作业继续分配给第二服务器，即在对目标批量作业重启前和重启后，可以通过同一个服务器运行目标批量作业。
本申请实施例中，图2中S202步骤可以进一步包括如下的S306步骤：
S306、第一服务器根据目标批量作业的作业标识，查询监控表，确定目标批量作业的已完成步骤，目标批量作业对应有预设运行流程，预设运行流程包括多个步骤。
其中，监控表用于存储目标批量作业的已完成步骤。
示例性地，对目标批量作业的重启之前，第二服务器已将目标批量作业的已完成步骤存储到了监控表中，因此，第一服务器可以根据目标批量作业的作业标识，查询监控表，确定目标批量作业的已完成步骤，分布式服务器集群中的每个服务器均能访问监控表。
S307、第一服务器从共享磁盘获取已完成步骤对应的目标运行结果，目标运行结果是第二服务器在运行完成已完成步骤的情况下，存储至共享磁盘中的。
该步骤的具体描述可以参见图2所示实施例中S203的相关描述，此处不再赘述。
S308、第一服务器根据目标运行结果，针对目标批量作业执行预设运行流程中除已完成步骤之外的其他步骤。
该步骤的具体描述可以参见图2所示实施例中S204的相关描述，此处不再赘述。
本申请实施例提供的批量作业的处理方法，应用于分布式服务器集群，该分布式服务器集群中的节点包含主服务器和从服务器，从服务器包括第一服务器和第二服务器；通过从服务器响应于对运行流程的配置操作，获取预设运行流程；从服务器响应于对目标批量作业对应的运行参数的配置操作，获取预设运行参数；主服务器通过Zookeeper注册目标批量作业，以通过Zookeeper分布式调度目标批量作业；第二服务器根据预设运行流程中的每个步骤，运行目标批量作业，得到目标批量作业对应每个步骤的运行结果，并将运行结果存储至共享磁盘中，以及存储运行结果对应的步骤；主服务器响应于检测到对目标批量作业的重启指令，将目标批量作业分配给第一服务器；第一服务器根据目标批量作业的作业标识，查询监控表，确定目标批量作业的已完成步骤，目标批量作业对应有预设运行流程，预设运行流程包括多个步骤；第一服务器从共享磁盘获取已完成步骤对应的目标运行结果；第一服务器根据目标运行结果，针对目标批量作业执行预设运行流程中除已完成步骤之外的其他步骤。由于本申请实施例将批量作业的运行结果存储在共享磁盘中，能够保证分布式服务器集群中每个服务器均能共享批量作业的运行结果，准确地获得批量作业的运行结果；在重启批量作业时，根据批量作业的运行结果，继续执行已完成步骤之外的其他步骤，直至运行完成整个批量作业，实现分布式服务器集群对批量作业的断点重提处理；且，由于不是从预设运行流程的第一个步骤开始重新运行批量作业，因此，能够有效节省资源，提升批量作业的运行效率，且能够避免出现数据重复处理的差错问题。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图4为本申请一实施例提供的批量作业的处理装置的结构示意图，应用于分布式服务器集群，分布式服务器集群中的节点包含主服务器和从服务器，从服务器包括第一服务器和第二服务器。如图4所示，本申请实施例的批量作业的处理装置400包括：分配模块401、确定模块402、获取模块403和处理模块404。其中：
分配模块401，用于响应于检测到对目标批量作业的重启指令，将目标批量作业分配给第一服务器。
确定模块402，用于确定目标批量作业的已完成步骤，目标批量作业对应有预设运行流程，预设运行流程包括多个步骤。
获取模块403，用于从共享磁盘获取已完成步骤对应的目标运行结果，目标运行结果是第二服务器在运行完成已完成步骤的情况下，存储至共享磁盘中的。
处理模块404，用于根据目标运行结果，针对目标批量作业执行预设运行流程中除已完成步骤之外的其他步骤。
在一些实施例中，确定模块402可以具体用于：根据目标批量作业的作业标识，查询监控表，确定目标批量作业的已完成步骤，监控表用于存储目标批量作业的已完成步骤。
在一些实施例中，处理模块404还可以用于：在分配模块401响应于检测到对目标批量作业的重启指令之前，根据预设运行流程中的每个步骤，运行目标批量作业，得到目标批量作业对应每个步骤的运行结果，并将运行结果存储至共享磁盘中，以及存储运行结果对应的步骤。
可选的，获取模块403还可以用于：在分配模块401响应于检测到对目标批量作业的重启指令之前，响应于对运行流程的配置操作，获取预设运行流程。
可选的，获取模块403还可以用于：在分配模块401响应于检测到对目标批量作业的重启指令之前，响应于对目标批量作业对应的运行参数的配置操作，获取预设运行参数，以基于预设运行参数运行目标批量作业，预设运行参数包括运行时间和/或运行频率。
在一些实施例中，步骤包括初始状态、数据加工、文件压缩、文件传输以及报文报送。
可选的，批量作业的处理装置400还可以包括注册模块405，用于在分配模块401响应于检测到对目标批量作业的重启指令之前，通过Zookeeper注册目标批量作业，以通过Zookeeper分布式调度目标批量作业。
在一些实施例中，目标批量作业的作业内容包括获取待处理数据，对待处理数据进行处理，得到待处理数据对应的处理结果，将处理结果发送给目标接收方。
本申请实施例的装置，可以用于执行上述任一所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图5为本申请一实施例提供的电子设备的结构示意图。如图5所示，该电子设备500可以包括：至少一个处理器501和存储器502。
存储器502，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机执行指令。
存储器502可能包含高速随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器501用于执行存储器502存储的计算机执行指令，以实现前述方法实施例所描述的批量作业的处理方法。其中，处理器501可能是一个中央处理器(CentralProcessing Unit，CPU)，或者是专用集成电路(Application Specific IntegratedCircuit，ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。具体的，在实现前述方法实施例所描述的批量作业的处理方法时，该电子设备例如可以是服务器等具有处理功能的电子设备。
可选的，该电子设备500还可以包括通信接口503。在具体实现上，如果通信接口503、存储器502和处理器501独立实现，则通信接口503、存储器502和处理器501可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry StandardArchitecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果通信接口503、存储器502和处理器501集成在一块芯片上实现，则通信接口503、存储器502和处理器501可以通过内部接口完成通信。
该电子设备用于执行前述任一方法实施例中的批量作业的处理方法，其实现原理和技术效果类似，在此不再赘述。
本申请还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序指令，当处理器执行计算机程序指令时，实现如上的批量作业的处理方法的方案。
本申请还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上的批量作业的处理方法的方案。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random AccessMemory，SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable ReadOnly Memory，EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read OnlyMemory，EPROM)，可编程只读存储器(Programmable Read Only Memory，PROM)，只读存储器(Read Only Memory，ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路中。当然，处理器和可读存储介质也可以作为分立组件存在于批量作业的处理装置中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (11)
1.一种批量作业的处理方法，其特征在于，应用于分布式服务器集群，所述分布式服务器集群中的节点包含主服务器和从服务器，所述从服务器包括第一服务器和第二服务器，所述批量作业的处理方法包括：
所述主服务器响应于检测到对目标批量作业的重启指令，将所述目标批量作业分配给所述第一服务器；
所述第一服务器确定所述目标批量作业的已完成步骤，所述目标批量作业对应有预设运行流程，所述预设运行流程包括多个步骤；
所述第一服务器从共享磁盘获取所述已完成步骤对应的目标运行结果，所述目标运行结果是所述第二服务器在运行完成所述已完成步骤的情况下，存储至所述共享磁盘中的；
所述第一服务器根据所述目标运行结果，针对所述目标批量作业执行所述预设运行流程中除所述已完成步骤之外的其他步骤。
2.根据权利要求1所述的批量作业的处理方法，其特征在于，所述第一服务器确定所述目标批量作业的已完成步骤，包括：
所述第一服务器根据所述目标批量作业的作业标识，查询监控表，确定所述目标批量作业的已完成步骤，所述监控表用于存储所述目标批量作业的已完成步骤。
3.根据权利要求1所述的批量作业的处理方法，其特征在于，所述主服务器响应于所述检测到对目标批量作业的重启指令之前，还包括：
所述第二服务器根据所述预设运行流程中的每个步骤，运行所述目标批量作业，得到所述目标批量作业对应每个步骤的运行结果，并将所述运行结果存储至所述共享磁盘中，以及存储所述运行结果对应的步骤。
4.根据权利要求1至3中任一项所述的批量作业的处理方法，其特征在于，所述主服务器响应于所述检测到对目标批量作业的重启指令之前，还包括：
所述从服务器响应于对运行流程的配置操作，获取所述预设运行流程。
5.根据权利要求4所述的批量作业的处理方法，其特征在于，所述主服务器响应于所述检测到对目标批量作业的重启指令之前，还包括：
所述从服务器响应于对所述目标批量作业对应的运行参数的配置操作，获取预设运行参数，以基于所述预设运行参数运行所述目标批量作业，所述预设运行参数包括运行时间和/或运行频率。
6.根据权利要求1至3中任一项所述的批量作业的处理方法，其特征在于，所述步骤包括初始状态、数据加工、文件压缩、文件传输以及报文报送。
7.根据权利要求1至3中任一项所述的批量作业的处理方法，其特征在于，所述主服务器响应于所述检测到对目标批量作业的重启指令之前，还包括：
所述主服务器通过Zookeeper注册所述目标批量作业，以通过所述Zookeeper分布式调度所述目标批量作业。
8.根据权利要求1至3中任一项所述的批量作业的处理方法，其特征在于，所述目标批量作业的作业内容包括获取待处理数据，对所述待处理数据进行处理，得到所述待处理数据对应的处理结果，将所述处理结果发送给目标接收方。
9.一种批量作业的处理装置，其特征在于，应用于分布式服务器集群，所述分布式服务器集群中的节点包含主服务器和从服务器，所述从服务器包括第一服务器和第二服务器，所述批量作业的处理装置包括：
分配模块，用于响应于检测到对目标批量作业的重启指令，将所述目标批量作业分配给所述第一服务器；
确定模块，用于确定所述目标批量作业的已完成步骤，所述目标批量作业对应有预设运行流程，所述预设运行流程包括多个步骤；
获取模块，用于从共享磁盘获取所述已完成步骤对应的目标运行结果，所述目标运行结果是所述第二服务器在运行完成所述已完成步骤的情况下，存储至所述共享磁盘中的；
处理模块，用于根据所述目标运行结果，针对所述目标批量作业执行所述预设运行流程中除所述已完成步骤之外的其他步骤。
10.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至8中任一项所述的批量作业的处理方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被执行时，实现如权利要求1至8中任一项所述的批量作业的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310604240.1A CN116633783A (zh) | 2023-05-26 | 2023-05-26 | 批量作业的处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310604240.1A CN116633783A (zh) | 2023-05-26 | 2023-05-26 | 批量作业的处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116633783A true CN116633783A (zh) | 2023-08-22 |
Family
ID=87591508
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310604240.1A Pending CN116633783A (zh) | 2023-05-26 | 2023-05-26 | 批量作业的处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116633783A (zh) |
-
2023
- 2023-05-26 CN CN202310604240.1A patent/CN116633783A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108683604B (zh) | 并发访问控制方法、终端设备及介质 | |
| CN108427705B (zh) | 电子装置、分布式系统日志查询方法及存储介质 | |
| CN109474578B (zh) | 报文消息校验方法、装置、计算机设备和存储介质 | |
| CN108462760B (zh) | 电子装置、集群访问域名自动生成方法及存储介质 | |
| CN108415925B (zh) | 电子装置、数据调用日志生成及查询方法及存储介质 | |
| CN110532025B (zh) | 基于微服务架构的数据处理方法、装置、设备及存储介质 | |
| CN111125240B (zh) | 一种分布式事务实现方法、装置、电子设备及存储介质 | |
| CN111355765B (zh) | 一种网络请求的处理、发送方法及装置 | |
| CN109561134B (zh) | 电子装置、分布式集群服务分配方法及存储介质 | |
| CN111125168B (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| CN110674153B (zh) | 一种数据一致性检测方法、装置及电子设备 | |
| CN114090268B (zh) | 容器管理方法及容器管理系统 | |
| CN116633783A (zh) | 批量作业的处理方法、装置、设备及存储介质 | |
| CN107632893B (zh) | 消息队列处理方法及装置 | |
| CN113691618B (zh) | 消息通知方法、装置、消息中心及存储介质 | |
| CN111367694B (zh) | 事件处理方法、服务器及计算机存储介质 | |
| CN113297149A (zh) | 数据处理请求的监测方法及装置 | |
| CN112261072B (zh) | 一种服务调用方法、装置、设备和存储介质 | |
| CN110876852A (zh) | 微服务的网络游戏数据处理方法及系统 | |
| WO2021259108A1 (zh) | 资源分配方法、装置、服务器及存储介质 | |
| CN109683926B (zh) | 网络组件更新方法、装置、设备及计算机可读存储介质 | |
| CN109165200B (zh) | 数据同步方法、装置、计算设备及计算机存储介质 | |
| CN113391872A (zh) | 任务处理方法、装置、电子设备及存储介质 | |
| CN117436069A (zh) | 用户进程的权限验证方法、装置、设备及介质 | |
| CN116630044A (zh) | 异常交易处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |