CN111625391A - 一种任务处理方法、系统和电子设备 - Google Patents
一种任务处理方法、系统和电子设备 Download PDFInfo
- Publication number
- CN111625391A CN111625391A CN202010475746.3A CN202010475746A CN111625391A CN 111625391 A CN111625391 A CN 111625391A CN 202010475746 A CN202010475746 A CN 202010475746A CN 111625391 A CN111625391 A CN 111625391A
- Authority
- CN
- China
- Prior art keywords
- executed
- data
- abnormal
- task
- execution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
- G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
- G06F11/0715—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a system implementing multitasking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0793—Remedial or corrective actions
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Hardware Redundancy (AREA)
Abstract
本发明涉及一种任务处理方法、系统和电子设备，通过创建配置以便于用户配置任务及其集群地址，TASK根据每个任务对应的集群地址，将每个任务的待执行数据平均分发至对应的执行主机，以使每个执行主机执行接收到的每条待执行数据，若发生异常，为发生异常的待执行数据重新分配新的执行主机的IP地址，以使新的执行主机执行发生异常的待执行数据，无需人工干预就能对发生异常的待执行数据进行处理，以保证能及时执行完成配置表中的每个任务，不会给用户带来损失，且在执行每条待执行数据时，能及时发现异常并作出相应处理，因此，还能提高执行任务的效率。
Description
技术领域
本发明涉及计算机后台作业技术领域，尤其涉及一种任务处理方法、系统和电子设备。
背景技术
目前，通信行业应用系统中存在很多定时任务和守护类的任务，因此，分布式的任务调度框架应运而生，虽然目前的分布式的任务调度框架支持大部分业务场景，但是均缺乏有效的异常处理机制，导致在执行任务的过程中出现异常后往往需要人工干预，以Fortress后台守护进程框架为例进行说明，具体地：
Fortress后台守护进程框架提供了一个定时任务的启动类，开发者开发出TSAT继承启动类，以执行每个任务所对应的每条数据，然而在实际执行任务的过程中，经常出现异常，且现有的failover机制，也不能对这种异常进行有效处理，只能通过人工干预来处理，但是有些任务为定时任务，对处理时限有要求的，此时再进行人工干预已为时已晚，从而导致执行任务的失败，为用户造成损失。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供了一种任务处理方法、系统和电子设备。
本发明的一种任务处理方法的技术方案如下：
S1、根据用户输入的操作指令，在配置表中进行配置，所述操作指令用于向所述配置表中配置至少一个任务，并为每个任务配置对应的集群地址，其中，所述集群地址中包括多个执行主机的IP地址；
S2、TASK获取所述配置表，并根据每个任务对应的集群地址，将每个任务的待执行数据平均分发至对应的执行主机，以使每个执行主机执行接收到的每条待执行数据；
S3、通过逐个判断每个执行主机在执行接收到的每条待执行数据时是否发生异常，确定是否存在发生异常的待执行数据；
S4、若存在发生异常的待执行数据，为所述发生异常的待执行数据重新分配新的执行主机的IP地址；
S5、所述TASK根据所述新的执行主机的IP地址将所述发生异常的待执行数据发送至新的执行主机，以使所述新的执行主机执行所述发生异常的待执行数据。
本发明的一种任务处理方法的有益效果如下：
通过创建配置以便于用户配置任务及其集群地址，TASK根据每个任务对应的集群地址，将每个任务的待执行数据平均分发至对应的执行主机，以使每个执行主机执行接收到的每条待执行数据，若发生异常，为发生异常的待执行数据重新分配新的执行主机的IP地址，以使新的执行主机执行发生异常的待执行数据，无需人工干预就能对发生异常的待执行数据进行处理，以保证能及时执行完成配置表中的每个任务，不会给用户带来损失，且在执行每条待执行数据时，能及时发现异常并作出相应处理，因此，还能提高执行任务的效率。
在上述方案的基础上，本发明的一种任务处理方法还可以做如下改进。
进一步，所述通过逐个判断每个执行主机在执行接收到的每条待执行数据时是否发生异常，确定是否存在发生异常的待执行数据，包括：
S40、获取每个执行主机执行接收到的每条待执行数据的执行时间；
S41、按照预设频率逐个比较每条待执行数据的执行时间与预设时间阈值并同时判断每条待执行数据是否执行成功，得到比较判断结果；
S42、根据所述比较判断结果确定是否存在发生异常的待执行数据，其中，所述比较判断结果中，执行时间大于所述预设时间阈值且未执行成功的待执行数据为所述发生异常的待执行数据。
采用上述进一步方案的有益效果是：通过比较每条待执行数据的执行时间与预设时间阈值的方式来确认出发生异常的待执行数据，具有更强的覆盖性，例如覆盖某些执行主机的执行速度慢所导致的异常、执行主机未执行所导致的异常等。
进一步，所述为所述发生异常的待执行数据重新分配新的执行主机的IP地址之前，还包括：
S004、判断所述发生异常的待执行数据的回捞次数是否大于或者等于预设回捞次数阈值，得到第一判断结果；
所述为所述发生异常的待执行数据重新分配新的执行主机的IP地址，包括：
当所述第一判断结果为是时，为所述发生异常的待执行数据重新分配新的执行主机的IP地址。
进一步，还包括：
S014、当所述第一判断结果为否时，将所述发生异常的待执行数据回捞并重新发送至对应的执行主机，以使所述发生异常的待执行数据所对应的执行主机执行所述发生异常的待执行数据，并判断所述发生异常的待执行数据所对应的执行主机在执行所述发生异常的待执行数据时是否发生异常，得到第二判断结果，当所述第二判断结果为是时，继续执行S004。
采用上述进一步方案的有益效果是：通过预设回捞次数阈值，为发生异常的待执行数据对应的执行主机能多次重复执行发生异常的待执行数据，若在预设回捞次数阈值内，将发生异常的待执行数据执行成功，则避免为发生异常的待执行数据分配新的执行主机的IP地址，并避免了将发生异常的待执行数据发送至新的执行主机，保证执行任务的效率。
进一步，还包括：
将所述发生异常的待执行数据所对应的执行主机的IP地址加入黑名单。
采用上述进一步方案的有益效果是：一方面，便于用户在对配置表进行配置时查看黑名单，避免在集群地址中添加黑名单中的执行主机的IP地址，另一方面，在为发生异常的待执行数据重新分配新的执行主机的IP地址时，也能避免分配黑名单中的执行主机的IP地址。
本发明的一种任务处理系统的技术方案如下：
包括接收模块、TASK、异常确定模块和重新分配模块；
所述接收模块用于根据用户输入的操作指令，在配置表中进行配置，所述操作指令用于向所述配置表中配置至少一个任务，并为每个任务配置对应的集群地址，其中，所述集群地址中包括多个执行主机的IP地址；
所述TASK用于获取所述配置表，并根据每个任务对应的集群地址，将每个任务的待执行数据平均分发至对应的执行主机，以使每个执行主机执行接收到的每条待执行数据；
所述异常确定模块用于：通过逐个判断每个执行主机在执行接收到的每条待执行数据时是否发生异常，确定是否存在发生异常的待执行数据；
所述重新分配模块用于：若存在发生异常的待执行数据，为所述发生异常的待执行数据重新分配新的执行主机的IP地址，
所述TASK还用于根据所述新的执行主机的IP地址将所述发生异常的待执行数据发送至新的执行主机，以使所述新的执行主机执行所述发生异常的待执行数据。
本发明的一种任务处理系统的有益效果如下：
通过创建配置以便于用户配置任务及其集群地址，TASK根据每个任务对应的集群地址，将每个任务的待执行数据平均分发至对应的执行主机，以使每个执行主机执行接收到的每条待执行数据，若发生异常，为发生异常的待执行数据重新分配新的执行主机的IP地址，以使新的执行主机执行发生异常的待执行数据，无需人工干预就能对发生异常的待执行数据进行处理，以保证能及时执行完成配置表中的每个任务，不会给用户带来损失，且在执行每条待执行数据时，能及时发现异常并作出相应处理，因此，还能提高执行任务的效率。
在上述方案的基础上，本发明的一种任务处理系统还可以做如下改进。
进一步，所述异常确定模块具体用于：
获取每个执行主机执行接收到的每条待执行数据的执行时间；
按照预设频率逐个比较每条待执行数据的执行时间与预设时间阈值并同时判断每条待执行数据是否执行成功，得到比较判断结果；
根据所述比较判断结果确定是否存在发生异常的待执行数据，其中，所述比较判断结果中，执行时间大于所述预设时间阈值且未执行成功的待执行数据为所述发生异常的待执行数据。
采用上述进一步方案的有益效果是：通过比较每条待执行数据的执行时间与预设时间阈值的方式来确认出发生异常的待执行数据，具有更强的覆盖性，例如覆盖某些执行主机的执行速度慢所导致的异常、执行主机未执行所导致的异常等。
进一步，还包括判断模块，所述判断模块用于判断所述发生异常的待执行数据的回捞次数是否大于等于预设回捞次数阈值，得到第一判断结果；
所述重新分配模块具体用于当所述第一判断结果为是时，为所述发生异常的待执行数据重新分配新的执行主机的IP地址。
进一步，还包括回捞判断模块和调用模块，所述回捞判断模块用于：当所述第一判断结果为否时，将所述发生异常的待执行数据回捞并重新发送至对应的执行主机，以使所述发生异常的待执行数据所对应的执行主机执行所述发生异常的待执行数据，并判断所述发生异常的待执行数据所对应的执行主机在执行所述发生异常的待执行数据时是否发生异常，得到第二判断结果，所述调用模块用于当所述第二判断结果为是时，继续调用所述判断模块。
采用上述进一步方案的有益效果是：通过预设回捞次数阈值，为发生异常的待执行数据对应的执行主机能多次重复执行发生异常的待执行数据，若在预设回捞次数阈值内，将发生异常的待执行数据执行成功，则避免为发生异常的待执行数据分配新的执行主机的IP地址，并避免了将发生异常的待执行数据发送至新的执行主机，保证执行任务的效率。
进一步，还包括黑名单模块，所述黑名单模块用于将所述发生异常的待执行数据所对应的执行主机的IP地址加入黑名单。
采用上述进一步方案的有益效果是：一方面，便于用户在对配置表进行配置时查看黑名单，避免在集群地址中添加黑名单中的执行主机的IP地址，另一方面，在为发生异常的待执行数据重新分配新的执行主机的IP地址时，也能避免分配黑名单中的执行主机的IP地址。
本发明的一种电子设备的技术方案如下：
包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如上述任一项所述的一种任务处理方法的步骤。
本发明的一种电子设备的有益效果如下：
通过创建配置以便于用户配置任务及其集群地址，TASK根据每个任务对应的集群地址，将每个任务的待执行数据平均分发至对应的执行主机，以使每个执行主机执行接收到的每条待执行数据，若发生异常，为发生异常的待执行数据重新分配新的执行主机的IP地址，以使新的执行主机执行发生异常的待执行数据，无需人工干预就能对发生异常的待执行数据进行处理，以保证能及时执行完成配置表中的每个任务，不会给用户带来损失，且在执行每条待执行数据时，能及时发现异常并作出相应处理，因此，还能提高执行任务的效率。
附图说明
图1为本发明实施例的一种任务处理方法的流程示意图；
图2为本发明实施例的一种任务处理方法的结构示意图；
具体实施方式
如图1所示，本发明实施例的一种任务处理方法，包括如下步骤：
S1、根据用户输入的操作指令，在配置表中进行配置，所述操作指令用于向所述配置表中配置至少一个任务，并为每个任务配置对应的集群地址，其中，所述集群地址中包括多个执行主机的IP地址；
S2、TASK获取所述配置表，并根据每个任务对应的集群地址，将每个任务的待执行数据平均分发至对应的执行主机，以使每个执行主机执行接收到的每条待执行数据；
S3、通过逐个判断每个执行主机在执行接收到的每条待执行数据时是否发生异常，确定是否存在发生异常的待执行数据；
S4、若存在发生异常的待执行数据，为所述发生异常的待执行数据重新分配新的执行主机的IP地址；
S5、所述TASK根据所述新的执行主机的IP地址将所述发生异常的待执行数据发送至新的执行主机，以使所述新的执行主机执行所述发生异常的待执行数据。
通过创建配置以便于用户配置任务及其集群地址，TASK根据每个任务对应的集群地址，将每个任务的待执行数据平均分发至对应的执行主机，以使每个执行主机执行接收到的每条待执行数据，若发生异常，为发生异常的待执行数据重新分配新的执行主机的IP地址，以使新的执行主机执行发生异常的待执行数据，无需人工干预就能对发生异常的待执行数据进行处理，以保证能及时执行完成配置表中的每个任务，不会给用户带来损失，且在执行每条待执行数据时，能及时发现异常并作出相应处理，因此，还能提高执行任务的效率。
其中，每个任务对应多条待执行数据，用户向配置表中配置了100个任务，每个任务对应100条待执行数据，有20个执行主机，为每个任务配置的集群地址中均包括这个20个执行主机的IP地址，那么：
当在执行第一个任务时，TASK根据第一个任务对应的集群地址，将第一个任务对应的100条待执行数据平均分发至20个执行主机，即每个执行主机接收到待执行数据的数量是相同，以避免某个执行主机的接收到的待执行数据的数量过多，其中，可通过如下方式对100条待执行数据进行分发，具体地：
1)将第一个任务的第一条至第五条待执行数据分发至第一个执行主机，将第一个任务的第六条至第十条待执行数据分发至第二个执行主机，并以此类推，将100条待执行数据进行分发；
2)将100条待执行数据随机平均发送至20个执行主机，只保证每个每个执行主机接收到待执行数据的数量相同即可；
可以理解的是，上述的每个执行主机接收到待执行数据的数量相同，并不是数学上绝对意义的相同，例如，将100条待执行数据平均分发至18个执行主机，那么会有10个执行主机会接收到6条待执行数据，有8个执行主机会接收到5条待执行数据，也在本发明的保护范围内。
其中，为所述发生异常的待执行数据重新分配新的执行主机的IP地址，可自动替换配置表中异常的待执行数据所对应的执行主机的IP地址。
其中，新的执行主机的IP地址可以是配置表中的IP地址，也可是配置表之外的IP地址，具体地：
1)当新的执行主机的IP地址是配置表中的IP地址时，则有两种方式，一是，新的执行主机的IP地址从配置表中的所有集群地址所包含的IP地址中进行选取，二是，新的执行主机的IP地址只从该发生异常的待执行数据所对应的集群地址进行选取；
2)当新的执行主机的IP地址为配置表之外的IP地址时，以上述的20个执行主机为例进行说明，假如在上述的20个执行主机之外，还有第21个执行主机作为备用，第21个执行主机的IP地址可为发生异常的待执行数据重新分配新的执行主机的IP地址。
较优地，在上述技术方案中，S4中，所述通过逐个判断每个执行主机在执行接收到的每条待执行数据时是否发生异常，确定是否存在发生异常的待执行数据，包括：
S40、获取每个执行主机执行接收到的每条待执行数据的执行时间；
S41、按照预设频率逐个比较每条待执行数据的执行时间与预设时间阈值并同时判断每条待执行数据是否执行成功，得到比较判断结果；
S42、根据所述比较判断结果确定是否存在发生异常的待执行数据，其中，所述比较判断结果中，执行时间大于所述预设时间阈值且未执行成功的待执行数据为所述发生异常的待执行数据。
通过比较每条待执行数据的执行时间与预设时间阈值的方式来确认出发生异常的待执行数据，具有更强的覆盖性，例如覆盖某些执行主机的执行速度慢所导致的异常、执行主机未执行所导致的异常等。
其中，需要说明的是：，从任一条待执行数据所对应的执行主机接收到该条待执行数据的同时，开始记录该条待执行数据的执行时间。预设时间阈值可30秒、1分钟、5分钟、10分钟等，也可根据实际情况进行调整，以预设时间阈值为10分钟为例进行说明：
1)某一主机由于执行速度速度慢，在执行某一条待执行数据时，执行时间大于10分钟时，还未执行完毕，则可判定该条待执行数据为发生异常的待执行数据；
2)某一主机接收到某一条待执行数据后，由于某些不确定因素如断电、死机等导致执行时间大于10分钟时，还未执行完毕，则可判定该条待执行数据为发生异常的待执行数据；
3)某一主机接收到某一条待执行数据后，由于程序软件等问题，导致该条待执行数据处于等待执行状态，从而导致执行时间大于10分钟时，还未执行完毕，则也可判定该条待执行数据为发生异常的待执行数据。
较优地，在上述技术方案中，在S4所述为所述发生异常的待执行数据重新分配新的执行主机的IP地址之前，
S004、判断所述发生异常的待执行数据的回捞次数是否大于或者等于预设回捞次数阈值，得到第一判断结果；
所述为所述发生异常的待执行数据重新分配新的执行主机的IP地址，包括：
当所述第一判断结果为是时，为所述发生异常的待执行数据重新分配新的执行主机的IP地址。
较优地，在上述技术方案中，还包括：
S014、当所述第一判断结果为否时，将所述发生异常的待执行数据回捞并重新发送至对应的执行主机，以使所述发生异常的待执行数据所对应的执行主机执行所述发生异常的待执行数据，并判断所述发生异常的待执行数据所对应的执行主机在执行所述发生异常的待执行数据时是否发生异常，得到第二判断结果，当所述第二判断结果为是时，继续执行S004。
通过预设回捞次数阈值，为发生异常的待执行数据对应的执行主机能多次重复执行发生异常的待执行数据，若在预设回捞次数阈值内，将发生异常的待执行数据执行成功，则避免为发生异常的待执行数据分配新的执行主机的IP地址，并避免了将发生异常的待执行数据发送至新的执行主机，保证执行任务的效率。
其中，预设回捞次数阈值可为1次、2次、3次等，也可根据实际情况进行调整；需要注意的是，当预设回捞次数阈值设置为0次时，发生异常的待执行数据的回捞次数为0次，大于等于预设回捞次数阈值，此时得到第一判断结果为是，则无须再对该发生异常的待执行数据进行回捞。
设置预设回捞次数阈值为2次为例进行进行说明，具体地：
由于在S41中初次判断出发生异常的待执行数据，发生异常的待执行数据的回捞次数为0次，0小于2，则第一判断结果为否，将所述发生异常的待执行数据回捞并重新发送至对应的执行主机，以使所述发生异常的待执行数据所对应的执行主机执行所述发生异常的待执行数据，并判断所述发生异常的待执行数据所对应的执行主机在执行所述发生异常的待执行数据时是否发生异常，得到第二判断结果；
若第二判断结果为否时，说明回捞次数为1次时，由发生异常的待执行数据所对应的执行主机将该条发生异常的待执行数据执行成功，则不需要再重新分配新的执行主机的IP地址；
若此时第二判断结果为是时，则说明发生异常的待执行数据所对应的执行主机将该条发生异常的待执行数据未执行成功，此时继续比较回捞次数和回捞次数阈值：1<2，第一判断结果为否，则继续执行S014；
若此时得到的第二结果为否时，则不需要再重新分配新的执行主机的IP地址；
若此时得到的第二结果为是时，则继续比较回捞次数和回捞次数阈值：2＝2，此时的第一判断结果为是，则为该发生异常的待执行数据重新分配新的执行主机的IP地址。
其中，并判断所述发生异常的待执行数据所对应的执行主机在执行所述发生异常的待执行数据时是否发生异常，得到第二判断结果，可参考S40至S42，在此不做赘述，其中需注意的是：一条发生异常的待执行数据的执行时间是从将该条发生异常的待执行数据回捞后重新向其对应的执行主机发送的同时开始计时。较优地，在上述技术方案中，所述为所述发生异常的待执行数据重新分配新的执行主机的IP地址，还包括：
将所述发生异常的待执行数据所对应的执行主机的IP地址加入黑名单。
一方面，便于用户在对配置表进行配置时查看黑名单，避免在集群地址中添加黑名单中的执行主机的IP地址，另一方面，在为发生异常的待执行数据重新分配新的执行主机的IP地址时，也能避免分配黑名单中的执行主机的IP地址。
在上述各实施例中，虽然对步骤进行进行了编号S1、S2等，但只是本申请给出的具体实施例，本领域的技术人员可根据实际情况对调整S1、S2等的执行顺序，此也在本发明的保护范围内。
如图2所示，本发明实施例的一种任务处理系统200，包括接收模块210、TASK220、异常确定模块230和重新分配模块240；
所述接收模块210用于根据用户输入的操作指令，在配置表中进行配置，所述操作指令用于向所述配置表中配置至少一个任务，并为每个任务配置对应的集群地址，其中，所述集群地址中包括多个执行主机的IP地址；
所述TASK220用于获取所述配置表，并根据每个任务对应的集群地址，将每个任务的待执行数据平均分发至对应的执行主机，以使每个执行主机执行接收到的每条待执行数据；
所述异常确定模块230用于：通过逐个判断每个执行主机在执行接收到的每条待执行数据时是否发生异常，确定是否存在发生异常的待执行数据；
所述重新分配模块240用于：若存在发生异常的待执行数据，为所述发生异常的待执行数据重新分配新的执行主机的IP地址，
所述TASK220还用于根据所述新的执行主机的IP地址将所述发生异常的待执行数据发送至新的执行主机，以使所述新的执行主机执行所述发生异常的待执行数据。
通过创建配置以便于用户配置任务及其集群地址，TASK220根据每个任务对应的集群地址，将每个任务的待执行数据平均分发至对应的执行主机，以使每个执行主机执行接收到的每条待执行数据，若发生异常，为发生异常的待执行数据重新分配新的执行主机的IP地址，以使新的执行主机执行发生异常的待执行数据，无需人工干预就能对发生异常的待执行数据进行处理，以保证能及时执行完成配置表中的每个任务，不会给用户带来损失，且在执行每条待执行数据时，能及时发现异常并作出相应处理，因此，还能提高执行任务的效率。
较优地，在上述技术方案中，所述异常确定模块230具体用于：
获取每个执行主机执行接收到的每条待执行数据的执行时间；
按照预设频率逐个比较每条待执行数据的执行时间与预设时间阈值并同时判断每条待执行数据是否执行成功，得到比较判断结果；
根据所述比较判断结果确定是否存在发生异常的待执行数据，其中，所述比较判断结果中，执行时间大于所述预设时间阈值且未执行成功的待执行数据为所述发生异常的待执行数据。
通过比较每条待执行数据的执行时间与预设时间阈值的方式来确认出发生异常的待执行数据，具有更强的覆盖性，例如覆盖某些执行主机的执行速度慢所导致的异常、执行主机未执行所导致的异常等。
较优地，在上述技术方案中，还包括判断模块，所述判断模块用于判断所述发生异常的待执行数据的回捞次数是否大于等于预设回捞次数阈值，得到第一判断结果；
所述重新分配模块具体用于当所述第一判断结果为是时，为所述发生异常的待执行数据重新分配新的执行主机的IP地址。
较优地，在上述技术方案中，还包括回捞判断模块和调用模块，所述回捞判断模块用于：当所述第一判断结果为否时，将所述发生异常的待执行数据回捞并重新发送至对应的执行主机，以使所述发生异常的待执行数据所对应的执行主机执行所述发生异常的待执行数据，并判断所述发生异常的待执行数据所对应的执行主机在执行所述发生异常的待执行数据时是否发生异常，得到第二判断结果，所述调用模块用于当所述第二判断结果为是时，继续调用所述判断模块。
通过预设回捞次数阈值，为发生异常的待执行数据对应的执行主机能多次重复执行发生异常的待执行数据，若在预设回捞次数阈值内，将发生异常的待执行数据执行成功，则避免为发生异常的待执行数据分配新的执行主机的IP地址，并避免了将发生异常的待执行数据发送至新的执行主机，保证执行任务的效率。
较优地，在上述技术方案中，还包括黑名单模块，所述黑名单模块用于将所述发生异常的待执行数据所对应的执行主机的IP地址加入黑名单。
一方面，便于用户在对配置表进行配置时查看黑名单，避免在集群地址中添加黑名单中的执行主机的IP地址，另一方面，在为发生异常的待执行数据重新分配新的执行主机的IP地址时，也能避免分配黑名单中的执行主机的IP地址。
上述关于本发明的一种任务处理系统200中的各参数和各个单元模块实现相应功能的步骤，可参考上文中关于一种任务处理方法的实施例中的各参数和步骤，在此不做赘述。
本发明实施例的一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，所述处理器执行所述程序时实现上述任一实施的一种任务处理方法的步骤。
通过创建配置以便于用户配置任务及其集群地址，TASK根据每个任务对应的集群地址，将每个任务的待执行数据平均分发至对应的执行主机，以使每个执行主机执行接收到的每条待执行数据，若发生异常，为发生异常的待执行数据重新分配新的执行主机的IP地址，以使新的执行主机执行发生异常的待执行数据，无需人工干预就能对发生异常的待执行数据进行处理，以保证能及时执行完成配置表中的每个任务，不会给用户带来损失，且在执行每条待执行数据时，能及时发现异常并作出相应处理，因此，还能提高执行任务的效率。
其中，电子设备可以选用电脑、手机等，相对应地，其程序为电脑软件或手机APP等，且上述关于本发明的一种电子设备中的各参数和步骤，可参考上文中一种任务处理方法的实施例中的各参数和步骤，在此不做赘述。
在本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种任务处理方法，其特征在于，包括：
S1、根据用户输入的操作指令，在配置表中进行配置，所述操作指令用于向所述配置表中配置至少一个任务，并为每个任务配置对应的集群地址，其中，所述集群地址中包括多个执行主机的IP地址；
S2、TASK获取所述配置表，并根据每个任务对应的集群地址，将每个任务的待执行数据平均分发至对应的执行主机，以使每个执行主机执行接收到的每条待执行数据；
S3、通过逐个判断每个执行主机在执行接收到的每条待执行数据时是否发生异常，确定是否存在发生异常的待执行数据；
S4、若存在发生异常的待执行数据，为所述发生异常的待执行数据重新分配新的执行主机的IP地址；
S5、所述TASK根据所述新的执行主机的IP地址将所述发生异常的待执行数据发送至新的执行主机，以使所述新的执行主机执行所述发生异常的待执行数据。
2.根据权利要求1所述的一种任务处理方法，其特征在于，所述通过逐个判断每个执行主机在执行接收到的每条待执行数据时是否发生异常，确定是否存在发生异常的待执行数据，包括：
S40、获取每个执行主机执行接收到的每条待执行数据的执行时间；
S41、按照预设频率逐个比较每条待执行数据的执行时间与预设时间阈值并同时判断每条待执行数据是否执行成功，得到比较判断结果；
S42、根据所述比较判断结果确定是否存在发生异常的待执行数据，其中，所述比较判断结果中，执行时间大于所述预设时间阈值且未执行成功的待执行数据为所述发生异常的待执行数据。
3.根据权利要求1或2所述的一种任务处理方法，其特征在于，所述为所述发生异常的待执行数据重新分配新的执行主机的IP地址之前，还包括：
S004、判断所述发生异常的待执行数据的回捞次数是否大于或者等于预设回捞次数阈值，得到第一判断结果；
所述为所述发生异常的待执行数据重新分配新的执行主机的IP地址，包括：
当所述第一判断结果为是时，为所述发生异常的待执行数据重新分配新的执行主机的IP地址。
4.根据权利要求3所述的一种任务处理方法，其特征在于，还包括：
S014、当所述第一判断结果为否时，将所述发生异常的待执行数据回捞并重新发送至对应的执行主机，以使所述发生异常的待执行数据所对应的执行主机执行所述发生异常的待执行数据，并判断所述发生异常的待执行数据所对应的执行主机在执行所述发生异常的待执行数据时是否发生异常，得到第二判断结果，当所述第二判断结果为是时，继续执行S004。
5.根据权利要求4所述的一种任务处理方法，其特征在于，还包括：
将所述发生异常的待执行数据所对应的执行主机的IP地址加入黑名单。
6.一种任务处理系统，其特征在于，包括接收模块、TASK、异常确定模块和重新分配模块；
所述接收模块用于根据用户输入的操作指令，在配置表中进行配置，所述操作指令用于向所述配置表中配置至少一个任务，并为每个任务配置对应的集群地址，其中，所述集群地址中包括多个执行主机的IP地址；
所述TASK用于获取所述配置表，并根据每个任务对应的集群地址，将每个任务的待执行数据平均分发至对应的执行主机，以使每个执行主机执行接收到的每条待执行数据；
所述异常确定模块用于：通过逐个判断每个执行主机在执行接收到的每条待执行数据时是否发生异常，确定是否存在发生异常的待执行数据；
所述重新分配模块用于：若存在发生异常的待执行数据，为所述发生异常的待执行数据重新分配新的执行主机的IP地址；
所述TASK还用于根据所述新的执行主机的IP地址将所述发生异常的待执行数据发送至新的执行主机，以使所述新的执行主机执行所述发生异常的待执行数据。
7.根据权利要求6所述的一种任务处理系统，其特征在于，所述异常确定模块具体用于：
获取每个执行主机执行接收到的每条待执行数据的执行时间；
按照预设频率逐个比较每条待执行数据的执行时间与预设时间阈值并同时判断每条待执行数据是否执行成功，得到比较判断结果；
根据所述比较判断结果确定是否存在发生异常的待执行数据，其中，所述比较判断结果中，执行时间大于所述预设时间阈值且未执行成功的待执行数据为所述发生异常的待执行数据。
8.根据权利要求5或6所述的一种任务处理系统，其特征在于，还包括判断模块，所述判断模块用于判断所述发生异常的待执行数据的回捞次数是否大于等于预设回捞次数阈值，得到第一判断结果；
所述重新分配模块具体用于当所述第一判断结果为是时，为所述发生异常的待执行数据重新分配新的执行主机的IP地址。
9.根据权利要求8所述的一种任务处理系统，其特征在于，还包括回捞判断模块和调用模块，所述回捞判断模块用于：当所述第一判断结果为否时，将所述发生异常的待执行数据回捞并重新发送至对应的执行主机，以使所述发生异常的待执行数据所对应的执行主机执行所述发生异常的待执行数据，并判断所述发生异常的待执行数据所对应的执行主机在执行所述发生异常的待执行数据时是否发生异常，得到第二判断结果，所述调用模块用于当所述第二判断结果为是时，继续调用所述判断模块。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述的一种任务处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010475746.3A CN111625391B (zh) | 2020-05-29 | 2020-05-29 | 一种任务处理方法、系统和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010475746.3A CN111625391B (zh) | 2020-05-29 | 2020-05-29 | 一种任务处理方法、系统和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111625391A true CN111625391A (zh) | 2020-09-04 |
| CN111625391B CN111625391B (zh) | 2023-06-13 |
Family
ID=72260180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010475746.3A Active CN111625391B (zh) | 2020-05-29 | 2020-05-29 | 一种任务处理方法、系统和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111625391B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103870334A (zh) * | 2012-12-18 | 2014-06-18 | 中国移动通信集团公司 | 一种大规模漏洞扫描的任务分配方法及装置 |
| WO2014101211A1 (zh) * | 2012-12-31 | 2014-07-03 | 华为技术有限公司 | 一种虚拟设备重建方法与装置 |
| CN105848127A (zh) * | 2015-01-16 | 2016-08-10 | 中国移动通信集团河北有限公司 | 一种精确补单方法和装置 |
| CN106886452A (zh) * | 2017-01-23 | 2017-06-23 | 北京思特奇信息技术股份有限公司 | 一种简化云化系统任务调度的方法 |
| CN109614271A (zh) * | 2018-12-14 | 2019-04-12 | 深圳前海微众银行股份有限公司 | 多个集群数据一致性的控制方法、装置、设备及存储介质 |
| CN109918187A (zh) * | 2019-03-12 | 2019-06-21 | 北京同城必应科技有限公司 | 任务调度方法、装置、设备和存储介质 |
| CN110134499A (zh) * | 2019-03-29 | 2019-08-16 | 新智云数据服务有限公司 | 任务调度方法、任务调度系统、存储介质和计算机设备 |
| CN110309024A (zh) * | 2019-04-23 | 2019-10-08 | 网宿科技股份有限公司 | 数据处理系统及其执行数据处理任务的方法 |
| CN110879712A (zh) * | 2019-11-07 | 2020-03-13 | 北京浪潮数据技术有限公司 | 一种云数据中心物理主机装机方法及相关装置 |
-
2020
- 2020-05-29 CN CN202010475746.3A patent/CN111625391B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103870334A (zh) * | 2012-12-18 | 2014-06-18 | 中国移动通信集团公司 | 一种大规模漏洞扫描的任务分配方法及装置 |
| WO2014101211A1 (zh) * | 2012-12-31 | 2014-07-03 | 华为技术有限公司 | 一种虚拟设备重建方法与装置 |
| CN105848127A (zh) * | 2015-01-16 | 2016-08-10 | 中国移动通信集团河北有限公司 | 一种精确补单方法和装置 |
| CN106886452A (zh) * | 2017-01-23 | 2017-06-23 | 北京思特奇信息技术股份有限公司 | 一种简化云化系统任务调度的方法 |
| CN109614271A (zh) * | 2018-12-14 | 2019-04-12 | 深圳前海微众银行股份有限公司 | 多个集群数据一致性的控制方法、装置、设备及存储介质 |
| CN109918187A (zh) * | 2019-03-12 | 2019-06-21 | 北京同城必应科技有限公司 | 任务调度方法、装置、设备和存储介质 |
| CN110134499A (zh) * | 2019-03-29 | 2019-08-16 | 新智云数据服务有限公司 | 任务调度方法、任务调度系统、存储介质和计算机设备 |
| CN110309024A (zh) * | 2019-04-23 | 2019-10-08 | 网宿科技股份有限公司 | 数据处理系统及其执行数据处理任务的方法 |
| CN110879712A (zh) * | 2019-11-07 | 2020-03-13 | 北京浪潮数据技术有限公司 | 一种云数据中心物理主机装机方法及相关装置 |
Non-Patent Citations (2)
| Title |
|---|
| 叶玲;: "集群技术在ATC3000系统飞行数据处理中的应用", 空中交通管理, no. 07, pages 17 - 20 * |
| 张青: "面向Docker的覆盖网络搭建探究", 电信工程技术与标准化, vol. 28, no. 09, pages 74 - 77 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111625391B (zh) | 2023-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108463988B (zh) | 用于负载均衡的网络文件访问的系统 | |
| CN111381972B (zh) | 分布式任务调度方法、装置和系统 | |
| US20210294658A1 (en) | Systems and methods for automatically scaling compute resources based on demand | |
| JP5477047B2 (ja) | 情報処理装置、仮想計算機接続方法、プログラム及び記録媒体 | |
| CN108717379B (zh) | 电子装置、分布式任务调度方法及存储介质 | |
| CN110389843B (zh) | 一种业务调度方法、装置、设备及可读存储介质 | |
| CN109995814B (zh) | 云主机资源的迁移方法及装置、通信设备、存储介质 | |
| CN109766172A (zh) | 一种异步任务调度方法以及装置 | |
| CN111159031A (zh) | 应用移动终端自动化测试的方法、计算机装置及计算机可读存储介质 | |
| WO2019034095A1 (zh) | 软件处理方法、装置、电子设备及计算机可读存储介质 | |
| CN108243222A (zh) | 服务器网络架构方法及装置 | |
| EP3208709A1 (en) | Batch processing method and device for system invocation commands | |
| CN113032102A (zh) | 资源重调度方法、装置、设备和介质 | |
| CN113626173A (zh) | 调度方法、装置及存储介质 | |
| CN111385328A (zh) | 业务请求的处理方法、系统及电子设备 | |
| CN107025126B (zh) | 一种资源调度方法、nfvo和系统 | |
| CN111625391A (zh) | 一种任务处理方法、系统和电子设备 | |
| CN111767122A (zh) | 分布式任务调度管理方法和装置 | |
| CN105933136A (zh) | 一种资源调度方法及系统 | |
| JP2007052542A (ja) | 負荷分散処理システム及び装置 | |
| CN109358983A (zh) | 服务器数据处理方法、装置以及存储介质 | |
| JP2016505987A (ja) | アプリケーションプログラムの管理装置及び管理方法 | |
| CN104092794A (zh) | 批量进程处理方法和系统 | |
| CN114020408A (zh) | 一种任务分片配置方法及装置、设备、存储介质 | |
| CN113504981A (zh) | 任务调度方法和装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |