CN114356542A - 海量任务异步处理方法、装置、计算机设备及存储介质 - Google Patents
海量任务异步处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN114356542A CN114356542A CN202111447013.XA CN202111447013A CN114356542A CN 114356542 A CN114356542 A CN 114356542A CN 202111447013 A CN202111447013 A CN 202111447013A CN 114356542 A CN114356542 A CN 114356542A
- Authority
- CN
- China
- Prior art keywords
- tasks
- task
- processing
- configuration
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明实施例公开了海量任务异步处理方法、装置、计算机设备及存储介质。所述方法包括:获取用户终端上传的海量任务,以得到待处理任务;根据所述待处理任务获取编排内容,并依据所述编排内容进行任务编排,以得到编排后的任务;获取消费配置;根据所述消费配置以及编排后的任务进行处理,以得到处理结果;反馈所述处理结果至用户终端。通过实施本发明实施例的方法可实现进行统一的任务编排,可动态实时扩容大量的消费节点即服务器,支持海量的任务消费和处理。
Description
技术领域
本发明涉及计算机,更具体地说是指海量任务异步处理方法、装置、计算机设备及存储介质。
背景技术
任务处理的方式按照服务器的个数可以分为单机处理方式以及分布式处理方式,其中,单机处理方式的逻辑简单,对任务的状态,幂等性等方面维护简便,但是单机处理可处理的容量有限,尤其针对海量任务的情况下,用户等待时间以及性能方便有比较大的瓶颈,并且单机的高可用性做不到,单点挂了整个任务体系就奔溃了。分布式任务处理方式可以提高整个任务体系的高可用性,单点服务器挂了不会对整个任务体系造成的影响,并且能接受海量任务的并发处理,减少用户的等待时间,在复杂的业务场景下,用户对任务的优先级、异常处理策略、构建策略等各方面做一个自定义编排,但是目前现有分布式任务处理框架对任务编排,任务监控告警以及对接的权限等方面没有做到很好的统一,对配置中心化的依赖比较严重,并且消费节点的水平扩容有限,导致当消费节点很多时分布式服务器带来的锁消耗比较大。
因此,有必要设计一种新的方法,实现进行统一的任务编排,可动态实时扩容大量的消费节点,支持海量的任务消费。
发明内容
本发明的目的在于克服现有技术的缺陷,提供海量任务异步处理方法、装置、计算机设备及存储介质。
为实现上述目的,本发明采用以下技术方案:海量任务异步处理方法,包括:
获取用户终端上传的海量任务,以得到待处理任务;
根据所述待处理任务获取编排内容,并依据所述编排内容进行任务编排,以得到编排后的任务;
获取消费配置;
根据所述消费配置以及编排后的任务进行处理,以得到处理结果;
反馈所述处理结果至用户终端。
其进一步技术方案为:所述反馈所述处理结果至用户终端之后,还包括:
反馈处理状态、任务量以及任务的处理耗时至监控中心,由监控中心获取监控配置,并根据所述监控配置进行任务监控,以得到监控结果;当所述监控结果为异常时,生成报警信息,并反馈所述报警信息。
其进一步技术方案为:所述编排内容包括对不同类型的任务的优先等级。
其进一步技术方案为:所述根据所述待处理任务获取编排内容,并依据所述编排内容进行任务编排,以得到编排后的任务,包括:
获取自定义的编排内容;
根据所述编排内容对所述待处理任务按照优先等级从高到低的顺序进行编排,以得到编排后的任务。
其进一步技术方案为:所述消费配置包括处理任务的权限。
其进一步技术方案为:所述根据所述消费配置以及编排后的任务进行处理,以得到处理结果,包括:
对编排后的任务进行任务信息的维护;
按照所述消费配置对编排后的任务中具备处理权限的任务进行处理,且对处理后的任务进行状态标记,以得到处理结果。
其进一步技术方案为:所述监控配置包括监控的参数以及异常的判断条件。
本发明还提供了海量任务异步处理装置,包括:
任务获取单元,用于获取用户终端上传的海量任务,以得到待处理任务;
编排单元,用于根据所述待处理任务获取编排内容,并依据所述编排内容进行任务编排,以得到编排后的任务;
消费配置获取单元,用于获取消费配置;
处理单元,用于根据所述消费配置以及编排后的任务进行处理,以得到处理结果;
反馈单元,用于反馈所述处理结果至用户终端。
本发明还提供了一种计算机设备,所述计算机设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时可实现上述的方法。
本发明与现有技术相比的有益效果是:本发明通过从配置中心获取编排内容,对海量的待处理任务进行任务编排,并从配置中心获取消费配置,根据消费配置对编排后的任务进行有权限的任务处理,当无法及时处理任务时,可通过在增设服务器进行任务处理,实现进行统一的任务编排,可动态实时扩容大量的消费节点即服务器,支持海量的任务消费和处理。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的海量任务异步处理方法的应用场景示意图;
图2为本发明实施例提供的海量任务异步处理方法的流程示意图;
图3为本发明实施例提供的海量任务异步处理方法的子流程示意图;
图4为本发明实施例提供的海量任务异步处理方法的子流程示意图;
图5为本发明另一实施例提供的海量任务异步处理方法的流程示意图;
图6为本发明实施例提供的海量任务异步处理装置的示意性框图;
图7为本发明实施例提供的海量任务异步处理装置的编排单元的示意性框图;
图8为本发明实施例提供的海量任务异步处理装置的处理单元的示意性框图;
图9为本发明另一实施例提供的海量任务异步处理装置的示意性框图;
图10为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
请参阅图1和图2,图1为本发明实施例提供的海量任务异步处理方法的应用场景示意图。图2为本发明实施例提供的海量任务异步处理方法的示意性流程图。该海量任务异步处理方法应用于服务器,服务器可以为分布式服务平台中的一台服务器。该服务器会与配置中心进行数据交互,配置中心用于配置对应的内容,比如任务编排的内容、监控内容以及消费内容等,配置中心本地化配置,安全独立,权限分离,不同的任务队列独立配置,支持任务自定义编排、异常回调、任务超时、消费者吞吐量等配置。该服务器与用户终端进行数据交互,用户终端上传海量的任务,服务器根据配置中心自定义的配置中心进行任务编排处理,且根据消费配置进行任务的处理,对于任务处理的节点可以动态实时扩容,将多个消费节点带来的水平扩容瓶颈降到最低。
本实施例的方法提供给使用者自定义的本地化配置中心,使用者自定义了配置内容后,该实施例的方法将该配置加载到计算机设备内存中,消费者读取内存中的配置内容,从而获取对应的配置规则和内容。主要有以下三方面的配置:一是任务编排配置,通过读取本地化的任务编排的配置内容,消费者获取任务执行的优先级、执行策略、执行权重等内容,按照这些内容消费者执行对应的规则;二是消费配置,通过读取本地化的消费配置中心内容,消费者执行不同的消费逻辑和消费规则;三是监控配置,通过读取本地化的监控配置内容,从而执行对应的监控规则、监控执行方式。
在实际操作过程中,监控中心可以对多个服务器处理状态、任务量以及任务的处理耗时进行监控。
图2是本发明实施例提供的海量任务异步处理方法的流程示意图。如图2 所示,该方法包括以下步骤S110至S150。
S110、获取用户终端上传的海量任务,以得到待处理任务。
在本实施例中,待处理任务是指用户终端上传的需要进行处理的海量任务。具体是用户终端提交的一个或者多个指令生成的逻辑内容,具体指令由用户自定义。
S120、根据所述待处理任务获取编排内容,并依据所述编排内容进行任务编排,以得到编排后的任务。
在本实施例中,在配置中心中,编排内容是事先自定义好的,服务器在接收到待处理任务后,需要从配置中心获取对应的编排内容,并对待处理任务进行编排,在进行任务的先后顺序的处理。
在本实施例中,所述编排内容包括对不同类型的任务的优先等级。
在一实施例中,请参阅图3,上述的步骤S120可包括步骤S121~S122。
S121、获取自定义的编排内容。
在本实施例中,可根据实际情况在配置中心预设设定任务的编排内容,每次服务器接收到待处理任务后,主动从配置中心获取对应的编排内容。
由此可见,配置中心的角色比较独立,依赖性也不高,每个角色内部可以有一个默认的配置内容,也可以独立部署,互不影响,故而实现了对配置中心的解耦,能很好的解决目前分布式任务场景下消费者权限的独立性问题;并且任务的优先级策略、异常处理策略、构建策略等方面可以通过配置中心的配置,很好的解决了任务自定义编排问题。也就是在配置中心内配置不同角色的配置内容,比如服务器的任务编排内容、业务处理权限等消费内容以及监控中心的监控内容等。
S122、根据所述编排内容对所述待处理任务按照优先等级从高到低的顺序进行编排,以得到编排后的任务。
在本实施例中,编排后的任务是指按照优先等级从高到低的顺序对所述待处理任务进行排序后得到的结果。
具体地,终端上传的待处理任务时,多个服务器会根据负载均衡的原则接收任务,分布式服务器由一个总服务器进行负载均衡,且总服务器会根据多个服务的负载情况驱动负载小的服务器接收此次发送的海量任务,从而确保将用户等待时间降到最低。
当然,若当前的所有服务器均忙碌,即当前的负载量较大,则可动态增加服务器,进而将当前服务器带来的水平扩容瓶颈降到最低。
S130、获取消费配置。
在本实施例中,消费配置是指处理任务的权限。消费配置是在配置中心进行自定义的。
S140、根据所述消费配置以及编排后的任务进行处理,以得到处理结果。
在本实施例中,处理结果是指对任务的处理是否完成或者未完成,出现异常的结果。
在一实施例中,请参阅图3,上述的步骤S140可包括步骤S141~S142。
S141、对编排后的任务进行任务信息的维护。
在本实施例中,任务信息包括任务的内容、类别以及处理期限等。
维护主要是为了确保任务信息的完整性,对于任务信息不完整的任务,则需要进行任务信息的补齐。
S142、按照所述消费配置对编排后的任务中具备处理权限的任务进行处理,且对处理后的任务进行状态标记,以得到处理结果。
在本实施例中,服务器会根据自身对编排后的任务中具备处理权限的任务进行处理,处理完毕后会对任务的状态进行标记,如果编排后的任务还存在其他未完成的任务,这些任务是因为当前的服务器无处理权限而剩下的,服务器会转交至下一负载小的服务器进行后续的处理,以使得将待处理任务进行全部处理。
S150、反馈所述处理结果至用户终端。
在本实施例中,将待处理任务内的每个任务的处理结果反馈至用户终端,以便于用户终端可及时得知任务的处理情况。
本实施例可快速扩容节点,即快速扩容处理任务的服务器,没有依赖的瓶颈,能支持扩容的节点可以达到上千个,很好的解决了目前分布式任务消费者过多带来的锁消耗问题。支持动态水平扩容任务的消费能力,支持海量的任务消费;采用去中心化的理念,可以解耦对配置中心的关联,并且可以做到任务消费者权限独立性。
本实施例在海量任务的情况下,能动态实时扩容大量的消费节点,将多个消费节点带来的水平扩容瓶颈降到最低,从而可以将用户等待时间降到最低;对配置中心没有过度依赖,不同的任务消费者之间互不影响,消费者权限很好的独立。
服务器内会设置有执行列队,充当线程安全的任务队列,可以支持多个不同的消费者同时获取不同的任务。
上述的海量任务异步处理方法,通过从配置中心获取编排内容,对海量的待处理任务进行任务编排,并从配置中心获取消费配置,根据消费配置对编排后的任务进行有权限的任务处理,当无法及时处理任务时,可通过在增设服务器进行任务处理,实现进行统一的任务编排,可动态实时扩容大量的消费节点即服务器,支持海量的任务消费和处理。
图5是本发明另一实施例提供的一种海量任务异步处理方法的流程示意图。如图5所示,本实施例的海量任务异步处理方法包括步骤S210-S260。其中步骤 S210-S250与上述实施例中的步骤S110-S150类似,在此不再赘述。下面详细说明本实施例中所增加的步骤S260。
S260、反馈处理状态、任务量以及任务的处理耗时至监控中心,由监控中心获取监控配置,并根据所述监控配置进行任务监控,以得到监控结果;当所述监控结果为异常时,生成报警信息,并反馈所述报警信息。
在本实施例中,所述监控配置包括监控的参数以及异常的判断条件。该监控配置是从配置中心定义后获取的,通过对监控配置的自定义,实现监控的维度的自定义,丰富的监控场景,实现了实时、精细化监控,能很好的解决对任务精细化监控告警的管理问题。
在本实施例中,监控中心会根据监控配置对服务器处理任务的状态、任务的总量以及每个任务的处理耗时进行监控,当出现服务器处理任务的状态为宕机等异常状态、任务总量超标、任务的处理耗时过长其中一种情况时,可认为监控结果为异常,并根据造成监控结果异常的根源进行分析,以结果异常的根源生成报警信息,并反馈该报警信息至对应的终端,以便于对应的终端持有者进行相应的处理。
本本实施例能精细的检测到单一的某个任务异常情况,能精细的检测到任意单一任务的消费情况,出现异常实时报警。
图6是本发明实施例提供的一种海量任务异步处理装置300的示意性框图。如图6所示,对应于以上海量任务异步处理方法,本发明还提供一种海量任务异步处理装置300。该海量任务异步处理装置300包括用于执行上述海量任务异步处理方法的单元,该装置可以被配置于服务器中。具体地,请参阅图6,该海量任务异步处理装置300包括任务获取单元301、编排单元302、消费配置获取单元303、处理单元304以及反馈单元305。
任务获取单元301,用于获取用户终端上传的海量任务,以得到待处理任务;编排单元302,用于根据所述待处理任务获取编排内容,并依据所述编排内容进行任务编排,以得到编排后的任务;消费配置获取单元303,用于获取消费配置;处理单元304,用于根据所述消费配置以及编排后的任务进行处理,以得到处理结果;反馈单元305,用于反馈所述处理结果至用户终端。
在一实施例中,如图7所示,所述编排单元302包括编排内容获取子单元 3021以及顺序编排子单元3021。
编排内容获取子单元3021,用于获取自定义的编排内容;顺序编排子单元 3021,用于根据所述编排内容对所述待处理任务按照优先等级从高到低的顺序进行编排,以得到编排后的任务。
在一实施例中,如图8所示,所述处理单元304包括信息维护子单元3041 以及任务处理子单元3042。
信息维护子单元3041,用于对编排后的任务进行任务信息的维护;任务处理子单元3042,用于按照所述消费配置对编排后的任务中具备处理权限的任务进行处理,且对处理后的任务进行状态标记,以得到处理结果。
图9是本发明另一实施例提供的一种海量任务异步处理装置300的示意性框图。如图9所示,本实施例的海量任务异步处理装置300是上述实施例的基础上增加了监控单元306。
监控单元306,用于反馈处理状态、任务量以及任务的处理耗时至监控中心,由监控中心获取监控配置,并根据所述监控配置进行任务监控,以得到监控结果;当所述监控结果为异常时,生成报警信息,并反馈所述报警信息。
需要说明的是,所属领域的技术人员可以清楚地了解到,上述海量任务异步处理装置300和各单元的具体实现过程,可以参考前述方法实施例中的相应描述,为了描述的方便和简洁,在此不再赘述。
上述海量任务异步处理装置300可以实现为一种计算机程序的形式,该计算机程序可以在如图10所示的计算机设备上运行。
请参阅图10,图10是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器,其中,服务器可以是独立的服务器,也可以是多个服务器组成的服务器集群。
参阅图10,该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505,其中,存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令,该程序指令被执行时,可使得处理器502执行一种海量任务异步处理方法。
该处理器502用于提供计算和控制能力,以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境,该计算机程序5032被处理器502执行时,可使得处理器502执行一种海量任务异步处理方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备500的限定,具体的计算机设备500可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器502用于运行存储在存储器中的计算机程序5032,以实现如下步骤:
获取用户终端上传的海量任务,以得到待处理任务;根据所述待处理任务获取编排内容,并依据所述编排内容进行任务编排,以得到编排后的任务;获取消费配置;根据所述消费配置以及编排后的任务进行处理,以得到处理结果;反馈所述处理结果至用户终端。
其中,所述编排内容包括对不同类型的任务的优先等级。
所述消费配置包括处理任务的权限。
在一实施例中,处理器502在实现所述反馈所述处理结果至用户终端步骤之后,还实现如下步骤:
反馈处理状态、任务量以及任务的处理耗时至监控中心,由监控中心获取监控配置,并根据所述监控配置进行任务监控,以得到监控结果;当所述监控结果为异常时,生成报警信息,并反馈所述报警信息。
其中,所述监控配置包括监控的参数以及异常的判断条件。
在一实施例中,处理器502在实现所述根据所述待处理任务获取编排内容,并依据所述编排内容进行任务编排,以得到编排后的任务步骤时,具体实现如下步骤:
获取自定义的编排内容;根据所述编排内容对所述待处理任务按照优先等级从高到低的顺序进行编排,以得到编排后的任务。
在一实施例中,处理器502在实现所述根据所述消费配置以及编排后的任务进行处理,以得到处理结果步骤时,具体实现如下步骤:
对编排后的任务进行任务信息的维护;按照所述消费配置对编排后的任务中具备处理权限的任务进行处理,且对处理后的任务进行状态标记,以得到处理结果。
应当理解,在本申请实施例中,处理器502可以是中央处理单元304(CentralProcessing Unit,CPU),该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令,计算机程序可存储于一存储介质中,该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行,以实现上述方法的实施例的流程步骤。
因此,本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序,其中该计算机程序被处理器执行时使处理器执行如下步骤:
获取用户终端上传的海量任务,以得到待处理任务;根据所述待处理任务获取编排内容,并依据所述编排内容进行任务编排,以得到编排后的任务;获取消费配置;根据所述消费配置以及编排后的任务进行处理,以得到处理结果;反馈所述处理结果至用户终端。
其中,所述编排内容包括对不同类型的任务的优先等级。
所述消费配置包括处理任务的权限。
在一实施例中,所述处理器在执行所述计算机程序而实现所述反馈所述处理结果至用户终端步骤之后,还实现如下步骤:
反馈处理状态、任务量以及任务的处理耗时至监控中心,由监控中心获取监控配置,并根据所述监控配置进行任务监控,以得到监控结果;当所述监控结果为异常时,生成报警信息,并反馈所述报警信息。
其中,所述监控配置包括监控的参数以及异常的判断条件。
在一实施例中,所述处理器在执行所述计算机程序而实现所述根据所述待处理任务获取编排内容,并依据所述编排内容进行任务编排,以得到编排后的任务步骤时,具体实现如下步骤:
获取自定义的编排内容;根据所述编排内容对所述待处理任务按照优先等级从高到低的顺序进行编排,以得到编排后的任务。
在一实施例中,所述处理器在执行所述计算机程序而实现所述根据所述消费配置以及编排后的任务进行处理,以得到处理结果步骤时,具体实现如下步骤:
对编排后的任务进行任务信息的维护;按照所述消费配置对编排后的任务中具备处理权限的任务进行处理,且对处理后的任务进行状态标记,以得到处理结果。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory, ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的。例如,各个单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元304中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,终端,或者网络设备等) 执行本发明各个实施例所述方法的全部或部分步骤。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.海量任务异步处理方法,其特征在于,包括:
获取用户终端上传的海量任务,以得到待处理任务;
根据所述待处理任务获取编排内容,并依据所述编排内容进行任务编排,以得到编排后的任务;
获取消费配置;
根据所述消费配置以及编排后的任务进行处理,以得到处理结果;
反馈所述处理结果至用户终端。
2.根据权利要求1所述的海量任务异步处理方法,其特征在于,所述反馈所述处理结果至用户终端之后,还包括:
反馈处理状态、任务量以及任务的处理耗时至监控中心,由监控中心获取监控配置,并根据所述监控配置进行任务监控,以得到监控结果;当所述监控结果为异常时,生成报警信息,并反馈所述报警信息。
3.根据权利要求1或2所述的海量任务异步处理方法,其特征在于,所述编排内容包括对不同类型的任务的优先等级。
4.根据权利要求3所述的海量任务异步处理方法,其特征在于,所述根据所述待处理任务获取编排内容,并依据所述编排内容进行任务编排,以得到编排后的任务,包括:
获取自定义的编排内容;
根据所述编排内容对所述待处理任务按照优先等级从高到低的顺序进行编排,以得到编排后的任务。
5.根据权利要求1或2所述的海量任务异步处理方法,其特征在于,所述消费配置包括处理任务的权限。
6.根据权利要求5所述的海量任务异步处理方法,其特征在于,所述根据所述消费配置以及编排后的任务进行处理,以得到处理结果,包括:
对编排后的任务进行任务信息的维护;
按照所述消费配置对编排后的任务中具备处理权限的任务进行处理,且对处理后的任务进行状态标记,以得到处理结果。
7.根据权利要求2所述的海量任务异步处理方法,其特征在于,所述监控配置包括监控的参数以及异常的判断条件。
8.海量任务异步处理装置,其特征在于,包括:
任务获取单元,用于获取用户终端上传的海量任务,以得到待处理任务;
编排单元,用于根据所述待处理任务获取编排内容,并依据所述编排内容进行任务编排,以得到编排后的任务;
消费配置获取单元,用于获取消费配置;
处理单元,用于根据所述消费配置以及编排后的任务进行处理,以得到处理结果;
反馈单元,用于反馈所述处理结果至用户终端。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。
10.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时可实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111447013.XA CN114356542A (zh) | 2021-11-30 | 2021-11-30 | 海量任务异步处理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111447013.XA CN114356542A (zh) | 2021-11-30 | 2021-11-30 | 海量任务异步处理方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114356542A true CN114356542A (zh) | 2022-04-15 |
Family
ID=81098105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111447013.XA Pending CN114356542A (zh) | 2021-11-30 | 2021-11-30 | 海量任务异步处理方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114356542A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107291545A (zh) * | 2017-08-07 | 2017-10-24 | 星环信息科技(上海)有限公司 | 计算集群中多用户的任务调度方法及设备 |
CN109558224A (zh) * | 2018-10-26 | 2019-04-02 | 深圳壹账通智能科技有限公司 | 任务推送方法、装置、计算机设备及存储介质 |
US20190391844A1 (en) * | 2018-11-06 | 2019-12-26 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Task orchestration method and system |
CN112882813A (zh) * | 2021-03-18 | 2021-06-01 | 苏州科达科技股份有限公司 | 任务调度方法、装置、系统及电子设备 |
CN113064744A (zh) * | 2021-05-06 | 2021-07-02 | 腾讯科技(深圳)有限公司 | 任务处理方法、装置、计算机可读介质及电子设备 |
-
2021
- 2021-11-30 CN CN202111447013.XA patent/CN114356542A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107291545A (zh) * | 2017-08-07 | 2017-10-24 | 星环信息科技(上海)有限公司 | 计算集群中多用户的任务调度方法及设备 |
CN109558224A (zh) * | 2018-10-26 | 2019-04-02 | 深圳壹账通智能科技有限公司 | 任务推送方法、装置、计算机设备及存储介质 |
US20190391844A1 (en) * | 2018-11-06 | 2019-12-26 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Task orchestration method and system |
CN112882813A (zh) * | 2021-03-18 | 2021-06-01 | 苏州科达科技股份有限公司 | 任务调度方法、装置、系统及电子设备 |
CN113064744A (zh) * | 2021-05-06 | 2021-07-02 | 腾讯科技(深圳)有限公司 | 任务处理方法、装置、计算机可读介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108829521B (zh) | 任务处理方法、装置、计算机设备及存储介质 | |
CN107092521B (zh) | 一种分布式任务调度方法、装置及系统 | |
JP2007183904A (ja) | イベント処理システム、イベント処理方法、イベント処理装置、及び、イベント処理プログラム | |
US20080034051A1 (en) | Redistributing Messages in a Clustered Messaging Environment | |
CN111045807B (zh) | 基于zookeeper任务处理的方法、装置、计算机设备及存储介质 | |
CN111181774A (zh) | 一种MapReduce任务的高可用方法、系统、终端及存储介质 | |
JP2011013764A (ja) | 消費電力管理方法、消費電力管理システムおよびプログラム | |
CN113553179A (zh) | 分布式键值存储负载均衡方法及系统 | |
CN112256417A (zh) | 一种数据请求处理方法、装置及计算机可读存储介质 | |
CN113434282A (zh) | 流计算任务的发布、输出控制方法及装置 | |
CN106330750A (zh) | 一种可控式大并发分布式消息队列推送方法 | |
CN114356542A (zh) | 海量任务异步处理方法、装置、计算机设备及存储介质 | |
CN110968410A (zh) | 任务失败重试方法、装置、计算机设备及存储介质 | |
CN111240864A (zh) | 异步任务处理方法、装置、设备及计算机可读存储介质 | |
CN106897128B (zh) | 一种分布式应用退出方法、系统以及服务器 | |
JP2007172322A (ja) | 分散処理型マルチプロセッサシステム、制御方法、マルチプロセッサ割り込み制御装置及びプログラム | |
CN109766198A (zh) | 流式处理方法、装置、设备及计算机可读存储介质 | |
Zang et al. | A fault diagnosis method for microservices based on multi-factor self-adaptive heartbeat detection algorithm | |
CN111352803A (zh) | 业务数据处理方法、装置、设备和存储介质 | |
JP2007179246A (ja) | 計算機管理方法、計算機管理プログラム、および、計算機管理サーバ | |
CN113986507A (zh) | 作业调度方法、装置、计算机设备及存储介质 | |
CN114490091A (zh) | 工业数据采集管理系统中监控规则引擎性能的方法及装置 | |
CN114021052A (zh) | 一种推理服务方法、设备及系统 | |
CN111866150A (zh) | 高并发消息服务分发方法、装置、计算机设备及存储介质 | |
CN117608862B (zh) | 数据分发控制方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |