CN109976902A - 任务处理方法、系统、电子设备及计算机可读介质 - Google Patents
任务处理方法、系统、电子设备及计算机可读介质 Download PDFInfo
- Publication number
- CN109976902A CN109976902A CN201711470562.2A CN201711470562A CN109976902A CN 109976902 A CN109976902 A CN 109976902A CN 201711470562 A CN201711470562 A CN 201711470562A CN 109976902 A CN109976902 A CN 109976902A
- Authority
- CN
- China
- Prior art keywords
- task
- stored
- tables
- data
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提供了一种任务处理方法,包括:将基于同一工作流模板生成的多个任务存储于不同区域;发送多个区域中的任务至与所述多个区域对应的多个服务器,使所述多个服务器处理所述多个任务。
Description
技术领域
本公开涉及互联网技术领域,更具体地,涉及一种任务处理方法、系统、电子设备及计算机可读介质。
背景技术
随着互联网技术的快速发展,各种网站每时每刻都在生成大量的任务。目前,将由同一工作流模板生成的大量任务存储在一个数据表中,处理该数据表的大量任务一般采用串行的驱动处理方式。
在实现本发明构思的过程中,发明人发现现有技术中至少存在如下问题:大量的任务都存储在一张数据表中,会对该数据表的输入输出造成影响,在驱动执行大量的任务时,只能在一个服务器上运行该驱动,而一个服务器的资源(CPU、磁盘、内存、IO等)是有限的,所能承载的数据量、数据处理能力都将遭遇瓶颈。但是如果想快速的处理积压任务,须运行多个服务器驱动任务,这样有可能会对相同的任务进行驱动,造成机器资源的浪费。
发明内容
有鉴于此,本公开提供了一种任务处理方法、系统、电子设备及计算机可读介质。
本公开的一个方面提供了一种任务处理方法,包括:将基于同一工作流模板生成的多个任务存储于不同区域;发送多个区域中的任务至与所述多个区域对应的多个服务器,使所述多个服务器处理所述多个任务。
根据本公开的实施例,所述将基于同一工作流模板生成的多个任务存储于不同区域包括:根据预设规则将基于同一工作流模板生成的多个任务存储于不同的数据表中;以及将每个数据表中存储的多个任务按照所述多个任务的属性信息进行分块存储,其中,所述分块存储包括在所述数据表内设置多个块,将所述多个任务存储于不同的块中。
根据本公开的实施例,所述属性信息包括任务名称、预分配的块号信息、和/或执行任务的时间间隔。
根据本公开的实施例,所述方法还包括将所述分块存储的多个任务通过消息队列发送至与所述块对应的服务器。
根据本公开的实施例,所述方法还包括当生成的任务数量增加到一定阈值时,在所述每个数据表中添加新块。
本公开的另一个方面提供了一种任务处理系统,包括:存储模块,用于将基于同一工作流模板生成的多个任务存储于不同区域;第一发送模块,用于发送多个区域中的任务至与所述多个区域对应的多个服务器,使所述多个服务器处理所述多个任务。
根据本公开的实施例,所述将基于同一工作流模板生成的多个任务存储于不同区域包括:根据预设规则将基于同一工作流模板生成的多个任务存储于不同的数据表中;以及将每个数据表中存储的多个任务按照所述多个任务的属性信息进行分块存储,其中,所述分块存储包括在所述数据表内设置多个块,将所述多个任务存储于不同的块中。
根据本公开的实施例,所述属性信息包括任务名称、预分配的块号信息、和/或执行任务的时间间隔。
根据本公开的实施例,所述系统还包括第二发送模块,用于将所述分块存储的多个任务通过消息队列发送至与所述块对应的服务器。
根据本公开的实施例,所述系统还包括添加模块,用于当生成的任务数量增加到一定阈值时,在所述每个数据表中添加新块。
本公开实施例的另一方面提供一种电子设备,包括:一个或多个处理器;以及一个或多个存储器,存储有可执行指令,所述指令在被处理器执行时,使得处理器执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机可读介质,存储有计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机程序,所述计算机程序包括计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
根据本公开的实施例,可以至少部分地解决了现有技术中的任务积压的问题,并因此可以实现通过服务器集群处理由同一个工作流模板生成的多个任务。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1A示意性示出了现有技术中的任务处理方法的应用场景;
图1B示意性示出了根据本公开实施例的任务处理方法的应用场景;
图2示意性示出了根据本公开实施例的任务处理方法的流程图;
图3示意性示出了根据本公开另一实施例的任务处理方法的流程图;
图4示意性示出了根据本公开另一实施例的任务处理方法的流程图;
图5示意性示出了根据本公开另一实施例的任务处理方法的流程图
图6示意性示出了根据本公开实施例的任务处理系统的方框图;
图7示意性示出了根据本公开另一实施例的任务处理系统的方框图;
图8示意性示出了根据本公开另一实施例的任务处理系统的方框图;
图9示意性示出了根据本公开另一实施例的任务处理系统的方框图;以及
图10示意性示出了根据本公开实施例的可以应用任务处理的示例性系统架构。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“使、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“系、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解,实质上任意表示两个或更多可选项目的转折连词和/或短语,无论是在说明书、权利要求书还是附图中,都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如,短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。
本公开的实施例提供了一种任务处理方法,包括:将基于同一工作流模板生成的多个任务存储于不同区域;发送多个区域中的任务至与所述多个区域对应的多个服务器,使所述多个服务器处理所述多个任务。
图1A示意性示出了现有技术中的任务处理方法的应用场景110。
如图1A所示,现有技术中的任务处理方法的应用场景110包括服务器111、服务器112和网络113。
在服务器111运行有工作流模板,该工作流模板用于针对用户请求生成多个任务,并将生成的多个任务存储在一个数据表中,使得存储在该数据表中的多个任务可以由服务器112以串行的驱动处理方式执行任务。具体地,服务器111将存储在数据表中的多个任务通过网络104发送至服务器112,使得运行在服务器112的驱动对多个任务进行串行处理,这样当大量的任务都存储在一张数据表中,会对该数据表的输入输出造成影响,并且在服务器112驱动执行大量的任务时,由于只能在服务器112上运行该驱动,而服务器112的资源(CPU、磁盘、内存、IO等)是有限的,所能承载的数据量、数据处理能力都将遭遇瓶颈。但是如果想快速的处理积压任务,须运行多个服务器驱动任务,这样有可能会对相同的任务进行驱动,造成机器资源的浪费。
图1B示意性示出了根据本公开实施例的任务处理方法和系统的应用场景120。需要注意的是,图1所示仅为可以应用本公开实施例的应用场景的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他的场景。
如图1B所示,根据该实施例的应用场景120可以包括服务器121、服务器122、……、服务器N和网络123。网络123用以在服务器121、服务器122、……、服务器N之间提供通信链路的介质。网络123可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用服务器121通过网络123与服务器122、……、服务器N交互,以接收或发送消息等。服务器121上可以安装有各种工作流模板,例如购物类工作流模板、网页浏览器工作流模板、搜索类工作流模板等等。
服务器121可以基于运行的工作流模板生成多个任务,并将基于同一工作流模板生成的多个任务存储于不同区域,然后发送多个区域中的任务至与多个区域对应的服务器122、……、服务器N,使服务器122、……、服务器N处理所述的多个任务,从而加快了任务的处理速度,避免了任务积压。
需要说明的是,本公开实施例所提供的任务处理方法一般可以由服务器121执行。相应地,本公开实施例所提供的任务处理系统一般可以设置于服务器121中。本公开实施例所提供的任务处理方法也可以由不同于服务器121且能够与服务器122、……、服务器N通信的服务器或服务器集群执行。相应地,本公开实施例所提供的任务处理系统也可以设置于不同于服务器121且能够与服务器122、……、服务器N通信的服务器或服务器集群中。
应该理解,图1中的服务器和网络的数目仅仅是示意性的。根据实现需要,可以具有任意数目的服务器和网络。
图2示意性示出了根据本公开实施例的任务处理方法的流程图。
如图2所示,该任务处理方法包括操作S201和操作S202。
在操作S201,将基于同一工作流模板生成的多个任务存储于不同区域。
在操作S202,发送多个区域中的任务至与所述多个区域对应的多个服务器,使所述多个服务器处理所述多个任务。
根据本公开的实施例,服务器将基于同一工作流模板生成的多个任务存储于不同区域,这样可以避免现有技术中将多个任务存储在一个区域所带来的影响,例如,在接收或发送任务时出现的拥挤或延迟现象。在这种情况下,以不同区域对多个任务进行存储,可以增加该工作流模板的任务吞吐量,使得该工作流模板在接收或发送任务时不会出现拥挤或延迟现象。
根据本公开的实施例,将多个区域中的任务发送至与所述多个区域对应的多个服务器,并由所述多个服务器对所述多个任务处理,这样避免了现有技术中由一个服务器对存储在一个区域中的多个任务处理时所带来的影响。例如,任务处理速度慢、任务积压等等。在这种情况下,以多个服务器对多个区域中的任务进行处理,可以加快任务处理的速度,从而避免了任务积压。
图3示意性示出了根据本公开另一实施例的任务处理方法的流程图。
如图3所示,该任务处理方法的操作S201具体可以包括操作S301和操作S302。
在操作S301,根据预设规则将基于同一工作流模板生成的多个任务存储于不同的数据表中。
根据本公开的实施例,预设规则可以包括但不限于任务的业务单号、任务名称、任务类型等等。
例如,服务器可以根据任务的业务单号将基于同一工作流模板生成的多个任务存储于不同的数据表中。服务器也可以根据任务名称将基于同一工作流模板生成的多个任务存储于不同的数据表中。服务器还可以根据任务类型将基于同一工作流模板生成的多个任务存储于不同的数据表中。
在操作S302,将每个数据表中存储的多个任务按照所述多个任务的属性信息进行分块存储,其中,所述分块存储包括在所述数据表内设置多个块,将所述多个任务存储于不同的块中。
根据本公开的实施例,属性信息包括任务名称、预分配的块号信息、和/或执行任务的时间间隔。
例如,服务器可以将每个数据表中存储的多个任务按照任务名称进行分块存储,也可以将每个数据表中存储的多个任务按照预分配的块号信息进行分块存储,还可以将每个数据表中存储的多个任务按照执行任务的时间间隔进行分块存储。需要说明的是,设置在每个块的任务的执行时间间隔可以相同或者不同,具体可以根据存储在块的任务的难度来确定执行该块中的任务的时间间隔。
根据本公开的实施例,预分配的块号信息可以是每个数据表内的sheet1、sheet2……sheetN。
根据本公开的实施例,将多个数据表中的每个数据表中存储的多个任务按照任务的属性信息进行分块存储,这样详细的对每个数据表中的任务进行划分,加快了任务的处理速度,避免了任务积压。
图4示意性示出了根据本公开另一实施例的任务处理方法的流程图。
如图4所示,该任务处理方法除图3实施例描述的操作S301和操作S302之外,还包括操作S401。
在操作S301,根据预设规则将基于同一工作流模板生成的多个任务存储于不同的数据表中。
在操作S302,将每个数据表中存储的多个任务按照所述多个任务的属性信息进行分块存储,其中,所述分块存储包括在所述数据表内设置多个块,将所述多个任务存储于不同的块中。
在操作S401,将所述分块存储的多个任务通过消息队列发送至与所述块对应的服务器。
根据本公开的实施例,在所述消息队列中按照一定格式可以记载有关于每个任务的详细信息,通过消息队列将分块存储的多个任务发送至与所述块对应的服务器,可以使得与所述块对应的服务器可以知悉该块的每个任务的详细信息,例如,任务名称为订单查询任务,该任务位于该块的第200行第200列,这样在与所述块对应的服务器执行该任务时,可以精准的从该块中抓取到该任务,并执行,这样进一步的加快了处理该块的任务的速度,同时保证任务不会丢失。
图5示意性示出了根据本公开另一实施例的任务处理方法的流程图。
如图5所示,该任务处理方法除图3实施例描述的操作S301和操作S302之外,还包括操作S501。
在操作S301,根据预设规则将基于同一工作流模板生成的多个任务存储于不同的数据表中。
在操作S302,将每个数据表中存储的多个任务按照所述多个任务的属性信息进行分块存储,其中,所述分块存储包括在所述数据表内设置多个块,将所述多个任务存储于不同的块中。
在操作S501,当生成的任务数量增加到一定阈值时,在所述每个数据表中添加新块。
根据本公开的实施例,阈值可以设置为10万、20万、或者100万,在此不做限定。
例如,当生成的任务数量增加到一定10万时,在每个数据表中添加新块。在这种情况下,可以为新添加的块配置一个新的服务器,并由该服务器执行新块的内容。
根据本公开的实施例,可以根据增加任务数量确定新添加块的数量,以及根据新添加块的数量确定与其对应服务器的数量,这样有助于扩展执行任务的服务器的数量,从而加快任务的处理速度。
图6示意性示出了根据本公开实施例的任务处理系统的方框图。
如图6所示,系统600包括存储模块610和第一发送模块620。
存储模块610,用于将基于同一工作流模板生成的多个任务存储于不同区域。
第一发送模块620,用于发送多个区域中的任务至与所述多个区域对应的多个服务器,使所述多个服务器处理所述多个任务。
根据本公开的实施例,系统600可以用于实现参考图2描述的方法流程。
图7示意性示出了根据本公开另一实施例的用户分类系统的方框图。
如图7所示,系统600中的存储模块610具体可以包括第一存储模块611和第二存储模块612。
第一存储模块611,用于根据预设规则将基于同一工作流模板生成的多个任务存储于不同的数据表中。
第二存储模块612,用于将每个数据表中存储的多个任务按照所述多个任务的属性信息进行分块存储,其中,所述分块存储包括在所述数据表内设置多个块,将所述多个任务存储于不同的块中。
根据本公开的实施例,系统600还可以用于实现参考图3描述的方法流程。
图8示意性示出了根据本公开另一实施例的用户分类系统的方框图。
如图8所示,系统700除了图6实施例描述的第一存储模块611和第二存储模块612之外,还包括第二发送模块710。
第一存储模块611,用于根据预设规则将基于同一工作流模板生成的多个任务存储于不同的数据表中。
第二存储模块612,用于将每个数据表中存储的多个任务按照所述多个任务的属性信息进行分块存储,其中,所述分块存储包括在所述数据表内设置多个块,将所述多个任务存储于不同的块中。
第二发送模块710,用于将所述分块存储的多个任务通过消息队列发送至与所述块对应的服务器。
根据本公开的实施例,系统700可以用于实现参考图4描述的方法流程。
图9示意性示出了根据本公开另一实施例的用户分类系统的方框图。
如图9所示,系统800除了图7实施例描述的第一存储模块611和第二存储模块612之外,还包括添加模块810。
第一存储模块611,用于根据预设规则将基于同一工作流模板生成的多个任务存储于不同的数据表中。
第二存储模块612,用于将每个数据表中存储的多个任务按照所述多个任务的属性信息进行分块存储,其中,所述分块存储包括在所述数据表内设置多个块,将所述多个任务存储于不同的块中。
添加模块810,用于当生成的任务数量增加到一定阈值时,在所述每个数据表中添加新块。
根据本公开的实施例,系统800可以用于实现参考图5描述的方法流程。
可以理解的是,存储模块610、第一存储模块611、第二存储模块612、第一发送模块620、第二发送模块710、以及添加模块810可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本发明的实施例,存储模块610、第一存储模块611、第二存储模块612、第一发送模块620、第二发送模块710、以及添加模块810中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式的适当组合来实现。或者,存储模块610、第一存储模块611、第二存储模块612、第一发送模块620、第二发送模块710、以及添加模块810中的至少一个可以至少被部分地实现为计算机程序模块,当该程序被计算机运行时,可以执行相应模块的功能。
图10示意性示出了根据本公开实施例的可以应用任务处理方法的示例性系统架构。图10示出的计算机系统仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示,根据本公开实施例的计算机系统1000包括处理器1001,其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。处理器1001例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器1001还可以包括用于缓存用途的板载存储器。处理器1001可以包括用于执行参考图2~图5描述的根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1003中,存储有系统1000操作所需的各种程序和数据。处理器1001、ROM1002以及RAM 1003通过总线1004彼此相连。处理器1001通过执行ROM 1002和/或RAM 1003中的程序来执行以上参考图2~图5描述的任务处理方法的各种操作。需要注意,所述程序也可以存储在除ROM 1002和RAM 1003以外的一个或多个存储器中。处理器1001也可以通过执行存储在所述一个或多个存储器中的程序来执行以上参考图2~图5描述的任务处理方法的各种操作。
根据本公开的实施例,系统1000还可以包括输入/输出(I/O)接口1005,输入/输出(I/O)接口1005也连接至总线1004。系统1000还可以包括连接至I/O接口1005的以下部件中的一项或多项:包括键盘、鼠标等的输入部分1006;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007;包括硬盘等的存储部分1008;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1010上,以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
根据本公开的实施例,上文参考流程图描述的方法可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1009从网络上被下载和安装,和/或从可拆卸介质1011被安装。在该计算机程序被处理器1001执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
需要说明的是,本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。根据本公开的实施例,计算机可读介质可以包括上文描述的ROM 1002和/或RAM 1003和/或ROM 1002和RAM 1003以外的一个或多个存储器。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面,本公开还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备执行:将基于同一工作流模板生成的多个任务存储于不同区域;发送多个区域中的任务至与所述多个区域对应的多个服务器,使所述多个服务器处理所述多个任务。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。
Claims (12)
1.一种任务处理方法,包括:
将基于同一工作流模板生成的多个任务存储于不同区域;以及
发送多个区域中的任务至与所述多个区域对应的多个服务器,使所述多个服务器处理所述多个任务。
2.根据权利要求1所述的方法,其中,所述将基于同一工作流模板生成的多个任务存储于不同区域包括:
根据预设规则将基于同一工作流模板生成的多个任务存储于不同的数据表中;以及
将每个数据表中存储的多个任务按照所述多个任务的属性信息进行分块存储,其中,所述分块存储包括在所述数据表内设置多个块,将所述多个任务存储于不同的块中。
3.根据权利要求1所述的方法,其中,所述属性信息包括任务名称、预分配的块号信息、和/或执行任务的时间间隔。
4.根据权利要求2所述的方法,还包括:
将所述分块存储的多个任务通过消息队列发送至与所述块对应的服务器。
5.根据权利要求2所述的方法,还包括:
当生成的任务数量增加到一定阈值时,在所述每个数据表中添加新块。
6.一种任务处理系统,包括:
存储模块,用于将基于同一工作流模板生成的多个任务存储于不同区域;以及
第一发送模块,用于发送多个区域中的任务至与所述多个区域对应的多个服务器,使所述多个服务器处理所述多个任务。
7.根据权利要求6所述的系统,其中,所述存储模块包括:
第一存储子模块,用于根据预设规则将基于同一工作流模板生成的多个任务存储于不同的数据表中;以及
第二存储子模块,用于将每个数据表中存储的多个任务按照所述多个任务的属性信息进行分块存储,其中,所述分块存储包括在所述数据表内设置多个块,将所述多个任务存储于不同的块中。
8.根据权利要求7所述的系统,其中,所述属性信息包括任务名称、预分配的块号信息、和/或执行任务的时间间隔。
9.根据权利要求7所述的系统,还包括:
第二发送模块,用于将所述分块存储的多个任务通过消息队列发送至与所述块对应的服务器。
10.根据权利要求7所述的系统,还包括:
添加模块,用于当生成的任务数量增加到一定阈值时,在所述每个数据表中添加新块。
11.一种电子设备,包括:
一个或多个处理器;以及
一个或多个存储器,存储有可执行指令,所述指令在被处理器执行时,使得处理器执行根据权利要求1~5中任意一项所述的方法。
12.一种计算机可读介质,其上存储有用于执行根据权利要求1~5中任意一项所述的方法的指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711470562.2A CN109976902B (zh) | 2017-12-28 | 2017-12-28 | 任务处理方法、系统、电子设备及计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711470562.2A CN109976902B (zh) | 2017-12-28 | 2017-12-28 | 任务处理方法、系统、电子设备及计算机可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109976902A true CN109976902A (zh) | 2019-07-05 |
CN109976902B CN109976902B (zh) | 2021-09-03 |
Family
ID=67075541
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711470562.2A Active CN109976902B (zh) | 2017-12-28 | 2017-12-28 | 任务处理方法、系统、电子设备及计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109976902B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111274032A (zh) * | 2020-01-17 | 2020-06-12 | Oppo广东移动通信有限公司 | 任务处理系统及方法、存储介质 |
CN114448893A (zh) * | 2021-12-24 | 2022-05-06 | 天翼云科技有限公司 | 一种cdn节点任务下发的聚合方法、装置及计算机设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105373429A (zh) * | 2014-08-20 | 2016-03-02 | 腾讯科技(深圳)有限公司 | 任务调度方法、装置及系统 |
CN105824699A (zh) * | 2015-01-06 | 2016-08-03 | 中国移动通信集团山东有限公司 | 一种分布式任务调度装置及方法 |
CN105991737A (zh) * | 2015-02-26 | 2016-10-05 | 阿里巴巴集团控股有限公司 | 分布式任务调度方法及系统 |
CN106126317A (zh) * | 2016-06-24 | 2016-11-16 | 安徽师范大学 | 应用于云计算环境的虚拟机调度方法 |
CN106933664A (zh) * | 2017-03-09 | 2017-07-07 | 北京搜狐新媒体信息技术有限公司 | 一种Hadoop集群的资源调度方法及装置 |
CN107122243A (zh) * | 2017-04-12 | 2017-09-01 | 杭州远算云计算有限公司 | 用于cfd仿真计算的异构集群系统及cfd计算方法 |
CN107247623A (zh) * | 2017-05-22 | 2017-10-13 | 哈工大大数据产业有限公司 | 一种基于多核cpu的分布式集群系统及数据连接方法 |
WO2017178263A1 (en) * | 2016-04-12 | 2017-10-19 | Evs Broadcast Equipment Sa | Modular software based video production server, method for operating the video production server and distributed video production system |
-
2017
- 2017-12-28 CN CN201711470562.2A patent/CN109976902B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105373429A (zh) * | 2014-08-20 | 2016-03-02 | 腾讯科技(深圳)有限公司 | 任务调度方法、装置及系统 |
CN105824699A (zh) * | 2015-01-06 | 2016-08-03 | 中国移动通信集团山东有限公司 | 一种分布式任务调度装置及方法 |
CN105991737A (zh) * | 2015-02-26 | 2016-10-05 | 阿里巴巴集团控股有限公司 | 分布式任务调度方法及系统 |
WO2017178263A1 (en) * | 2016-04-12 | 2017-10-19 | Evs Broadcast Equipment Sa | Modular software based video production server, method for operating the video production server and distributed video production system |
CN106126317A (zh) * | 2016-06-24 | 2016-11-16 | 安徽师范大学 | 应用于云计算环境的虚拟机调度方法 |
CN106933664A (zh) * | 2017-03-09 | 2017-07-07 | 北京搜狐新媒体信息技术有限公司 | 一种Hadoop集群的资源调度方法及装置 |
CN107122243A (zh) * | 2017-04-12 | 2017-09-01 | 杭州远算云计算有限公司 | 用于cfd仿真计算的异构集群系统及cfd计算方法 |
CN107247623A (zh) * | 2017-05-22 | 2017-10-13 | 哈工大大数据产业有限公司 | 一种基于多核cpu的分布式集群系统及数据连接方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111274032A (zh) * | 2020-01-17 | 2020-06-12 | Oppo广东移动通信有限公司 | 任务处理系统及方法、存储介质 |
CN111274032B (zh) * | 2020-01-17 | 2024-04-30 | Oppo广东移动通信有限公司 | 任务处理系统及方法、存储介质 |
CN114448893A (zh) * | 2021-12-24 | 2022-05-06 | 天翼云科技有限公司 | 一种cdn节点任务下发的聚合方法、装置及计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
CN109976902B (zh) | 2021-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103853812B (zh) | 用于提供网页的方法和系统 | |
CN110096344A (zh) | 任务管理方法、系统、服务器集群和计算机可读介质 | |
CN105376111B (zh) | 资源分配方法和装置 | |
CN108958780A (zh) | 一种用于呈现寄宿程序的更新信息的方法与设备 | |
US11201836B2 (en) | Method and device for managing stateful application on server | |
CN110888696A (zh) | 页面展示方法及其系统、计算机系统及计算机可读介质 | |
CN111125107A (zh) | 数据处理方法、装置、电子设备和介质 | |
CN109697055B (zh) | 生成移动App页面的方法及系统 | |
CN110324185B (zh) | 超参数调优方法、装置、服务器、客户端及介质 | |
CN109117252A (zh) | 基于容器的任务处理的方法、系统及容器集群管理系统 | |
CN110719215A (zh) | 虚拟网络的流信息采集方法及装置 | |
CN109062560B (zh) | 用于生成信息的方法和装置 | |
CN109766708A (zh) | 数据资源的访问方法、系统、计算机系统及存储介质 | |
CN109814987A (zh) | 任务处理方法、系统、电子设备和计算机可读介质 | |
CN112329049A (zh) | 业务数据管理方法、装置、电子设备和介质 | |
CN109976902A (zh) | 任务处理方法、系统、电子设备及计算机可读介质 | |
CN109840116A (zh) | 一种加载资源文件的方法和装置 | |
CN109976832A (zh) | 一种提供寄宿程序的方法与设备 | |
CN109783201A (zh) | 数据交换方法及其系统 | |
CN109241040B (zh) | 数据清洗的方法和装置 | |
CN109005250A (zh) | 用于访问服务端的方法和装置 | |
CN112100211B (zh) | 数据存储方法、装置、电子设备和计算机可读介质 | |
CN109218339A (zh) | 请求处理方法和装置 | |
CN113596164A (zh) | 数据访问方法、装置、系统、设备和介质 | |
US20170308504A1 (en) | System and method for hardware acceleration for operator parallelization with streams |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |