CN112579305A - 任务处理方法及装置、非易失性存储介质和设备 - Google Patents

任务处理方法及装置、非易失性存储介质和设备 Download PDF

Info

Publication number
CN112579305A
CN112579305A CN201910927968.1A CN201910927968A CN112579305A CN 112579305 A CN112579305 A CN 112579305A CN 201910927968 A CN201910927968 A CN 201910927968A CN 112579305 A CN112579305 A CN 112579305A
Authority
CN
China
Prior art keywords
task
processes
time
duration
threads corresponding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910927968.1A
Other languages
English (en)
Inventor
蒋亚飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201910927968.1A priority Critical patent/CN112579305A/zh
Publication of CN112579305A publication Critical patent/CN112579305A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/52Program synchronisation; Mutual exclusion, e.g. by means of semaphores

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种任务处理方法及装置、非易失性存储介质和设备。其中,该方法包括:获取目标任务;将目标任务划分为多个任务环节,并为多个任务环节中的每个任务环节设置一个工序,得到与多个任务环节对应的多个工序;基于多个工序中每个工序的耗时时长确定与每个工序对应的线程数量;基于每个工序对应的线程数量依次执行多个工序中的每个工序。本申请解决了相关技术中多线程处理任务时,会出现由于中间环节耗时较长导致整个任务处理效率比较低,且会造成资源浪费的技术问题。

Description

任务处理方法及装置、非易失性存储介质和设备
技术领域
本申请涉及任务处理领域,具体而言,涉及一种任务处理方法及装置、非易失性存储介质和设备。
背景技术
在处理一个任务时,例如在执行一个数据处理程序时,当然是性能越高越好,在引入分布式计算之前,如何最高效的发挥单机程序的最大性能是需要考虑的事情。一般要想提高单机程序的性能,多线程是首先考虑的方案,多线程同步的处理数据,每个线程处理一个任务,如果开10个线程就是相当于10个任务同步处理。例如,在数据下载场景下的一个任务处理流程如下:1.从某下载源下载原始数据文件到本地磁盘2.加载数据到内存去重3.写到新的结果文件中
如果上述任务需要10个线程处理:10个任务都执行步骤1,然后执行步骤2,执行步骤3,假如步骤3特别耗时,那么就会长时间消耗在步骤3,而且新的任务没法开始处理,只能等到所有步骤全部完成才能继续处理新的任务。这样,在处理任务时,会因为某一环节耗时较长造成等待,从而造成处理资源的浪费。
对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种任务处理方法及装置、非易失性存储介质和设备,以至少解决相关技术中多线程处理任务时,会出现由于中间环节耗时较长导致整个任务处理效率比较低,且会造成资源浪费的技术问题。
根据本申请实施例的一个方面,提供了一种任务处理方法,包括:获取目标任务;将目标任务划分为多个任务环节,并为多个任务环节中的每个任务环节设置一个工序,得到与多个任务环节对应的多个工序;基于多个工序中每个工序的耗时时长确定与每个工序对应的线程数量;基于每个工序对应的线程数量依次执行多个工序中的每个工序。
可选地,基于多个工序中每个工序的耗时时长确定与每个工序对应的线程数量,包括:从多个工序中选择一个目标工序,并将该目标工序对应的耗时时长作为基准时长;以基准时长对应的线程数量作为单位,确定其他工序中的每个工序所对应耗时时长相对于单位的倍数;为其他工序中的每个工序分配与倍数对应的线程数量。
可选地,从多个工序中选择一个目标工序,并将该目标工序对应的耗时时长作为基准时长,包括:比较多个工序中各个工序的耗时时长;确定各个工序的耗时时长中的最小耗时时长或最大耗时时长,并将该最小耗时时长或最大耗时时长作为基准时长。
可选地,基于多个工序中每个工序的耗时时长确定与每个工序对应的线程数量,包括:计算多个工序的总耗时时长;确定多个工序中每个工序的耗时时长在总耗时时长中的占比;依据占比分配每个工序对应的线程数量。
可选地,基于每个工序对应的线程数量依次执行多个工序中的每个工序之前,方法还包括:统计多个工序中各个工序对应的线程数量,得到多个工序对应的线程总数;确定线程总数所需占用的运行资源;检测用于执行目标任务的设备的可用资源;比较运行资源和可用资源;依据比较结果调整基准时长对应的线程数量。
可选地,依据比较结果调整基准时长对应的线程数量,包括:在比较结果指示运行资源大于可用资源时,减小基准时长对应的线程数量;在比较结果指示运行资源小于可用资源时,增加基准时长对应的线程数量。
可选地,增加基准时长对应的线程数量后得到的目标线程数所占用的运行资源小于或等于可用资源。
可选地,在执行多个工序中的每个工序时,每个工序中线程数量所对应的多个线程是并行执行的。
根据本申请实施例的另一个方面,提供了一种任务处理装置,包括:获取模块,用于获取目标任务;划分模块,用于将目标任务划分为多个任务环节,并为多个任务环节中的每个任务环节设置一个工序,得到与多个任务环节对应的多个工序;确定模块,用于基于多个工序中每个工序的耗时时长确定与每个工序对应的线程数量;执行模块,用于基于每个工序对应的线程数量依次执行多个工序中的每个工序。
可选地,确定模块,还用于从多个工序中选择一个目标工序对应的耗时时长作为基准时长;以基准时长对应的线程数量作为单位,确定其他工序中的每个工序所对应耗时时长相对于单位的倍数;为其他工序中的每个工序分配与倍数对应的线程数量。
根据本申请实施例的又一个方面,提供了一种非易失性存储介质,该非易失性存储介质包括存储的程序,其中,在程序运行时控制非易失性存储介质所在设备执行以上的任务处理方法。
根据本申请实施例的一个方面,提供了一种电子设备,设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线;其中,处理器、存储器通过总线完成相互间的通信;处理器用于调用所述存储器中的程序指令,以执行如上所述的任务处理方法。
根据本申请实施例的又一个方面,提供了一种处理器,该处理器用于运行存储介质中的程序,其中,程序运行时执行以上所述的任务处理方法。
在本申请实施例中,采用将目标任务划分为多个任务环节,并为每个任务环节设置一个工序,然后依据每个工序的耗时时长分配相应数量的线程的方式,由于在确定工序的线程数量时,考虑了每个工序的耗时时长,因此,可以对整个任务的工序耗时进行统一把控,并且,可以对线程资源进行合理分配,实现了对任务的处理流程的优化,节省了任务处理时长和优化了资源的配置,进而解决了相关技术中多线程处理任务时,会出现由于中间环节耗时较长导致整个任务处理效率比较低,且会造成资源浪费的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据相关技术的一种任务处理方法的流程示意图;
图2是根据本申请实施例的一种任务处理装置的结构示意图。
图3是根据本申请实施例的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了更好地理解本申请实施例,以下将本申请实施例中涉及的术语解释如下:
工序:在处理任务时的各个处理节点,以及各个处理节点的执行顺序。
根据本申请实施例,提供了一种任务处理方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据相关技术的一种任务处理方法的流程示意图,如图1所示,该方法包括如下步骤:
步骤S102,获取目标任务;
其中,获取目标任务的方式有多种,例如,基于从预设任务列表中读取任务,也可以是基于用户输入的内容生成操作指令,其中,用户输入的内容包括但不限于:用户输入的对应用的操作指令,该操作指令用于触发任务;或者,用户输入任务内容,基于该任务内容生成目标任务。
步骤S104,将目标任务划分为多个任务环节,并为多个任务环节中的每个任务环节设置一个工序,得到与多个任务环节对应的多个工序;
具体地,分析要处理的目标任务的流程,将整个任务处理流程拆分成若干环节,,把任务拆分成多个环节,例如,将下载任务分成三个环节1.从某下载源下载原始数据文件到本地磁盘2.加载数据到内存去重3.写到新的结果文件中。
然后,为每个环节定义一个工序,即有几个环节就定义几道工序,每道工序即一个独立的处理单元,该单元可以是一个线程,也可以是多个线程;每道工序定义好输入和输出,设置前后顺序,前一道工序的输出是下一道工序的输入;
步骤S106,基于多个工序中每个工序的耗时时长确定与每个工序对应的线程数量;
在本申请的一些实施例中,可以通过以下方式确定每个工序对应的线程数量:从多个工序中选择一个目标工序,并将该目标工序对应的耗时时长作为基准时长;以基准时长对应的线程数量作为单位,确定其他工序中的每个工序所对应耗时时长相对于单位的倍数;为其他工序中的每个工序分配与倍数对应的线程数量。其中,上述耗时时长为每个工序的处理时长。
其中,在确定上述基准时长时,可以有多种方式,例如:比较多个工序中各个工序的耗时时长;确定各个工序的耗时时长中的最小耗时时长,并将该最小耗时时长作为基准时长。同理,也可以使用各个工序的耗时时长中的最大耗时时长作为基准时长。
以上述下载任务为例:根据各个工序对应处理环节的耗时来分配各个工序的线程数,比如上面例子中,假如环节1消耗3分钟,环节2消耗1分钟,环节3消耗6分钟,假如在环节2分配1个线程,那么环节1需要分配至少3个线程才能满足环节2的处理能力,那么环节3需要分配6个线程,各个工序只处理自己环节的工作,如此运转起来后,当前环节处理完相应的线程后,将处理结果传递至下一个环节继续处理,此时当前环节占用的资源就可以继续处理新的下载任务,而不用等待该任务整个流程处理完才能继续处理新的任务,如此整个任务处理就连续不间断的处理起来,任务源源不断的流入流出,这就形成了任务的流式处理。例如,有两个待处理的任务:任务A和任务B,将任务A分成环节1、环节2和环节3,任务B分成环节a、环节b和环节c;系统或设备在处理完任务A的环节1后,将处理结果转移至环节2的线程继续处理,此时,处理环节1的线程资源便可以用来处理任务B中的环节a,而不必等待将任务A的所有环节都处理完后再处理任务B。
在本申请的一些可选实施例中,在目标任务所在的预设任务列表中有多个任务时,多个任务具有不同的优先级。或者,为上述多个任务设置最大可用线程数,在后续为每个任务的各个环节分配线程时,分配的总线程数不能多于上述最大可用线程数。
步骤S108,基于每个工序对应的线程数量依次执行多个工序中的每个工序。
需要说明的是,步骤S102-108的执行主体可以为计算机设备,该计算机设备包括存储介质和处理器,该存储介质中包括用于执行步骤S102-S108的程序指令。
在本申请实施例中,采用将目标任务划分为多个任务环节,并为每个任务环节设置一个工序,然后依据每个工序的耗时时长分配相应数量的线程的方式,由于在确定工序的线程数量时,考虑了每个工序的耗时时长,因此,可以对整个任务的工序耗时进行统一把控,并且,可以对线程资源进行合理分配,实现了对任务的处理流程的优化,节省了任务处理时长和优化了资源的配置,进而解决了相关技术中多线程处理任务时,会出现由于中间环节耗时较长导致整个任务处理效率比较低,且会造成资源浪费的技术问题。
在一些特殊场景下,在执行上述目标任务时,执行目标任务的计算机设备可能会同时执行其他任务,此时,为了保证其他任务也能正常运行,需要对计算机设备所具有的资源进行合理规划,例如,为每个任务设置一个可用资源,或者,在目标任务为新加入的任务时,需要考虑计算机设备的剩余可用资源,具体地:在基于每个工序对应的线程数量依次执行多个工序中的每个工序之前,统计多个工序中各个工序对应的线程数量,得到多个工序对应的线程总数;确定线程总数所需占用的运行资源;检测用于执行目标任务的设备的可用资源;比较运行资源和可用资源;依据比较结果调整基准时长对应的线程数量。
其中,在比较结果指示运行资源大于可用资源时,减小基准时长对应的线程数量;在比较结果指示运行资源小于可用资源时,增加基准时长对应的线程数量。
在调整基准时长对应的线程数量时,为了防止过调情况的出现,可以为调整设置条件,例如:增加基准时长对应的线程数量后得到的目标线程数所占用的运行资源小于或等于可用资源。
在本申请的一些实施例中,上述运行资源和可用资源包括但不限于:io接口数、网络资源(例如带宽等)、CPU等。
为进一步地保证任务的处理效率,在执行多个工序中的每个工序时,每个工序中线程数量所对应的多个线程是并行执行的。
图2是根据本申请实施例的一种任务处理装置的结构示意图。如图2所示,该装置包括:
获取模块20,用于获取目标任务;
划分模块22,用于将目标任务划分为多个任务环节,并为多个任务环节中的每个任务环节设置一个工序,得到与多个任务环节对应的多个工序;
确定模块24,用于基于多个工序中每个工序的耗时时长确定与每个工序对应的线程数量;
执行模块26,用于基于每个工序对应的线程数量依次执行多个工序中的每个工序。
上述各个模块可以通过软件或硬件来实现,对于后者,在上述各个模块为程序模块时,上述各个模块可以集成于一个处理器中,也可以分别设置于不同的处理器中。
在本申请的一些实施例中,上述确定模块24,还用于从多个工序中选择一个目标工序对应的耗时时长作为基准时长;以基准时长对应的线程数量作为单位,确定其他工序中的每个工序所对应耗时时长相对于单位的倍数;为其他工序中的每个工序分配与倍数对应的线程数量。其中,上述耗时时长为每个工序的处理时长。其中,在确定上述基准时长时,可以有多种方式,例如:比较多个工序中各个工序的耗时时长;确定各个工序的耗时时长中的最小耗时时长或最大耗时时长,并将该最小耗时时长或最大耗时时长作为基准时长。
需要说明的是,图2所对应实施例的优选实施方式可以参加图1所示实施例的相关描述,此处不再赘述。
所述接口变化的检测装置包括处理器和存储器,上述获取单元、划分单元、确定单元和执行单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来解决了相关技术中多线程处理任务时,会出现由于中间环节耗时较长导致整个任务处理效率比较低,且会造成资源浪费的技术问题。
本申请实施例还提供了一种非易失性存储介质,该非易失性存储介质包括存储的程序,其中,在程序运行时控制非易失性存储介质所在设备执行以上所述的任务处理方法。
上述存储介质用于存储执行以下功能的程序指令:获取目标任务;将目标任务划分为多个任务环节,并为多个任务环节中的每个任务环节设置一个工序,得到与多个任务环节对应的多个工序;基于多个工序中每个工序的耗时时长确定与每个工序对应的线程数量;基于每个工序对应的线程数量依次执行多个工序中的每个工序。
可选地,上述存储介质还用于存储执行以下功能的程序指令:从多个工序中选择一个目标工序,并将该目标工序对应的耗时时长作为基准时长;以基准时长对应的线程数量作为单位,确定其他工序中的每个工序所对应耗时时长相对于单位的倍数;为其他工序中的每个工序分配与倍数对应的线程数量。
可选地,上述存储介质还用于存储执行以下功能的程序指令:比较多个工序中各个工序的耗时时长;确定各个工序的耗时时长中的最小耗时时长或最大耗时时长,并将该最小耗时时长或最大耗时时长作为基准时长。
本申请实施例还提供了一种处理器,该处理器用于运行存储介质中的程序,其中,程序运行时执行以上所述的任务处理方法。上述处理器用于执行以下功能的程序指令:获取目标任务;将目标任务划分为多个任务环节,并为多个任务环节中的每个任务环节设置一个工序,得到与多个任务环节对应的多个工序;基于多个工序中每个工序的耗时时长确定与每个工序对应的线程数量;基于每个工序对应的线程数量依次执行多个工序中的每个工序。
可选地,上述处理器还用于执行以下功能的程序指令:从多个工序中选择一个目标工序,并将该目标工序对应的耗时时长作为基准时长;以基准时长对应的线程数量作为单位,确定其他工序中的每个工序所对应耗时时长相对于单位的倍数;为其他工序中的每个工序分配与倍数对应的线程数量。
可选地,上述处理器还用于执行以下功能的程序指令:比较多个工序中各个工序的耗时时长;确定各个工序的耗时时长中的最小耗时时长或最大耗时时长,并将该最小耗时时长或最大耗时时长作为基准时长。
根据本申请实施例的一个方面,提供了一种电子设备30,如图3所示,设备包括至少一个处理器301、以及与处理器连接的至少一个存储器302、总线303;其中,处理器、存储器通过总线完成相互间的通信;处理器用于调用存储器中的程序指令,以执行以上所述的任务处理方法。例如,执行如图1所示的接口变化的检测方法,具体地:
上述处理器用于调用存储器中的程序指令,以执行以上实现以下功能的程序指令:获取目标任务;将目标任务划分为多个任务环节,并为多个任务环节中的每个任务环节设置一个工序,得到与多个任务环节对应的多个工序;基于多个工序中每个工序的耗时时长确定与每个工序对应的线程数量;基于每个工序对应的线程数量依次执行多个工序中的每个工序。
本文中的电子设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:获取目标任务;将目标任务划分为多个任务环节,并为多个任务环节中的每个任务环节设置一个工序,得到与多个任务环节对应的多个工序;基于多个工序中每个工序的耗时时长确定与每个工序对应的线程数量;基于每个工序对应的线程数量依次执行多个工序中的每个工序。
可选地,当在数据处理设备上执行时,还用于执行如下方法步骤的程序:从多个工序中选择一个目标工序,并将该目标工序对应的耗时时长作为基准时长;以基准时长对应的线程数量作为单位,确定其他工序中的每个工序所对应耗时时长相对于单位的倍数;为其他工序中的每个工序分配与倍数对应的线程数量。比较多个工序中各个工序的耗时时长;确定各个工序的耗时时长中的最小耗时时长或最大耗时时长,并将该最小耗时时长或最大耗时时长作为基准时长。计算多个工序的总耗时时长;确定多个工序中每个工序的耗时时长在总耗时时长中的占比;依据占比分配每个工序对应的线程数量。统计多个工序中各个工序对应的线程数量,得到多个工序对应的线程总数;确定线程总数所需占用的运行资源;检测用于执行目标任务的设备的可用资源;比较运行资源和可用资源;依据比较结果调整基准时长对应的线程数量。在比较结果指示运行资源大于可用资源时,减小基准时长对应的线程数量;在比较结果指示运行资源小于可用资源时,增加基准时长对应的线程数量。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中,设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入或输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和或或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种任务处理方法,其特征在于,包括:
获取目标任务;
将所述目标任务划分为多个任务环节,并为所述多个任务环节中的每个任务环节设置一个工序,得到与所述多个任务环节对应的多个工序;
基于所述多个工序中每个工序的耗时时长确定与所述每个工序对应的线程数量;
基于每个工序对应的线程数量依次执行所述多个工序中的每个工序。
2.根据权利要求1所述的方法,其特征在于,基于所述多个工序中每个工序的耗时时长确定与所述每个工序对应的线程数量,包括:
从所述多个工序中选择一个目标工序,并将该目标工序对应的耗时时长作为基准时长;
以所述基准时长对应的线程数量作为单位,确定其他工序中的每个工序所对应耗时时长相对于所述单位的倍数;
为所述其他工序中的每个工序分配与所述倍数对应的线程数量。
3.根据权利要求2所述的方法,其特征在于,从所述多个工序中选择一个目标工序,并将该目标工序对应的耗时时长作为基准时长,包括:
比较所述多个工序中各个工序的耗时时长;
确定所述各个工序的耗时时长中的最小耗时时长或最大耗时时长,并将该最小耗时时长或最大耗时时长作为所述基准时长。
4.根据权利要求2所述的方法,其特征在于,基于每个工序对应的线程数量依次执行所述多个工序中的每个工序之前,所述方法还包括:
统计所述多个工序中各个工序对应的线程数量,得到所述多个工序对应的线程总数;确定所述线程总数所需占用的运行资源;
检测用于执行所述目标任务的设备的可用资源;
比较所述运行资源和所述可用资源;
依据比较结果调整所述基准时长对应的线程数量。
5.根据权利要求4所述的方法,其特征在于,依据比较结果调整所述基准时长对应的线程数量,包括
在所述比较结果指示所述运行资源大于所述可用资源时,减小所述基准时长对应的线程数量;在所述比较结果指示所述运行资源小于所述可用资源时,增加所述基准时长对应的线程数量。
6.根据权利要求5所述的方法,其特征在于,增加所述基准时长对应的线程数量后得到的目标线程数所占用的运行资源小于或等于所述可用资源。
7.根据权利要求1至6中任意一项所述的方法,其特征在于,在执行所述多个工序中的每个工序时,每个工序中所述线程数量所对应的多个线程是并行执行的。
8.一种任务处理装置,其特征在于,包括:
获取模块,用于获取目标任务;
划分模块,用于将所述目标任务划分为多个任务环节,并为所述多个任务环节中的每个任务环节设置一个工序,得到与所述多个任务环节对应的多个工序;
确定模块,用于基于所述多个工序中每个工序的耗时时长确定与所述每个工序对应的线程数量;
执行模块,用于基于每个工序对应的线程数量依次执行所述多个工序中的每个工序。
9.一种非易失性存储介质,其特征在于,所述非易失性存储介质包括存储的程序;
其中,在所述程序运行时控制所述非易失性存储介质所在设备执行如权利要求1至7中任意一项所述的任务处理方法。
10.一种电子设备,其特征在于,所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线;其中,所述处理器、所述存储器通过所述总线完成相互间的通信所述处理器用于调用所述存储器中的程序指令,以执行如权利要求1至7中任意一项所述的任务处理方法。
CN201910927968.1A 2019-09-27 2019-09-27 任务处理方法及装置、非易失性存储介质和设备 Pending CN112579305A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910927968.1A CN112579305A (zh) 2019-09-27 2019-09-27 任务处理方法及装置、非易失性存储介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910927968.1A CN112579305A (zh) 2019-09-27 2019-09-27 任务处理方法及装置、非易失性存储介质和设备

Publications (1)

Publication Number Publication Date
CN112579305A true CN112579305A (zh) 2021-03-30

Family

ID=75110460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910927968.1A Pending CN112579305A (zh) 2019-09-27 2019-09-27 任务处理方法及装置、非易失性存储介质和设备

Country Status (1)

Country Link
CN (1) CN112579305A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116149263A (zh) * 2021-11-18 2023-05-23 中国科学院沈阳自动化研究所 基于多工件并行生产的离散型柔性机加生产线控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103516536A (zh) * 2012-06-26 2014-01-15 重庆新媒农信科技有限公司 基于线程数量限制的服务器业务请求并行处理方法及系统
CN105763595A (zh) * 2015-12-23 2016-07-13 杭州赫智电子科技有限公司 一种提高数据处理效率的方法及服务器
US20170185454A1 (en) * 2015-12-25 2017-06-29 Le Holdings (Beijing) Co., Ltd. Method and Electronic Device for Determining Resource Consumption of Task
CN108255607A (zh) * 2018-01-08 2018-07-06 武汉斗鱼网络科技有限公司 任务处理方法、装置、电子终端及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103516536A (zh) * 2012-06-26 2014-01-15 重庆新媒农信科技有限公司 基于线程数量限制的服务器业务请求并行处理方法及系统
CN105763595A (zh) * 2015-12-23 2016-07-13 杭州赫智电子科技有限公司 一种提高数据处理效率的方法及服务器
US20170185454A1 (en) * 2015-12-25 2017-06-29 Le Holdings (Beijing) Co., Ltd. Method and Electronic Device for Determining Resource Consumption of Task
CN108255607A (zh) * 2018-01-08 2018-07-06 武汉斗鱼网络科技有限公司 任务处理方法、装置、电子终端及可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116149263A (zh) * 2021-11-18 2023-05-23 中国科学院沈阳自动化研究所 基于多工件并行生产的离散型柔性机加生产线控制方法

Similar Documents

Publication Publication Date Title
CN107360206B (zh) 一种区块链共识方法、设备及系统
CN107450979B (zh) 一种区块链共识方法及装置
JP2016129056A (ja) フォールトトレラントバッチ処理
CN110262847B (zh) 应用程序启动加速方法、装置及机器可读存储介质
CN110659137B (zh) 针对离线任务的处理资源分配方法及系统
CN109739627B (zh) 任务的调度方法、电子设备及介质
CN107818012B (zh) 一种数据处理方法、装置及电子设备
CN109992366B (zh) 任务调度方法及调度装置
CN112748993A (zh) 任务执行方法、装置、存储介质及电子设备
CN112860387A (zh) 分布式任务调度方法、装置、计算机设备及存储介质
CN110716813A (zh) 数据流处理方法、装置、可读存储介质及处理器
CN108595315B (zh) 一种日志采集方法、装置及设备
CN112579305A (zh) 任务处理方法及装置、非易失性存储介质和设备
CN117234691A (zh) 任务调度方法及装置
CN112416534A (zh) 一种基于Agent的任务管理方法及装置
CN115994029A (zh) 容器资源调度方法及装置
CN115220887A (zh) 调度信息的处理方法、任务处理系统、处理器和电子设备
CN113900856A (zh) 一种数据处理方法及相关设备
CN111581041A (zh) 一种磁盘性能测试的方法和设备
CN111045959A (zh) 一种基于存储优化的复杂算法变量映射方法
CN110618863A (zh) 一种基于Raft算法的作业调度方法
CN111274576B (zh) 智能合约运行环境的控制方法及系统、设备、介质
CN115150402B (zh) 一种云资源分配方法及系统
CN111290850B (zh) 一种数据存储方法、装置及设备
CN115904707A (zh) 并行调度方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination