CN113238861A - 一种任务执行方法和装置 - Google Patents

一种任务执行方法和装置 Download PDF

Info

Publication number
CN113238861A
CN113238861A CN202110502203.0A CN202110502203A CN113238861A CN 113238861 A CN113238861 A CN 113238861A CN 202110502203 A CN202110502203 A CN 202110502203A CN 113238861 A CN113238861 A CN 113238861A
Authority
CN
China
Prior art keywords
task
tasks
executed
execution
thread pool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110502203.0A
Other languages
English (en)
Inventor
叶晨
齐军
王宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Skyguard Network Security Technology Co ltd
Original Assignee
Beijing Skyguard Network Security Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Skyguard Network Security Technology Co ltd filed Critical Beijing Skyguard Network Security Technology Co ltd
Priority to CN202110502203.0A priority Critical patent/CN113238861A/zh
Publication of CN113238861A publication Critical patent/CN113238861A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种任务执行方法和装置,涉及计算机技术领域。该方法的具体实施方式包括:确定一个或多个待执行任务;根据待执行任务的任务信息,确定一个或多个待执行任务的执行顺序;任务信息指示了以下任意一个或多个:执行任务预估时长、执行任务所需系统资源以及任务优先级;按照执行顺序将一个或多个待执行任务放置于任务线程池,以使任务线程池中的线程按照执行顺序执行任务。该实施方式能够合理分配系统资源,防止系统的性能瓶颈导致的崩溃,提高系统任务的执行效率,保证系统的稳定性和可靠性,提升用户体验及满意度。

Description

一种任务执行方法和装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种任务执行方法和装置。
背景技术
后台管理系统可以实现处理各种任务,包括生成报表、例行业务数据处理、解锁账号等等。
现有的系统后台在接收到多个任务请求后,随机选取线程执行任务。当待执行的任务较多时,由于待执行任务无规则地大量涌入,会导致线程资源分配不均,内存耗尽进而系统崩溃,从而降低系统的稳定性和可靠性。
发明内容
有鉴于此,本发明实施例提供一种任务执行方法和装置,能够合理分配系统资源,防止系统的性能瓶颈导致的崩溃,提高系统任务的执行效率,保证系统的稳定性和可靠性,提升用户体验及满意度。
为实现上述目的,根据本发明实施例的一个方面,提供了一种任务执行方法,包括:
确定一个或多个待执行任务;
根据所述待执行任务的任务信息,确定所述一个或多个待执行任务的执行顺序;所述任务信息指示了以下任意一个或多个:执行任务预估时长、执行任务所需系统资源以及任务优先级;
按照所述执行顺序将所述一个或多个待执行任务放置于任务线程池,以使所述任务线程池中的线程按照所述执行顺序执行任务。
可选地,根据所述待执行任务的任务信息,确定所述一个或多个待执行任务的执行顺序,包括:
根据所述执行任务预估时长、所述执行任务所需系统资源、所述任务优先级以及预设计算策略,计算表征所述执行顺序的特征值;
根据所述特征值的大小确定所述执行顺序。
可选地,还包括:
将所述特征值和所述待执行任务的任务标识进行对应存储。
可选地,还包括:
将所述任务标识与所述待执行任务的任务执行路径进行对应存储。
可选地,所述按照所述执行顺序将所述一个或多个待执行任务放置于任务线程池,包括:
确定待放置于所述任务线程池中的任务数量;
从所述特征值中选择不大于所述任务数量的一个或多个目标特征值,其中,所述一个或多个目标特征值中的最大值不大于未被选择的特征值中的最小值;
确定所述目标特征值对应的目标任务标识,并根据与所述目标任务标识对应的任务执行路径,将所述目标任务标识对应的待执行任务放置于所述任务线程池。
可选地,在所述按照所述执行顺序将所述一个或多个待执行任务放置于任务线程池之后,还包括:
确定所述任务线程池所占用的系统资源是否大于预警阈值,如果是,暂停将未被放置于所述任务线程池中的其他待执行任务放置于所述任务线程池中。
可选地,在所述暂停将其他待执行任务放置于所述任务线程池中之后,还包括:
根据所述任务信息,重新确定未被放置于所述任务线程池中的其他待执行任务的执行顺序;
当所述任务线程池所占用的系统资源不大于预警阈值时,根据重新确定的执行顺序,将所述其他待执行任务放置于所述任务线程池中。
可选地,采用双向链表对应存储所述任务标识和所述任务执行路径。
可选地,所述按照所述执行顺序将所述一个或多个待执行任务放置于任务线程池,包括:
确定系统负载;
当所述系统负载小于预设负载阈值时,并行执行多个所述线程;
当所述系统负载不小于预设负载阈值时,暂停执行部分任务。
根据本发明实施例的再一个方面,提供了一种任务执行装置,包括:
确定模块,用于确定一个或多个待执行任务;
数据处理模块,用于根据所述待执行任务的任务信息,确定所述一个或多个待执行任务的执行顺序;所述任务信息指示了以下任意一个或多个:执行任务预估时长、执行任务所需系统资源以及任务优先级;
任务处理模块,用于按照所述执行顺序将所述一个或多个待执行任务放置于任务线程池,以使所述任务线程池中的线程按照所述执行顺序执行任务。
根据本发明实施例的另一个方面,提供了一种任务执行电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明提供的任务执行方法。
根据本发明实施例的还一个方面,提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明提供的任务执行方法。
上述发明中的一个实施例具有如下优点或有益效果:因为采用根据任务的优先级、执行预估时长、所需资源等参数确定任务的执行顺序的技术手段,所以克服了系统资源分配不均、运行性能低下的技术问题,进而达到能够合理分配系统资源,防止系统的性能瓶颈导致的崩溃,提高系统任务的执行效率,保证系统的稳定性和可靠性的技术效果。
本发明实施例提供了一种任务执行方法,结合待执行任务的优先级、预估执行成本和系统的负载水平,可以保证系统的稳定性和可用性。当系统负载低时,可以采用多任务并发的执行方式,充分利用硬件资源,加快任务执行速度、增大系统吞吐量;当系统负载高时,通过控制任务并发数甚至暂停部分任务的执行,达到降低系统负载的目的。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1示出了适于应用于本发明实施例的任务执行方法或任务执行装置的示例性系统架构图;
图2是根据本发明实施例的任务执行方法的流程示意图;
图3是根据本发明实施例的任务执行顺序的确定方法的流程示意图;
图4是根据本发明实施例的调度待执行任务的方法的流程示意图;
图5是根据本发明实施例的任务执行装置的主要模块的示意图;
图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
哈希表:是一种键值对(key-value)数据结构。
图1示出了适于应用于本发明实施例的任务执行方法或任务执行装置的示例性系统架构图,如图1所示,本发明实施例的任务执行方法或任务执行装置的示例性系统架构包括:
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如安全类应用、数据处理类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的安全类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的安全性能报表查询请求等数据进行分析等处理,并将处理结果(例如安全性能报表)反馈给终端设备101、102、103。
需要说明的是,本发明实施例所提供的任务执行方法一般由服务器105执行,相应地,任务执行装置一般设置于服务器105中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
图2是根据本发明实施例的任务执行方法的主要流程的示意图,如图2所示,本发明的任务执行方法包括:
步骤S201,确定一个或多个待执行任务。
在本发明实施例中,系统接收到任务处理请求后,对任务处理请求进行分析,从中确定待执行任务,待执行任务可以包括一个或多个。
在本发明实施例中,任务处理请求可以为需要执行的任务,比如,接收到生成报表的任务处理请求后,对任务处理请求进行分析,确定待执行任务为生成报表;接收到数据处理的任务处理请求后,确定待执行任务为处理数据;接收到账号解锁的任务处理请求后,确定待执行任务为解锁账号。
在本发明实施例中,待执行任务可以为,生成月度图表、月度报告;对业务已产生的数据进行预处理,进而提高业务数据汇总速度;用户因输入错误密码次数过多导致帐户被锁定时,对其账号进行解锁。
步骤S202,根据所述待执行任务的任务信息,确定所述一个或多个待执行任务的执行顺序;所述任务信息指示了以下任意一个或多个:执行任务预估时长、执行任务所需系统资源以及任务优先级。
在本发明实施例中,确定一个或多个待执行任务后,根据待执行任务的任务信息,确定一个或多个待执行任务的执行顺序。其中,任务信息指示了以下任意一个或多个:任务标识、执行任务预估时长、执行任务所需系统资源、任务执行路径、任务名称、任务描述、任务下达方以及任务优先级等。
在本发明实施例中,任务处理请求中可以携带有与任务优先级的确定相关的标记,在确定待执行任务时,根据任务处理请求中的任务优先级标记,确定待执行任务的优先级;其中,任务优先级可以采用0~1之间的数字表示,数字越大,表示任务的优先级越高。
在本发明实施例中,如图3所示,本发明公开了一种任务执行顺序的确定方法,该方法主要包括以下步骤:
步骤S301:根据执行任务预估时长、执行任务所需系统资源、任务优先级以及预设计算策略,计算表征执行顺序的特征值。
在本发明实施例中,预设计算策略可以是加权计算法,将执行任务预估时长、执行任务所需系统资源以基准时长、基准资源为底取对数,确定特征值的第一执行任务预估时长变量、第二执行任务所需系统资源变量;任务优先级采用0~1之间的数字表示,确定特征值的第三任务优先级变量,数值越小,表征任务优先级越高;给特征值的每个变量赋予一定的权重;经过加权计算后,得到特征值。
在本发明实施例中,预设计算策略还可以是特征值多个变量的二次函数、多次函数等。
在本发明实施例中,特征值可以为0~1之间的数值,数值越大,表征待执行任务所需的执行成本越大;数值越小,表征待执行任务所需的执行成本越小。
示例性地,将执行任务预估时长5h以基准时长12h为底取对数,确定第一执行任务预估时长变量为0.65;将执行任务所需系统资源866M以基准资源1024M为底取对数,确定第二执行任务所需系统资源变量为0.98;任务优先级为0.3,确定第三任务优先级变量为0.3;三个变量的权重值分别为0.5、0.2、0.4,得到特征值即为:0.641。
在本发明实施例中,根据任务信息以及预设计算策略计算特征值时,判断计算时间是否超过预设时间阈值,如果是,则确定待执行任务的特征值为1;如果否,则按照预设计算策略继续计算。比如,预设时间阈值为3秒,计算特征值时,如果超过3s还未计算出待执行任务的特征值,则确定该待执行任务的特征值为1;其中,预设时间阈值通常不超过5s。
步骤S302:将特征值和待执行任务的任务标识进行对应存储。
在本发明实施例中,确定待执行任务的特征值以后,将待执行任务的任务标识和确定的待执行任务的特征值进行对应存储。其中,任务标识可以直接采用任务处理请求中的任务标识,也可以重新定义待执行任务的任务标识。
在本发明实施例中,可以采用哈希表存储对应的待执行任务的任务标识uuid和特征值cost。一个哈希表可以分别对应一个或多个待执行任务,每个待执行任务分别对应一个哈希表。在采用哈希表存储时,可以随机存储对应的待执行任务的任务标识uuid和特征值cost。
在本发明实施例中,可以将哈希表中与多个待执行任务对应的任务标识uuid和特征值cost的键值对按照特征值从小到大的顺序进行排列。
进一步地,哈希表的查找时间复杂度为O(1),无论数据规模多大,哈希表的查找耗时不变,可以在一次计算后找到目标数据。
步骤S303:根据特征值的大小确定执行顺序。
在本发明实施例中,将多个待执行任务的特征值按照从大到小的顺序进行排序,根据排序结果确定待执行任务的执行顺序。通过将待执行任务根据执行成本的高低进行排序,使得系统可以合理分配资源,优先执行成本较小的任务,提高系统的任务执行效率。
步骤S304:将任务标识与待执行任务的任务执行路径进行对应存储。
在本发明实施例中,步骤S304可以在步骤S301-303之中的任一步骤之前执行,也可以与步骤S202之前执行。
在本发明实施例中,可以采用双向链表存储对应的待执行任务的任务标识和任务执行路径。双向链表包括头任务节点head和尾任务节点tail,根据由特征值cost确定的执行顺序,通过插入节点addNode将待执行任务的任务标识和任务执行路径插入到指定位置,双向链表插入的速度较快,进一步提高任务的执行效率。双向链表的头任务节点head为虚拟节点,头任务节点head的前指针prev指向自己,便于链表的初始化。其中,任务存储路径classpath由包名、类名和方法名组成,比如,com.xx.yy.ReportService.runTask()。
进一步地,双向链表中还存储有任务名称、任务描述、任务下达方、任务执行状态、任务执行结果等。其中,任务下达方可以是发送任务处理请求的账号,比如,邮箱;任务执行状态可以是待执行任务目前是否执行的状态;任务执行结果可以是任务执行是否成功的结果。
更进一步地,双向链表的插入时间复杂度、删除时间复杂度皆为O(1),使得无论系统数据规模多大,双向链表插入、删除的耗时不变,可以在一次计算后找到目标数据。
在本发明实施例中,通过根据执行任务预估时长、执行任务所需系统资源、任务优先级以及预设计算策略,计算表征执行顺序的特征值;根据特征值的大小确定执行顺序;将特征值和待执行任务的任务标识进行对应存储;将任务标识与待执行任务的任务执行路径进行对应存储等步骤,能够根据待执行任务的不同参数指标确定任务的执行顺序,使得待执行任务可以按照确定的执行顺序执行,从而合理利用系统资源。
步骤S203,按照所述执行顺序将所述一个或多个待执行任务放置于任务线程池,以使所述任务线程池中的线程按照所述执行顺序执行任务。
在本发明实施例中,确定待执行任务的执行顺序后,按照执行顺序将一个或多个待执行任务放置于任务线程池,以使任务线程池中的线程按照执行顺序执行任务。通过按照特征值大小即执行成本高低将待执行任务放置于任务线程池,使得线程池按序执行待执行任务,可以快速将执行成本低的任务执行完以释放资源,进而执行成本高的任务,极大地提升了任务执行效率,在执行成本高的任务时无需担心是否资源消耗的问题,因为成本低的任务已经优先执行完毕,使得系统可以从容地执行成本高的任务,进一步防止了内存耗尽导致系统崩溃的问题。
在本发明实施例中,如图4所示,本发明公开了一种调度待执行任务的方法,该方法主要包括以下步骤:
步骤S401:确定当前系统负载,判断当前系统负载是否不大于预警阈值,如果是,转至步骤S402;如果否,转至步骤S406。
在本发明实施例中,预警阈值可以是90%的系统额定负载。在将待执行任务放置于任务线程池之前,确定当前系统负载,进而根据当前系统负载判断是否可以将待执行任务放置于任务线程池。其中,当前系统负载为任务线程池所占用的系统资源。
步骤S402:当前系统负载不大于预警阈值时,确定待放置于任务线程池中的任务数量。
在本发明实施例中,当前系统负载不大于预警阈值时,根据系统当前负载、和/或预警阈值、和/或一个或多个待执行任务的执行任务所需系统资源、和/或任务线程池中空闲线程的数量,确定待放置于任务线程池中的任务数量。比如,任务线程池中有3个空闲线程,则确定待放置于任务线程池中的任务数量为3个。又比如,系统当前负载为10个G,预警阈值为12个G,2个待执行任务的执行任务所需系统资源为2个G,任务线程池中有3个空闲线程,则确定待放置于任务线程池中的任务数量为2个。
步骤S403:从特征值中选择不大于任务数量的一个或多个目标特征值,其中,一个或多个目标特征值中的最大值不大于未被选择的特征值中的最小值。
在本发明实施例中,确定待放置于任务线程池中的任务数量后,根据特征值的排序,从中选择不大于任务数量的目标特征值;其中,目标特征值可以为一个或者多个,一个或多个目标特征值中的最大值不大于未被选择的特征值中的最小值。比如,任务数量为8,从特征值中选择3个目标特征值,目标特征值为0.1、0.5、0.6,目标特征值为0.1的待执行任务的任务数量为3个,目标特征值为0.5的待执行任务的任务数量为4个,目标特征值为0.6的待执行任务的任务数量为1个,未被选择的特征值中的最小值为0.6,未被选择的特征值0.6对应的任务数量为6个;或者,未被选择的特征值中的最小值为0.75。
在本发明实施例中,确定待放置于任务线程池中的任务数量后,遍历哈希表,对所有待执行任务的特征值cost进行排序,从中查找出不大于任务数量的目标特征值。
步骤S404:确定目标特征值对应的目标任务标识,并根据与目标任务标识对应的任务执行路径,将目标任务标识对应的待执行任务放置于任务线程池。
在本发明实施例中,确定不大于任务数量的一个或多个目标特征值后,根据目标特征值,确定目标特征值对应的目标任务标识;根据目标任务标识,确定与目标任务标识对应的任务执行路径,进而将目标任务标识对应的待执行任务放置于任务线程池的线程中,使得待执行任务被执行。
在本发明实施例中,遍历哈希表查找出不大于任务数量的目标特征值后,根据哈希表中的键值对结构,确定目标特征值对应的目标任务标识。根据目标任务标识,确定双向链表中与目标任务标识对应的任务执行路径,调用removeNode方法从双向链表里移除与目标任务标识对应的节点,将目标任务标识对应的待执行任务放置于任务线程池的线程中,并重新设置移除节点的前后节点的指针关系。双向链表删除的速度较快,进一步提高任务的执行效率。
步骤S405:根据放置于任务线程池的待执行任务的数量,单线程或者并行多个线程执行。
在本发明实施例中,将一个或多个待执行任务放置于任务线程池后,待执行任务被执行。当待执行任务为一个时,单线程执行待执行任务;当待执行任务为多个时,并行多个线程执行待执行任务。
步骤S406:当前系统负载大于预警阈值时,判断当前系统负载是否小于预设负载阈值,如果是,转至步骤407;如果否,转至步骤S408。
在本发明实施例中,预设负载阈值可以是98%的系统额定负载。
步骤S407:暂停将待执行任务放置于线程池中,并重新确定待执行任务的执行顺序,转至步骤S401。
在本发明实施例中,确定当前系统负载大于预警阈值、并且小于预设负载阈值时,暂停向任务线程池放置待执行任务,也就是说,暂停将未被放置于任务线程池中的其他待执行任务放置于任务线程池中,使得线程池优先将池内的任务执行完毕,释放系统资源后再接收新的待执行任务。在暂停将待执行任务放置于线程池中后,对待执行的多个待执行任务进行重新判断,并根据待执行任务的任务信息,重新确定未被放置于任务线程池中的其他待执行任务的执行顺序。
在本发明实施例中,转至步骤S401之后,当确定当前系统负载(即任务线程池所占用的系统资源)不大于预警阈值时,根据重新确定的执行顺序,将未被放置于任务线程池中的其他待执行任务放置于任务线程池中。
步骤S408:暂停执行任务线程池中的部分线程的任务。
在本发明实施例中,确定当前系统负载是否不小于预设负载阈值时,暂停执行任务线程池中的部分线程的任务,直至确定系统负载降低至预警阈值之下,再逐步恢复被暂停的任务,从而保证系统稳定运行。
在本发明实施例中,可以随时接收与已接收的任务处理请求对应的更新指令,进而根据更新后的任务处理请求进行分析,确定更新后的待执行任务,并根据与更新后的任务处理请求对应的待执行任务的任务信息,更新一个或多个待执行任务的执行顺序,使得任务线程池中的线程按照更新后的执行顺序执行任务。
示例性地,本发明实施例的任务执行方法可以通过调度器执行。调度器向系统申请容器,用以容纳任务队列,容器具有最大容量(volume),相应地,任务队列具有有限任务数,防止短时间海量任务进入任务队列,进而导致系统内存被占满/耗尽,使得系统服务崩溃。任务队列提供入队(deQueue)、出队(enQueue)方法,当调度器接收到任务处理请求时,调用入队方法,根据多个待执行任务的任务信息,确定待执行任务的任务标识uuid和特征值cost(即执行成本),并存入哈希表中;遍历哈希表,对多个待执行任务的cost特征值进行排序,调用双向链表的addNode方法把多个待执行任务按序插入到指定位置。
调度器需要时刻监控系统负载,当系统负载不大于预警阈值(比如,系统额定负载的90%)时,调用出队方法,遍历哈希表查找特征值cost符合条件的待执行任务,根据键值对对应关系确定符合条件的待执行任务的任务标识uuid,根据任务标识uuid,调用removeNode方法从双向链表里移除对应的节点,并重新设置双向链表节点的前后指针关系,并将符合条件的待执行任务放置于任务线程池中。
将待执行任务放置于线程池后,系统负载升高,当调度器监控到系统负载大于预警阈值时,判断系统负载是否小于预设负载阈值(比如,系统额定负载的98%),如果是,暂停将未被放置于任务线程池的其他待执行任务放置于任务线程池中,并重新确定其他待执行任务的执行顺序;如果否,暂停执行任务线程池中的部分线程的任务,当调度器监控到系统负载降低至预警阈值之下,再逐步恢复被暂停的任务,从而保证系统稳定运行。进一步地,可以在暂停部分线程的任务后,当调度器监控到系统负载降低至恢复执行阈值之下,再逐步恢复被暂停的任务;其中,恢复执行阈值可以是80%的系统额定负载。
通过根据执行成本确定待执行任务的执行顺序,可以缓解系统压力,合理分配资源,防止系统的性能瓶颈导致的崩溃,提高系统任务的执行效率。
在本发明实施例中,通过确定一个或多个待执行任务;根据所述待执行任务的任务信息,确定所述一个或多个待执行任务的执行顺序;按照所述执行顺序将所述一个或多个待执行任务放置于任务线程池,以使所述任务线程池中的线程按照所述执行顺序执行任务等步骤,能够合理分配系统资源,防止系统的性能瓶颈导致的崩溃,提高系统任务的执行效率,提升用户体验及满意度。
图5是根据本发明实施例的任务执行装置的主要模块的示意图,如图5所示,本发明的任务执行装置500包括:
确定模块501,用于确定一个或多个待执行任务。
在本发明实施例中,所述确定模块501系统接收到任务处理请求后,对任务处理请求进行分析,从中确定待执行任务,待执行任务可以包括一个或多个。
数据处理模块502,用于根据所述待执行任务的任务信息,确定所述一个或多个待执行任务的执行顺序;所述任务信息指示了以下任意一个或多个:执行任务预估时长、执行任务所需系统资源以及任务优先级。
在本发明实施例中,所述确定模块501确定一个或多个待执行任务后,所述数据处理模块502根据待执行任务的任务信息,确定一个或多个待执行任务的执行顺序。其中,任务信息指示了以下任意一个或多个:任务标识、执行任务预估时长、执行任务所需系统资源、任务执行路径、任务名称、任务描述、任务下达方以及任务优先级等。
具体地,所述数据处理模块502根据执行任务预估时长、执行任务所需系统资源、任务优先级以及预设计算策略,计算表征执行顺序的特征值;根据特征值的大小确定执行顺序。
任务处理模块503,用于按照所述执行顺序将所述一个或多个待执行任务放置于任务线程池,以使所述任务线程池中的线程按照所述执行顺序执行任务。
在本发明实施例中,所述数据处理模块502确定待执行任务的执行顺序后,所述任务处理模块503按照执行顺序将一个或多个待执行任务放置于任务线程池,以使任务线程池中的线程按照执行顺序执行任务。通过按照特征值大小即执行成本高低将待执行任务放置于任务线程池,使得线程池按序执行待执行任务,可以快速将执行成本低的任务执行完以释放资源,进而执行成本高的任务,极大地提升了任务执行效率,在执行成本高的任务时无需担心是否资源消耗的问题,因为成本低的任务已经优先执行完毕,使得系统可以从容地执行成本高的任务,进一步防止了内存耗尽导致系统崩溃的问题。
在本发明实施例中,通过确定模块、数据处理模块和任务处理模块等模块,能够合理分配系统资源,防止系统的性能瓶颈导致的崩溃,提高系统任务的执行效率,提升用户体验及满意度。
图6是适于用来实现本发明实施例的终端设备的计算机系统的结构示意图,如图6所示,本发明实施例的终端设备的计算机系统600包括:
中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM603中,还存储有系统600操作所需的各种程序和数据。CPU601、ROM602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括确定模块、数据处理模块和任务处理模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,任务处理模块还可以被描述为“按照执行顺序将待执行任务放置于任务线程池的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:确定一个或多个待执行任务;根据所述待执行任务的任务信息,确定所述一个或多个待执行任务的执行顺序;所述任务信息指示了以下任意一个或多个:执行任务预估时长、执行任务所需系统资源以及任务优先级;按照所述执行顺序将所述一个或多个待执行任务放置于任务线程池,以使所述任务线程池中的线程按照所述执行顺序执行任务。
根据本发明实施例的技术方案,能够合理分配系统资源,防止系统的性能瓶颈导致的崩溃,提高系统任务的执行效率,提升用户体验及满意度。
现有系统在低负载时运行良好,但当系统负载升高时,线程执行时间变长,系统资源不能及时释放,大量任务被阻塞,进而导致系统服务崩溃。本发明实施例的技术方案根据执行成本确定任务的执行顺序,并根据系统负载情况动态调整任务执行机制,可以实现对待执行任务的有效管理,先执行成本低的任务,再执行成本高的任务,并根据系统负载进行动态调整,可以合理分配系统资源,防止系统崩溃。不同于现有技术的海量任务堆积导致的系统崩溃,可以对优先级高的任务先行执行,比如,每月月初时查看当月安全计划报告,月初即将其设置为最高优先级,计算的特征值较低,优先执行可以快速查看月度报告;又比如,预测报告或者用户指定报告等,短期内并不需要,且报告处理的数据量极大,即将其设置为低优先级,由于任务执行所需时间、任务执行所需系统资源较大,执行成本较高,执行顺序靠后,可以在系统空闲的时候执行,获得预期的预测报告或者用户指定报告即可。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (12)

1.一种任务执行方法,其特征在于,包括:
确定一个或多个待执行任务;
根据所述待执行任务的任务信息,确定所述一个或多个待执行任务的执行顺序;所述任务信息指示了以下任意一个或多个:执行任务预估时长、执行任务所需系统资源以及任务优先级;
按照所述执行顺序将所述一个或多个待执行任务放置于任务线程池,以使所述任务线程池中的线程按照所述执行顺序执行任务。
2.根据权利要求1所述的方法,其特征在于,根据所述待执行任务的任务信息,确定所述一个或多个待执行任务的执行顺序,包括:
根据所述执行任务预估时长、所述执行任务所需系统资源、所述任务优先级以及预设计算策略,计算表征所述执行顺序的特征值;
根据所述特征值的大小确定所述执行顺序。
3.根据权利要求2所述的方法,其特征在于,还包括:
将所述特征值和所述待执行任务的任务标识进行对应存储。
4.根据权利要求3所述的方法,其特征在于,还包括:
将所述任务标识与所述待执行任务的任务执行路径进行对应存储。
5.根据权利要求4所述的方法,其特征在于,按照所述执行顺序将所述一个或多个待执行任务放置于任务线程池,包括:
确定待放置于所述任务线程池中的任务数量;
从所述特征值中选择不大于所述任务数量的一个或多个目标特征值,其中,所述一个或多个目标特征值中的最大值不大于未被选择的特征值中的最小值;
确定所述目标特征值对应的目标任务标识,并根据与所述目标任务标识对应的任务执行路径,将所述目标任务标识对应的待执行任务放置于所述任务线程池。
6.根据权利要求1或5所述的方法,其特征在于,在按照所述执行顺序将所述一个或多个待执行任务放置于任务线程池之后,还包括:
确定所述任务线程池所占用的系统资源是否大于预警阈值,如果是,暂停将未被放置于所述任务线程池中的其他待执行任务放置于所述任务线程池中。
7.根据权利要求6所述的方法,其特征在于,在所述暂停将其他待执行任务放置于所述任务线程池中之后,还包括:
根据所述任务信息,重新确定未被放置于所述任务线程池中的其他待执行任务的执行顺序;
当所述任务线程池所占用的系统资源不大于预警阈值时,根据重新确定的执行顺序,将所述其他待执行任务放置于所述任务线程池中。
8.根据权利要求4所述的方法,其特征在于,
采用双向链表对应存储所述任务标识和所述任务执行路径。
9.根据权利要求1所述的方法,其特征在于,所述按照所述执行顺序将所述一个或多个待执行任务放置于任务线程池,包括:
确定系统负载;
当所述系统负载小于预设负载阈值时,并行执行多个所述线程;
当所述系统负载不小于预设负载阈值时,暂停执行部分任务。
10.一种任务执行装置,其特征在于,包括:
确定模块,用于确定一个或多个待执行任务;
数据处理模块,用于根据所述待执行任务的任务信息,确定所述一个或多个待执行任务的执行顺序;所述任务信息指示了以下任意一个或多个:执行任务预估时长、执行任务所需系统资源以及任务优先级;
任务处理模块,用于按照所述执行顺序将所述一个或多个待执行任务放置于任务线程池,以使所述任务线程池中的线程按照所述执行顺序执行任务。
11.一种任务执行电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。
12.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-9中任一所述的方法。
CN202110502203.0A 2021-05-08 2021-05-08 一种任务执行方法和装置 Pending CN113238861A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110502203.0A CN113238861A (zh) 2021-05-08 2021-05-08 一种任务执行方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110502203.0A CN113238861A (zh) 2021-05-08 2021-05-08 一种任务执行方法和装置

Publications (1)

Publication Number Publication Date
CN113238861A true CN113238861A (zh) 2021-08-10

Family

ID=77132789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110502203.0A Pending CN113238861A (zh) 2021-05-08 2021-05-08 一种任务执行方法和装置

Country Status (1)

Country Link
CN (1) CN113238861A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113419841A (zh) * 2021-08-24 2021-09-21 北京每日优鲜电子商务有限公司 消息调度方法、装置、电子设备和计算机可读介质
CN114416325A (zh) * 2022-04-02 2022-04-29 深圳新闻网传媒股份有限公司 基于智能分析的批量任务计算系统
WO2024031931A1 (zh) * 2022-08-11 2024-02-15 苏州元脑智能科技有限公司 批量请求下发的优先排队处理方法、装置、服务器及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220033A (zh) * 2017-07-05 2017-09-29 百度在线网络技术(北京)有限公司 用于控制线程池中线程数量的方法和装置
CN109144699A (zh) * 2018-08-31 2019-01-04 阿里巴巴集团控股有限公司 分布式任务调度方法、装置及系统
CN110096344A (zh) * 2018-01-29 2019-08-06 北京京东尚科信息技术有限公司 任务管理方法、系统、服务器集群和计算机可读介质
CN110990142A (zh) * 2019-12-13 2020-04-10 上海智臻智能网络科技股份有限公司 并发任务处理方法、装置、计算机设备和存储介质
CN111190739A (zh) * 2019-12-31 2020-05-22 西安翔腾微电子科技有限公司 一种资源分配方法、装置、电子设备及存储介质
CN111338803A (zh) * 2020-03-16 2020-06-26 北京达佳互联信息技术有限公司 一种线程处理方法和装置
CN111400005A (zh) * 2020-03-13 2020-07-10 北京搜狐新媒体信息技术有限公司 一种数据处理方法、装置及电子设备
CN112667376A (zh) * 2020-12-23 2021-04-16 数字广东网络建设有限公司 任务调度处理方法、装置、计算机设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220033A (zh) * 2017-07-05 2017-09-29 百度在线网络技术(北京)有限公司 用于控制线程池中线程数量的方法和装置
CN110096344A (zh) * 2018-01-29 2019-08-06 北京京东尚科信息技术有限公司 任务管理方法、系统、服务器集群和计算机可读介质
CN109144699A (zh) * 2018-08-31 2019-01-04 阿里巴巴集团控股有限公司 分布式任务调度方法、装置及系统
CN110990142A (zh) * 2019-12-13 2020-04-10 上海智臻智能网络科技股份有限公司 并发任务处理方法、装置、计算机设备和存储介质
CN111190739A (zh) * 2019-12-31 2020-05-22 西安翔腾微电子科技有限公司 一种资源分配方法、装置、电子设备及存储介质
CN111400005A (zh) * 2020-03-13 2020-07-10 北京搜狐新媒体信息技术有限公司 一种数据处理方法、装置及电子设备
CN111338803A (zh) * 2020-03-16 2020-06-26 北京达佳互联信息技术有限公司 一种线程处理方法和装置
CN112667376A (zh) * 2020-12-23 2021-04-16 数字广东网络建设有限公司 任务调度处理方法、装置、计算机设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113419841A (zh) * 2021-08-24 2021-09-21 北京每日优鲜电子商务有限公司 消息调度方法、装置、电子设备和计算机可读介质
CN113419841B (zh) * 2021-08-24 2021-11-23 北京每日优鲜电子商务有限公司 消息调度方法、装置、电子设备和计算机可读介质
CN114416325A (zh) * 2022-04-02 2022-04-29 深圳新闻网传媒股份有限公司 基于智能分析的批量任务计算系统
WO2024031931A1 (zh) * 2022-08-11 2024-02-15 苏州元脑智能科技有限公司 批量请求下发的优先排队处理方法、装置、服务器及介质

Similar Documents

Publication Publication Date Title
US11509596B2 (en) Throttling queue for a request scheduling and processing system
CN113238861A (zh) 一种任务执行方法和装置
US10282229B2 (en) Asynchronous task management in an on-demand network code execution environment
US9952896B2 (en) Asynchronous task management in an on-demand network code execution environment
US8386512B2 (en) System for managing data collection processes
JP2021529386A (ja) オンデマンドネットワークコード実行システム上での補助機能の実行
US10659410B2 (en) Smart message delivery based on transaction processing status
US11734073B2 (en) Systems and methods for automatically scaling compute resources based on demand
CN106411558B (zh) 一种数据流量限制的方法及系统
CN114143265A (zh) 一种网络流量限流方法、装置、设备及存储介质
CN112650575B (zh) 资源调度方法、装置和云端服务系统
US10560385B2 (en) Method and system for controlling network data traffic in a hierarchical system
CN112445857A (zh) 一种基于数据库的资源配额管理方法和装置
CN113285886B (zh) 一种带宽分配的方法、装置、电子设备及可读存储介质
CN113517985A (zh) 文件数据处理方法、装置、电子设备及计算机可读介质
CN113905091B (zh) 用于对访问请求进行处理的方法及装置
US20120136940A1 (en) On-demand automatic message queue and topic deployment
CN114374657A (zh) 一种数据处理方法和装置
CN116069518A (zh) 动态调配处理任务方法及装置、电子设备和可读存储介质
CN113064620A (zh) 一种处理系统数据的方法和装置
US11089123B2 (en) Service worker push violation enforcement
CN106484536B (zh) 一种io调度方法、装置和设备
CN110262756B (zh) 用于缓存数据的方法和装置
CN115421889A (zh) 进程间的请求管理方法、装置、电子设备及存储介质
CN115827200A (zh) 一种线程池管理的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination