CN109814995A - 任务调度方法、装置、计算机设备和存储介质 - Google Patents
任务调度方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN109814995A CN109814995A CN201910007425.8A CN201910007425A CN109814995A CN 109814995 A CN109814995 A CN 109814995A CN 201910007425 A CN201910007425 A CN 201910007425A CN 109814995 A CN109814995 A CN 109814995A
- Authority
- CN
- China
- Prior art keywords
- task
- configuration information
- definition
- execution
- sent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000004590 computer program Methods 0.000 claims description 20
- 238000004519 manufacturing process Methods 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 15
- 238000012550 audit Methods 0.000 claims description 9
- 230000008929 regeneration Effects 0.000 claims description 8
- 238000011069 regeneration method Methods 0.000 claims description 8
- 230000001360 synchronised effect Effects 0.000 claims description 8
- 238000007726 management method Methods 0.000 description 12
- 230000009471 action Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003672 processing method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本申请涉及一种任务调度方法、装置、计算机设备和存储介质。方法包括：接收通过应用程序的服务接口发送的任务请求；任务请求携带有任务标识，根据任务标识，获取任务请求对应的配置信息，从配置信息获取任务的处理方式，根据处理方式获取任务内容，将任务内容发送至执行机集群，由执行机集群根据配置信息对任务进行调度，将任务内容分配至对应的执行机执行任务，接收所执行机反馈的任务的执行结果，并将执行结果发送至应用程序。该方法实现了对不同应用程序的任务进行调度，实现对不同任务的管理，提高了任务调度的可复用性。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种任务调度方法、装置、计算机设备和存储介质。
背景技术
任务调度，即当多现多任务且较少的执行设备时，所提出的一种处理机制，使优先级高的任务先被执行，以提高任务被执行的效率。其中，任务的优先级可基于不同的应用场景进行设置。
传统的调度方法，只能用于特定的生产环境，如数据库任务的处理，或是集群服务器的调度，具有可复用性低的缺点。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高可复用性的任务调度方法、装置、计算机设备和存储介质。
一种任务调度方法，所述方法包括：
接收通过应用程序的服务接口发送的任务请求；所述任务请求携带有任务标识；
根据所述任务标识，获取所述任务请求对应的配置信息；
从所述配置信息获取任务的处理方式，根据所述处理方式获取任务内容；
将所述任务内容发送至执行机集群，由执行机集群根据所述配置信息对所述任务进行调度，将所述任务内容分配至对应的执行机执行任务；
接收所执行机反馈的任务的执行结果，并将执行结果发送至应用程序。。
在另一个实施例中，所述根据所述任务标识，获取所述任务请求对应的配置信息的步骤，包括：
获取所述任务标识对应的当前可用任务版本号；
根据所述当前可用任务版本号，获取所述任务请求对应的配置信息。
在另一个实施例中，从所述配置信息获取任务的处理方式，根据所述处理方式获取任务内容的步骤，包括：
获取所述任务请求所携带的任务数据；
从所述配置信息中获取任务处理脚本；
根据所述任务数据和所述任务处理脚本，生成任务内容。
在另一个实施例中，所述方法还包括，当通过测试环境所发布的任务的配置信息通过审核时，将所述配置信息同步至生产环境；
获取所述配置信息的版本号；
将所述配置信息的版本号标记为任务对应的当前可用任务版本号。
在另一个实施例中，所述方法还包括：
根据任务的执行结果，生成结果日志；
监控所述结果日志，当结果日志中包括执行失败的结果时，生成失败预警；
将失败预警发送至预设联系人。
在另一个实施例中，将所述任务内容发送至执行机集群，由执行机集群根据所述配置信息对所述任务进行调度，将所述任务内容分配至对应的执行机执行任务的步骤，包括：
根据所述配置信息，获取任务的执行配置信息；
在与执行配置信息对应的时间，将任务内容发送至执行机集群，由执行机集群根据所述执行配置信息对所述任务进行调度，将所述任务内容分配至对应的执行机，根据所述任务数据和所述任务处理脚本执行任务，得到任务的执行结果。
一种任务调度装置，所述装置包括：
请求接收模块，用于接收通过应用程序的服务接口发送的任务请求；所述任务请求携带有任务标识；
配置获取模块，用于根据所述任务标识，获取所述任务请求对应的配置信息；
任务内容获取模块，用于从所述配置信息获取任务的处理方式，根据所述处理方式获取任务内容；
执行模块，用于将所述任务内容发送至执行机集群，由执行机集群根据所述配置信息对所述任务进行调度，将所述任务内容分配至对应的执行机执行任务；
反馈模块，用于接收所执行机反馈的任务的执行结果，并将执行结果发送至应用程序。
在另一个实施例中，所述配置获取模块，包括：
版本获取模块，用于获取所述任务标识对应的当前可用任务版本号；
查找模块，用于根据所述当前可用任务版本号，获取所述任务请求对应的配置信息。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述各实施例的任务调度方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述各实施例的任务调度方法的步骤。
上述任务调度方法、装置、计算机设备和存储介质，通过应用程序的服务接口发送任务请求，根据任务请求获取配置信息，从配置信息中获取任务的处理方式，根据处理方式获取任务内容，并将任务内容发送至执行机执行后，向应用程序反馈任务执行结果。该方法克服传统任务调度方法受限于特定的生产环境的缺点，不是接收已有的任务进行调度处理，而是接收其它应用程序的服务接口发送的任务请求，根据配置信息才能获取任务内容，进而实现由执行机集群对任务进行调度，将任务内容分配至对应的执行机执行，从而实现了对不同应用程序的任务进行调度，实现对不同任务的管理，提高了任务调度的可复用性。
附图说明
图1为一个实施例中任务调度方法的应用场景图；
图2为一个实施例中任务调度方法的流程示意图；
图3为一个实施例中获取任务内容的步骤的流程示意图；
图4为一个实施例中任务调度装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的任务调度方法，可以应用于如图1所示的应用环境中。其中，应用服务器102通过网络与任务服务器104通过网络进行通信，任务服务器104与执行机集群106通过网络通信。应用服务器102运行有应用程序，通过应用程序的服务接口，应用服务器102将任务请求发送至任务服务器104，通过任务服务器104根据配置信息获取任务内容并进行调度，任务服务器104将任务内容发送至执行机集群106，由执行机执行后返回执行结果至任务服务器104，任务服务器104将执行结果发送至应用服务器102。该任务调度方法能够接收其它应用程序的任务，并进行任务调度，从而提高了任务调度的可复用性。其中，任务服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种任务调度方法，以该方法应用于图1中的任务服务器为例进行说明，包括以下步骤：
S202，接收通过应用程序的服务接口发送的任务请求；任务请求携带有任务标识。
具体地，应用程序的服务接口是指应用服务器中所运行的应用程序的服务接口，通过接口调用的方式，将任务请求发送至任务调度服务器。不同的任务请求所使用的服务接口不同，任务请求所携带的任务标识也不同。任务标识用于区分不同的任务，是任务请求的唯一识别标识。其中，任务请求是指应用程序在执行不同功能时，所产生的用于产生相应任务的请求。例如，应用程序服务器运行有金融服务应用程序，具有为用户提供月账单服务，自动还款服务的功能。如账单功能和还款功能分别由不同的功能接口执行，不同的功能接口产生相应的任务请求。
S204，根据任务标识，获取任务请求对应的配置信息。
配置信息是指预先由工作人员配置的任务管理相关信息，包括调度任务管理信息，调度策略配置信息，任务生成方式信息，任务执行失败处理策略以及失败告警策略。
具体地，任务调度具有测试环境和生产环境。在测试环境中，工作人员在针对每一任务请求，在相应的任务配置界面输入配置信息，并进行测试，测试通过审核后，测试环境的配置信息同步到生产环境，用于在实际应用中使用。
S206，从配置信息获取任务的处理方式，根据处理方式获取任务内容。
处理方式是指配置信息中所限定的任务处理的方法，即执行任务时，对任务如何进行处理。具体地，不同的任务的处理方法不同，以账单生成任务为例，账单可以设置简单公式完成账单任务，如月账单的合计。以产品推荐任务为例，可利用深度学习如神经网络模型完成推荐任务。通过从配置信息中获取任务的处理方式，根据处理方式获取任务内容。任务内容包括了任务执行所需的数据，任务的处理方式以及任务执行结果的处理方法。任务内容用于通知执行机根据任务内容执行任务。
S208,将任务内容发送至执行机集群，由执行机集群根据配置信息对任务进行调度，将任务内容分配至对应的执行机执行任务。
其中，执行机是执行系统运行的主机，执行机集群可设置多台执行机，如Python执行机，Java执行机，Spark执行机，MapReduce执行机以及其它执行机。其中，配置信息中可包括任务的执行机信息，可设置优选的执行该任务的执行机。根将任务内容发送至执行机集群，由执行机集群根据配置信息对任务进行调度，将任务内容分配至对应的执行机执行。具体地，任务发送至执行机集群后，存储在执行队列，由对应的各执行机依次从队列中拉取任务执行，得到任务的执行结果。
任务的执行结果包括两种，一种是任务执行成功，一种是任务执行失败。以账单生成任务为例，任务结果包括生成成功和账单生成失败。
S210，接收所执行机反馈的任务的执行结果，并将执行结果发送至应用程序。
执行机执行任务后，将任务的执行结果反馈至任务服务器，任务服务器将结果发送至对应的应用程序。
上述的任务调度方法，通过应用程序的服务接口发送任务请求，根据任务请求获取配置信息，从配置信息中获取任务的处理方式，根据处理方式获取任务内容，并将任务内容发送至执行机执行后，向应用程序反馈任务执行结果。该方法克服传统任务调度方法受限于特定的生产环境的缺点，不是接收已有的任务进行调度处理，而是接收其它应用程序的服务接口发送的任务请求，根据配置信息才能获取任务内容，进而实现由执行机集群对任务进行调度，将任务内容分配至对应的执行机执行，从而实现了对不同应用程序的任务进行调度，实现对不同任务的管理，提高了任务调度的可复用性。
在另一个实施例中，根据任务标识，获取任务请求对应的配置信息的步骤，包括：获取任务标识对应的当前可用任务版本号，根据当前可用任务版本号，获取任务请求对应的配置信息。具体地，任务版本号是指任务的配置信息的唯一识别标识。任务调度具有测试环境和生产环境。在测试环境中，工作人员在针对每一任务请求，在相应的任务配置界面输入配置信息，并进行测试，测试通过后进入审核流程。审核通过后，测试环境的配置信息同步到生产环境，并建立新版本，得到当前可用任务版本号，建立任务标识与当前可用任务版本号的对应关系。当获取到任务请求时，根据任务请求所携带的任务标识，基于对应关系查找得到该任务标识对应的当前可用任务版本号，获取对应的配置信息。
当根据业务需求，需要对任务的配置信息进行调整时，例如，需要对调度任务管理信息，调度策略配置信息，任务生成方式信息，任务执行失败处理策略以及失败告警策略中的至少一项或多项进行调整时，在任务管理列表找到相应的任务配置信息，进入生产环境，对相应的配置信息进行调整后，进行审核，若审核通过，则得到该任务的配置信息的最新版本号，并将其作为当前可用任务版本号。
上述的任务调度方法，能够实现对配置信息基于业务需求进行调整。
在另一个实施例中，如图3所示，从配置信息获取任务的处理方式，根据处理方式获取任务内容的步骤，包括：
S302，获取任务请求所携带的任务数据。
任务数据是指完成任务所需的数据，是任务的准备数据，由应用程序发送任务请求时所携带。如账单的月份数据，用户数据。
S304，从配置信息中获取任务处理脚本。
具体地，配置信息中包括了配置的调度任务管理信息，调度策略配置信息，任务生成方式信息，任务执行失败处理策略以及失败告警策略。其中，任务生成方式信息定义了任务处理脚本。具体地，任务服务器预先配置了多个计算模块，提供多种任务处理脚本可供调用。工作人员根据实际业务需求，可选择调用其中的一个计算模块。配置信息具体地定义了数据来源方式，计算方法以及结果的处理方法。
其中，数据来源方式即生成任务所需的数据如何获取，工作人员可在配置界面配置数据来源方式包括输入数据或是其它方式获取的数据。其中，其它方式可以是应用程序的业务数据。
计算方法即所调用的具体的计算模块，各计算模块设置了计算脚本，包括python脚本，决策树，SQL语句，简单计算等计算脚本。
结果的处理包括返回值，记录数据等。
具体地，任务生成脚本包括了python脚本，决策树，SQL语句，简单计算等计算脚本。
S306，根据任务数据和任务处理脚本，生成任务内容。
具体地，根据任务请求所携带的数据，调用对应的任务生成脚本，生成任务内容。任务内容包括了任务执行所需的数据，任务的处理方式以及任务执行结果的处理方法。任务内容用于通知执行机根据任务内容执行任务。
上述的任务调度方法，提供了多种任务处理脚本，便于对不同的任务进行管理，提高了系统的适用性。
在另一个实施例中，任务调度方法还包括：当通过测试环境所发布的任务的配置信息通过审核时，将配置信息同步至生产环境，获取配置信息的版本号，将配置信息的版本号标记为任务对应的当前可用任务版本号。
具体地，任务调度具有测试环境和生产环境。当根据业务需求，需要对任务的配置信息进行调整时，例如，需要对调度任务管理信息，调度策略配置信息，任务生成方式信息，任务执行失败处理策略以及失败告警策略中的至少一项或多项进行调整时，在任务管理列表找到相应的任务配置信息，进入生产环境，对相应的配置信息进行调整后，进行审核，若审核通过，则得到该任务的配置信息的最新版本号，并将其作为当前可用任务版本号。当获取到任务请求时，根据任务请求所携带的任务标识，基于对应关系查找得到该任务标识对应的当前可用任务版本号，获取对应的配置信息。
任务调度管理方法还包括：当任务执行结果出现错误时，获取当前可用版本号，根据当前可用版本号，获取旧的可用版本号，将旧的可用版本号更新为当前可用版本号。
其中，旧的可用版本号是指当前可用版本号更新前，所使用的版本号。生产环境支持版本切换功能，同时配置失败策略，如果新版本出现失败，可以自动回退到旧版本。并根据旧版本号的配置信息对任务进行处理，具体的，从旧版本号的配置信息获取任务的处理方式，根据处理方式获取任务内容，将任务内容发送至执行机的执行队列执行。
该方法在任务出现错误后，能够退回旧版本，重新执行任务，将对系统的影响减小至最低，实现了对任务版本的管理。
在另一个实施例中，任务调度方法还包括：根据任务的执行结果，生成结果日志，监控结果日志，当结果日志中包括执行失败的结果时，生成失败预警，将失败预警发送至预设联系人。
其中，执行机是执行系统运行的主机，根据调度任务的执行时间，执行联系的执行任务的计算脚本。根据任务的执行结果，生成结果日志。结果日志记录了各任务的执行情况，方便工作人员查看任务的执行情况。当结果日志中包括执行失败的结果时，生成失败预警，将失败预警发送至预设联系人。其中，预设联系人配置信息中配置的失败策略中的处理人员，可以为处理人员的即时通信工具的账号或是手机账号。当检测到执行失败的结果时，将失败预警发送至处理人员，通知处理人员及时进行处理。
上述的任务调度方法，通过对结果日志进行监控，及时对执行失败的任务进行处理。
在另一个实施例中，将所述任务内容发送至执行机集群，由执行机集群根据所述配置信息对所述任务进行调度，将所述任务内容分配至对应的执行机执行任务的步骤，包括：根据配置信息，获取任务的执行配置信息；在与执行配置信息对应的时间，将任务内容发送至执行机集群，由执行机集群根据所述执行配置信息对所述任务进行调度，将所述任务内容分配至对应的执行机，根据所述任务数据和所述任务处理脚本执行任务，得到任务的执行结果。
配置信息还包括执行配置信息，包括具体的执行时间和各种策略，例如执行机选择，失败处理策略等。执行机根据调度任务的执行时间，执行关联的执行任务的计算脚本。执行配置信息是指配置信息中所设置的任务在执行时的信息，包括了任务的执行时间，任务的执行策略，执行该任务的执行机等。根据执行配置信息，在对应的时间，将任务内容插入对应执行机的执行队列，由执行机根据任务数据和任务处理脚本执行任务，得到任务的处理结果。例如，根据账单月份和用户数据，从数据库中提取业务数据，调用任务处理脚本生成账单。
上述的任务调度方法，接收应用程序的任务请求，根据配置信息生成任务，将任务发送至执行机执行，得到结果后将执行结果发送至应用程序，从而使得其它应用程序能够调用任务调度管理方法，提高了该方法的可复用性。同时，该方法通过配置，审批，版本发布，版本切换等手段，使得任务能够集中进行调度管理与监控。
应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种任务调度装置，包括：请求接收模块、配置获取模块、、任务内容获取模块、执行模块和反馈模块，其中：
请求接收模块402，用于接收通过应用程序的服务接口发送的任务请求；任务请求携带有任务标识。
配置获取模块404，用于根据任务标识，获取任务请求对应的配置信息。
任务内容获取模块406，用于从配置信息获取任务的处理方式，根据处理方式获取任务内容。
执行模块408，用于将任务内容发送至执行机集群，由执行机集群根据配置信息对任务进行调度，将任务内容分配至对应的执行机执行任务。
反馈模块410，用于接收所执行机反馈的任务的执行结果，并将执行结果发送至应用程序。
上述任务调度装置，通过应用程序的服务接口发送任务请求，根据任务请求获取配置信息，从配置信息中获取任务的处理方式，根据处理方式获取任务内容，并将任务内容发送至执行机执行后，向应用程序反馈任务执行结果。该方法克服传统任务调度方法受限于特定的生产环境的缺点，不是接收已有的任务进行调度处理，而是接收其它应用程序的服务接口发送的任务请求，根据配置信息才能获取任务内容，进而实现由执行机集群对任务进行调度，将任务内容分配至对应的执行机执行，从而实现了对不同应用程序的任务进行调度，实现对不同任务的管理，提高了任务调度的可复用性。
在另一个实施例中，配置获取模块，包括：
版本获取模块，用于获取任务标识对应的当前可用任务版本号；
查找模块，用于根据当前可用任务版本号，获取任务请求对应的配置信息。
在另一个实施例中，任务内容获取模块，包括：
数据获取模块，用于获取任务请求所携带的任务数据；
脚本获取模块，用于从配置信息中获取任务处理脚本；
生成模块，用于根据任务数据和任务处理脚本，生成任务内容。
在另一个实施例中，任务调度装置还包括：
同步模块，用于当通过测试环境所发布的任务的配置信息通过审核时，将配置信息同步至生产环境。
版本号获取模块，用于获取配置信息的版本号。
更新模块，用于将配置信息的版本号标记为任务对应的当前可用任务版本号。
在另一个实施例中，任务调度装置还包括：
日志处理模块，用于根据任务的执行结果，生成结果日志。
监控模块，用于监控结果日志，当结果日志中包括执行失败的结果时，生成失败预警。
预警模块，用于将失败预警发送至预设联系人。
在另一个实施例中，执行模块用于根据所述配置信息，获取任务的执行配置信息，在与执行配置信息对应的时间，将任务内容发送至执行机集群，由执行机集群根据所述执行配置信息对所述任务进行调度，将所述任务内容分配至对应的执行机，根据所述任务数据和所述任务处理脚本执行任务，得到任务的执行结果。
关于任务调度装置的具体限定可以参见上文中对于任务调度方法的限定，在此不再赘述。上述任务调度装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种任务调度方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
接收通过应用程序的服务接口发送的任务请求；任务请求携带有任务标识；
根据任务标识，获取任务请求对应的配置信息；
从配置信息获取任务的处理方式，根据处理方式获取任务内容；
将所述任务内容发送至执行机集群，由执行机集群根据所述配置信息对所述任务进行调度，将所述任务内容分配至对应的执行机执行任务；
接收所执行机反馈的任务的执行结果，并将执行结果发送至应用程序。
在一个实施例中，根据任务标识，获取任务请求对应的配置信息的步骤，包括：
获取任务标识对应的当前可用任务版本号；
根据当前可用任务版本号，获取任务请求对应的配置信息。
在一个实施例中，从配置信息获取任务的处理方式，根据处理方式获取任务内容的步骤，包括：
获取任务请求所携带的任务数据；
从配置信息中获取任务处理脚本；
根据任务数据和任务处理脚本，生成任务内容。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
当通过测试环境所发布的任务的配置信息通过审核时，将配置信息同步至生产环境；
获取配置信息的版本号；
将配置信息的版本号标记为任务对应的当前可用任务版本号。在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据任务的执行结果，生成结果日志；
监控结果日志，当结果日志中包括执行失败的结果时，生成失败预警；
将失败预警发送至预设联系人。
在一个实施例中，将任务内容发送至执行机的执行队列，由执行机根据任务内容执行任务的步骤，包括：
根据所述配置信息，获取任务的执行配置信息；
在与执行配置信息对应的时间，将任务内容发送至执行机集群，由执行机集群根据所述执行配置信息对所述任务进行调度，将所述任务内容分配至对应的执行机，根据所述任务数据和所述任务处理脚本执行任务，得到任务的执行结果。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
接收通过应用程序的服务接口发送的任务请求；任务请求携带有任务标识；
根据任务标识，获取任务请求对应的配置信息；
从配置信息获取任务的处理方式，根据处理方式获取任务内容；
将所述任务内容发送至执行机集群，由执行机集群根据所述配置信息对所述任务进行调度，将所述任务内容分配至对应的执行机执行任务；
接收所执行机反馈的任务的执行结果，并将执行结果发送至应用程序。
在一个实施例中，根据任务标识，获取任务请求对应的配置信息的步骤，包括：
获取任务标识对应的当前可用任务版本号；
根据当前可用任务版本号，获取任务请求对应的配置信息。
在一个实施例中，从配置信息获取任务的处理方式，根据处理方式获取任务内容的步骤，包括：
获取任务请求所携带的任务数据；
从配置信息中获取任务处理脚本；
根据任务数据和任务处理脚本，生成任务内容。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
当通过测试环境所发布的任务的配置信息通过审核时，将配置信息同步至生产环境；
获取配置信息的版本号；
将配置信息的版本号标记为任务对应的当前可用任务版本号。在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据任务的执行结果，生成结果日志；
监控结果日志，当结果日志中包括执行失败的结果时，生成失败预警；
将失败预警发送至预设联系人。
在一个实施例中，将任务内容发送至执行机的执行队列，由执行机根据任务内容执行任务的步骤，包括：
根据所述配置信息，获取任务的执行配置信息；
在与执行配置信息对应的时间，将任务内容发送至执行机集群，由执行机集群根据所述执行配置信息对所述任务进行调度，将所述任务内容分配至对应的执行机，根据所述任务数据和所述任务处理脚本执行任务，得到任务的执行结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种任务调度方法，所述方法包括：
接收通过应用程序的服务接口发送的任务请求；所述任务请求携带有任务标识；
根据所述任务标识，获取所述任务请求对应的配置信息；
从所述配置信息获取任务的处理方式，根据所述处理方式获取任务内容；
将所述任务内容发送至执行机集群，由执行机集群根据所述配置信息对所述任务进行调度，将所述任务内容分配至对应的执行机执行任务；
接收所执行机反馈的任务的执行结果，并将执行结果发送至应用程序。
2.根据权利要求1所述的方法，其特征在于，所述根据所述任务标识，获取所述任务请求对应的配置信息的步骤，包括：
获取所述任务标识对应的当前可用任务版本号；
根据所述当前可用任务版本号，获取所述任务请求对应的配置信息。
3.根据权利要求2所述的方法，其特征在于，从所述配置信息获取任务的处理方式，根据所述处理方式获取任务内容的步骤，包括：
获取所述任务请求所携带的任务数据；
从所述配置信息中获取任务处理脚本；
根据所述任务数据和所述任务处理脚本，生成任务内容。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括，当通过测试环境所发布的任务的配置信息通过审核时，将所述配置信息同步至生产环境；
获取所述配置信息的版本号；
将所述配置信息的版本号标记为任务对应的当前可用任务版本号。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据任务的执行结果，生成结果日志；
监控所述结果日志，当结果日志中包括执行失败的结果时，生成失败预警；
将失败预警发送至预设联系人。
6.根据权利要求3所述的方法，其特征在于，将所述任务内容发送至执行机集群，由执行机集群根据所述配置信息对所述任务进行调度，将所述任务内容分配至对应的执行机执行任务的步骤，包括：
根据所述配置信息，获取任务的执行配置信息；
在与执行配置信息对应的时间，将任务内容发送至执行机集群，由执行机集群根据所述执行配置信息对所述任务进行调度，将所述任务内容分配至对应的执行机，根据所述任务数据和所述任务处理脚本执行任务，得到任务的执行结果。
7.一种任务调度装置，其特征在于，所述装置包括：
请求接收模块，用于接收通过应用程序的服务接口发送的任务请求；所述任务请求携带有任务标识；
配置获取模块，用于根据所述任务标识，获取所述任务请求对应的配置信息；
任务内容获取模块，用于从所述配置信息获取任务的处理方式，根据所述处理方式获取任务内容；
执行模块，用于将所述任务内容发送至执行机集群，由执行机集群根据配置信息对所述任务进行调度，将所述任务内容分配至对应的执行机执行任务；
反馈模块，用于接收所执行机反馈的任务的执行结果，并将执行结果发送至应用程序。
8.根据权利要求7所述的装置，其特征在于，所述配置获取模块，包括：
版本获取模块，用于获取所述任务标识对应的当前可用任务版本号；
查找模块，用于根据所述当前可用任务版本号，获取所述任务请求对应的配置信息。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910007425.8A CN109814995A (zh) | 2019-01-04 | 2019-01-04 | 任务调度方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910007425.8A CN109814995A (zh) | 2019-01-04 | 2019-01-04 | 任务调度方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109814995A true CN109814995A (zh) | 2019-05-28 |
Family
ID=66603947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910007425.8A Pending CN109814995A (zh) | 2019-01-04 | 2019-01-04 | 任务调度方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109814995A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110704210A (zh) * | 2019-09-20 | 2020-01-17 | 天翼电子商务有限公司 | 脚本任务调用方法、系统、介质及装置 |
| CN110727526A (zh) * | 2019-09-09 | 2020-01-24 | 上海陆家嘴国际金融资产交易市场股份有限公司 | 大数据计算任务的处理方法和系统 |
| CN110781007A (zh) * | 2019-10-31 | 2020-02-11 | 广州市网星信息技术有限公司 | 任务处理方法、装置、服务器、客户端、系统和存储介质 |
| CN111026530A (zh) * | 2019-11-29 | 2020-04-17 | 珠海随变科技有限公司 | 一种任务调度方法、装置、计算机设备和存储介质 |
| CN111240819A (zh) * | 2020-01-10 | 2020-06-05 | 山东浪潮通软信息科技有限公司 | 一种调度任务的发布系统及方法 |
| CN111913791A (zh) * | 2020-07-02 | 2020-11-10 | 北京和瑞精准医学检验实验室有限公司 | 任务调度方法、装置、设备和计算机可读存储介质 |
| CN112561264A (zh) * | 2020-12-04 | 2021-03-26 | 中广核工程有限公司 | 企业内容的服务方法、服务系统和存储介质 |
| CN113986507A (zh) * | 2021-11-01 | 2022-01-28 | 佛山技研智联科技有限公司 | 作业调度方法、装置、计算机设备及存储介质 |
| CN114924854A (zh) * | 2022-05-23 | 2022-08-19 | 深圳微言科技有限责任公司 | 实现任务调度的方法、装置及系统 |
| CN117075930A (zh) * | 2023-10-17 | 2023-11-17 | 之江实验室 | 一种计算框架管理系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101165655A (zh) * | 2006-10-20 | 2008-04-23 | 国际商业机器公司 | 多处理器计算系统及其任务分配方法 |
| US20160241438A1 (en) * | 2015-02-13 | 2016-08-18 | Amazon Technologies, Inc. | Configuration service for configuring instances |
| CN105930138A (zh) * | 2015-12-25 | 2016-09-07 | 中国银联股份有限公司 | 一种消息处理方法及装置 |
| CN107908487A (zh) * | 2017-11-08 | 2018-04-13 | 中国平安人寿保险股份有限公司 | 任务控制管理方法、装置、设备及计算机可读存储介质 |
| CN107943577A (zh) * | 2016-10-12 | 2018-04-20 | 百度在线网络技术（北京）有限公司 | 用于调度任务的方法和装置 |
| CN108319499A (zh) * | 2018-02-07 | 2018-07-24 | 麒麟合盛网络技术股份有限公司 | 任务调度方法及装置 |
| CN108337296A (zh) * | 2018-01-12 | 2018-07-27 | 深圳壹账通智能科技有限公司 | 消息推送处理方法、装置、计算机设备和存储介质 |
| CN108345497A (zh) * | 2018-01-17 | 2018-07-31 | 千寻位置网络有限公司 | Gnss离线定位模拟的执行方法及系统、定位装置 |
| CN108965381A (zh) * | 2018-05-31 | 2018-12-07 | 康键信息技术（深圳）有限公司 | 基于Nginx的负载均衡实现方法、装置、计算机设备和介质 |
| CN108960773A (zh) * | 2018-06-28 | 2018-12-07 | 腾讯科技（深圳）有限公司 | 业务管理方法、计算机设备和存储介质 |
-
2019
- 2019-01-04 CN CN201910007425.8A patent/CN109814995A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101165655A (zh) * | 2006-10-20 | 2008-04-23 | 国际商业机器公司 | 多处理器计算系统及其任务分配方法 |
| US20160241438A1 (en) * | 2015-02-13 | 2016-08-18 | Amazon Technologies, Inc. | Configuration service for configuring instances |
| CN105930138A (zh) * | 2015-12-25 | 2016-09-07 | 中国银联股份有限公司 | 一种消息处理方法及装置 |
| CN107943577A (zh) * | 2016-10-12 | 2018-04-20 | 百度在线网络技术（北京）有限公司 | 用于调度任务的方法和装置 |
| CN107908487A (zh) * | 2017-11-08 | 2018-04-13 | 中国平安人寿保险股份有限公司 | 任务控制管理方法、装置、设备及计算机可读存储介质 |
| CN108337296A (zh) * | 2018-01-12 | 2018-07-27 | 深圳壹账通智能科技有限公司 | 消息推送处理方法、装置、计算机设备和存储介质 |
| CN108345497A (zh) * | 2018-01-17 | 2018-07-31 | 千寻位置网络有限公司 | Gnss离线定位模拟的执行方法及系统、定位装置 |
| CN108319499A (zh) * | 2018-02-07 | 2018-07-24 | 麒麟合盛网络技术股份有限公司 | 任务调度方法及装置 |
| CN108965381A (zh) * | 2018-05-31 | 2018-12-07 | 康键信息技术（深圳）有限公司 | 基于Nginx的负载均衡实现方法、装置、计算机设备和介质 |
| CN108960773A (zh) * | 2018-06-28 | 2018-12-07 | 腾讯科技（深圳）有限公司 | 业务管理方法、计算机设备和存储介质 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110727526A (zh) * | 2019-09-09 | 2020-01-24 | 上海陆家嘴国际金融资产交易市场股份有限公司 | 大数据计算任务的处理方法和系统 |
| CN110704210B (zh) * | 2019-09-20 | 2023-10-10 | 天翼电子商务有限公司 | 脚本任务调用方法、系统、介质及装置 |
| CN110704210A (zh) * | 2019-09-20 | 2020-01-17 | 天翼电子商务有限公司 | 脚本任务调用方法、系统、介质及装置 |
| CN110781007A (zh) * | 2019-10-31 | 2020-02-11 | 广州市网星信息技术有限公司 | 任务处理方法、装置、服务器、客户端、系统和存储介质 |
| CN110781007B (zh) * | 2019-10-31 | 2023-12-26 | 广州市网星信息技术有限公司 | 任务处理方法、装置、服务器、客户端、系统和存储介质 |
| CN111026530A (zh) * | 2019-11-29 | 2020-04-17 | 珠海随变科技有限公司 | 一种任务调度方法、装置、计算机设备和存储介质 |
| CN111240819A (zh) * | 2020-01-10 | 2020-06-05 | 山东浪潮通软信息科技有限公司 | 一种调度任务的发布系统及方法 |
| CN111913791A (zh) * | 2020-07-02 | 2020-11-10 | 北京和瑞精准医学检验实验室有限公司 | 任务调度方法、装置、设备和计算机可读存储介质 |
| CN111913791B (zh) * | 2020-07-02 | 2023-10-13 | 北京和瑞精湛医学检验实验室有限公司 | 任务调度方法、装置、设备和计算机可读存储介质 |
| CN112561264A (zh) * | 2020-12-04 | 2021-03-26 | 中广核工程有限公司 | 企业内容的服务方法、服务系统和存储介质 |
| CN113986507A (zh) * | 2021-11-01 | 2022-01-28 | 佛山技研智联科技有限公司 | 作业调度方法、装置、计算机设备及存储介质 |
| CN114924854A (zh) * | 2022-05-23 | 2022-08-19 | 深圳微言科技有限责任公司 | 实现任务调度的方法、装置及系统 |
| CN117075930A (zh) * | 2023-10-17 | 2023-11-17 | 之江实验室 | 一种计算框架管理系统 |
| CN117075930B (zh) * | 2023-10-17 | 2024-01-26 | 之江实验室 | 一种计算框架管理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109814995A (zh) | 任务调度方法、装置、计算机设备和存储介质 | |
| AU2018203054B2 (en) | System of distributed software quality improvement | |
| CN110069572B (zh) | 基于大数据平台的hive任务调度方法、装置、设备及存储介质 | |
| CN102006332B (zh) | 一种软件升级的方法和系统 | |
| CN110738389A (zh) | 工作流处理方法、装置、计算机设备和存储介质 | |
| CN108491254A (zh) | 一种数据仓库的调度方法及装置 | |
| CN110096424B (zh) | 测试的处理方法、装置、电子设备及存储介质 | |
| CN106612204B (zh) | 业务校验方法及装置 | |
| CN112433944A (zh) | 业务测试方法、装置、计算机设备和存储介质 | |
| CN103279416A (zh) | 一种存储软件自动化测试系统和方法 | |
| CN109683982A (zh) | Mes系统控制方法、装置、计算机设备和存储介质 | |
| CN107733710A (zh) | 链路调用关系的构建方法、装置、计算机设备及存储介质 | |
| CN112631686A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN109992506A (zh) | 调度测试方法、装置、计算机设备和存储介质 | |
| CN109800081A (zh) | 一种大数据任务的管理方法及相关设备 | |
| CN109711124B (zh) | 管理移动设备方法、装置、计算机设备和存储介质 | |
| CN115982049A (zh) | 性能测试中的异常检测方法、装置和计算机设备 | |
| CN107885593B (zh) | 用户认证方法和装置 | |
| CN112860780B (zh) | 数据导出方法、装置和终端设备 | |
| CN114900569B (zh) | 一种测试脚本的获取方法及装置 | |
| CN115344366B (zh) | 连接池对象的切换方法、装置、电子设备及可读存储介质 | |
| CN117311788A (zh) | 一种处理git工作流的方法和装置 | |
| CN115599546A (zh) | 业务编排管理方法、装置、电子设备和可读存储介质 | |
| CN114020611A (zh) | 测试数据监控处理方法、装置、计算机设备及存储介质 | |
| CN118114960A (zh) | 流程运行管理方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |