CN109725991A - 任务处理方法、装置、设备及可读存储介质 - Google Patents
任务处理方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN109725991A CN109725991A CN201810171686.9A CN201810171686A CN109725991A CN 109725991 A CN109725991 A CN 109725991A CN 201810171686 A CN201810171686 A CN 201810171686A CN 109725991 A CN109725991 A CN 109725991A
- Authority
- CN
- China
- Prior art keywords
- task
- waiting task
- processing
- calculating group
- waiting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Memory System Of A Hierarchy Structure (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种任务处理方法、装置、设备及可读存储介质，所述任务处理方法包括：每间隔预设时间段统计所述平台服务器待处理任务的数量，当所述待处理任务数量大于第一预设值时，缓存所述待处理任务；获取各个计算组的处理能力，基于所述待处理任务数量与各个计算组的处理能力，确定处理所述待处理任务的各个目标计算组；对所述缓存处理的待处理任务进行分批处理，以得到各个子任务数据，将所述各个子任务数据分别发送给所述各个目标计算组，并接收各个目标计算机组反馈的处理所述子任务数据的处理结果。本发明解决现有技术中平台服务器不能高效处理突增的任务数据，影响平台业务发展技术问题。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种任务处理方法、装置、设备及可读存储介质。
背景技术
目前，平台各个下属分支获取任务数据后集中发给平台的主服务器，以供主服务器进行处理，平台越大需要处理的任务数据越多，然而现有平台服务器在任务数据突增时，还是通过主服务器的一个计算组顺序处理该任务数据，导致任务数据的处理速度慢，严重影响了业务的进展，长期以来不利于业务的发展，影响了数据处理体验。
发明内容
本发明的主要目的在于提供一种任务处理方法、装置、设备及可读存储介质，旨在解决现有技术中平台服务器不能高效处理突增的任务数据，影响平台业务发展技术问题。
为实现上述目的，本发明提供一种任务处理方法，所述任务处理方法包括：
每间隔预设时间段统计所述平台服务器待处理任务的数量，当所述待处理任务数量大于第一预设值时，缓存所述待处理任务；
获取各个计算组的处理能力，基于所述待处理任务数量与各个计算组的处理能力，确定处理所述待处理任务的各个目标计算组；
对所述缓存处理的待处理任务进行分批处理，以得到各个子任务数据，将所述各个子任务数据分别发送给所述各个目标计算组，并接收各个目标计算机组反馈的处理所述子任务数据的处理结果。
可选地，所述获取各个计算组的处理能力，基于所述待处理任务数量与各个计算组的处理能力，确定处理所述待处理任务的各个目标计算组步骤包括：
获取各个计算组单位时间内处理待处理任务的计算量，以获取各个计算组的处理能力，并对所述各个计算组进行处理能力的高低排序；
基于所述待处理任务数量与所述所述高低排序，确定目标计算组的数目与各个目标计算组。
可选地，所述对所述缓存处理的待处理任务进行分批处理，以得到各个子任务数据步骤包括：
根据所述各个目标计算组的处理能力，获取各个目标计算组的计算量比例；
基于所述计算量比例对所述缓存处理的待处理任务进行分批处理，以得到各个子任务数据。
可选地，所述将所述各个子任务数据分别发送给所述各个目标计算组步骤之前包括：
生成对应的子任务数据分布表，在所述任务数据分布表中保存所述子任务数据与对应目标计算组的映射关系，以供后续查询。
可选地，所述每间隔预设时间段统计所述平台服务器待处理任务的数量步骤之前包括：
基于预存的时间表信息，判断当前是否处于预设特殊时间段；
当当前处于预设特殊时间段时，执行每间隔预设时间段统计所述平台服务器待处理任务的数量的步骤。
可选地，所述基于预存的时间表信息，判断当前是否处于预设特殊时间段步骤包括：
获取所述待处理任务的属性，当所述待处理任务为贷款申请处理任务时，基于预存的时间表信息，判断当前是否处于年底最后一月，当当前处于年底最后一月时，判断当前处于预设特殊时间段；
当所述待处理任务为工作报表处理任务时，基于预存的时间表信息，判断当前是否处于月底最后三天，当当前处于月底最后三天时，判断当前处于预设特殊时间段。
可选地，所述每间隔预设时间段统计所述平台服务器待处理任务的数量步骤之后包括：
当所述待处理任务的数量大于第二预设值时，获取所述待处理任务的数量与第二预设值的数量差值，其中，第二预设值大于第一预设值；
基于所述数量差值，对所述待处理任务进行拆分处理，以得到拆分后的待处理任务；
将所述拆分后的待处理任务分别发送给平台服务器之外的备用服务器，并接收各个备用服务器反馈的处理结果。
此外，为实现上述目的，本发明还提供一种任务处理设备，所述任务处理设备包括：存储器、处理器，通信总线以及存储在所述存储器上的任务处理程序，
所述通信总线用于实现处理器与存储器间的通信连接；
所述处理器用于执行所述任务处理程序，以实现以下步骤：
每间隔预设时间段统计所述平台服务器待处理任务的数量，当所述待处理任务数量大于第一预设值时，缓存所述待处理任务；
获取各个计算组的处理能力，基于所述待处理任务数量与各个计算组的处理能力，确定处理所述待处理任务的各个目标计算组；
对所述缓存处理的待处理任务进行分批处理，以得到各个子任务数据，将所述各个子任务数据分别发送给所述各个目标计算组，并接收各个目标计算机组反馈的处理所述子任务数据的处理结果。
可选地，所述获取各个计算组的处理能力，基于所述待处理任务数量与各个计算组的处理能力，确定处理所述待处理任务的各个目标计算组步骤包括：
获取各个计算组单位时间内处理待处理任务的计算量，以获取各个计算组的处理能力，并对所述各个计算组进行处理能力的高低排序；
基于所述待处理任务数量与所述所述高低排序，确定目标计算组的数目与各个目标计算组。
可选地，所述对所述缓存处理的待处理任务进行分批处理，以得到各个子任务数据步骤包括：
根据所述各个目标计算组的处理能力，获取各个目标计算组的计算量比例；
基于所述计算量比例对所述缓存处理的待处理任务进行分批处理，以得到各个子任务数据。
可选地，所述将所述各个子任务数据分别发送给所述各个目标计算组步骤之前包括：
生成对应的子任务数据分布表，在所述任务数据分布表中保存所述子任务数据与对应目标计算组的映射关系，以供后续查询。
可选地，所述每间隔预设时间段统计所述平台服务器待处理任务的数量步骤之前包括：
基于预存的时间表信息，判断当前是否处于预设特殊时间段；
当当前处于预设特殊时间段时，执行每间隔预设时间段统计所述平台服务器待处理任务的数量的步骤。
可选地，所述基于预存的时间表信息，判断当前是否处于预设特殊时间段步骤包括：
获取所述待处理任务的属性，当所述待处理任务为贷款申请处理任务时，基于预存的时间表信息，判断当前是否处于年底最后一月，当当前处于年底最后一月时，判断当前处于预设特殊时间段；
当所述待处理任务为工作报表处理任务时，基于预存的时间表信息，判断当前是否处于月底最后三天，当当前处于月底最后三天时，判断当前处于预设特殊时间段。
可选地，所述每间隔预设时间段统计所述平台服务器待处理任务的数量步骤之后包括：
当所述待处理任务的数量大于第二预设值时，获取所述待处理任务的数量与第二预设值的数量差值，其中，第二预设值大于第一预设值；
基于所述数量差值，对所述待处理任务进行拆分处理，以得到拆分后的待处理任务；
将所述拆分后的待处理任务分别发送给平台服务器之外的备用服务器，并接收各个备用服务器反馈的处理结果。
此外，为实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序可被一个或者一个以上的处理器执行以用于：
每间隔预设时间段统计所述平台服务器待处理任务的数量，当所述待处理任务数量大于第一预设值时，缓存所述待处理任务；
获取各个计算组的处理能力，基于所述待处理任务数量与各个计算组的处理能力，确定处理所述待处理任务的各个目标计算组；
对所述缓存处理的待处理任务进行分批处理，以得到各个子任务数据，将所述各个子任务数据分别发送给所述各个目标计算组，并接收各个目标计算机组反馈的处理所述子任务数据的处理结果。
本发明通过每间隔预设时间段统计所述平台服务器待处理任务的数量，当所述待处理任务数量大于第一预设值时，缓存所述待处理任务；获取各个计算组的处理能力，基于所述待处理任务数量与各个计算组的处理能力，确定处理所述待处理任务的各个目标计算组；对所述缓存处理的待处理任务进行分批处理，以得到各个子任务数据，将所述各个子任务数据分别发送给所述各个目标计算组，并接收各个目标计算机组反馈的处理所述子任务数据的处理结果。由于在本申请中，在待处理任务数量大于第一预设值，即待处理任务数量突增时，根据待处理任务的数量与服务器各个计算组的处理能力，将待处理任务对应的各个子任务数据分别发送给所述各个目标计算组，而不是由服务器的某一计算机组进行顺序处理，因而提高了待处理任务的处理效率，解决了现有技术中平台服务器不能高效处理突增的任务数据，影响平台业务发展技术问题。
附图说明
图1为本发明任务处理方法第一实施例的流程示意图；
图2为本发明任务处理方法第二实施例的流程示意图；
图3是本发明实施例方法涉及的硬件运行环境的设备结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种任务处理方法，所述任务处理方法应用于一体机，在本发明任务处理方法的第一实施例中，参照图1，所述任务处理方法包括：
每间隔预设时间段统计所述平台服务器待处理任务的数量，当所述待处理任务数量大于第一预设值时，缓存所述待处理任务；获取各个计算组的处理能力，基于所述待处理任务数量与各个计算组的处理能力，确定处理所述待处理任务的各个目标计算组；对所述缓存处理的待处理任务进行分批处理，以得到各个子任务数据，将所述各个子任务数据分别发送给所述各个目标计算组，并接收各个目标计算机组反馈的处理所述子任务数据的处理结果。
具体步骤如下：
步骤S10，每间隔预设时间段统计所述平台服务器待处理任务的数量，当所述待处理任务数量大于第一预设值时，缓存所述待处理任务；
需要说明的是，本实施例任务处理方法应用于平台服务器，待处理任务可以是平台各个下属分支获取后集中发给服务器得到的，平台越大需要处理的待处理任务越多，在本实施例中，平台服务器包括各个计算组，该各个计算组能够分开处理各个待处理任务。
在现有技术中，待处理任务由平台服务器的一个计算组处理，在待处理任务突增时，常常造成待处理任务的处理时间过长的问题，如当待处理任务的数据量为1000W时，一台服务器的一个计算组，若在1秒能够处理100W条数据，则现有技术中，处理待处理任务数据的总耗时为10秒。
在本实施例中，平台的服务器下预设多个计算机组，该各个计算机组处理任务数据的能力可相同，也可不同，
每间隔预设时间段统计所述平台服务器待处理任务的数量，其中，在本实施例中，在每间隔预设时间段统计所述平台服务器待处理任务的数量步骤之前还可包括：
步骤A1，基于预存的时间表信息，判断当前是否处于预设特殊时间段；
获取预存的时间表信息，该时间表信息是预存在服务器中的，该时间表信息包括日历、节假日、特殊时间段等信息，该时间表信息还包括过去历史时间段内待处理任务的处理时间规律，基于预存的时间表信息，判断当前是否处于预设特殊时间段，其中，预设特殊时间段指的是预设任务的处理量呈突增状态时的时间段，如季末三天、月末最后一天、年终等特殊时间段。
步骤A2，当当前处于预设特殊时间段时，执行每间隔预设时间段统计所述平台服务器待处理任务的数量的步骤。
当当前处于预设特殊时间段时，执行每间隔预设时间段统计所述平台服务器待处理任务的数量的步骤，具体地：
每间隔预设时间段统计所述平台服务器待处理任务的数量，该预设时间段可是1分钟，10分钟，半小时等，在此不做具体限定，该预设时间段可进行变更，当所述待处理任务数量大于第一预设值时，其中，第一预设值可进行更改，缓存所述待处理任务，缓存所述待处理任务即将在两个统计时间点之间的待处理任务先暂存，具体地，在当前统计时间时将上一统计时间点到当前统计时间点内暂存的待处理任务一并进行获取暂存，需要说明的是，获取待处理任务的程序包为独立程序包，能够支持单独发布，以降低内部代码之间的耦合度，提高通用性。
步骤S20，获取各个计算组的处理能力，基于所述待处理任务数量与各个计算组的处理能力，确定处理所述待处理任务的各个目标计算组；
获取各个计算组的处理能力，基于所述待处理任务数量与各个计算组的处理能力，确定处理所述待处理任务的各个目标计算组，具体地，各个计算组的处理能力由各个计算组单位时间内处理待处理任务的计算量进行确定，在本实施例中，以各个计算组的处理能力相同为例进行说明，如每个计算组在1秒能够处理100W条待处理任务，基于所述待处理任务数量与各个计算组的处理能力，确定处理所述待处理任务的各个目标计算组过程可是：当预设时间段内待处理任务数量为1000W，每个计算组在1秒内能够处理100W条待处理任务时，若通过哈希算法，综合考虑处理能耗以及预设时间段如预设时间段为10S，确定处理所述待处理任务的各个目标计算组数目为10组，由于各个目标计算组处理能力相同，因而，在计算组中随机选取10个计算组对待处理任务进行计算，从而使其他计算组空闲，降低服务器的功耗。
步骤S30，对所述缓存处理的待处理任务进行分批处理，以得到各个子任务数据，将所述各个子任务数据分别发送给所述各个目标计算组，并接收各个目标计算机组反馈的处理所述子任务数据的处理结果。
在确定目标计算组后，对所述缓存处理的待处理任务进行分批处理，具体地，当目标计算组处理能力相同时，根据目标计算组的数目对缓存处理的待处理任务进行均分处理，以得到各个子任务数据，如将待处理任务均分为10个子任务数据，将该10个子任务数据分别发送给各个目标计算组，当目标计算组处理能力不相同时，根据计算能力的比例对缓存处理的待处理任务进行分批处理，以得到各个任务数量不同的子任务数据，将所述各个子任务数据分别发送给对应各个目标计算组，处理能力强的目标计算组得到任务数量多的子任务数据，处理能力弱的目标计算组得到任务数量少的子任务数据，自傲本实施例中，将任务分配后，接收各个计算机组反馈的处理所述子任务数据的处理结果。
本发明通过每间隔预设时间段统计所述平台服务器待处理任务的数量，当所述待处理任务数量大于第一预设值时，缓存所述待处理任务；获取各个计算组的处理能力，基于所述待处理任务数量与各个计算组的处理能力，确定处理所述待处理任务的各个目标计算组；对所述缓存处理的待处理任务进行分批处理，以得到各个子任务数据，将所述各个子任务数据分别发送给所述各个目标计算组，并接收各个目标计算机组反馈的处理所述子任务数据的处理结果。由于在本申请中，在待处理任务数量大于第一预设值，即待处理任务数量突增时，根据待处理任务的数量与服务器各个计算组的处理能力，将待处理任务对应的各个子任务数据分别发送给所述各个目标计算组，而不是由服务器的某一计算机组进行顺序处理，因而提高了待处理任务的处理效率，解决了现有技术中平台服务器不能高效处理突增的任务数据，影响平台业务发展技术问题。
可选地，本发明提供任务处理方法的第二实施例，在第二实施例中，所述获取各个计算组的处理能力，基于所述待处理任务数量与各个计算组的处理能力，确定处理所述待处理任务的各个目标计算组步骤包括：
步骤S21，获取各个计算组单位时间内处理待处理任务的计算量，以获取各个计算组的处理能力，并对所述各个计算组进行处理能力的高低排序；
计算组的处理能力以计算组单位时间内处理待处理任务的计算量进行衡量，获取各个计算组单位时间内处理待处理任务的计算量，各个计算组的计算量可不同，在本实施例中，以各个计算组的计算量不同为例进行具体说明，如a计算组1S内处理待处理任务的计算量为100W，b计算组1S内处理待处理任务的计算量为50W，c计算组1S内处理待处理任务的计算量为80W，对所述各个计算组进行处理能力的高低排序，如a、b、c计算组的高低排序为a、c、b。
步骤S22，基于所述待处理任务数量与所述所述高低排序，确定目标计算组的数目与各个目标计算组；
基于所述待处理任务数量与所述各个计算组的处理能力，确定计算组目标计算组的数目，如当所述待处理任务数量为1000W时，预设时间段为5S，各个计算组处理能力计算量分别为a：100W、c：80W、b：50W、d：100W等时，基于目标计算组数量少的原则，确定目标计算组的数目为2，目标计算组为a、d，即当各个计算组总的计算能力大于全部待处理任务需要的计算能力时，裁剪部分计算能力弱的计算组。
在本实施例中，通过获取各个计算组单位时间内处理待处理任务的计算量，以获取各个计算组的处理能力，并对所述各个计算组进行处理能力的高低排序；基于所述待处理任务数量与所述所述高低排序，确定目标计算组的数目与各个目标计算组。在本实施例中，在各个计算组的计算量不同时，实现高效处理待处理任务。
可选地，本发明提供任务处理方法的第三实施例，在第三实施例中，所述对所述缓存处理的待处理任务进行分批处理，以得到各个子任务数据步骤包括：
步骤S31，根据所述各个目标计算组的处理能力，获取各个目标计算组的计算量比例；
据所述各个目标计算组的处理能力，获取各个目标计算组的计算量比例，如各个目标计算组的数目为3，分别可处理200W，200W，100W的计算量，总计算量为500，因而上述各个目标计算组的计算量比例为2：2：1。
步骤S32，基于所述计算量比例对所述缓存处理的待处理任务进行分批处理，以得到各个子任务数据。
基于所述计算量比例对所述缓存处理的待处理任务进行分批处理，以得到各个子任务数据，如缓存处理的待处理任务为1000W的计算量，则基于2：2：1的比例将该1000W的计算量分为400W，400W，200W，分别发送给对应的目标计算组。
在本实施例中，通过根据所述各个目标计算组的处理能力，获取各个目标计算组的计算量比例；基于所述计算量比例对所述缓存处理的待处理任务进行分批处理，以得到各个子任务数据。本实施例在各个计算组的计算量不同时，对待处理任务进行分批处理，以实现高效处理待处理任务。
可选地，本发明提供任务处理方法的第四实施例，在第四实施例中，所述将所述各个子任务数据分别发送给所述各个目标计算组步骤之前包括：
步骤B1，生成对应的子任务数据分布表，在所述任务数据分布表中保存所述子任务数据与对应目标计算组的映射关系，以供后续查询。
在本实施例中，将所述各个子任务数据分别发送给所述各个目标计算组步骤之前，服务器中生成对应的子任务数据分布表，将子任务数据和对应目标计算组的映射关系存储在数据分布表中，如a目标计算组处理某l1子任务数据，则在子任务数据分布表中保存l1子任务数据与a目标计算组的映射关系。
在本实施例中，通过生成对应的子任务数据分布表，在所述任务数据分布表中保存所述子任务数据与对应目标计算组的映射关系，以便后续查询。
可选地，本发明提供任务处理方法的第五实施例，在第五实施例中，所述每间隔预设时间段统计所述平台服务器待处理任务的数量步骤之后包括：
步骤C1，当所述待处理任务的数量大于第二预设值时，获取所述待处理任务的数量与第二预设值的数量差值；
需要说明的是，平台可以采用分布式的大数据处理方式，即平台可包括多个服务器，在待处理任务过多时，增加服务器内部的计算组的同时可增加服务器，以进一步增强平台的运算能力，当所述待处理任务的数量大于第二预设值时，其中，第二预设值可是预设时间段内服务器处理的最大任务数，获取所述待处理任务的数量与第二预设值的数量差值。
步骤C2，基于所述数量差值，对所述待处理任务进行拆分处理，以得到拆分后的待处理任务；
基于所述数量差值，确定增加的服务器数目，并基于所述数量差值，对所述待处理任务进行拆分处理，以得到拆分后的待处理任务。
步骤C3，将所述拆分后的待处理任务分别发送给不同服务器，并接收各个服务器反馈的处理结果。
将所述拆分后的待处理任务分别发送给不同服务器如M服务器，S服务器，并接收M服务器，S服务器反馈的处理结果。
在本实施例中，通过当所述待处理任务的数量大于第二预设值时，获取所述待处理任务的数量与第二预设值的数量差值；基于所述数量差值，对所述待处理任务进行拆分处理，以得到拆分后的待处理任务；将所述拆分后的待处理任务分别发送给不同服务器，并接收各个服务器反馈的处理结果。以在待处理任务过多时，及时高效处理待处理任务。
可选地，本发明提供任务处理方法的第六实施例，在第六实施例中，所述每间隔预设时间段统计所述平台服务器待处理任务的数量步骤之后包括：
所述基于预存的时间表信息，判断当前是否处于预设特殊时间段步骤包括：
步骤D1，获取所述待处理任务的属性，当所述待处理任务为贷款申请处理任务时，基于预存的时间表信息，判断当前是否处于年底最后一月，当当前处于年底最后一月时，判断当前处于预设特殊时间段；
获取所述待处理任务的属性，具体地，获取所述待处理任务的类型，当所述待处理任务为贷款申请处理任务时，基于历史经验，年底贷款申请多，因而基于预存的时间表信息，判断当前是否处于年底最后一月，当当前处于年底最后一月时，判断当前处于预设特殊时间段。
步骤D2，当所述待处理任务为工作报表处理任务时，基于预存的时间表信息，判断当前是否处于月底最后三天，当当前处于月底最后三天时，判断当前处于预设特殊时间段。
当所述待处理任务为工作报表处理任务时，基于历史经验，月底最后三天工作报表处理任务多，因而基于预存的时间表信息，判断当前是否处于月底最后三天，当当前处于月底最后三时，判断当前处于预设特殊时间段。
在本实施例中，当待处理任务为贷款申请处理任务以及工作报表处理任务时，根据预存的时间表信息，准确判断当前是否处于预设特殊时间段，避免可能存在的待处理任务处理不及时的状况。
本发明还提供一种任务处理装置，所述任务处理装置包括：
缓存模块，用于每间隔预设时间段统计所述平台服务器待处理任务的数量，当所述待处理任务数量大于第一预设值时，缓存所述待处理任务；
第一获取模块，用于获取各个计算组的处理能力，基于所述待处理任务数量与各个计算组的处理能力，确定处理所述待处理任务的各个目标计算组；
发送模块，用于对所述缓存处理的待处理任务进行分批处理，以得到各个子任务数据，将所述各个子任务数据分别发送给所述各个目标计算组，并接收各个目标计算机组反馈的处理所述子任务数据的处理结果。
可选地，所述第一获取模块包括：
第一获取单元，用于获取各个计算组单位时间内处理待处理任务的计算量，以获取各个计算组的处理能力，并对所述各个计算组进行处理能力的高低排序；
确定单元，用于基于所述待处理任务数量与所述所述高低排序，确定目标计算组的数目与各个目标计算组。
可选地，所述缓存模块包括：
第二获取单元，用于根据所述各个目标计算组的处理能力，获取各个目标计算组的计算量比例；
分批单元，用于基于所述计算量比例对所述缓存处理的待处理任务进行分批处理，以得到各个子任务数据。
可选地，所述任务处理装置还包括：
生成模块，用于生成对应的子任务数据分布表，在所述任务数据分布表中保存所述子任务数据与对应目标计算组的映射关系。
可选地，所述任务处理装置还包括：
判断模块，用于基于预存的时间表信息，判断当前是否处于预设特殊时间段；
执行模块，用于当当前处于预设特殊时间段时，执行每间隔预设时间段统计所述平台服务器待处理任务的数量的步骤。
可选地，所述任务处理装置还包括：
第二获取模块，用于当所述待处理任务的数量大于第二预设值时，获取所述待处理任务的数量与第二预设值的数量差值；
拆分模块，用于基于所述数量差值，对所述待处理任务进行拆分处理，以得到拆分后的待处理任务；
接收模块，用于将所述拆分后的待处理任务分别发送给不同服务器，并接收各个服务器反馈的处理结果。
可选地，所述判断模块实现：
获取所述待处理任务的属性，当所述待处理任务为贷款申请处理任务时，基于预存的时间表信息，判断当前是否处于年底最后一月，当当前处于年底最后一月时，判断当前处于预设特殊时间段；
当所述待处理任务为工作报表处理任务时，基于预存的时间表信息，判断当前是否处于月底最后三天，当当前处于月底最后三天时，判断当前处于预设特殊时间段。
参照图3，图3是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例任务处理设备可以是PC，也可以是智能手机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面3)播放器、便携计算机等终端设备。
如图3所示，该任务处理设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
进一步地，该任务处理设备还可以包括用户接口、网络接口、摄像头、RF(RadioFrequency，射频)电路，传感器、音频电路、WiFi模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解，图3中示出的任务处理设备结构并不构成对任务处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图3所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及任务处理程序。操作系统是管理和控制任务处理设备硬件和软件资源的程序，支持任务处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与任务处理设备中其它硬件和软件之间通信。
在图3所示的任务处理设备中，处理器1001用于执行存储器1005中存储的任务处理程序，实现上述任务处理方法各实施例中的步骤。
此外，为实现上述目的，本发明实施例还提供一种任务处理设备，所述任务处理设备包括：存储器、处理器，通信总线以及存储在所述存储器上的任务处理程序，
所述通信总线用于实现处理器与存储器间的通信连接；
所述处理器用于执行所述任务处理程序，以实现上述任务处理方法各实施例中的步骤
本发明实施例提供了一种可读存储介质，所述可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述所述的任务处理方法的步骤。
本发明可读存储介质具体实施方式与上述任务处理方法各实施例基本相同，在此不再赘述。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利处理范围内。
Claims (10)
1.一种任务处理方法，其特征在于，所述任务处理方法应用于平台服务器，所述平台服务器包括各个计算组，所述任务处理方法包括：
每间隔预设时间段统计所述平台服务器待处理任务的数量，当所述待处理任务数量大于第一预设值时，缓存所述待处理任务；
获取各个计算组的处理能力，基于所述待处理任务数量与各个计算组的处理能力，确定处理所述待处理任务的各个目标计算组；
对所述缓存处理的待处理任务进行分批处理，以得到各个子任务数据，将所述各个子任务数据分别发送给所述各个目标计算组，并接收各个目标计算机组反馈的处理所述子任务数据的处理结果。
2.如权利要求1所述的任务处理方法，其特征在于，所述获取各个计算组的处理能力，基于所述待处理任务数量与各个计算组的处理能力，确定处理所述待处理任务的各个目标计算组步骤包括：
获取各个计算组单位时间内处理待处理任务的计算量，以获取各个计算组的处理能力，并对所述各个计算组进行处理能力的高低排序；
基于所述待处理任务数量与所述所述高低排序，确定目标计算组的数目与各个目标计算组。
3.如权利要求2所述的任务处理方法，其特征在于，所述对所述缓存处理的待处理任务进行分批处理，以得到各个子任务数据步骤包括：
根据所述各个目标计算组的处理能力，获取各个目标计算组的计算量比例；
基于所述计算量比例对所述缓存处理的待处理任务进行分批处理，以得到各个子任务数据。
4.如权利要求1所述的任务处理方法，其特征在于，所述将所述各个子任务数据分别发送给所述各个目标计算组步骤之前包括：
生成对应的子任务数据分布表，在所述任务数据分布表中保存所述子任务数据与对应目标计算组的映射关系，以供后续查询。
5.如权利要求1-4任一项所述的任务处理方法，其特征在于，所述每间隔预设时间段统计所述平台服务器待处理任务的数量步骤之前包括：
基于预存的时间表信息，判断当前是否处于预设特殊时间段；
当当前处于预设特殊时间段时，执行每间隔预设时间段统计所述平台服务器待处理任务的数量的步骤。
6.如权利要求5所述的任务处理方法，其特征在于，所述基于预存的时间表信息，判断当前是否处于预设特殊时间段步骤包括：
获取所述待处理任务的属性，当所述待处理任务为贷款申请处理任务时，基于预存的时间表信息，判断当前是否处于年底最后一月，当当前处于年底最后一月时，判断当前处于预设特殊时间段；
当所述待处理任务为工作报表处理任务时，基于预存的时间表信息，判断当前是否处于月底最后三天，当当前处于月底最后三天时，判断当前处于预设特殊时间段。
7.如权利要求1所述的任务处理方法，其特征在于，所述每间隔预设时间段统计所述平台服务器待处理任务的数量步骤之后包括：
当所述待处理任务的数量大于第二预设值时，获取所述待处理任务的数量与第二预设值的数量差值，其中，第二预设值大于第一预设值；
基于所述数量差值，对所述待处理任务进行拆分处理，以得到拆分后的待处理任务；
将所述拆分后的待处理任务分别发送给平台服务器之外的备用服务器，并接收各个备用服务器反馈的处理结果。
8.一种任务处理装置，其特征在于，所述任务处理装置包括：
缓存模块，用于每间隔预设时间段统计所述平台服务器待处理任务的数量，当所述待处理任务数量大于第一预设值时，缓存所述待处理任务；
第一获取模块，用于获取各个计算组的处理能力，基于所述待处理任务数量与各个计算组的处理能力，确定处理所述待处理任务的各个目标计算组；
发送模块，用于对所述缓存处理的待处理任务进行分批处理，以得到各个子任务数据，将所述各个子任务数据分别发送给所述各个目标计算组，并接收各个目标计算机组反馈的处理所述子任务数据的处理结果。
9.一种任务处理设备，其特征在于，所述任务处理设备包括：存储器、处理器，通信总线以及存储在所述存储器上的任务处理程序，
所述通信总线用于实现处理器与存储器间的通信连接；
所述处理器用于执行所述任务处理程序，以实现如权利要求1至7中任一项所述的任务处理方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有任务处理程序，所述任务处理程序被处理器执行时实现如权利要求1-7中任一项所述的任务处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810171686.9A CN109725991B (zh) | 2018-02-28 | 2018-02-28 | 任务处理方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810171686.9A CN109725991B (zh) | 2018-02-28 | 2018-02-28 | 任务处理方法、装置、设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109725991A true CN109725991A (zh) | 2019-05-07 |
| CN109725991B CN109725991B (zh) | 2021-04-16 |
Family
ID=66293461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810171686.9A Active CN109725991B (zh) | 2018-02-28 | 2018-02-28 | 任务处理方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109725991B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110351345A (zh) * | 2019-06-25 | 2019-10-18 | 阿里巴巴集团控股有限公司 | 用于业务请求处理的方法及装置 |
| CN112598112A (zh) * | 2020-12-04 | 2021-04-02 | 深圳大学 | 一种基于图神经网络的资源调度方法 |
| CN113139704A (zh) * | 2020-01-17 | 2021-07-20 | 中国石油化工股份有限公司 | 一种用于钻井仿真的钻井多参数计算系统及方法 |
| CN113901262A (zh) * | 2021-09-24 | 2022-01-07 | 北京达佳互联信息技术有限公司 | 待处理数据的获取方法、装置、服务器和存储介质 |
| CN114567635A (zh) * | 2022-03-10 | 2022-05-31 | 深圳力维智联技术有限公司 | 边缘数据的处理方法、设备及计算机可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104699542A (zh) * | 2015-03-31 | 2015-06-10 | 北京奇艺世纪科技有限公司 | 任务处理方法及系统 |
| CN104731647A (zh) * | 2015-03-31 | 2015-06-24 | 北京奇艺世纪科技有限公司 | 任务处理方法及系统 |
| CN105573827A (zh) * | 2015-12-11 | 2016-05-11 | 联动优势电子商务有限公司 | 一种多机并行处理方法及装置 |
-
2018
- 2018-02-28 CN CN201810171686.9A patent/CN109725991B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104699542A (zh) * | 2015-03-31 | 2015-06-10 | 北京奇艺世纪科技有限公司 | 任务处理方法及系统 |
| CN104731647A (zh) * | 2015-03-31 | 2015-06-24 | 北京奇艺世纪科技有限公司 | 任务处理方法及系统 |
| CN105573827A (zh) * | 2015-12-11 | 2016-05-11 | 联动优势电子商务有限公司 | 一种多机并行处理方法及装置 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110351345A (zh) * | 2019-06-25 | 2019-10-18 | 阿里巴巴集团控股有限公司 | 用于业务请求处理的方法及装置 |
| CN110351345B (zh) * | 2019-06-25 | 2021-10-12 | 创新先进技术有限公司 | 用于业务请求处理的方法及装置 |
| CN113139704A (zh) * | 2020-01-17 | 2021-07-20 | 中国石油化工股份有限公司 | 一种用于钻井仿真的钻井多参数计算系统及方法 |
| CN113139704B (zh) * | 2020-01-17 | 2024-04-09 | 中国石油化工股份有限公司 | 一种用于钻井仿真的钻井多参数计算系统及方法 |
| CN112598112A (zh) * | 2020-12-04 | 2021-04-02 | 深圳大学 | 一种基于图神经网络的资源调度方法 |
| CN112598112B (zh) * | 2020-12-04 | 2021-09-10 | 深圳大学 | 一种基于图神经网络的资源调度方法 |
| CN113901262A (zh) * | 2021-09-24 | 2022-01-07 | 北京达佳互联信息技术有限公司 | 待处理数据的获取方法、装置、服务器和存储介质 |
| CN114567635A (zh) * | 2022-03-10 | 2022-05-31 | 深圳力维智联技术有限公司 | 边缘数据的处理方法、设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109725991B (zh) | 2021-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109725991A (zh) | 任务处理方法、装置、设备及可读存储介质 | |
| Adnan et al. | Energy efficient geographical load balancing via dynamic deferral of workload | |
| CN103971316B (zh) | 计算机系统及其绘图处理方法 | |
| CN108762931A (zh) | 基于分布式调度系统的任务调度方法、服务器及存储介质 | |
| CN109669775A (zh) | 分布式任务调度方法、系统及存储介质 | |
| Nguyen et al. | Reducing smartphone application delay through read/write isolation | |
| CN109597685A (zh) | 任务分配方法、装置和服务器 | |
| US20180246744A1 (en) | Management of demand for virtual computing resources | |
| CN110308980A (zh) | 数据的批量处理方法、装置、设备及存储介质 | |
| CN103873587B (zh) | 一种基于云平台实现调度的方法及装置 | |
| CN112988362B (zh) | 一种任务处理方法、装置、电子设备及存储介质 | |
| CN106790525A (zh) | 一种文件下载方法及装置 | |
| CN110909034B (zh) | 一种业务数据的分配方法、装置、终端设备及存储介质 | |
| CN104735095A (zh) | 一种云计算平台作业调度方法及装置 | |
| CN113285886B (zh) | 一种带宽分配的方法、装置、电子设备及可读存储介质 | |
| Liu et al. | Minimal cost server configuration for meeting time-varying resource demands in cloud centers | |
| CN106293947B (zh) | 虚拟化云环境下gpu-cpu混合资源分配系统和方法 | |
| CN107291536A (zh) | 一种云计算环境下应用任务流调度方法 | |
| Neglia et al. | Geographical load balancing across green datacenters: A mean field analysis | |
| CN103713852A (zh) | 一种信息处理方法、服务平台及电子设备 | |
| Zhang et al. | Scheduling challenges for variable capacity resources | |
| CN109885384B (zh) | 任务并行度优化方法、装置、计算机设备及存储介质 | |
| CN107479974A (zh) | 一种虚拟机调度方法及装置 | |
| CN108429784A (zh) | 一种能效优先的云资源分配与调度方法 | |
| Jun et al. | Energy-aware tasks scheduling with deadline-constrained in clouds |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |