CN108595264A - 刷新任务分配方法、电子设备及计算机可读存储介质 - Google Patents
刷新任务分配方法、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN108595264A CN108595264A CN201810316518.4A CN201810316518A CN108595264A CN 108595264 A CN108595264 A CN 108595264A CN 201810316518 A CN201810316518 A CN 201810316518A CN 108595264 A CN108595264 A CN 108595264A
- Authority
- CN
- China
- Prior art keywords
- refresh tasks
- refresh
- current
- tasks
- machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Plural Heterocyclic Compounds (AREA)
Abstract
本发明提供一种刷新任务分配方法、电子设备及计算机可读存储介质。所述刷新任务分配方法包括:获取刷新任务列表,所述刷新任务列表中存储着刷新任务;根据配置的优先级规则,从所述刷新任务列表中确定当前刷新任务;获取至少一个刷新机器;根据所述至少一个刷新机器的性能参数及并发度,确定当前刷新机器;利用所述当前刷新机器对所述当前刷新任务进行刷新。本发明能够使每次刷新任务分配的方式最佳,提高刷新效率。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种刷新任务分配方法、电子设备及计算机可读存储介质。
背景技术
现有技术方案中,数据的刷新通常采用COGNOS(康格诺)模型刷新的方式,所述COGNOS模型刷新一般是手动分配刷新机器或者是使用计划任务定制分配刷新机器,又或者采取设定刷新机器并发度进行自动调度以分配任务的方式。但是对于大批量的模型自动刷新任务,上述刷新方式则不够健壮。特别是针对大集群的应用环境,当刷新任务特别多的时候,刷新机器则要承受更大的系统性能压力。系统压力大时,刷新效率呈急速下降趋势,可能出现报表数据承诺时效超出等严重问题。这样的刷新方式,不仅制约于刷新机器的性能,并且在刷新机器的性能不足以支撑所有的刷新任务时,严重影响刷新效率。
发明内容
鉴于以上内容,有必要提供一种刷新任务分配方法、电子设备及计算机可读存储介质,能够使每次刷新任务分配的方式最佳,提高刷新效率。
一种刷新任务分配方法,所述方法包括:
获取刷新任务列表,所述刷新任务列表中存储着刷新任务;
根据配置的优先级规则,从所述刷新任务列表中确定当前刷新任务;
获取至少一个刷新机器;
根据所述至少一个刷新机器的性能参数及并发度,确定当前刷新机器;
利用所述当前刷新机器对所述当前刷新任务进行刷新。
根据本发明优选实施例,在根据配置的优先级规则,从所述刷新任务列表中确定当前刷新任务前,所述方法还包括:
配置所述优先级规则;
所述配置所述优先级规则包括以下一种或者多种的组合:
根据所述刷新任务列表中每个刷新任务的生成时间,配置所述优先级规则;及/或
根据所述刷新任务列表中每个刷新任务的重要等级,配置所述优先级规则;及/或
根据所述刷新任务列表中每个刷新任务的类型,配置所述优先级规则。
根据本发明优选实施例,所述根据配置的优先级规则,从所述刷新任务列表中确定当前刷新任务包括以下一种或者多种的组合:
获取所述刷新任务列表中每个刷新任务的生成时间,按照生成时间的先后顺序,筛选出排在最前的任务作为所述当前刷新任务;及/或
获取配置的所述刷新任务列表中每个刷新任务的重要等级,按照重要等级的顺序,筛选出排在最前的任务作为所述当前刷新任务;及/或
获取所述刷新任务列表中每个刷新任务的类型,按照配置的类型的优先级顺序,筛选出排在最前的任务作为所述当前刷新任务。
根据本发明优选实施例,所述根据所述至少一个刷新机器的性能参数及并发度,确定当前刷新机器包括:
获取所述至少一个刷新机器的性能参数,根据所述性能参数确定所述至少一个刷新机器的空闲度,获取空闲度最高的刷新机器,并将所述空闲度最高的刷新机器确定为所述当前刷新机器;及
获取配置的所述至少一个刷新机器的并发度,从所述至少一个刷新机器中确定并发度剩余量最多的刷新机器,并将所述并发度剩余量最多的刷新机器确定为所述当前刷新机器。
根据本发明优选实施例,在根据所述至少一个刷新机器的性能参数及并发度,确定当前刷新机器前,所述方法还包括:
配置所述至少一个刷新机器的并发度;
所述配置所述至少一个刷新机器的并发度的方式包括以下一种或者多种的组合:
如果CPU核数大于或者等于第一核数,且内存大于或者等于第一内存,且磁盘容量大于或者等于第一磁盘容量,则配置所述并发度为第一并发度;及
如果CPU核数大于第三核数且小于或者等于第二核数,或者内存大于第三内存且小于或者等于第二内存,或者磁盘容量大于第三磁盘容量且小于或者等于第二磁盘容量,则配置所述并发度为第二并发度;及
如果CPU核数小于或者等于第三核数,或者内存小于或者等于第三内存,或者磁盘容量小于或者等于第三容量,则配置所述并发度为第三并发度;及
在除上述三种情况的其他情况下,则配置所述并发度为第四并发度。
根据本发明优选实施例,在利用所述当前刷新机器对所述当前刷新任务进行刷新时,所述方法还包括:
如果所述当前刷新机器中断执行,记录所述当前刷新任务的刷新进度;
根据所述当前刷新任务的刷新进度确定所述当前刷新任务的中断处;
当经过预设时长后,所述刷新机器重新启动时,从所述当前刷新任务的中断处利用所述当前刷新机器继续刷新所述当前刷新任务;或者
当经过预设时长后,所述刷新机器未重新启动时,将以所述当前刷新任务的中断处为起点的所述当前刷新任务中未刷新的部分确定为所述待刷新任务,并为所述待刷新任务重新分配刷新机器。
根据本发明优选实施例,在利用所述当前刷新机器对所述当前刷新任务进行刷新时,所述方法还包括:
获取所述当前刷新任务的关联刷新任务,并为所述关联刷新任务分配刷新机器。
根据本发明优选实施例,在利用所述当前刷新机器对所述当前刷新任务进行刷新后,所述方法还包括:
更新所述刷新任务列表,及更新所述至少一个刷新机器的性能参数及并发度;
根据配置的优先级规则,从更新的刷新任务列表中获取第二刷新任务;
根据更新的至少一个刷新机器的性能参数及并发度,确定第二刷新机器;
利用所述第二刷新机器对所述第二刷新任务进行刷新。
一种刷新任务分配装置,所述装置包括:
获取单元,用于获取刷新任务列表,所述刷新任务列表中存储着刷新任务;
确定单元,用于根据配置的优先级规则,从所述刷新任务列表中确定当前刷新任务;
所述获取单元,还用于获取至少一个刷新机器;
所述确定单元,还用于根据所述至少一个刷新机器的性能参数及并发度,确定当前刷新机器;
刷新单元,用于利用所述当前刷新机器对所述当前刷新任务进行刷新。
根据本发明优选实施例,所述装置还包括:
配置单元,用于在根据配置的优先级规则,从所述刷新任务列表中确定当前刷新任务前,配置所述优先级规则;
所述配置单元配置所述优先级规则包括以下一种或者多种的组合:
根据所述刷新任务列表中每个刷新任务的生成时间,配置所述优先级规则;及/或
根据所述刷新任务列表中每个刷新任务的重要等级,配置所述优先级规则;及/或
根据所述刷新任务列表中每个刷新任务的类型,配置所述优先级规则。
根据本发明优选实施例,所述确定单元根据配置的优先级规则,从所述刷新任务列表中确定当前刷新任务包括以下一种或者多种的组合:
获取所述刷新任务列表中每个刷新任务的生成时间,按照生成时间的先后顺序,筛选出排在最前的任务作为所述当前刷新任务;及/或
获取配置的所述刷新任务列表中每个刷新任务的重要等级,按照重要等级的顺序,筛选出排在最前的任务作为所述当前刷新任务;及/或
获取所述刷新任务列表中每个刷新任务的类型,按照配置的类型的优先级顺序,筛选出排在最前的任务作为所述当前刷新任务。
根据本发明优选实施例,所述确定单元根据所述至少一个刷新机器的性能参数及并发度,确定当前刷新机器包括:
获取所述至少一个刷新机器的性能参数,根据所述性能参数确定所述至少一个刷新机器的空闲度,获取空闲度最高的刷新机器,并将所述空闲度最高的刷新机器确定为所述当前刷新机器;及
获取配置的所述至少一个刷新机器的并发度,从所述至少一个刷新机器中确定并发度剩余量最多的刷新机器,并将所述并发度剩余量最多的刷新机器确定为所述当前刷新机器。
根据本发明优选实施例,所述配置单元还用于在根据所述至少一个刷新机器的性能参数及并发度,确定当前刷新机器前,配置所述至少一个刷新机器的并发度;
所述配置单元配置所述至少一个刷新机器的并发度的方式包括以下一种或者多种的组合:
如果CPU核数大于或者等于第一核数,且内存大于或者等于第一内存,且磁盘容量大于或者等于第一磁盘容量,则配置所述并发度为第一并发度;及
如果CPU核数大于第三核数且小于或者等于第二核数,或者内存大于第三内存且小于或者等于第二内存,或者磁盘容量大于第三磁盘容量且小于或者等于第二磁盘容量,则配置所述并发度为第二并发度;及
如果CPU核数小于或者等于第三核数,或者内存小于或者等于第三内存,或者磁盘容量小于或者等于第三容量,则配置所述并发度为第三并发度;及
在除上述三种情况的其他情况下,则配置所述并发度为第四并发度。
根据本发明优选实施例,所述装置还包括:
记录单元,用于在利用所述当前刷新机器对所述当前刷新任务进行刷新时,如果所述当前刷新机器中断执行,记录所述当前刷新任务的刷新进度;
所述确定单元,还用于根据所述当前刷新任务的刷新进度确定所述当前刷新任务的中断处;
所述刷新单元,还用于当经过预设时长后,所述刷新机器重新启动时,从所述当前刷新任务的中断处利用所述当前刷新机器继续刷新所述当前刷新任务;或者
分配单元,用于当经过预设时长后,所述刷新机器未重新启动时,将以所述当前刷新任务的中断处为起点的所述当前刷新任务中未刷新的部分确定为所述待刷新任务,并为所述待刷新任务重新分配刷新机器。
根据本发明优选实施例,在利用所述当前刷新机器对所述当前刷新任务进行刷新时,所述获取单元还用于获取所述当前刷新任务的关联刷新任务,所述分配单元还用于为所述关联刷新任务分配刷新机器。
根据本发明优选实施例,所述装置还包括:
更新单元,用于在利用所述当前刷新机器对所述当前刷新任务进行刷新后,更新所述刷新任务列表,及更新所述至少一个刷新机器的性能参数及并发度;
所述获取单元,还用于根据配置的优先级规则,从更新的刷新任务列表中获取第二刷新任务;
所述确定单元,还用于根据更新的至少一个刷新机器的性能参数及并发度,确定第二刷新机器;
所述刷新单元,还用于利用所述第二刷新机器对所述第二刷新任务进行刷新。
一种电子设备,所述电子设备包括:
存储器,存储至少一个指令;及
处理器,执行所述存储器中存储的指令以实现所述刷新任务分配方法。
一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现所述刷新任务分配方法。
由以上技术方案可以看出,本发明获取刷新任务列表,所述刷新任务列表中存储着刷新任务;根据配置的优先级规则,从所述刷新任务列表中确定当前刷新任务;获取至少一个刷新机器;根据所述至少一个刷新机器的性能参数及并发度,确定当前刷新机器;利用所述当前刷新机器对所述当前刷新任务进行刷新。利用本发明能够使每次刷新任务分配的方式最佳,提高刷新效率。
附图说明
图1是本发明刷新任务分配方法的较佳实施例的流程图。
图2是本发明刷新任务分配装置的较佳实施例的功能模块图。
图3是本发明实现刷新任务分配方法的较佳实施例的电子设备的结构示意图。
主要元件符号说明
电子设备 | 1 |
存储器 | 12 |
处理器 | 13 |
刷新任务分配装置 | 11 |
获取单元 | 110 |
确定单元 | 111 |
刷新单元 | 112 |
配置单元 | 113 |
记录单元 | 114 |
分配单元 | 115 |
更新单元 | 116 |
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
如图1所示,是本发明刷新任务分配方法的较佳实施例的流程图。根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。
所述刷新任务分配方法应用于一个或者多个电子设备中,所述电子设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字处理器(Digital SignalProcessor,DSP)、嵌入式设备等。
所述电子设备可以是任何一种可与用户进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant,PDA)、游戏机、交互式网络电视(Internet Protocol Television,IPTV)、智能式穿戴式设备等。
所述电子设备还可以包括网络设备和/或用户设备。其中,所述网络设备包括,但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云。
所述电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network,VPN)等。
S10,所述电子设备获取刷新任务列表,所述刷新任务列表中存储着刷新任务。
在本实施例中,所述刷新任务列表可以是空表,也可以存储至少一个刷新任务。
在本实施例中,所述刷新任务是指需要进行刷新操作的任务,所述刷新任务包括,但不限于:需要使用COGNOS(康格诺)的OLAP(Online Analytical Processing,联机分析处理)数据抽取转换引擎(Transformer)对所述COGNOS模型的刷新进行刷新操作的任务。具体地,刷新是指通过刷新所述COGNOS模型,从而获取到最新的数据,生成数据立方体(DataCUBE)的过程,其中,生成的数据立方体用于提供给报表,作为本地数据源使用。
例如:在发送邮件时,刷新任务可以作为邮件发送事件的前置任务等,通过刷新生成需要的数据立方体,并由所述需要的数据立方体为所述邮件发送事件的报表提供数据。
S11,所述电子设备根据配置的优先级规则,从所述刷新任务列表中确定当前刷新任务。
优选地,在所述电子设备根据配置的优先级规则,从所述刷新任务列表中确定当前刷新任务前,所述电子设备配置所述优先级规则。
优选地,所述电子设备配置所述优先级规则包括,但不限于以下一种或者多种的组合:
(1)所述电子设备根据所述刷新任务列表中每个刷新任务的生成时间,配置所述优先级规则。
具体地,所述电子设备根据所述刷新任务列表中每个刷新任务的生成时间由先到后的顺序,由高到低对应设置所述刷新任务列表中每个刷新任务的排列顺序。
(2)所述电子设备根据所述刷新任务列表中每个刷新任务的重要等级,配置所述优先级规则。
具体地,所述电子设备根据所述刷新任务列表中每个刷新任务的重要等级由高到低的顺序,由高到低对应设置所述刷新任务列表中每个刷新任务的排列顺序。
(3)所述电子设备根据所述刷新任务列表中每个刷新任务的类型,配置所述优先级规则。
具体地,所述电子设备根据所述刷新任务列表中每个刷新任务的类型的优先级由高到低的顺序,由高到低对应设置所述刷新任务列表中每个刷新任务的排列顺序。
当然,在其他实施例中,也可以采取上述设置方案的组合,例如:所述电子设备先确定优先级最高的同一个类型的刷新任务,再从所述优先级最高的同一个类型的刷新任务中,按照生成时间由先到后的顺序,对应设置所述优先级最高的同一个类型的刷新任务中每个刷新任务的排列顺序等。
优选地,所述电子设备根据配置的优先级规则,从所述刷新任务列表中确定当前刷新任务包括,但不限于以下一种或者多种的组合:
(1)所述电子设备获取所述刷新任务列表中每个刷新任务的生成时间,按照生成时间的先后顺序,筛选出排在最前的任务作为所述当前刷新任务。
例如:当所述刷新任务列表中包括刷新任务A、刷新任务B及刷新任务C时,所述电子设备获取所述刷新任务A、所述刷新任务B及所述刷新任务C的生成时间,如果获取到的所述刷新任务A的生成时间早于所述刷新任务B的生成时间,且所述刷新任务B的生成时间早于所述刷新任务C的生成时间,则所述电子设备筛选出所述刷新任务A作为所述当前刷新任务。
(2)所述电子设备获取配置的所述刷新任务列表中每个刷新任务的重要等级,按照重要等级的顺序,筛选出排在最前的任务作为所述当前刷新任务。
具体地,在生成每个刷新任务时,所述电子设备提示用户设置所述每个刷新任务的重要等级,所述电子设备获取所述每个刷新任务的重要等级,并根据所述每个刷新任务的重要等级由高到低的顺序对应配置所述每个刷新任务的排列顺序。
例如:当所述刷新任务列表中包括所述刷新任务A、所述刷新任务B及所述刷新任务C时,所述电子设备获取配置的所述刷新任务A的重要等级、所述刷新任务B的重要等级及所述刷新任务C的重要等级,如果预先配置的重要等级由高到低依次为0-9,此时,如果获取到的所述刷新任务A的重要等级为0,所述刷新任务B的重要等级为5,所述刷新任务C的重要等级为9,则可以得出,所述刷新任务A的重要等级高于所述刷新任务B的重要等级,且所述刷新任务B的重要等级高于所述刷新任务C的重要等级,则所述电子设备可以筛选出所述刷新任务A作为所述当前刷新任务。
通过上述配置方式,即可根据所述用户操作时的实际需求对所述刷新任务列表中每个刷新任务的排列顺序进行自定义设置,从而更加满足用户的实际需要,优先进行用户最急需刷新的任务,用户体验更佳。
(3)所述电子设备获取所述刷新任务列表中每个刷新任务的类型,按照配置的类型的优先级顺序,筛选出排在最前的任务作为所述当前刷新任务。
具体地,在生成每个刷新任务时,所述电子设备提示用户设置所述每个刷新任务的类型的优先级,所述电子设备获取所述类型的优先级,并根据所述类型的优先级由高到低的顺序对应配置所述每个刷新任务的排列顺序。
例如:当所述刷新任务列表中包括所述刷新任务A、所述刷新任务B及所述刷新任务C时,所述电子设备获取到所述刷新任务A的类型为类型D、所述刷新任务B的类型为类型E,及所述刷新任务C的类型为类型F,此时,如果获取到的配置的所述类型D的优先级高于所述类型E的优先级,且所述类型E的优先级高于所述类型F的优先级,则可以得出,所述刷新任务A的排列顺序先于所述刷新任务B的排列顺序,且所述刷新任务B的排列顺序先于所述刷新任务C的排列顺序,则所述电子设备可以筛选出所述刷新任务A作为所述当前刷新任务。
S12,所述电子设备获取至少一个刷新机器。
在本实施例中,所述刷新机器包括用于执行刷新任务的服务器等。
S13,所述电子设备根据所述至少一个刷新机器的性能参数及并发度,确定当前刷新机器。
在本发明的至少一个实施例中,在一个刷新机器同时满足所述至少一个刷新机器的性能参数及并发度时,才能将所述一个刷新机器确定为所述当前刷新机器,具体实施方式将在下面分别进行描述。可以理解的是,本发明对所述至少一个刷新机器的性能参数及并发度的判断过程的顺序不做限制。
优选地,所述电子设备根据所述至少一个刷新机器的性能参数,确定当前刷新机器包括:
所述电子设备获取所述至少一个刷新机器的性能参数,根据所述性能参数确定所述至少一个刷新机器的空闲度,获取空闲度最高的刷新机器,并将所述空闲度最高的刷新机器确定为所述当前刷新机器。
其中,所述空闲度表示每个刷新机器的性能参数的空闲比例。
优选地,所述性能参数包括,但不限于以下一种或者多种的组合:
(1)CPU(Central Processing Unit,中央处理器)的原始容量及现存容量。
(2)内存的原始容量及现存容量。
(3)磁盘的原始容量及现存容量。
(4)IPOS(Internet Protocol over SDH,同步数字传输体制中的网络协议)的原始容量及现存容量。
例如:所述电子设备获取刷新机器G的CPU的原始容量及现存容量,及获取所述获取刷新机器G的内存的原始容量及现存容量,如果所述刷新机器G的CPU占用率大于或者等于80%,且内存的占用率大于或者等于75%,则所述电子设备可以确定所述刷新机器G的空闲度低,也就是说,所述刷新机器G的状态为忙,所述刷新机器G不可以作为所述当前刷新机器;
所述电子设备获取刷新机器H的CPU的原始容量及现存容量,及获取所述获取刷新机器H的内存的原始容量及现存容量,如果所述刷新机器H的CPU占用率及内存的占用率的比例都是最低的,则所述电子设备可以确定所述刷新机器H的空闲度最高,则所述刷新机器H可能被作为所述当前刷新机器,具体将结合后面并发度的判断结果进一步确定。
在本实施例中,所述电子设备根据所述至少一个刷新机器的并发度,确定当前刷新机器包括:
所述电子设备获取配置的所述至少一个刷新机器的并发度,从所述至少一个刷新机器中确定并发度剩余量最多的刷新机器,并将所述并发度剩余量最多的刷新机器确定为所述当前刷新机器。
例如:如果在获取到的至少一个刷新机器中,所述刷新机器H的并发度剩余量最多,则所述电子设备可以将所述刷新机器H确定为所述当前刷新机器。
其中,所述并发度表示单位时间内,每个刷新机器可以同时处理的刷新任务的数量。
优选地,在根据所述至少一个刷新机器的性能参数及并发度,确定当前刷新机器前,所述方法还包括:
所述电子设备配置所述至少一个刷新机器的并发度。
具体地,所述电子设备配置所述至少一个刷新机器的并发度的方式包括,但不限于以下一种或者多种的组合:
(1)如果CPU核数大于或者等于第一核数,且内存大于或者等于第一内存,且磁盘容量大于或者等于第一磁盘容量,则所述电子设备配置所述并发度为第一并发度。
例如:如果CPU核数大于或者等于8核,且内存大于或者等于32G,且磁盘容量大于或者等于500G,则所述电子设备配置所述并发度为日刷新任务量6个,周刷新任务量4个,月刷新任务量2个。
(2)如果CPU核数大于第三核数且小于或者等于第二核数,或者内存大于第三内存且小于或者等于第二内存,或者磁盘容量大于第三磁盘容量且小于或者等于第二磁盘容量,则所述电子设备配置所述并发度为第二并发度。
例如:如果CPU核数大于2核且小于或者等于4核,或者内存大于8G且小于或者等于16G,或者磁盘容量大于100G且小于或者等于300G,则所述电子设备配置所述并发度为日刷新任务量1个,周刷新任务量0个,月刷新任务量0个。
(3)如果CPU核数小于或者等于第三核数,或者内存小于或者等于第三内存,或者磁盘容量小于或者等于第三容量,则所述电子设备配置所述并发度为第三并发度。
例如:如果CPU核数小于或者等于2核,或者内存小于或者等于8G,或者磁盘容量小于或者等于100G,则所述电子设备配置所述并发度为日刷新任务量0个,周刷新任务量0个,月刷新任务量0个。
(4)在除上述三种情况的其他情况下,则所述电子设备配置所述并发度为第四并发度。
例如:在其他情况下,则所述电子设备配置所述并发度为日刷新任务量3个,周刷新任务量2个,月刷新任务量1个。
由上述方案可以得到,所述第一核数大于所述第二核数,且所述第二核数大于所述第三核数;所述第一内存大于所述第二内存,且所述第二内存大于所述第三内存;所述第一磁盘容量大于所述第二磁盘容量,且所述第二磁盘容量大于所述第三磁盘容量。所述第一并发度的数量大于所述第四并发度的数量,所述第四并发度的数量大于所述第二并发度的数量,且所述第二并发度的数量大于所述第三并发度的数量。
S14,所述电子设备利用所述当前刷新机器对所述当前刷新任务进行刷新。
优选地,在所述电子设备利用所述当前刷新机器对所述当前刷新任务进行刷新时,如果所述当前刷新机器中断执行,所述方法还包括:
所述电子设备记录所述当前刷新任务的刷新进度,根据所述当前刷新任务的刷新进度确定所述当前刷新任务的中断处,当经过预设时长后,所述刷新机器重新启动时,所述电子设备从所述当前刷新任务的中断处利用所述当前刷新机器继续刷新所述当前刷新任务;当经过预设时长后,所述刷新机器未重新启动时,所述电子设备将以所述当前刷新任务的中断处为起点的所述当前刷新任务中未刷新的部分确定为所述待刷新任务,并为所述待刷新任务重新分配刷新机器。
例如:如果所述刷新任务A中包括x、y、z三个部分,在利用所述刷新机器H刷新所述刷新任务A的过程中,所述刷新机器H故障,中断了刷新,此时,所述电子设备记录显示所述刷新任务A中的x已经刷新完毕,而y和z未刷新,则所述电子设备确定y为中断处,如果经过预设时长10秒后,所述刷新机器H重新启动,则所述电子设备可以利用所述刷新机器H从y开始继续刷新y和z;如果经过预设时长10秒后,所述刷新机器H未重新启动,则所述电子设备将y和z确定为以y为起点的待刷新任务,并为所述待刷新任务重新分配刷新机器。
通过上述实施方式,所述电子设备即可保证在所述当前刷新机器出现故障时,仍然不影响所述当前刷新任务的进行,避免造成时间的浪费,耽误后续任务的执行。
优选地,在所述电子设备利用所述当前刷新机器对所述当前刷新任务进行刷新时,所述方法还包括:
所述电子设备获取所述当前刷新任务的关联刷新任务,并为所述关联刷新任务分配刷新机器。
具体地,所述关联刷新任务包括,但不限于:与所述当前刷新任务的主题相关的刷新任务,与所述当前刷新任务的内容相关的刷新任务,及用户指定的与所述当前刷新任务相关的刷新任务等。
例如:如果所述当前刷新任务A包括补充刷新内容,则所述补充刷新内容即为所述当前刷新任务A的关联刷新任务,此时,如果按照配置的优先级规则确定下一个刷新任务,则可能耽误所述刷新任务A的补充,因此,所述电子设备可以直接为所述刷新任务A的关联刷新任务分配刷新机器。
通过上述实施方式,所述电子设备即可保证关联任务的连续性执行,使刷新任务的执行更加有条理。
优选地,在利用所述当前刷新机器对所述当前刷新任务进行刷新后,所述电子设备更新所述刷新任务列表,及更新所述至少一个刷新机器的性能参数及并发度,所述电子设备根据配置的优先级规则,从更新的刷新任务列表中获取第二刷新任务,再根据更新的至少一个刷新机器的性能参数及并发度,确定第二刷新机器,所述电子设备利用所述第二刷新机器对所述第二刷新任务进行刷新。
这样,根据更新后的所述刷新任务列表及更新后的所述至少一个刷新机器的性能参数及并发度,所述电子设备即可在此基础上进一步确定下一个刷新任务如何分配。
具体地,采用上述实施方式,通过实时更新所述刷新任务列表,及更新所述至少一个刷新机器的性能参数及并发度,保证在所述当前刷新机器性能较优的情况下,所述电子设备仍然可以参与刷新任务的分配,这样,即使所述当前刷新机器刚刚分配了所述当前刷新任务,只要经过本技术方案中的判断,所述当前刷新机器仍然是最佳分配对象,仍然可以分配所述第二刷新任务至所述当前刷新机器,以保证每个刷新任务都可以根据配置的优先级规则依次获得最佳的刷新方案。
综上所述,本发明能获取刷新任务列表,所述刷新任务列表中存储着刷新任务;根据配置的优先级规则,从所述刷新任务列表中确定当前刷新任务;获取至少一个刷新机器;根据所述至少一个刷新机器的性能参数及并发度,确定当前刷新机器,这样即可保证每次刷新任务所使用的当前刷新机器的性能是最佳的,也就是说使每次刷新任务分配的方式最佳,这样,当所述电子设备利用所述当前刷新机器对所述当前刷新任务进行刷新时,可以提高刷新效率。
如图2所示,是本发明刷新任务分配装置的较佳实施例的功能模块图。所述刷新任务分配装置11包括获取单元110、确定单元111、刷新单元112、配置单元113、记录单元114、分配单元115及更新单元116。本发明所称的模块/单元是指一种能够被处理器13所执行,并且能够完成固定功能的一系列计算机程序段,其存储在存储器12中。在本实施例中,关于各模块/单元的功能将在后续的实施例中详述。
获取单元110获取刷新任务列表,所述刷新任务列表中存储着刷新任务。
在本实施例中,所述刷新任务列表可以是空表,也可以存储至少一个刷新任务。
在本实施例中,所述刷新任务是指需要进行刷新操作的任务,所述刷新任务包括,但不限于:需要使用COGNOS(康格诺)的OLAP(Online Analytical Processing,联机分析处理)数据抽取转换引擎(Transformer)对所述COGNOS模型的刷新进行刷新操作的任务。具体地,刷新是指通过刷新所述COGNOS模型,从而获取到最新的数据,生成数据立方体(DataCUBE)的过程,其中,生成的数据立方体用于提供给报表,作为本地数据源使用。
例如:在发送邮件时,刷新任务可以作为邮件发送事件的前置任务等,通过刷新生成需要的数据立方体,并由所述需要的数据立方体为所述邮件发送事件的报表提供数据。
确定单元111根据配置的优先级规则,从所述刷新任务列表中确定当前刷新任务。
优选地,在所述确定单元111根据配置的优先级规则,从所述刷新任务列表中确定当前刷新任务前,配置单元113配置所述优先级规则。
优选地,所述配置单元113配置所述优先级规则包括,但不限于以下一种或者多种的组合:
(1)所述配置单元113根据所述刷新任务列表中每个刷新任务的生成时间,配置所述优先级规则。
具体地,所述配置单元113根据所述刷新任务列表中每个刷新任务的生成时间由先到后的顺序,由高到低对应设置所述刷新任务列表中每个刷新任务的排列顺序。
(2)所述配置单元113根据所述刷新任务列表中每个刷新任务的重要等级,配置所述优先级规则。
具体地,所述配置单元113根据所述刷新任务列表中每个刷新任务的重要等级由高到低的顺序,由高到低对应设置所述刷新任务列表中每个刷新任务的排列顺序。
(3)所述配置单元113根据所述刷新任务列表中每个刷新任务的类型,配置所述优先级规则。
具体地,所述配置单元113根据所述刷新任务列表中每个刷新任务的类型的优先级由高到低的顺序,由高到低对应设置所述刷新任务列表中每个刷新任务的排列顺序。
当然,在其他实施例中,所述配置单元113也可以采取上述设置方案的组合,例如:所述配置单元113先确定优先级最高的同一个类型的刷新任务,再从所述优先级最高的同一个类型的刷新任务中,按照生成时间由先到后的顺序,对应设置所述优先级最高的同一个类型的刷新任务中每个刷新任务的排列顺序等。
优选地,所述确定单元111根据配置的优先级规则,从所述刷新任务列表中确定当前刷新任务包括,但不限于以下一种或者多种的组合:
(1)所述确定单元111获取所述刷新任务列表中每个刷新任务的生成时间,按照生成时间的先后顺序,筛选出排在最前的任务作为所述当前刷新任务。
例如:当所述刷新任务列表中包括刷新任务A、刷新任务B及刷新任务C时,所述确定单元111获取所述刷新任务A、所述刷新任务B及所述刷新任务C的生成时间,如果获取到的所述刷新任务A的生成时间早于所述刷新任务B的生成时间,且所述刷新任务B的生成时间早于所述刷新任务C的生成时间,则所述确定单元111筛选出所述刷新任务A作为所述当前刷新任务。
(2)所述确定单元111获取配置的所述刷新任务列表中每个刷新任务的重要等级,按照重要等级的顺序,筛选出排在最前的任务作为所述当前刷新任务。
具体地,在生成每个刷新任务时,所述确定单元111提示用户设置所述每个刷新任务的重要等级,所述确定单元111获取所述每个刷新任务的重要等级,并根据所述每个刷新任务的重要等级由高到低的顺序对应配置所述每个刷新任务的排列顺序。
例如:当所述刷新任务列表中包括所述刷新任务A、所述刷新任务B及所述刷新任务C时,所述确定单元111获取配置的所述刷新任务A的重要等级、所述刷新任务B的重要等级及所述刷新任务C的重要等级,如果预先配置的重要等级由高到低依次为0-9,此时,如果获取到的所述刷新任务A的重要等级为0,所述刷新任务B的重要等级为5,所述刷新任务C的重要等级为9,则可以得出,所述刷新任务A的重要等级高于所述刷新任务B的重要等级,且所述刷新任务B的重要等级高于所述刷新任务C的重要等级,则所述确定单元111可以筛选出所述刷新任务A作为所述当前刷新任务。
通过上述配置方式,即可根据所述用户操作时的实际需求对所述刷新任务列表中每个刷新任务的排列顺序进行自定义设置,从而更加满足用户的实际需要,优先进行用户最急需刷新的任务,用户体验更佳。
(3)所述确定单元111获取所述刷新任务列表中每个刷新任务的类型,按照配置的类型的优先级顺序,筛选出排在最前的任务作为所述当前刷新任务。
具体地,在生成每个刷新任务时,所述确定单元111提示用户设置所述每个刷新任务的类型的优先级,所述确定单元111获取所述类型的优先级,并根据所述类型的优先级由高到低的顺序对应配置所述每个刷新任务的排列顺序。
例如:当所述刷新任务列表中包括所述刷新任务A、所述刷新任务B及所述刷新任务C时,所述确定单元111获取到所述刷新任务A的类型为类型D、所述刷新任务B的类型为类型E,及所述刷新任务C的类型为类型F,此时,如果获取到的配置的所述类型D的优先级高于所述类型E的优先级,且所述类型E的优先级高于所述类型F的优先级,则可以得出,所述刷新任务A的排列顺序先于所述刷新任务B的排列顺序,且所述刷新任务B的排列顺序先于所述刷新任务C的排列顺序,则所述确定单元111可以筛选出所述刷新任务A作为所述当前刷新任务。
所述获取单元110获取至少一个刷新机器。
在本实施例中,所述刷新机器包括用于执行刷新任务的服务器等。
所述确定单元111根据所述至少一个刷新机器的性能参数及并发度,确定当前刷新机器。
在本发明的至少一个实施例中,在一个刷新机器同时满足所述至少一个刷新机器的性能参数及并发度时,才能将所述一个刷新机器确定为所述当前刷新机器,具体实施方式将在下面分别进行描述。可以理解的是,本发明对所述至少一个刷新机器的性能参数及并发度的判断过程的顺序不做限制。
优选地,所述确定单元111根据所述至少一个刷新机器的性能参数,确定当前刷新机器包括:
所述确定单元111获取所述至少一个刷新机器的性能参数,根据所述性能参数确定所述至少一个刷新机器的空闲度,所述确定单元111获取空闲度最高的刷新机器,并将所述空闲度最高的刷新机器确定为所述当前刷新机器。
其中,所述空闲度表示每个刷新机器的性能参数的空闲比例。
优选地,所述性能参数包括,但不限于以下一种或者多种的组合:
(1)CPU(Central Processing Unit,中央处理器)的原始容量及现存容量。
(2)内存的原始容量及现存容量。
(3)磁盘的原始容量及现存容量。
(4)IPOS(Internet Protocol over SDH,同步数字传输体制中的网络协议)的原始容量及现存容量。
例如:所述确定单元111获取刷新机器G的CPU的原始容量及现存容量,及获取所述获取刷新机器G的内存的原始容量及现存容量,如果所述刷新机器G的CPU占用率大于或者等于80%,且内存的占用率大于或者等于75%,则所述确定单元111可以确定所述刷新机器G的空闲度低,也就是说,所述刷新机器G的状态为忙,所述刷新机器G不可以作为所述当前刷新机器;
所述确定单元111获取刷新机器H的CPU的原始容量及现存容量,及获取所述获取刷新机器H的内存的原始容量及现存容量,如果所述刷新机器H的CPU占用率及内存的占用率的比例都是最低的,则所述确定单元111可以确定所述刷新机器H的空闲度最高,则所述刷新机器H可能被作为所述当前刷新机器,具体将结合后面并发度的判断结果进一步确定。
在本实施例中,所述确定单元111根据所述至少一个刷新机器的并发度,确定当前刷新机器包括:
所述确定单元111获取配置的所述至少一个刷新机器的并发度,从所述至少一个刷新机器中确定并发度剩余量最多的刷新机器,并将所述并发度剩余量最多的刷新机器确定为所述当前刷新机器。
例如:如果在获取到的至少一个刷新机器中,所述刷新机器H的并发度剩余量最多,则所述确定单元111可以将所述刷新机器H确定为所述当前刷新机器。
其中,所述并发度表示单位时间内,每个刷新机器可以同时处理的刷新任务的数量。
优选地,在根据所述至少一个刷新机器的性能参数及并发度,确定当前刷新机器前,所述方法还包括:
所述配置单元113配置所述至少一个刷新机器的并发度。
具体地,配置单元113配置所述至少一个刷新机器的并发度的方式包括,但不限于以下一种或者多种的组合:
(1)如果CPU核数大于或者等于第一核数,且内存大于或者等于第一内存,且磁盘容量大于或者等于第一磁盘容量,则所述配置单元113配置所述并发度为第一并发度。
例如:如果CPU核数大于或者等于8核,且内存大于或者等于32G,且磁盘容量大于或者等于500G,则所述配置单元113配置所述并发度为日刷新任务量6个,周刷新任务量4个,月刷新任务量2个。
(2)如果CPU核数大于第三核数且小于或者等于第二核数,或者内存大于第三内存且小于或者等于第二内存,或者磁盘容量大于第三磁盘容量且小于或者等于第二磁盘容量,则所述配置单元113配置所述并发度为第二并发度。
例如:如果CPU核数大于2核且小于或者等于4核,或者内存大于8G且小于或者等于16G,或者磁盘容量大于100G且小于或者等于300G,则所述配置单元113配置所述并发度为日刷新任务量1个,周刷新任务量0个,月刷新任务量0个。
(3)如果CPU核数小于或者等于第三核数,或者内存小于或者等于第三内存,或者磁盘容量小于或者等于第三容量,则所述配置单元113配置所述并发度为第三并发度。
例如:如果CPU核数小于或者等于2核,或者内存小于或者等于8G,或者磁盘容量小于或者等于100G,则所述配置单元113配置所述并发度为日刷新任务量0个,周刷新任务量0个,月刷新任务量0个。
(4)在除上述三种情况的其他情况下,则所述配置单元113配置所述并发度为第四并发度。
例如:在其他情况下,则所述配置单元113配置所述并发度为日刷新任务量3个,周刷新任务量2个,月刷新任务量1个。
由上述方案可以得到,所述第一核数大于所述第二核数,且所述第二核数大于所述第三核数;所述第一内存大于所述第二内存,且所述第二内存大于所述第三内存;所述第一磁盘容量大于所述第二磁盘容量,且所述第二磁盘容量大于所述第三磁盘容量。所述第一并发度的数量大于所述第四并发度的数量,所述第四并发度的数量大于所述第二并发度的数量,且所述第二并发度的数量大于所述第三并发度的数量。
刷新单元112利用所述当前刷新机器对所述当前刷新任务进行刷新。
优选地,在所述刷新单元112利用所述当前刷新机器对所述当前刷新任务进行刷新时,如果所述当前刷新机器中断执行,所述方法还包括:
记录单元114记录所述当前刷新任务的刷新进度,根据所述当前刷新任务的刷新进度确定所述当前刷新任务的中断处,当经过预设时长后,所述刷新机器重新启动时,所述刷新单元112从所述当前刷新任务的中断处利用所述当前刷新机器继续刷新所述当前刷新任务;当经过预设时长后,所述刷新机器未重新启动时,所述确定单元111将以所述当前刷新任务的中断处为起点的所述当前刷新任务中未刷新的部分确定为所述待刷新任务,分配单元115为所述待刷新任务重新分配刷新机器。
例如:如果所述刷新任务A中包括x、y、z三个部分,在利用所述刷新机器H刷新所述刷新任务A的过程中,所述刷新机器H故障,中断了刷新,此时,所述记录单元114记录显示所述刷新任务A中的x已经刷新完毕,而y和z未刷新,则所述确定单元111确定y为中断处,如果经过预设时长10秒后,所述刷新机器H重新启动,则所述刷新单元112可以利用所述刷新机器H从y开始继续刷新y和z;如果经过预设时长10秒后,所述刷新机器H未重新启动,则所述确定单元111将y和z确定为以y为起点的待刷新任务,所述分配单元115为所述待刷新任务重新分配刷新机器。
通过上述实施方式,所述电子设备即可保证在所述当前刷新机器出现故障时,仍然不影响所述当前刷新任务的进行,避免造成时间的浪费,耽误后续任务的执行。
优选地,在所述刷新单元112利用所述当前刷新机器对所述当前刷新任务进行刷新时,所述方法还包括:
所述获取单元110获取所述当前刷新任务的关联刷新任务,所述分配单元115为所述关联刷新任务分配刷新机器。
具体地,所述关联刷新任务包括,但不限于:与所述当前刷新任务的主题相关的刷新任务,与所述当前刷新任务的内容相关的刷新任务,及用户指定的与所述当前刷新任务相关的刷新任务等。
例如:如果所述当前刷新任务A包括补充刷新内容,则所述补充刷新内容即为所述当前刷新任务A的关联刷新任务,此时,如果按照配置的优先级规则确定下一个刷新任务,则可能耽误所述刷新任务A的补充,因此,所述分配单元115可以直接为所述刷新任务A的关联刷新任务分配刷新机器。
通过上述实施方式,所述电子设备即可保证关联任务的连续性执行,使刷新任务的执行更加有条理。
优选地,在利用所述当前刷新机器对所述当前刷新任务进行刷新后,更新单元116更新所述刷新任务列表,及更新所述至少一个刷新机器的性能参数及并发度,所述获取单元110根据配置的优先级规则,从更新的刷新任务列表中获取第二刷新任务,所述确定单元111根据更新的至少一个刷新机器的性能参数及并发度,确定第二刷新机器,所述刷新单元112利用所述第二刷新机器对所述第二刷新任务进行刷新。
这样,根据更新后的所述刷新任务列表及更新后的所述至少一个刷新机器的性能参数及并发度,所述刷新单元112即可在此基础上进一步确定下一个刷新任务如何分配。
具体地,采用上述实施方式,通过实时更新所述刷新任务列表,及更新所述至少一个刷新机器的性能参数及并发度,保证在所述当前刷新机器性能较优的情况下,所述刷新单元112仍然可以参与刷新任务的分配,这样,即使所述当前刷新机器刚刚分配了所述当前刷新任务,只要经过本技术方案中的判断,所述当前刷新机器仍然是最佳分配对象,仍然可以分配所述第二刷新任务至所述当前刷新机器,以保证每个刷新任务都可以根据配置的优先级规则依次获得最佳的刷新方案。
综上所述,本发明能获取刷新任务列表,所述刷新任务列表中存储着刷新任务;根据配置的优先级规则,从所述刷新任务列表中确定当前刷新任务;获取至少一个刷新机器;根据所述至少一个刷新机器的性能参数及并发度,确定当前刷新机器,这样即可保证每次刷新任务所使用的当前刷新机器的性能是最佳的,也就是说使每次刷新任务分配的方式最佳,这样,当所述电子设备利用所述当前刷新机器对所述当前刷新任务进行刷新时,可以提高刷新效率。
如图3所示,是本发明实现刷新任务分配方法的较佳实施例的电子设备的结构示意图。
所述电子设备1是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
所述电子设备1还可以是但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant,PDA)、游戏机、交互式网络电视(InternetProtocol Television,IPTV)、智能式穿戴式设备等。
所述电子设备1还可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。
所述电子设备1所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network,VPN)等。
在本发明的一个实施例中,所述电子设备1包括,但不限于,存储器12、处理器13,以及存储在所述存储器12中并可在所述处理器13上运行的计算机程序,例如刷新任务分配程序。
本领域技术人员可以理解,所述示意图仅仅是电子设备1的示例,并不构成对电子设备1的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述电子设备1还可以包括输入输出设备、网络接入设备、总线等。
所称处理器13可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器13是所述电子设备1的运算核心和控制中心,利用各种接口和线路连接整个电子设备1的各个部分,及执行所述电子设备1的操作系统以及安装的各类应用程序、程序代码等。
所述处理器13执行所述电子设备1的操作系统以及安装的各类应用程序。所述处理器13执行所述应用程序以实现上述各个刷新任务分配方法实施例中的步骤,例如图1所示的步骤S10、S11、S12、S13、S14。
或者,所述处理器13执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能,例如:获取刷新任务列表,所述刷新任务列表中存储着刷新任务;根据配置的优先级规则,从所述刷新任务列表中确定当前刷新任务;获取至少一个刷新机器;根据所述至少一个刷新机器的性能参数及并发度,确定当前刷新机器;利用所述当前刷新机器对所述当前刷新任务进行刷新。
示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器12中,并由所述处理器13执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述电子设备1中的执行过程。例如,所述计算机程序可以被分割成获取单元110、确定单元111、刷新单元112、配置单元113、记录单元114、分配单元115及更新单元116。
所述存储器12可用于存储所述计算机程序和/或模块,所述处理器13通过运行或执行存储在所述存储器12内的计算机程序和/或模块,以及调用存储在存储器12内的数据,实现所述电子设备1的各种功能。所述存储器12可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器12可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述存储器12可以是电子设备1的外部存储器和/或内部存储器。进一步地,所述存储器12可以是集成电路中没有实物形式的具有存储功能的电路,如RAM(Random-AccessMemory,随机存取存储器)、FIFO(First In First Out,)等。或者,所述存储器12也可以是具有实物形式的存储器,如内存条、TF卡(Trans-flash Card)等等。
所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。
其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
结合图1,所述电子设备1中的所述存储器12存储多个指令以实现一种刷新任务分配方法,所述处理器13可执行所述多个指令从而实现:获取刷新任务列表,所述刷新任务列表中存储着刷新任务;根据配置的优先级规则,从所述刷新任务列表中确定当前刷新任务;获取至少一个刷新机器;根据所述至少一个刷新机器的性能参数及并发度,确定当前刷新机器;利用所述当前刷新机器对所述当前刷新任务进行刷新。
根据本发明优选实施例,所述处理器13还执行多个指令包括:
配置所述优先级规则;
所述配置所述优先级规则包括以下一种或者多种的组合:
根据所述刷新任务列表中每个刷新任务的生成时间,配置所述优先级规则;及/或
根据所述刷新任务列表中每个刷新任务的重要等级,配置所述优先级规则;及/或
根据所述刷新任务列表中每个刷新任务的类型,配置所述优先级规则。
根据本发明优选实施例,所述处理器13还执行多个指令包括:
获取所述刷新任务列表中每个刷新任务的生成时间,按照生成时间的先后顺序,筛选出排在最前的任务作为所述当前刷新任务;及/或
获取配置的所述刷新任务列表中每个刷新任务的重要等级,按照重要等级的顺序,筛选出排在最前的任务作为所述当前刷新任务;及/或
获取所述刷新任务列表中每个刷新任务的类型,按照配置的类型的优先级顺序,筛选出排在最前的任务作为所述当前刷新任务。
根据本发明优选实施例,所述处理器13还执行多个指令包括:
获取所述至少一个刷新机器的性能参数,根据所述性能参数确定所述至少一个刷新机器的空闲度,获取空闲度最高的刷新机器,并将所述空闲度最高的刷新机器确定为所述当前刷新机器;及
获取配置的所述至少一个刷新机器的并发度,从所述至少一个刷新机器中确定并发度剩余量最多的刷新机器,并将所述并发度剩余量最多的刷新机器确定为所述当前刷新机器。
根据本发明优选实施例,所述处理器13还执行多个指令包括:
配置所述至少一个刷新机器的并发度;
所述配置所述至少一个刷新机器的并发度包括以下一种或者多种的组合:
如果CPU核数大于或者等于第一核数,且内存大于或者等于第一内存,且磁盘容量大于或者等于第一磁盘容量,则配置所述并发度为第一并发度;及
如果CPU核数大于第三核数且小于或者等于第二核数,或者内存大于第三内存且小于或者等于第二内存,或者磁盘容量大于第三磁盘容量且小于或者等于第二磁盘容量,则配置所述并发度为第二并发度;及
如果CPU核数小于或者等于第三核数,或者内存小于或者等于第三内存,或者磁盘容量小于或者等于第三容量,则配置所述并发度为第三并发度;及
在除上述三种情况的其他情况下,则配置所述并发度为第四并发度。
根据本发明优选实施例,所述处理器13还执行多个指令包括:
如果所述当前刷新机器中断执行,记录所述当前刷新任务的刷新进度;
根据所述当前刷新任务的刷新进度确定所述当前刷新任务的中断处;
当经过预设时长后,所述刷新机器重新启动时,从所述当前刷新任务的中断处利用所述当前刷新机器继续刷新所述当前刷新任务;或者
当经过预设时长后,所述刷新机器未重新启动时,将以所述当前刷新任务的中断处为起点的所述当前刷新任务中未刷新的部分确定为所述待刷新任务,并为所述待刷新任务重新分配刷新机器。
根据本发明优选实施例,所述处理器13还执行多个指令包括:
获取所述当前刷新任务的关联刷新任务,并为所述关联刷新任务分配刷新机器。
根据本发明优选实施例,所述处理器13还执行多个指令包括:
更新所述刷新任务列表,及更新所述至少一个刷新机器的性能参数及并发度;
根据配置的优先级规则,从更新的刷新任务列表中获取第二刷新任务;
根据更新的至少一个刷新机器的性能参数及并发度,确定第二刷新机器;
利用所述第二刷新机器对所述第二刷新任务进行刷新。
具体地,所述处理器13对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种刷新任务分配方法,其特征在于,所述方法包括:
获取刷新任务列表,所述刷新任务列表中存储着刷新任务;
根据配置的优先级规则,从所述刷新任务列表中确定当前刷新任务;
获取至少一个刷新机器;
根据所述至少一个刷新机器的性能参数及并发度,确定当前刷新机器;
利用所述当前刷新机器对所述当前刷新任务进行刷新。
2.如权利要求1所述的刷新任务分配方法,其特征在于,在根据配置的优先级规则,从所述刷新任务列表中确定当前刷新任务前,所述方法还包括:
配置所述优先级规则;
所述配置所述优先级规则包括以下一种或者多种的组合:
根据所述刷新任务列表中每个刷新任务的生成时间,配置所述优先级规则;及/或
根据所述刷新任务列表中每个刷新任务的重要等级,配置所述优先级规则;及/或
根据所述刷新任务列表中每个刷新任务的类型,配置所述优先级规则。
3.如权利要求2所述的刷新任务分配方法,其特征在于,所述根据配置的优先级规则,从所述刷新任务列表中确定当前刷新任务包括以下一种或者多种的组合:
获取所述刷新任务列表中每个刷新任务的生成时间,按照生成时间的先后顺序,筛选出排在最前的任务作为所述当前刷新任务;及/或
获取配置的所述刷新任务列表中每个刷新任务的重要等级,按照重要等级的顺序,筛选出排在最前的任务作为所述当前刷新任务;及/或
获取所述刷新任务列表中每个刷新任务的类型,按照配置的类型的优先级顺序,筛选出排在最前的任务作为所述当前刷新任务。
4.如权利要求1所述的刷新任务分配方法,其特征在于,所述根据所述至少一个刷新机器的性能参数及并发度,确定当前刷新机器包括:
获取所述至少一个刷新机器的性能参数,根据所述性能参数确定所述至少一个刷新机器的空闲度,获取空闲度最高的刷新机器,并将所述空闲度最高的刷新机器确定为所述当前刷新机器;及
获取配置的所述至少一个刷新机器的并发度,从所述至少一个刷新机器中确定并发度剩余量最多的刷新机器,并将所述并发度剩余量最多的刷新机器确定为所述当前刷新机器。
5.如权利要求1所述的刷新任务分配方法,其特征在于,在根据所述至少一个刷新机器的性能参数及并发度,确定当前刷新机器前,所述方法还包括:
配置所述至少一个刷新机器的并发度;
所述配置所述至少一个刷新机器的并发度包括以下一种或者多种的组合:
如果CPU核数大于或者等于第一核数,且内存大于或者等于第一内存,且磁盘容量大于或者等于第一磁盘容量,则配置所述并发度为第一并发度;及
如果CPU核数大于第三核数且小于或者等于第二核数,或者内存大于第三内存且小于或者等于第二内存,或者磁盘容量大于第三磁盘容量且小于或者等于第二磁盘容量,则配置所述并发度为第二并发度;及
如果CPU核数小于或者等于第三核数,或者内存小于或者等于第三内存,或者磁盘容量小于或者等于第三容量,则配置所述并发度为第三并发度;及
在除上述三种情况的其他情况下,则配置所述并发度为第四并发度。
6.如权利要求1所述的刷新任务分配方法,其特征在于,在利用所述当前刷新机器对所述当前刷新任务进行刷新时,所述方法还包括:
如果所述当前刷新机器中断执行,记录所述当前刷新任务的刷新进度;
根据所述当前刷新任务的刷新进度确定所述当前刷新任务的中断处;
当经过预设时长后,所述刷新机器重新启动时,从所述当前刷新任务的中断处利用所述当前刷新机器继续刷新所述当前刷新任务;或者
当经过预设时长后,所述刷新机器未重新启动时,将以所述当前刷新任务的中断处为起点的所述当前刷新任务中未刷新的部分确定为所述待刷新任务,并为所述待刷新任务重新分配刷新机器。
7.如权利要求1所述的刷新任务分配方法,其特征在于,在利用所述当前刷新机器对所述当前刷新任务进行刷新时,所述方法还包括:
获取所述当前刷新任务的关联刷新任务,并为所述关联刷新任务分配刷新机器。
8.如权利要求1所述的刷新任务分配方法,其特征在于,在利用所述当前刷新机器对所述当前刷新任务进行刷新后,所述方法还包括:
更新所述刷新任务列表,及更新所述至少一个刷新机器的性能参数及并发度;
根据配置的优先级规则,从更新的刷新任务列表中获取第二刷新任务;
根据更新的至少一个刷新机器的性能参数及并发度,确定第二刷新机器;
利用所述第二刷新机器对所述第二刷新任务进行刷新。
9.一种电子设备,其特征在于,所述电子设备包括:
存储器,存储至少一个指令;及
处理器,执行所述存储器中存储的指令以实现如权利要求1至8中任意一项所述的刷新任务分配方法。
10.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现如权利要求1至8中任意一项所述的刷新任务分配方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810316518.4A CN108595264A (zh) | 2018-04-10 | 2018-04-10 | 刷新任务分配方法、电子设备及计算机可读存储介质 |
PCT/CN2018/099412 WO2019196277A1 (zh) | 2018-04-10 | 2018-08-08 | 刷新任务分配方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810316518.4A CN108595264A (zh) | 2018-04-10 | 2018-04-10 | 刷新任务分配方法、电子设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108595264A true CN108595264A (zh) | 2018-09-28 |
Family
ID=63621652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810316518.4A Pending CN108595264A (zh) | 2018-04-10 | 2018-04-10 | 刷新任务分配方法、电子设备及计算机可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN108595264A (zh) |
WO (1) | WO2019196277A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109766186A (zh) * | 2019-01-03 | 2019-05-17 | 中国联合网络通信集团有限公司 | 预约资源分配方法、装置、系统和可读存储介质 |
CN114116034A (zh) * | 2021-12-01 | 2022-03-01 | 展讯通信(天津)有限公司 | 分布式刷机方法和装置 |
CN118193214A (zh) * | 2024-03-29 | 2024-06-14 | 海识(烟台)信息科技有限公司 | 一种基于分布式架构的大数据管理系统及方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1467852A (zh) * | 2002-07-04 | 2004-01-14 | ��ʿͨ��ʽ���� | 半导体存储器 |
CN101105793A (zh) * | 2006-07-11 | 2008-01-16 | 阿里巴巴公司 | 数据仓库中的数据处理方法及系统 |
CN104461740A (zh) * | 2014-12-12 | 2015-03-25 | 国家电网公司 | 一种跨域集群计算资源聚合和分配的方法 |
US20150254109A1 (en) * | 2014-03-05 | 2015-09-10 | Driven, Inc. | System, method, and apparatus for coordinating distributed electronic discovery processing |
CN106201715A (zh) * | 2016-06-30 | 2016-12-07 | 北京奇艺世纪科技有限公司 | 一种任务调度方法和装置 |
US20170249191A1 (en) * | 2016-02-25 | 2017-08-31 | HGST Netherlands B.V. | Adjustable priority ratios for multiple task queues |
CN107506381A (zh) * | 2017-07-21 | 2017-12-22 | 中国建设银行股份有限公司 | 一种大数据分布式调度分析方法、系统装置及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140059271A1 (en) * | 2012-08-27 | 2014-02-27 | Apple Inc. | Fast execution of flush commands using adaptive compaction ratio |
-
2018
- 2018-04-10 CN CN201810316518.4A patent/CN108595264A/zh active Pending
- 2018-08-08 WO PCT/CN2018/099412 patent/WO2019196277A1/zh active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1467852A (zh) * | 2002-07-04 | 2004-01-14 | ��ʿͨ��ʽ���� | 半导体存储器 |
CN101105793A (zh) * | 2006-07-11 | 2008-01-16 | 阿里巴巴公司 | 数据仓库中的数据处理方法及系统 |
US20150254109A1 (en) * | 2014-03-05 | 2015-09-10 | Driven, Inc. | System, method, and apparatus for coordinating distributed electronic discovery processing |
CN104461740A (zh) * | 2014-12-12 | 2015-03-25 | 国家电网公司 | 一种跨域集群计算资源聚合和分配的方法 |
US20170249191A1 (en) * | 2016-02-25 | 2017-08-31 | HGST Netherlands B.V. | Adjustable priority ratios for multiple task queues |
CN106201715A (zh) * | 2016-06-30 | 2016-12-07 | 北京奇艺世纪科技有限公司 | 一种任务调度方法和装置 |
CN107506381A (zh) * | 2017-07-21 | 2017-12-22 | 中国建设银行股份有限公司 | 一种大数据分布式调度分析方法、系统装置及存储介质 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109766186A (zh) * | 2019-01-03 | 2019-05-17 | 中国联合网络通信集团有限公司 | 预约资源分配方法、装置、系统和可读存储介质 |
CN114116034A (zh) * | 2021-12-01 | 2022-03-01 | 展讯通信(天津)有限公司 | 分布式刷机方法和装置 |
CN114116034B (zh) * | 2021-12-01 | 2023-08-11 | 展讯通信(天津)有限公司 | 分布式刷机方法和装置 |
CN118193214A (zh) * | 2024-03-29 | 2024-06-14 | 海识(烟台)信息科技有限公司 | 一种基于分布式架构的大数据管理系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2019196277A1 (zh) | 2019-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7356770B1 (en) | System and method of graphically managing and monitoring a compute environment | |
US8738333B1 (en) | Capacity and load analysis in a datacenter | |
CN106385329B (zh) | 资源池的处理方法、装置和设备 | |
CN112801448B (zh) | 物料需求分配方法、装置、系统及存储介质 | |
CN108304250A (zh) | 用于确定运行机器学习任务的节点的方法和装置 | |
EP3454210B1 (en) | Prescriptive analytics based activation timetable stack for cloud computing resource scheduling | |
CN111966500A (zh) | 资源调度方法、装置、电子设备及存储介质 | |
CN110110543A (zh) | 数据处理方法、装置、服务器及存储介质 | |
CN108595264A (zh) | 刷新任务分配方法、电子设备及计算机可读存储介质 | |
JPH01265356A (ja) | 電算機化管理システム | |
CN111782359B (zh) | 分布式计算系统任务分配方法及相关设备 | |
CN107665141A (zh) | 一种数据库配置方法及其设备 | |
CN111143039A (zh) | 一种虚拟机的调度方法、装置及计算机存储介质 | |
CN106708620A (zh) | 一种处理数据的方法及系统 | |
CN108574645A (zh) | 一种队列调度方法及装置 | |
CN111476479A (zh) | 分配任务的方法、装置和系统 | |
WO2020253490A1 (zh) | 一种资源分配方法、装置及设备 | |
CN115311399A (zh) | 图像渲染方法、装置、电子设备以及存储介质 | |
CN113672375A (zh) | 资源分配预测方法、装置、设备及存储介质 | |
CN115185496A (zh) | 一种基于Flowable工作流引擎的业务编排方法 | |
CN110930056A (zh) | 一种基于思维导图的任务管理方法、终端设备及存储介质 | |
CN109150593A (zh) | 云数据系统中资源的管理方法和装置 | |
CN108536518A (zh) | 任务调度的方法及系统、征信平台、服务终端及存储器 | |
CN108154306A (zh) | 众包模式的任务处理方法、装置、设备及计算机可读存储介质 | |
CN108595552A (zh) | 数据立方体发布方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180928 |