CN106951311B - 一种数据处理方法及服务器集群 - Google Patents

一种数据处理方法及服务器集群 Download PDF

Info

Publication number
CN106951311B
CN106951311B CN201710170642.XA CN201710170642A CN106951311B CN 106951311 B CN106951311 B CN 106951311B CN 201710170642 A CN201710170642 A CN 201710170642A CN 106951311 B CN106951311 B CN 106951311B
Authority
CN
China
Prior art keywords
timing task
data
target timing
target
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710170642.XA
Other languages
English (en)
Other versions
CN106951311A (zh
Inventor
林松涛
刘晶晶
张奇伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201710170642.XA priority Critical patent/CN106951311B/zh
Publication of CN106951311A publication Critical patent/CN106951311A/zh
Application granted granted Critical
Publication of CN106951311B publication Critical patent/CN106951311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/466Transaction processing
    • G06F9/467Transactional memory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/544Buffers; Shared memory; Pipes

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供了一种数据处理方法及服务器集群,该数据处理方法应用于服务器,包括:确定目标定时任务,并获取所述目标定时任务的开始执行时间,在所述目标定时任务的开始执行时间之前,将所述目标定时任务的数据加载至内存,便于目标定时任务开始执行时,直接从内存中读取目标定时任务的数据,加快所述目标定时任务的数据读取速度,从而提高所述目标定时任务的数据处理效率,进而在定时任务集中时,降低数据计算压力,显著提高计算性能。

Description

一种数据处理方法及服务器集群
技术领域
本发明涉及信息处理技术领域,尤其涉及一种数据处理方法及一种服务器集群。
背景技术
随着大数据应用的飞速发展,越来越多的公司使用了大数据平台进行各式各样的数据分析,在进行数据分析的任务中,其中有一大部分是定时的分析任务。进行数据分析的定时任务通常较多,不可避免的产生多个定时任务执行时间重叠的情况,当多个定时任务同时执行时会给大数据服务集群带来很大的计算压力。
发明内容
本发明提供了一种数据处理方法及服务器集群,用以解决现有技术中,当多个定时任务同时执行时会给大数据服务集群带来很大的计算压力的问题,其技术方案如下:
一种数据处理方法,应用于服务器,所述方法包括:
确定目标定时任务,并获取所述目标定时任务的开始执行时间;
在所述目标定时任务的开始执行时间之前,将所述目标定时任务的数据加载至内存。
可选的,所述确定目标定时任务,包括:
获取所述服务器中的定时任务信息;
基于所述服务器中的定时任务信息,分析各定时任务的执行时间,确定执行时间存在重叠的至少2个定时任务作为所述目标定时任务。
可选的,将所述目标定时任务的数据加载至内存,包括:
基于所述开始执行时间,确定所述目标定时任务中各定时任务的执行顺序;
基于所述执行顺序,依次加载所述目标定时任务中各定时任务的数据。
可选的,基于所述执行顺序,依次加载所述目标定时任务中各定时任务的数据包括:
确定所述开始执行时间中最早的第一开始执行时间;
确定开始加载所述目标定时任务中各定时任务的数据的第二时刻,以使得完成所述目标定时任务中各定时任务中所有数据加载的第三时刻不晚于所述第一开始执行时间;
在所述第二时刻,基于所述执行顺序依次加载所述目标定时任务中各定时任务的数据。
可选的,将所述目标定时任务的数据加载至内存,包括:
从所述服务器的磁盘中读取所述目标定时任务的数据;
将从所述磁盘中读取的所述目标定时任务的数据存储至所述内存,并记录所述目标定时任务的数据在所述内存中的存储地址。
可选的,所述方法还包括:
当到达所述目标定时任务的开始执行时间时,从所述内存中读取所述目标定时任务的数据;
基于从所述内存中读取的所述目标定时任务的数据进行计算。
可选的,所述方法还包括:
当到达所述目标定时任务的开始执行时间时,如果所述目标定时任务的数据在所述内存中未加载成功,则从所述服务器的磁盘中读取所述目标定时任务的数据。
一种服务器集群,包括:至少一个处理器和至少一个内存;其中,所述处理器用于:
确定目标定时任务,并获取所述目标定时任务的开始执行时间;
在所述目标定时任务的开始执行时间之前,将所述目标定时任务的数据加载至所述至少一个内存。
可选的,所述处理器执行确定目标定时任务时具体用于:
获取所述服务器中的定时任务信息;
基于所述服务器中的定时任务信息,分析各定时任务的执行时间,确定执行时间存在重叠的至少2个定时任务作为所述目标定时任务。
可选的,所述处理器执行将所述目标定时任务的数据加载至内存时,具体用于:
基于所述开始执行时间,确定所述目标定时任务中各定时任务的执行顺序;
基于所述执行顺序,依次加载所述目标定时任务中各定时任务的数据。
可选的,所述处理器执行基于所述执行顺序,依次加载所述目标定时任务中各定时任务的数据时具体用于:
确定所述开始执行时间中最早的第一开始执行时间;
确定开始加载所述目标定时任务中各定时任务的数据的第二时刻,以使得完成所述目标定时任务中各定时任务中所有数据加载的第三时刻不晚于所述第一开始执行时间;
在所述第二时刻,基于所述执行顺序依次加载所述目标定时任务中各定时任务的数据。
可选的,所述处理器执行将所述目标定时任务的数据加载至内存时,具体用于:
从所述服务器的磁盘中读取所述目标定时任务的数据;
将从所述磁盘中读取的所述目标定时任务的数据存储至所述内存,并记录所述目标定时任务的数据在所述内存中的存储地址。
可选的,所述处理器还用于:
当到达所述目标定时任务的开始执行时间时,从所述内存中读取所述目标定时任务的数据;
基于从所述内存中读取的所述目标定时任务的数据进行计算。
可选的,所述处理器还用于:
当到达所述目标定时任务的开始执行时间时,如果所述目标定时任务的数据在所述内存中未加载成功,则从所述服务器的磁盘中读取所述目标定时任务的数据。
上述技术方案具有如下有益效果:
本发明提供的数据处理方法,在目标定时任务的开始执行时间之前,将所述目标定时任务的数据加载到内存中,以便于目标定时任务开始执行时,直接从内存中读取目标定时任务的数据,加快所述目标定时任务的数据读取速度,从而提高所述目标定时任务的数据处理效率,进而在定时任务集中时,降低数据计算压力,显著提高计算性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明一个实施例提供的数据处理方法的流程图;
图2为本发明一个具体实施例提供的数据处理方法的过程示意图;
图3为本发明实施例提供的另一个实施例提供的数据处理方法的流程图;
图4为本发明一个实施例提供的数据处理装置的结构示意图;
图5为本发明另一个实施例提供的数据处理装置的结构示意图;
图6为本发明一个实施例提供的服务器集群的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种数据处理方法,应用于服务器,如图1所述,该方法包括:
S1:确定目标定时任务,并获取所述目标定时任务的开始执行时间。
在本发明的一个实施例中,所述确定目标定时任务包括:获取所述服务器中的定时任务信息;基于所述服务器中的定时任务信息,分析各定时任务的执行时间,确定执行时间存在重叠的至少2个定时任务作为所述目标定时任务。需要说明的是,在本发明实施例中,执行时间存在重叠的至少2个定时任务可以为执行时间完全重叠的至少2个定时任务,也可以为执行时间部分重叠部分不重叠的至少2个定时任务,本发明对此并不做限定,具体视情况而定。
在本发明的其他实施例中,当所述服务器中某个定时任务的数据处理量较大时,所述目标定时任务也可以只包括一个定时任务,本发明对此并不做限定,具体视情况而定。
下面以所述目标定时任务包括至少两个定时任务为例,对本发明实施例所提供的数据处理方法进行说明。需要说明的是,在本发明实施例中,当所述目标定时任务包括至少两个定时任务时,所述目标定时任务的开始执行时间为所述至少两个定时任务中开始执行时间最早的定时任务的开始执行时间。
S2:在所述目标定时任务的开始执行时间之前,将所述目标定时任务的数据加载至内存。
在本发明的一个实施例中,将所述目标定时任务的数据记载至内存包括:基于所述开始执行时间,确定所述目标定时任务中各定时任务的执行顺序;基于所述执行顺序,依次加载所述目标定时任务中各定时任务的数据。需要说明的是,在本发明实施例中,基于所述开始执行时间,确定所述目标定时任务中各定时任务的执行顺序可以为基于所述目标定时任务中各定时任务开始执行时间,按照所述开始执行时间的先后顺序,确定所述目标定时任务中各定时任务的执行顺序。在本发明的其他实施例中,基于所述开始执行时间,确定所述目标定时任务中各定时任务的执行顺序可以为基于所述目标定时任务中各定时任务开始执行时间,按照所述开始执行时间的其他排序(如倒序或其他预设设置排序方式),确定所述目标定时任务中各定时任务的执行顺序。
在本发明的另一个实施例中,将所述目标定时任务的数据记载至内存包括:基于所述开始执行时间,确定所述目标定时任务中各定时任务的执行顺序;基于所述执行顺序,同时加载所述目标定时任务中至少两个定时任务的数据。但本发明对此并不做限定,具体视情况而定。
具体的,在上述实施例的基础上,在本发明的一个实施例中,基于所述执行顺序,依次加载所述目标定时任务中各定时任务的数据包括:
确定所述开始执行时间中最早的第一开始执行时间;
确定开始加载所述目标定时任务中各定时任务的数据的第二时刻,以使得完成所述目标定时任务中各定时任务中所有数据加载的第三时刻不晚于所述第一开始执行时间;
在所述第二时刻,基于所述执行顺序依次加载所述目标定时任务中各定时任务的数据。
可选的,在本发明的一个实施例中,在所述第二时刻,基于所述执行顺序依次加载所述目标定时任务中各定时任务的数据可以为在第二时刻,按照所述目标定时任务中各定时任务的执行时间顺序,依次加载所述目标定时任务中各定时任务的数据。但本发明对此并不做限定,只要保证所述目标定时中各定时任务执行时间前(即第一开始执行时间前),将各定时任务的数据记载至内存即可。
具体的,如图2所示,在本发明的一个实施例中,所述目标定时任务包括定时任务1、定时任务2和定时任务3三个定时任务,其中,所述定时任务1的开始执行时间最早为t1,即所述第一开始执行时间为t1,在第二蚀刻t2,按照所述定时任务1、定时任务2和定时任务3的开始执行时间的先后顺序,依次加载所述定时任务1、定时任务2和定时任务3的数据,直至所述定时任务1、定时任务2和定时任务3的数据加载完成的第三时刻t3。在本发明实施例中,所述第一开始执行时间t1和所述目标定时任务中所有数据加载完成的第三时刻t3为同一时间点,但本发明对此并不做限定,只要保证所述目标定时任务中所有数据加载完成的第三时刻t3不晚于所述第一开始执行时间t1即可。
在上述任一实施例的基础上,在本发明的一个实施例中,将所述目标定时任务的数据加载至内存,包括:从所述服务器的磁盘中读取所述目标定时任务的数据;将从所述磁盘中读取的所述目标定时任务的数据存储至所述内存,并记录所述目标定时任务的数据在所述内存中的存储地址,以便于后续基于所述目标定时任务的数据在所述内存中的存储地址,从所述内存中读取所述目标定时任务的数据计算,而无需再从所述磁盘中读取数据,加快所述目标定时任务的数据读取速度,从而提高所述目标定时任务的数据处理效率。
在上述任一实施例的基础上,在本发明的一个实施例中,如图3所示,该方法还包括:
S3:当到达所述目标定时任务的开始执行时间时,从所述内存中读取所述目标定时任务的数据;
S4:基于从所述内存中读取的所述目标定时任务的数据进行计算。
需要说明的是,在本发明实一个施例中,当到达所述目标定时任务的开始执行时间时,从所述内存中读取所述目标定时任务的数据可以按照所述目标定时任务中各定时任务的开始执行时间的先后顺序,从所述内存中读取所述目标定时任务中各定时任务的数据;在本发明的另一个实施例中,当到达所述目标定时任务的开始执行时间时,从所述内存中读取所述目标定时任务的数据也可以按照所述目标定时任务中各定时任务数据加载到所述内存的先后顺序,从所述内存中读取所述目标定时任务中各定时任务的数据,本发明对此并不做限定,具体视情况而定。
在上述实施例的基础上,在本发明的一个实施例中,该方法还包括:当到达所述目标定时任务的开始执行时间时,如果所述目标定时任务的数据在所述内存中未加载成功,则从所述服务器的磁盘中读取所述目标定时任务的数据,以便于所述目标定时任务中未加载数据的读取。
相应的,本发明实施例还提供了一种数据处理装置,如图4所示,该数据处理装置包括:
确定单元10,用于确定目标定时任务,并获取所述目标定时任务的开始执行时间;
加载单元20,用于在所述目标定时任务的开始执行时间之前,将所述目标定时任务的数据加载至内存。
在上述实施例的基础上,在本发明的一个实施例中,所述确定单元10在执行确定目标定时任务时具体用于获取所述服务器中的定时任务信息;基于所述服务器中的定时任务信息,分析各定时任务的执行时间,确定执行时间存在重叠的至少2个定时任务作为所述目标定时任务。需要说明的是,在本发明实施例中,执行时间存在重叠的至少2个定时任务可以为执行时间完全重叠的至少2个定时任务,也可以为执行时间部分重叠部分不重叠的至少2个定时任务,本发明对此并不做限定,具体视情况而定。
在本发明的其他实施例中,当所述服务器中某个定时任务的数据处理量较大时,所述目标定时任务也可以只包括一个定时任务,本发明对此并不做限定,具体视情况而定。
下面以所述目标定时任务包括至少两个定时任务为例,对本发明实施例所提供的数据处理装置进行说明。需要说明的是,在本发明实施例中,当所述目标定时任务包括至少两个定时任务时,所述目标定时任务的开始执行时间为所述至少两个定时任务中开始执行时间最早的定时任务的开始执行时间。
在上述任一实施例的基础上,在本发明的一个实施例中,所述加载单元20在执行将所述目标定时任务的数据记载至内存时具体用于:基于所述开始执行时间,确定所述目标定时任务中各定时任务的执行顺序;基于所述执行顺序,依次加载所述目标定时任务中各定时任务的数据。
需要说明的是,在本发明实施例中,基于所述开始执行时间,确定所述目标定时任务中各定时任务的执行顺序可以为基于所述目标定时任务中各定时任务开始执行时间,按照所述开始执行时间的先后顺序,确定所述目标定时任务中各定时任务的执行顺序。在本发明的其他实施例中,基于所述开始执行时间,确定所述目标定时任务中各定时任务的执行顺序可以为基于所述目标定时任务中各定时任务开始执行时间,按照所述开始执行时间的其他排序(如倒序或其他预设设置排序方式),确定所述目标定时任务中各定时任务的执行顺序。
在本发明的另一个实施例中,所述加载单元20在执行将所述目标定时任务的数据记载至内存时具体用于:基于所述开始执行时间,确定所述目标定时任务中各定时任务的执行顺序;基于所述执行顺序,同时加载所述目标定时任务中至少两个定时任务的数据。但本发明对此并不做限定,具体视情况而定。
具体的,在上述实施例的基础上,在本发明的一个实施例中,所述加载单元20在执行基于所述执行顺序,依次加载所述目标定时任务中各定时任务的数据时具体用于:确定所述开始执行时间中最早的第一开始执行时间;确定开始加载所述目标定时任务中各定时任务的数据的第二时刻,以使得完成所述目标定时任务中各定时任务中所有数据加载的第三时刻不晚于所述第一开始执行时间;在所述第二时刻,基于所述执行顺序依次加载所述目标定时任务中各定时任务的数据。
可选的,在本发明的一个实施例中,在所述第二时刻,基于所述执行顺序依次加载所述目标定时任务中各定时任务的数据可以为在第二时刻,按照所述目标定时任务中各定时任务的执行时间顺序,依次加载所述目标定时任务中各定时任务的数据。但本发明对此并不做限定,只要保证所述目标定时中各定时任务执行时间前(即第一开始执行时间前),将各定时任务的数据记载至内存即可。
在上述任一实施例的基础上,在本发明的一个实施例中,所述加载单元20在执行将所述目标定时任务的数据加载至内存时具体用于:从所述服务器的磁盘中读取所述目标定时任务的数据;将从所述磁盘中读取的所述目标定时任务的数据存储至所述内存,并记录所述目标定时任务的数据在所述内存中的存储地址,以便于后续基于所述目标定时任务的数据在所述内存中的存储地址,从所述内存中读取所述目标定时任务的数据计算,而无需再从所述磁盘中读取数据,加快所述目标定时任务的数据读取速度,从而提高所述目标定时任务的数据处理效率。
在上述任一实施例的基础上,在本发明的一个实施例中,如图5所示,所述数据处理装置还包括:
读取单元30,用于当到达所述目标定时任务的开始执行时间时,从所述内存中读取所述目标定时任务的数据;
计算单元40,用于基于从所述内存中读取的所述目标定时任务的数据进行计算。
在上述实施例的基础上,在本发明的一个实施例中,所述读取单元30在执行当到达所述目标定时任务的开始执行时间时,从所述内存中读取所述目标定时任务的数据时具体用于按照所述目标定时任务中各定时任务的开始执行时间的先后顺序,从所述内存中读取所述目标定时任务中各定时任务的数据;在本发明的另一个实施例中,所述读取单元30在执行当到达所述目标定时任务的开始执行时间时,从所述内存中读取所述目标定时任务的数据时具体用于按照所述目标定时任务中各定时任务数据加载到所述内存的先后顺序,从所述内存中读取所述目标定时任务中各定时任务的数据,本发明对此并不做限定,具体视情况而定。
在上述实施例的基础上,在本发明的一个实施例中,所述读取单元30还用于当到达所述目标定时任务的开始执行时间时,如果所述目标定时任务的数据在所述内存中未加载成功,则从所述服务器的磁盘中读取所述目标定时任务的数据,以便于所述目标定时任务中未加载数据的读取。
由上所述可知,本发明实施例所提供的数据处理方法及数据处理装置,在目标定时任务的开始执行时间之前,将所述目标定时任务的数据加载到内存中,以便于目标定时任务开始执行时,直接从内存中读取目标定时任务的数据,加快所述目标定时任务的数据读取速度,从而提高所述目标定时任务的数据处理效率,进而在定时任务集中时,降低数据计算压力,显著提高计算性能。
此外,本发明实施例还提供了一种服务器集群,如图6所示,所述服务器集群包括至少一个处理器100和至少一个内存200,其中,所述处理器100用于:确定目标定时任务,并获取所述目标定时任务的开始执行时间;在所述目标定时任务的开始执行时间之前,将所述目标定时任务的数据加载至所述至少一个内存。
在上述实施例的基础上,在本发明的一个实施例中,所述处理器100在执行确定目标定时任务时具体用于获取所述服务器中的定时任务信息;基于所述服务器中的定时任务信息,分析各定时任务的执行时间,确定执行时间存在重叠的至少2个定时任务作为所述目标定时任务。需要说明的是,在本发明实施例中,执行时间存在重叠的至少2个定时任务可以为执行时间完全重叠的至少2个定时任务,也可以为执行时间部分重叠部分不重叠的至少2个定时任务,本发明对此并不做限定,具体视情况而定。
在本发明的其他实施例中,当所述服务器中某个定时任务的数据处理量较大时,所述目标定时任务也可以只包括一个定时任务,本发明对此并不做限定,具体视情况而定。
下面以所述目标定时任务包括至少两个定时任务为例,对本发明实施例所提供的服务器集群进行说明。需要说明的是,在本发明实施例中,当所述目标定时任务包括至少两个定时任务时,所述目标定时任务的开始执行时间为所述至少两个定时任务中开始执行时间最早的定时任务的开始执行时间。
在上述任一实施例的基础上,在本发明的一个实施例中,所述处理器100在执行将所述目标定时任务的数据记载至内存时具体用于:基于所述开始执行时间,确定所述目标定时任务中各定时任务的执行顺序;基于所述执行顺序,依次加载所述目标定时任务中各定时任务的数据。
需要说明的是,在本发明实施例中,所述处理器100在执行基于所述开始执行时间,确定所述目标定时任务中各定时任务的执行顺序时可以具体用于基于所述目标定时任务中各定时任务开始执行时间,按照所述开始执行时间的先后顺序,确定所述目标定时任务中各定时任务的执行顺序。在本发明的其他实施例中,所述处理器100在执行基于所述开始执行时间,确定所述目标定时任务中各定时任务的执行顺序时也可以具体用于基于所述目标定时任务中各定时任务开始执行时间,按照所述开始执行时间的其他排序(如倒序或其他预设设置排序方式),确定所述目标定时任务中各定时任务的执行顺序。
在本发明的另一个实施例中,所述处理器100在执行将所述目标定时任务的数据记载至内存时具体用于:基于所述开始执行时间,确定所述目标定时任务中各定时任务的执行顺序;基于所述执行顺序,同时加载所述目标定时任务中至少两个定时任务的数据。但本发明对此并不做限定,具体视情况而定。
具体的,在上述实施例的基础上,在本发明的一个实施例中,所述处理器100在执行基于所述执行顺序,依次加载所述目标定时任务中各定时任务的数据时具体用于:确定所述开始执行时间中最早的第一开始执行时间;确定开始加载所述目标定时任务中各定时任务的数据的第二时刻,以使得完成所述目标定时任务中各定时任务中所有数据加载的第三时刻不晚于所述第一开始执行时间;在所述第二时刻,基于所述执行顺序依次加载所述目标定时任务中各定时任务的数据。
可选的,在本发明的一个实施例中,所述处理器100在执行在所述第二时刻,基于所述执行顺序依次加载所述目标定时任务中各定时任务的数据时具体用于:在第二时刻,按照所述目标定时任务中各定时任务的执行时间顺序,依次加载所述目标定时任务中各定时任务的数据。但本发明对此并不做限定,只要保证所述目标定时中各定时任务执行时间前(即第一开始执行时间前),将各定时任务的数据记载至内存即可。
在上述任一实施例的基础上,在本发明的一个实施例中,所述处理器100在执行将所述目标定时任务的数据加载至内存时具体用于:从所述服务器的磁盘中读取所述目标定时任务的数据;将从所述磁盘中读取的所述目标定时任务的数据存储至所述内存,并记录所述目标定时任务的数据在所述内存中的存储地址,以便于后续基于所述目标定时任务的数据在所述内存中的存储地址,从所述内存中读取所述目标定时任务的数据进行计算,而无需再从所述磁盘中读取数据,加快所述目标定时任务的数据读取速度,从而提高所述目标定时任务的数据处理效率。
在上述任一实施例的基础上,在本发明的一个实施例中,所述处理器100还用于:当到达所述目标定时任务的开始执行时间时,从所述内存中读取所述目标定时任务的数据;基于从所述内存中读取的所述目标定时任务的数据进行计算。
在上述实施例的基础上,在本发明的一个实施例中,所述处理器100在执行当到达所述目标定时任务的开始执行时间时,从所述内存中读取所述目标定时任务的数据时具体用于按照所述目标定时任务中各定时任务的开始执行时间的先后顺序,从所述内存中读取所述目标定时任务中各定时任务的数据;在本发明的另一个实施例中,所述处理器100在执行当到达所述目标定时任务的开始执行时间时,从所述内存中读取所述目标定时任务的数据时具体用于按照所述目标定时任务中各定时任务数据加载到所述内存的先后顺序,从所述内存中读取所述目标定时任务中各定时任务的数据,本发明对此并不做限定,具体视情况而定。
在上述实施例的基础上,在本发明的一个实施例中,所述处理器100还用于当到达所述目标定时任务的开始执行时间时,如果所述目标定时任务的数据在所述内存中未加载成功,则从所述服务器的磁盘中读取所述目标定时任务的数据,以便于所述目标定时任务中未加载数据的读取。
综上所述,本发明实施例所提供的服务器集群,可以利用处理器100在目标定时任务的开始执行时间之前,将所述目标定时任务的数据加载到内存中,以便于目标定时任务开始执行时,直接从内存中读取目标定时任务的数据,加快所述目标定时任务的数据读取速度,从而提高所述目标定时任务的数据处理效率,进而在定时任务集中时,降低大数据集群的计算压力,显著提高计算性能。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法、装置和设备,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种数据处理方法,其特征在于,应用于服务器,所述方法包括:
确定目标定时任务,并获取所述目标定时任务的开始执行时间;
在所述目标定时任务的开始执行时间之前,将所述目标定时任务的数据加载至内存,所述目标定时任务中所有数据加载完成的第三时刻不晚于所述开始执行时间中最早的第一开始执行时间;所述确定目标定时任务,包括:
获取所述服务器中的定时任务信息;
基于所述服务器中的定时任务信息,分析各定时任务的执行时间,确定执行时间存在重叠的至少2个定时任务作为所述目标定时任务。
2.根据权利要求1所述的数据处理方法,其特征在于,将所述目标定时任务的数据加载至内存,包括:
基于所述开始执行时间,确定所述目标定时任务中各定时任务的执行顺序;
基于所述执行顺序,依次加载所述目标定时任务中各定时任务的数据。
3.根据权利要求2所述的数据处理方法,其特征在于,基于所述执行顺序,依次加载所述目标定时任务中各定时任务的数据包括:
确定所述开始执行时间中最早的第一开始执行时间;
确定开始加载所述目标定时任务中各定时任务的数据的第二时刻,以使得完成所述目标定时任务中各定时任务中所有数据加载的第三时刻不晚于所述第一开始执行时间;
在所述第二时刻,基于所述执行顺序依次加载所述目标定时任务中各定时任务的数据。
4.根据权利要求1所述的数据处理方法,其特征在于,将所述目标定时任务的数据加载至内存,包括:
从所述服务器的磁盘中读取所述目标定时任务的数据;
将从所述磁盘中读取的所述目标定时任务的数据存储至所述内存,并记录所述目标定时任务的数据在所述内存中的存储地址。
5.根据权利要求1至4中任意一项所述的数据处理方法,其特征在于,所述方法还包括:
当到达所述目标定时任务的开始执行时间时,从所述内存中读取所述目标定时任务的数据;
基于从所述内存中读取的所述目标定时任务的数据进行计算。
6.根据权利要求5所述的数据处理方法,其特征在于,所述方法还包括:
当到达所述目标定时任务的开始执行时间时,如果所述目标定时任务的数据在所述内存中未加载成功,则从所述服务器的磁盘中读取所述目标定时任务的数据。
7.一种服务器集群,其特征在于,包括:至少一个处理器和至少一个内存;其中,所述处理器用于:
确定目标定时任务,并获取所述目标定时任务的开始执行时间;
在所述目标定时任务的开始执行时间之前,将所述目标定时任务的数据加载至所述至少一个内存,所述目标定时任务中所有数据加载完成的第三时刻不晚于所述开始执行时间中最早的第一开始执行时间;
所述处理器执行确定目标定时任务时具体用于:
获取所述服务器中的定时任务信息;
基于所述服务器中的定时任务信息,分析各定时任务的执行时间,确定执行时间存在重叠的至少2个定时任务作为所述目标定时任务。
8.根据权利要求7所述的服务器集群,其特征在于,所述处理器执行将所述目标定时任务的数据加载至内存时,具体用于:
基于所述开始执行时间,确定所述目标定时任务中各定时任务的执行顺序;
基于所述执行顺序,依次加载所述目标定时任务中各定时任务的数据。
9.根据权利要求8所述的服务器集群,其特征在于,所述处理器执行基于所述执行顺序,依次加载所述目标定时任务中各定时任务的数据时具体用于:
确定所述开始执行时间中最早的第一开始执行时间;
确定开始加载所述目标定时任务中各定时任务的数据的第二时刻,以使得完成所述目标定时任务中各定时任务中所有数据加载的第三时刻不晚于所述第一开始执行时间;
在所述第二时刻,基于所述执行顺序依次加载所述目标定时任务中各定时任务的数据。
10.根据权利要求7所述的服务器集群,其特征在于,所述处理器执行将所述目标定时任务的数据加载至内存时,具体用于:
从所述服务器的磁盘中读取所述目标定时任务的数据;
将从所述磁盘中读取的所述目标定时任务的数据存储至所述内存,并记录所述目标定时任务的数据在所述内存中的存储地址。
11.根据权利要求7-10任一项所述的服务器集群,其特征在于,所述处理器还用于:
当到达所述目标定时任务的开始执行时间时,从所述内存中读取所述目标定时任务的数据;
基于从所述内存中读取的所述目标定时任务的数据进行计算。
12.根据权利要求11所述的服务器集群,其特征在于,所述处理器还用于:
当到达所述目标定时任务的开始执行时间时,如果所述目标定时任务的数据在所述内存中未加载成功,则从所述服务器的磁盘中读取所述目标定时任务的数据。
CN201710170642.XA 2017-03-21 2017-03-21 一种数据处理方法及服务器集群 Active CN106951311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710170642.XA CN106951311B (zh) 2017-03-21 2017-03-21 一种数据处理方法及服务器集群

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710170642.XA CN106951311B (zh) 2017-03-21 2017-03-21 一种数据处理方法及服务器集群

Publications (2)

Publication Number Publication Date
CN106951311A CN106951311A (zh) 2017-07-14
CN106951311B true CN106951311B (zh) 2021-04-13

Family

ID=59473283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710170642.XA Active CN106951311B (zh) 2017-03-21 2017-03-21 一种数据处理方法及服务器集群

Country Status (1)

Country Link
CN (1) CN106951311B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113641484A (zh) * 2021-10-13 2021-11-12 浙江口碑网络技术有限公司 任务定时调度方法、装置、设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577256A (zh) * 2013-11-21 2014-02-12 五八同城信息技术有限公司 分布式定时任务调度系统
CN106406993A (zh) * 2016-09-06 2017-02-15 努比亚技术有限公司 一种定时任务管理方法和系统
US20170054798A1 (en) * 2015-08-19 2017-02-23 International Business Machines Corporation Scheduling Software Deployment

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102279885A (zh) * 2011-08-16 2011-12-14 中兴通讯股份有限公司 内存数据库对数据的操作方法及装置
CN104951367B (zh) * 2015-07-17 2018-02-16 中国人民解放军国防科学技术大学 一种虚拟化云中容错任务调度方法
CN106339255B (zh) * 2016-08-24 2019-10-11 北京小米移动软件有限公司 定时任务的调度方法、系统、装置及服务器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577256A (zh) * 2013-11-21 2014-02-12 五八同城信息技术有限公司 分布式定时任务调度系统
US20170054798A1 (en) * 2015-08-19 2017-02-23 International Business Machines Corporation Scheduling Software Deployment
CN106406993A (zh) * 2016-09-06 2017-02-15 努比亚技术有限公司 一种定时任务管理方法和系统

Also Published As

Publication number Publication date
CN106951311A (zh) 2017-07-14

Similar Documents

Publication Publication Date Title
WO2019085466A1 (zh) 关联测试方法、系统、应用服务器及计算机可读存储介质
CN105045632A (zh) 一种多核环境下实现免锁队列的方法和设备
US9921951B2 (en) Optimizations for regression tracking and triaging in software testing
CN109388564B (zh) 一种测试方法、装置及电子设备
CN106951311B (zh) 一种数据处理方法及服务器集群
CN111078510B (zh) 一种任务处理进度的记录方法及装置
CN109829678B (zh) 一种回滚处理方法、装置以及电子设备
CN113486109A (zh) 异构数据库的数据同步方法、装置及电子设备
CN107368351B (zh) 一种虚拟机配置自动升级扩容方法和装置
CN111459474B (zh) 一种模板化的数据处理方法及装置
WO2015124086A1 (en) Virus signature matching method and apparatus
US20160292174A1 (en) File scanning method and device
CN115905040B (zh) 计数器的处理方法、图形处理器、设备及存储介质
CN112860412A (zh) 业务数据处理方法、装置、电子设备及存储介质
CN111309475B (zh) 一种检测任务执行方法及设备
CN115374232A (zh) 张量分配方法、介质、电子设备和程序产品
CN112148486B (zh) 内存页面管理方法、装置、设备及可读存储介质
CN113900856A (zh) 一种数据处理方法及相关设备
CN112506592B (zh) 页面加载时长的确定方法、装置、设备和存储介质
CN114691496A (zh) 单元测试方法、装置、计算设备及介质
CN114296996A (zh) 一种基于有向无环图业务流程恢复的方法及装置
US20170010935A1 (en) Dumping resources
US20180232205A1 (en) Apparatus and method for recursive processing
US10055253B2 (en) Reducing processor loading during housekeeping operations
CN111367750A (zh) 一种异常处理方法、装置及其设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant