CN107357642B - 一种计算任务调整方法及装置 - Google Patents

一种计算任务调整方法及装置 Download PDF

Info

Publication number
CN107357642B
CN107357642B CN201710502312.6A CN201710502312A CN107357642B CN 107357642 B CN107357642 B CN 107357642B CN 201710502312 A CN201710502312 A CN 201710502312A CN 107357642 B CN107357642 B CN 107357642B
Authority
CN
China
Prior art keywords
target
time
calculation
task
computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710502312.6A
Other languages
English (en)
Other versions
CN107357642A (zh
Inventor
梁建煌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201710502312.6A priority Critical patent/CN107357642B/zh
Publication of CN107357642A publication Critical patent/CN107357642A/zh
Application granted granted Critical
Publication of CN107357642B publication Critical patent/CN107357642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例提供了一种计算任务调整方法及装置，确定目标计算任务所对应的目标节点；获取所述目标节点对应的目标参数信息；根据所述目标参数信息，计算所述目标节点对所述目标计算任务进行计算处理的目标总耗时；根据所述目标总耗时和所述目标计算任务以外的其他计算任务各自对应的总耗时，按照耗时均衡原则对所述目标计算任务进行调整。这样，通过考虑各个节点对相应的计算任务进行计算处理的影响因素并对各个计算任务进行调整，使得各个节点对相应的计算任务进行计算处理所需的时间差异变小，从而提高MapReduce对整个文件进行计算处理的效率。

Description

一种计算任务调整方法及装置
技术领域
本发明涉及分布式计算技术领域，特别是涉及一种计算任务调整方法及装置。
背景技术
MapReduce是一种分布式计算框架，包含了Map、Reduce两个计算阶段，其中，Map为映射，Reduce为规约。在现有技术中，MapReduce的输入文件被分割成多个大小相等的文件块，每一个文件块称为一个split，每一个split对应一个相应的Mapper，每个计算任务即为一个计算任务，并且每一个Mapper对应一个相应的节点，节点用于对相应的Mapper进行计算处理，也就是说，节点是对Mapper所对应的split的文件内容进行计算处理。Reducer读取Mapper所对应的节点的输出结果，Reducer所对应的节点根据接收到的计算结果进行归约合并计算，从而得出MapReduce的最后计算结果。
其中，资源管理器将MapReduce的输入文件分成大小相等的多个split，这样，各个节点可以对相应的split同时进行计算处理，从而缩短了整个文件的计算处理时间。然而，虽然每个Mapper所对应的split的文件大小相等，但是每个节点对相应的Mapper进行计算时的处理速度是不一样的，从而导致了每个节点对相应的Mapper进行计算的耗时就不一样，耗时长的Mapper会影响MapReduce对整个文件进行计算处理的效率，甚至会导致计算运行失败。
发明内容
本发明实施例的目的在于提供一种计算任务调整方法及装置，以解决各个节点对相应的计算任务进行计算处理所需的时间差异较大的问题。具体技术方案如下：
第一方面，本发明实施例提供了一种计算任务调整方法，应用于资源管理器，所述方法包括：
确定目标计算任务所对应的目标节点，所述目标节点按照预设的计算方式对所述目标计算任务进行计算处理；
获取所述目标节点对应的目标参数信息，所述目标参数信息为计算耗时所需的信息，所述耗时为所述目标节点对所述目标计算任务进行计算处理的时长；
根据所述目标参数信息，计算所述目标节点对所述目标计算任务进行计算处理的目标总耗时；
根据所述目标总耗时和所述目标计算任务以外的其他计算任务各自对应的总耗时，按照耗时均衡原则对所述目标计算任务进行调整，其中，所述耗时均衡原则为各个计算任务之间的耗时差值，所述耗时差值在预设差值范围内。
可选地，所述目标总耗时包括目标节点读取所述目标计算任务所对应的文件的第一耗时、所述目标节点对所述目标计算任务进行计算的第二耗时和所述目标节点输出计算结果的第三耗时。
可选地，所述根据所述目标参数信息，计算所述目标节点对所述目标计算任务进行计算处理的目标总耗时的步骤，包括：
根据所述目标参数信息，分别计算所述目标节点对所述目标计算任务的所述第一耗时、所述第二耗时和所述第三耗时；
将计算所得的所述第一耗时、所述第二耗时和所述第三耗时相加得到所述目标总耗时。
可选地，当目标参数信息包括所述目标节点的文件读取速度、所述目标节点对所述目标计算任务进行计算处理的速度和所述目标节点输出计算结果的传输速度时，
所述根据所述目标参数信息，分别计算所述目标节点对所述目标计算任务的所述第一耗时、所述第二耗时和所述第三耗时的步骤，包括：
计算所述第一耗时所利用的公式如下所示：
Figure BDA0001333973500000021
其中T1为所述第一耗时，Q为所述目标计算任务所对应的文件量，V1为所述目标节点的文件读取速度；
计算所述第二耗时所利用的公式如下所示：
Figure BDA0001333973500000031
其中T2为所述第二耗时，Q为所述目标计算任务所对应的文件量，V2为所述目标节点对所述目标计算任务进行计算处理的速度；
计算所述第三耗时所利用的公式如下所示：
Figure BDA0001333973500000032
其中T3为所述第二耗时，P为所述目标计算任务所对应的计算结果，V3为所述目标节点输出所述计算结果的传输速度。
可选地，当目标参数信息包括所述目标节点的文件读取速度、所述目标节点对所述目标计算任务进行计算处理的速度、所述目标节点输出计算结果的传输速度、所述目标计算任务所对应的文件的文件格式和文件压缩方式时，
所述根据所述目标参数信息，分别计算所述目标节点对所述目标计算任务的所述第一耗时、所述第二耗时和所述第三耗时的步骤，包括：
计算所述第一耗时所利用的公式如下所示：
Figure BDA0001333973500000033
其中T4为所述第一耗时，Q为所述目标计算任务所对应的文件量，V4为所述目标节点对所述目标计算任务所对应的文件进行解压和读取的速度，其中，V4是由所述目标节点的文件读取速度、所述目标计算任务所对应的文件的文件格式和文件压缩方式共同确定的；
计算所述第二耗时所利用的公式如下所示：
Figure BDA0001333973500000034
其中T5为所述第二耗时，Q为所述目标计算任务所对应的文件量，V5为所述目标节点对所述目标计算任务进行计算处理的速度；
计算所述第三耗时所利用的公式如下所示：
Figure BDA0001333973500000035
其中T6为所述第三耗时，P为所述目标计算任务所对应的计算结果，V6为所述目标节点输出所述计算结果的传输速度。
可选地，所述根据所述目标总耗时和所述目标计算任务以外的其他计算任务各自对应的总耗时，按照耗时均衡原则对所述目标计算任务进行调整的步骤，包括：
分别判断所述目标总耗时与第一计算任务的总耗时的耗时差值是否满足所述耗时均衡原则，所述第一计算任务为所述目标计算任务以外的其他计算任务；
如果满足，保持所述目标计算任务和所述第一计算任务均不变；
如果不满足，并且当所述目标总耗时大于所述第一计算任务的总耗时时，从所述目标计算任务所对应的文件中拆分出第一部分文件，并将所述第一部分文件合并至所述第一计算任务所对应的文件中；
如果不满足，并且当所述目标总耗时小于所述第一计算任务的总耗时时，从所述第一计算任务所对应的文件中拆分出第一部分文件，并将所述第一部分文件合并至所述目标计算任务所对应的文件中；
其中，所述第一部分文件为使得所述目标总耗时与第一计算任务的总耗时的耗时差值满足耗时均衡原则的文件。
第二方面，本发明实施例提供了一种计算任务调整装置，应用于资源管理器，所述装置包括：
确定模块，用于确定目标计算任务所对应的目标节点，所述目标节点按照预设的计算方式对所述目标计算任务进行计算处理；
获取模块，用于获取所述目标节点对应的目标参数信息，所述目标参数信息为计算耗时所需的信息，所述耗时为所述目标节点对所述目标计算任务进行计算处理的时长；
计算模块，用于根据所述目标参数信息，计算所述目标节点对所述目标计算任务进行计算处理的目标总耗时；
调整模块，用于根据所述目标总耗时和所述目标计算任务以外的其他计算任务各自对应的总耗时，按照耗时均衡原则对所述目标计算任务进行调整，其中，所述耗时均衡原则为各个计算任务之间的耗时差值，所述耗时差值在预设差值范围内。
可选地，所述目标总耗时包括目标节点读取所述目标计算任务所对应的文件的第一耗时、所述目标节点对所述目标计算任务进行计算的第二耗时和所述目标节点输出计算结果的第三耗时。
可选地，所述计算模块包括：
第一计算子模块，用于根据所述目标参数信息，分别计算所述目标节点对所述目标计算任务的所述第一耗时、所述第二耗时和所述第三耗时；
第二计算子模块，用于将计算所得的所述第一耗时、所述第二耗时和所述第三耗时相加得到所述目标总耗时。
可选地，当目标参数信息包括所述目标节点的文件读取速度、所述目标节点对所述目标计算任务进行计算处理的速度和所述目标节点输出计算结果的传输速度时，
所述第一计算子模块包括：
第一计算单元，用于计算所述第一耗时所利用的公式如下所示：
Figure BDA0001333973500000051
其中T1为所述第一耗时，Q为所述目标计算任务所对应的文件量，V1为所述目标节点的文件读取速度；
第二计算单元，用于计算所述第二耗时所利用的公式如下所示：
Figure BDA0001333973500000052
其中T2为所述第二耗时，Q为所述目标计算任务所对应的文件量，V2为所述目标节点对所述目标计算任务进行计算处理的速度；
第三计算单元，用于计算所述第三耗时所利用的公式如下所示：
Figure BDA0001333973500000053
其中T3为所述第二耗时，P为所述目标计算任务所对应的计算结果，V3为所述目标节点输出所述计算结果的传输速度。
可选地，当目标参数信息包括所述目标节点的文件读取速度、所述目标节点对所述目标计算任务进行计算处理的速度、所述目标节点输出计算结果的传输速度、所述目标计算任务所对应的文件的文件格式和文件压缩方式时，
所述第一计算子模块包括：
第四计算单元，用于计算所述第一耗时所利用的公式如下所示：
其中T4为所述第一耗时，Q为所述目标计算任务所对应的文件量，V4为所述目标节点对所述目标计算任务所对应的文件进行解压和读取的速度，其中，V4是由所述目标节点的文件读取速度、所述目标计算任务所对应的文件的文件格式和文件压缩方式共同确定的；
第五计算单元，用于计算所述第二耗时所利用的公式如下所示：
Figure BDA0001333973500000062
其中T5为所述第二耗时，Q为所述目标计算任务所对应的文件量，V5为所述目标节点对所述目标计算任务进行计算处理的速度；
第六计算单元，用于计算所述第三耗时所利用的公式如下所示：
Figure BDA0001333973500000063
其中T6为所述第三耗时，P为所述目标计算任务所对应的计算结果，V6为所述目标节点输出所述计算结果的传输速度。
可选地，所述调整模块包括：
第一判断子模块，用于分别判断所述目标总耗时与第一计算任务的总耗时的耗时差值是否满足所述耗时均衡原则，所述第一计算任务为所述目标计算任务以外的其他计算任务；
保持子模块，用于当满足所述耗时均衡原则时，保持所述目标计算任务和所述第一计算任务均不变；
第二判断子模块，用于当不满足所述耗时均衡原则时，判断所述目标总耗时是否大于所述第一计算任务的总耗时；
第一拆分子模块，用于所述第二判断子模块的判断结果为是时，从所述目标计算任务所对应的文件中拆分出第一部分文件，并将所述第一部分文件合并至所述第一计算任务所对应的文件中；
第二拆分子模块，用于所述第二判断子模块的判断结果为否时，从所述第一计算任务所对应的文件中拆分出第一部分文件，并将所述第一部分文件合并至所述目标计算任务所对应的文件中；
其中，所述第一部分文件为使得所述目标总耗时与第一计算任务的总耗时的耗时差值满足耗时均衡原则的文件。
在本发明实施的又一方面,还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的计算任务调整方法。
在本发明实施的又一方面,本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的计算任务调整方法。
本发明实施例提供的技术方案中，确定目标计算任务所对应的目标节点，所述目标节点按照预设的计算方式对所述目标计算任务进行计算处理；获取所述目标节点对应的目标参数信息，所述目标参数信息为计算耗时所需的信息，所述耗时为所述目标节点对所述目标计算任务进行计算处理的时长；根据所述目标参数信息，计算所述目标节点对所述目标计算任务进行计算处理的目标总耗时；根据所述目标总耗时和所述目标计算任务以外的其他计算任务各自对应的总耗时，按照耗时均衡原则对所述目标计算任务进行调整，其中，所述耗时均衡原则为各个计算任务之间的耗时差值在预设差值范围内。这样，通过考虑各个节点对相应的计算任务进行计算处理的影响因素并对各个计算任务进行调整，使得各个节点对相应的计算任务进行计算处理所需的时间差异变小，从而提高MapReduce对整个文件进行计算处理的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的一种计算任务调整方法的一种流程图；
图2为本发明实施例提供的一种计算任务调整方法的另一种流程图；
图3为本发明实施例提供的一种计算任务调整方法的另一种流程图；
图4为本发明实施例提供的一种计算任务调整装置的一种结构示意图；
图5为本发明实施例提供的一种计算任务调整装置的另一种结构示意图；
图6为本发明实施例提供的一种计算任务调整装置的另一种结构示意图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
为了解决各个节点对相应的计算任务进行计算处理所需的时间差异较大的问题,本发明实施例提供了一种计算任务调整方法及装置。
下面首先对本发明提供的一种计算任务调整方法进行介绍。
MapReduce是一种分布式计算框架，包含了Map、Reduce两个计算阶段。
其中，本发明提供的一种计算任务调整方法应用于资源管理器，资源管理器记录每一个Mapper与所分配的各个节点的对应关系，一个Mapper即为一个计算任务，各个节点对相应的任务进行计算处理；另外，资源管理器还记录有各个节点的硬件配置和网络拓扑，例如，各个节点的读写能力、传输速度、计算处理速度等等。除此之外，资源管理器还可以对Mapper所对应的计算任务进行调整，例如，当各个计算任务所对应的任务量一样时，将计算任务A所对应的任务量减少50％，并将该减少的50％的任务量分配给计算任务B，那么，此时计算任务B所对应的任务量就增加了50％。
如图1所示，本发明实施例提供的一种计算任务调整方法，包括如下步骤：
S101，确定目标计算任务所对应的目标节点，所述目标节点按照预设的计算方式对所述目标计算任务进行计算处理。
其中，目标计算任务对应相应的计算任务，该计算任务即为MapReduce的输入文件被分割成的split，同时，目标计算任务有相对应的目标节点，目标节点对目标计算任务进行相应的计算处理，并得到相应的计算处理结果。其中，目标计算任务与目标节点的对应关系是预先设定的，并记录在资源管理器中。
一种实现方式中，资源管理器中存储有对应关系表，该对应关系表中记录的是每一个计算任务与相应节点的对应关系，当需要确定目标计算任务所对应的目标节点时，在对应关系表中找到目标计算任务，然后根据对应关系便可确定出目标节点。
需要说明的是，计算任务与节点的对应关系可以是一一对应的关系，即每一个计算任务对应一个节点，每一个节点也仅对一个计算任务进行计算处理；计算任务与节点的对应关系还可以是多对一的关系，即对于每一个计算任务来说，仅由一个相应的节点对该计算任务进行计算处理，而对于节点来说，可以并行处理若干所对应的计算任务。
S102，获取所述目标节点对应的目标参数信息，所述目标参数信息为计算耗时所需的信息，所述耗时为所述目标节点对所述目标计算任务进行计算处理的时长。
目标节点对目标计算任务进行计算处理的时间包括目标节点读取目标计算任务所对应的文件的时间、目标节点对目标计算任务进行计算的时间和目标节点输出计算结果的时间，而不同的节点对应不同的目标参数信息，因此，不同的节点对不同的计算任务的读取速度、计算处理速度、传输速度均可以不相同。
其中，对耗时有影响的信息可以包括目标节点的文件读取速度、目标节点对目标计算任务进行计算处理的速度、目标节点输出计算结果的传输速度、目标计算任务所对应的文件的文件格式和文件压缩方式等信息。其中，目标节点的文件读取速度、目标节点对目标计算任务进行计算处理的速度、目标节点输出计算结果的传输速度是由目标节点自身的各配置参数共同决定的，配置参数包括CPU、网卡、传输介质、存储介质等参数。
需要说明的是，本发明实施例中，目标参数信息可以为上述的各类对耗时有影响的信息中的部分或全部，例如：目标参数信息可以包括：所述目标节点的文件读取速度、所述目标节点对所述目标计算任务进行计算处理的速度和所述目标节点输出计算结果的传输速度；又如：目标参数信息可以包括：目标节点的文件读取速度、目标节点对目标计算任务进行计算处理的速度、目标节点输出计算结果的传输速度、目标计算任务所对应的文件的文件格式和文件压缩方式。
具体地，因为受不同存取介质的读写性能的影响，各个节点读取相对应的计算任务的速度是不一样的，其中，存储介质可以分为内存、SSD(Solid State Drives，固态硬盘)、SAS(Serial Attached SCSI，序列式SCSI接口)、SATA(Serial ATA，串口硬盘)等不同类型，每一种类型的存储介质的读写性能都可以表示出。示例地，内存、SSD、SAS、SATA的读写性能之比为：1:2:2:3，还可以用具体数值表示出读写性能的速度，例如，内存的读写性能的速度为10000MB/s。当然，可以理解的是，存储介质并不仅仅包括上述几种类型，其他可实现读写以及存储功能的存储介质都是可行的。
另外，目标节点读取目标计算任务所对应的文件的速度还受到文件的文件格式和文件压缩方式的影响，其中，文件格式可以为二进制文件格式、日志文件格式、文本文件格式中的任一种；文件压缩方式可以是通过DEFLATE压缩算法、bzip2压缩算法、LZO压缩算法、gzip压缩算法、LZO-bset压缩算法中的任一种压缩方式，当然，还可以为其他合理的文件压缩方式，在此不一一列举。
文件的不同文件格式会造成目标节点对目标计算任务所对应的文件的读取速度，甚至还会影响目标节点对目标计算任务所对应的文件的计算处理速度；而因为压缩的输入文件在进行计算处理前需要进行解压缩的操作，因此，不同的文件压缩方式会造成解压缩耗时的长短，从而导致目标节点对目标计算任务所对应的文件读取以及进行计算处理的耗时不一样。示例地，bzip2压缩算法的解压缩速度为9.5MB/s，LZO压缩算法的解压缩速度为74.6MB/s，gzip压缩算法的解压缩速度为58MB/s，LZO-bset压缩算法的解压缩速度为60.6MB/s。
具体地，目标节点对目标计算任务进行计算处理的速度也受节点的硬件配置影响，影响处理速度的硬件配置可以为以下配置中的至少一种：CPU型号，网卡型号。例如，Intel Xeon E5-2679、AMD FX-9590均为不同的CPU型号，那么Intel Xeon E5-2679与AMDFX-9590CPU的计算处理的速度也是不一样的。另外，网卡也可以分为不同类型，例如，百兆网卡、千兆网卡、万兆网卡等，其中，百兆网卡的传输速率是100Mbps(百兆)，千兆网卡的传输速率是1000Mbps(千兆)，万兆网卡的传输速率是10000Mbps(万兆)；网卡还可以分为不同型号，例如Intel I350-T4，TP-LINK TF-3239DL等，不同型号的网卡传输速率也是不一样的。
具体地，目标节点输出计算结果的传输速度包括在交换机之间的传输速度，或者不同机器之间的传输速度，传输速度的影响因素包括传输介质的不同，例如，传输介质可以是双绞线，光缆，光纤等，不同的传输介质是传输速度的重要影响因素，当然，其他的影响因素，例如布线设计、网络衔接介质的选择等都会对传输速度产生影响。
可以理解的是，目标参数信息可以包括，但不仅仅包括上述列举的信息类型，其他对耗时有影响的信息类型都是可行的。考虑对耗时有影响的信息类型越多，那么对耗时的计算更精确。
S103，根据所述目标参数信息，计算所述目标节点对所述目标计算任务进行计算处理的目标总耗时。
其中，目标总耗时包括目标节点读取所述目标计算任务所对应的文件的第一耗时、所述目标节点对所述目标计算任务进行计算的第二耗时和所述目标节点输出计算结果的第三耗时，即目标总耗时等于第一耗时、第二耗时和第三耗时之和。当然，根据需求，目标总耗时也可以仅包括部分耗时，例如，仅包括目标节点读取所述目标计算任务所对应的文件的耗时，以及目标节点对所述目标计算任务进行计算的耗时，此时，目标总耗时为第一耗时和第二耗时之和。
S104，根据所述目标总耗时和所述目标计算任务以外的其他计算任务各自对应的总耗时，按照耗时均衡原则对所述目标计算任务进行调整，其中，所述耗时均衡原则为各个计算任务之间的耗时差值，所述耗时差值在预设差值范围内。
其中，按照耗时均衡原则对目标计算任务进行调整时，是对目标计算任务所对应的文件块进行调整。
耗时均衡原则是为了保证各个计算任务之间的耗时差值在预设差值范围内，预设差值范围可以由用户自定义设定，为了保证每个计算任务的耗时误差更小，运行时间更均衡，可以将预设差值范围设置的小一些，甚至将预设差值范围设为0，即保证每一个计算任务的耗时一致。
本发明实施例提供的技术方案中，确定目标计算任务所对应的目标节点，所述目标节点按照预设的计算方式对所述目标计算任务进行计算处理；获取所述目标节点对应的目标参数信息，所述目标参数信息为计算耗时所需的信息，所述耗时为所述目标节点对所述目标计算任务进行计算处理的时长；根据所述目标参数信息，计算所述目标节点对所述目标计算任务进行计算处理的目标总耗时；根据所述目标总耗时和所述目标计算任务以外的其他计算任务各自对应的总耗时，按照耗时均衡原则对所述目标计算任务进行调整，其中，所述耗时均衡原则为各个计算任务之间的耗时差值在预设差值范围内。这样，通过考虑各个节点对相应的计算任务进行计算处理的影响因素并对各个计算任务进行调整，使得各个节点对相应的计算任务进行计算处理所需的时间差异变小，从而提高MapReduce对整个文件进行计算处理的效率。
下面结合另一具体的实施例，对本发明提供的一种计算任务调整方法进行介绍。
如图2所示，一种计算任务调整方法，包括如下步骤：
S201，确定目标计算任务所对应的目标节点，所述目标节点按照预设的计算方式对所述目标计算任务进行计算处理。
S202，获取所述目标节点对应的目标参数信息，所述目标参数信息为计算耗时所需的信息，所述耗时为所述目标节点对所述目标计算任务进行计算处理的时长。
本实施例中，S201和S202与上述实施例的S101和S102相同，在此不作赘述。
S203，根据所述目标参数信息，分别计算所述目标节点对所述目标计算任务的所述第一耗时、所述第二耗时和所述第三耗时。
S204，将计算所得的所述第一耗时、所述第二耗时和所述第三耗时相加得到所述目标总耗时。
当目标总耗时包括目标节点读取所述目标计算任务所对应的文件的第一耗时、所述目标节点对所述目标计算任务进行计算的第二耗时和所述目标节点输出计算结果的第三耗时，根据目标节点对目标计算任务的目标参数信息，分别计算目标节点对目标计算任务的第一耗时、第二耗时和第三耗时，并将计算所得的第一耗时、第二耗时和第三耗时相加便可得到目标总耗时
在一种实施方式中，当目标参数信息包括所述目标节点的文件读取速度、所述目标节点对所述目标计算任务进行计算处理的速度和所述目标节点输出计算结果的传输速度时，即同时考虑目标节点的读取速度、目标节点的计算处理速度以及目标节点的传输速度的情况下，计算所述第一耗时所利用的公式如下所示：
Figure BDA0001333973500000131
其中T1为所述第一耗时，Q为所述目标计算任务所对应的文件量，V1为所述目标节点的文件读取速度；
示例地，目标计算任务所对应的文件量为100MByte，目标节点读取目标计算任务所对应的文件的速度为1000MB/s，那么，根据公式1可以得到第一耗时T1为0.1s。
计算所述第二耗时所利用的公式如下所示：
Figure BDA0001333973500000132
其中T2为所述第二耗时，Q为所述目标计算任务所对应的文件量，V2为所述目标节点对所述目标计算任务进行计算处理的速度；
示例地，目标计算任务所对应的文件量为100MByte，目标节点对目标计算任务进行计算处理的速度V2为1GB/s，那么，根据公式2可以得到第二耗时T2为0.1s。
计算所述第三耗时所利用的公式如下所示：
Figure BDA0001333973500000133
其中T3为所述第三耗时，P为所述目标计算任务所对应的计算结果，V3为所述目标节点输出所述计算结果的传输速度。
示例地，目标计算任务所对应的计算结果为10MByte，目标节点输出计算结果的传输速度为1000MB/s，那么，根据公式3可以得到第三耗时T3为0.01s。
那么，目标总耗时为第一耗时、第二耗时和第三耗时之和，此时即为0.21s。
在一种实施方式中，当目标参数信息包括所述目标节点的文件读取速度、所述目标节点对所述目标计算任务进行计算处理的速度、所述目标节点输出计算结果的传输速度、所述目标计算任务所对应的文件的文件格式和文件压缩方式时，即同时考虑目标节点的文件读取速度、目标节点的计算处理速度、目标节点的传输速度以及文件格式和文件压缩方式的情况下，计算所述第一耗时所利用的公式如下所示：
其中T4为所述第一耗时，Q为所述目标计算任务所对应的文件量，V4为所述目标节点对所述目标计算任务所对应的文件进行解压和读取的速度，其中，V4是由所述目标节点的文件读取速度、所述目标计算任务所对应的文件的文件格式和文件压缩方式共同确定的。在考虑了文件格式和文件压缩方式的情况下，计算所得的目标节点读取目标计算任务所对应的文件的耗时更加精确。
示例地，目标计算任务所对应的文件量为100MByte，目标节点对目标计算任务所对应的文件进行解压和读取的速度V4为1000MB/s，那么，根据公式4可以得到第一耗时T4为0.1s。
其中，V4是综合多个影响因素共同确定的，具体地，目标节点针对于目标计算任务所对应的文件的文件格式的读取速度
Figure BDA0001333973500000142
目标节点针对于目标计算任务所对应的文件的解压缩速度
Figure BDA0001333973500000143
那么，目标节点对所述目标计算任务所对应的文件进行解压和读取的速度V4为：
当然，
Figure BDA0001333973500000145
与
Figure BDA0001333973500000146
均可以从资源管理器中获知。
计算所述第二耗时所利用的公式如下所示：
其中T5为所述第二耗时，Q为所述目标计算任务所对应的文件量，V5为所述目标节点对所述目标计算任务进行计算处理的速度；
示例地，目标计算任务所对应的文件量为100MByte，目标节点对目标计算任务进行计算处理的速度V5为1GB/s，那么，根据公式6可以得到第二耗时T5为0.1s。
计算所述第三耗时所利用的公式如下所示：
其中T6为所述第三耗时，P为所述目标计算任务所对应的计算结果，V6为所述目标节点输出所述计算结果的传输速度。
示例地，目标计算任务所对应的计算结果为10MByte，目标节点输出计算结果的传输速度V6为1000MB/s，那么，根据公式7可以得到第三耗时T6为0.01s。
S205，根据所述目标总耗时和所述目标计算任务以外的其他计算任务各自对应的总耗时，按照耗时均衡原则对所述目标计算任务进行调整，其中，所述耗时均衡原则为各个计算任务之间的耗时差值在预设差值范围内。
本实施例中，S205与上述实施例的S104相同，在此不作赘述。
本发明实施例提供的技术方案中，确定目标计算任务所对应的目标节点，所述目标节点按照预设的计算方式对所述目标计算任务进行计算处理；获取所述目标节点对应的目标参数信息，所述目标参数信息为计算耗时所需的信息，所述耗时为所述目标节点对所述目标计算任务进行计算处理的时长；根据所述目标参数信息，计算所述目标节点对所述目标计算任务进行计算处理的目标总耗时；根据所述目标总耗时和所述目标计算任务以外的其他计算任务各自对应的总耗时，按照耗时均衡原则对所述目标计算任务进行调整，其中，所述耗时均衡原则为各个计算任务之间的耗时差值在预设差值范围内。这样，通过考虑各个节点对相应的计算任务进行计算处理的影响因素并对各个计算任务进行调整，使得各个节点对相应的计算任务进行计算处理所需的时间差异变小，从而提高MapReduce对整个文件进行计算处理的效率。
下面结合另一具体的实施例，对本发明提供的一种计算任务调整方法进行介绍。
如图3所示，一种计算任务调整方法，包括如下步骤：
S301，确定目标计算任务所对应的目标节点，所述目标节点按照预设的计算方式对所述目标计算任务进行计算处理。
S302，获取所述目标节点对应的目标参数信息，所述目标参数信息为计算耗时所需的信息，所述耗时为所述目标节点对所述目标计算任务进行计算处理的时长。
S303，根据所述目标参数信息，计算所述目标节点对所述目标计算任务进行计算处理的目标总耗时。
本实施例中，S301至S303与上述实施例的S101至S103相同，在此不作赘述。
S304，分别判断所述目标总耗时与第一计算任务的总耗时的耗时差值是否满足所述耗时均衡原则，所述第一计算任务为所述目标计算任务以外的其他计算任务；如果满足，执行S305；如果不满足，执行S306。
一种实施方式中，对于各个计算任务所对应的各自的总耗时，分别进行两两做差值比较，并判断所得的差值是否满足耗时均衡原则，即是否在预设差值范围内。
示例地，目标计算任务为计算任务1，另外还有计算任务2、计算任务3，其中，计算任务1的总耗时为1.5s，计算任务2的总耗时为1.8s，计算任务3的总耗时为2s，设定的预设差值范围为0.25s，分别进行两两做差可得到的差值分别为：计算任务1与计算任务2的差值为0.3s，计算任务1与计算任务3的差值为0.5s，计算任务2与计算任务3的差值为0.2s。那么，可知计算任务1与计算任务2的差值不满足耗时均衡原则，计算任务1与计算任务3的差值也不满足耗时均衡原则，计算任务2与计算任务3的差值在预设差值范围内，满足耗时均衡原则。
S305，保持所述目标计算任务和所述第一计算任务均不变。
在判断目标计算任务的目标总耗时与第一计算任务的总耗时满足耗时均衡原则时，可以不进行调整。
S306，判断所述目标总耗时是否大于所述第一计算任务的总耗时；如果是，执行S307；如果否，执行S308。
S307，从所述目标计算任务所对应的文件中拆分出第一部分文件，并将所述第一部分文件合并至所述第一计算任务所对应的文件中
在这种情况下，如果不满足耗时均衡原则时，并且当目标总耗时大于第一计算任务的总耗时时，从目标计算任务所对应的文件中拆分出第一部分文件，并将第一部分文件合并至第一计算任务所对应的文件中，其中，第一部分文件为使得目标总耗时与第一计算任务的总耗时的耗时差值满足耗时均衡原则的文件。这样，可以保证任意两个计算任务之间的耗时的差值都能在合理的范围内。
当然，对于拆分出的第一部分文件的大小是可变的，只要可以使得目标总耗时与第一计算任务的总耗时的耗时差值满足耗时均衡原则都是可行的，既可以拆分出第一部分文件并合并至第一计算任务所对应的文件中后，目标总耗时与第一计算任务的总耗时相等；还可以目标总耗时与第一计算任务的总耗时的耗时差值刚刚好落在预设差值范围内，即正好满足耗时均衡原则，也是可行的。
示例地，目标计算任务为计算任务1，另外还有计算任务2，其中，计算任务1所对应的文件大小为10M，并且计算任务1的总耗时为1.5s；计算任务2所对应的文件大小为10M，并且计算任务2的总耗时为1.8s，同时，设定的预设差值范围为0.2s，对计算任务1与计算任务2进行做差可得到的差值为0.3s，此时是不满足耗时均衡原则的，那么为了满足耗时均衡原则，就需要对计算任务1和计算任务2进行调整。具体地，当从计算任务2拆分出的第一部分文件的大小为1M，并将1M的文件合并至计算任务1所对应的文件中时，计算任务1的总耗时变为1.6s，计算任务2的总耗时为1.75s，这样，计算任务1与计算任务2的耗时差值小于0.2s，满足耗时均衡原则。当然，还可以从计算任务2拆分出的第一部分文件的大小为1.5M，并将1.5M的文件合并至计算任务1所对应的文件中时，计算任务1的总耗时变为1.65s，计算任务2的总耗时为1.70s，这样，计算任务1与计算任务2的耗时差值小于0.05s，满足耗时均衡原则。
S308，从所述第一计算任务所对应的文件中拆分出第一部分文件，并将所述第一部分文件合并至所述目标计算任务所对应的文件中
在这种情况下，如果不满足耗时均衡原则时，并且当所述目标总耗时小于所述第一计算任务的总耗时时，从所述第一计算任务所对应的文件中拆分出第一部分文件，并将所述第一部分文件合并至所述目标计算任务所对应的文件中。其中，第一部分文件为使得所述目标总耗时与第一计算任务的总耗时的耗时差值满足耗时均衡原则的文件。
此种情况与上述情况类似，在此不做赘述。
可以理解的是，按照耗时均衡原则对所述目标计算任务进行调整的具体实施方式并不仅限于上述调整方式，还可以是其他的调整方式，只要可以达到各个计算任务之间的耗时差值满足耗时均衡原则，都是可行的。
本发明实施例提供的技术方案中，确定目标计算任务所对应的目标节点，所述目标节点按照预设的计算方式对所述目标计算任务进行计算处理；获取所述目标节点对应的目标参数信息，所述目标参数信息为计算耗时所需的信息，所述耗时为所述目标节点对所述目标计算任务进行计算处理的时长；根据所述目标参数信息，计算所述目标节点对所述目标计算任务进行计算处理的目标总耗时；根据所述目标总耗时和所述目标计算任务以外的其他计算任务各自对应的总耗时，按照耗时均衡原则对所述目标计算任务进行调整，其中，所述耗时均衡原则为各个计算任务之间的耗时差值在预设差值范围内。这样，通过考虑各个节点对相应的计算任务进行计算处理的影响因素并对各个计算任务进行调整，使得各个节点对相应的计算任务进行计算处理所需的时间差异变小，从而提高MapReduce对整个文件进行计算处理的效率。
相应于上述方法实施例，本发明实施例还提供一种计算任务调整装置，应用于资源管理器，如图4所示，所述装置包括：
确定模块410，用于确定目标计算任务所对应的目标节点，所述目标节点按照预设的计算方式对所述目标计算任务进行计算处理；
获取模块420，用于获取所述目标节点对应的目标参数信息，所述目标参数信息为计算耗时所需的信息，所述耗时为所述目标节点对所述目标计算任务进行计算处理的时长；
计算模块430，用于根据所述目标参数信息，计算所述目标节点对所述目标计算任务进行计算处理的目标总耗时；
调整模块440，用于根据所述目标总耗时和所述目标计算任务以外的其他计算任务各自对应的总耗时，按照耗时均衡原则对所述目标计算任务进行调整，其中，所述耗时均衡原则为各个计算任务之间的耗时差值在预设差值范围内。
可选地，一种具体实现方式中，所述目标总耗时包括目标节点读取所述目标计算任务所对应的文件的第一耗时、所述目标节点对所述目标计算任务进行计算的第二耗时和所述目标节点输出计算结果的第三耗时。
在图4的基础上，一种具体实现方式中，所述计算模块430可以包括：
第一计算子模块510，用于根据所述目标参数信息，分别计算所述目标节点对所述目标计算任务的所述第一耗时、所述第二耗时和所述第三耗时；
第二计算子模块520，用于将计算所得的所述第一耗时、所述第二耗时和所述第三耗时相加得到所述目标总耗时。
可选地，一种具体实现方式中，当目标参数信息包括所述目标节点的文件读取速度、所述目标节点对所述目标计算任务进行计算处理的速度和所述目标节点输出计算结果的传输速度时，所述第一计算子模块510可以包括：
第一计算单元，用于计算所述第一耗时所利用的公式如下所示：
Figure BDA0001333973500000191
其中T1为所述第一耗时，Q为所述目标计算任务所对应的文件量，V1为所述目标节点的文件读取速度；
第二计算单元，用于计算所述第二耗时所利用的公式如下所示：
Figure BDA0001333973500000192
其中T2为所述第二耗时，Q为所述目标计算任务所对应的文件量，V2为所述目标节点对所述目标计算任务进行计算处理的速度；
第三计算单元，用于计算所述第三耗时所利用的公式如下所示：
Figure BDA0001333973500000193
其中T3为所述第二耗时，P为所述目标计算任务所对应的计算结果，V3为所述目标节点输出所述计算结果的传输速度。
可选地，一种具体实现方式中，当目标参数信息包括所述目标节点的文件读取速度、所述目标节点对所述目标计算任务进行计算处理的速度、所述目标节点输出计算结果的传输速度、所述目标计算任务所对应的文件的文件格式和文件压缩方式时，所述第一计算子模块510可以包括：
第四计算单元，用于计算所述第一耗时所利用的公式如下所示：
Figure BDA0001333973500000194
其中T4为所述第一耗时，Q为所述目标计算任务所对应的文件量，V4为所述目标节点对所述目标计算任务所对应的文件进行解压和读取的速度，其中，V4是由所述目标节点的文件读取速度、所述目标计算任务所对应的文件的文件格式和文件压缩方式共同确定的；
第五计算单元，用于计算所述第二耗时所利用的公式如下所示：
Figure BDA0001333973500000201
其中T5为所述第二耗时，Q为所述目标计算任务所对应的文件量，V5为所述目标节点对所述目标计算任务进行计算处理的速度；
第六计算单元，用于计算所述第三耗时所利用的公式如下所示：
Figure BDA0001333973500000202
其中T6为所述第三耗时，P为所述目标计算任务所对应的计算结果，V6为所述目标节点输出所述计算结果的传输速度。
在图4的基础上，一种具体实现方式中，所述调整模块440可以包括：
第一判断子模块610，用于分别判断所述目标总耗时与第一计算任务的总耗时的耗时差值是否满足所述耗时均衡原则，所述第一计算任务为所述目标计算任务以外的其他计算任务；
保持子模块620，用于当满足所述耗时均衡原则时，保持所述目标计算任务和所述第一计算任务均不变；
第二判断子模块630，用于当不满足所述耗时均衡原则时，判断所述目标总耗时是否大于所述第一计算任务的总耗时；
第一拆分子模块640，用于当所述第二判断子模块630的判断结果为是时，从所述目标计算任务所对应的文件中拆分出第一部分文件，并将所述第一部分文件合并至所述第一计算任务所对应的文件中；
第二拆分子模块650，用于当所述第二判断子模块630的判断结果为否时，从所述第一计算任务所对应的文件中拆分出第一部分文件，并将所述第一部分文件合并至所述目标计算任务所对应的文件中；
其中，所述第一部分文件为使得所述目标总耗时与第一计算任务的总耗时的耗时差值满足耗时均衡原则的文件。
本发明实施例提供的技术方案中，确定目标计算任务所对应的目标节点，所述目标节点按照预设的计算方式对所述目标计算任务进行计算处理；获取所述目标节点对应的目标参数信息，所述目标参数信息为计算耗时所需的信息，所述耗时为所述目标节点对所述目标计算任务进行计算处理的时长；根据所述目标参数信息，计算所述目标节点对所述目标计算任务进行计算处理的目标总耗时；根据所述目标总耗时和所述目标计算任务以外的其他计算任务各自对应的总耗时，按照耗时均衡原则对所述目标计算任务进行调整，其中，所述耗时均衡原则为各个计算任务之间的耗时差值在预设差值范围内。这样，通过考虑各个节点对相应的计算任务进行计算处理的影响因素并对各个计算任务进行调整，使得各个节点对相应的计算任务进行计算处理所需的时间差异变小，从而提高MapReduce对整个文件进行计算处理的效率。
对于装置实施例而言，由于其基本相似于方法实施例，所以描述地比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例还提供了一种电子设备，如图7所示，包括处理器710、通信接口720、存储器730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信，
存储器730，用于存放计算机程序；
处理器710，用于执行存储器730上所存放的程序时，实现如下步骤：
确定目标计算任务所对应的目标节点，所述目标节点按照预设的计算方式对所述目标计算任务进行计算处理；
获取所述目标节点对应的目标参数信息，所述目标参数信息影响耗时的长短，所述耗时为所述目标节点对所述目标计算任务进行计算处理的时长；
根据所述目标参数信息，计算所述目标节点对所述目标计算任务进行计算处理的目标总耗时；
根据所述目标总耗时和所述目标计算任务以外的其他计算任务各自对应的总耗时，按照耗时均衡原则对所述目标计算任务进行调整，其中，所述耗时均衡原则为各个计算任务之间的耗时差值在预设差值范围内。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的计算任务调整方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的计算任务调整方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (11)

1.一种计算任务调整方法，其特征在于，应用于资源管理器，所述方法包括：
确定目标计算任务所对应的目标节点，所述目标节点按照预设的计算方式对所述目标计算任务进行计算处理；
获取所述目标节点对应的目标参数信息，所述目标参数信息为计算耗时所需的信息，所述耗时为所述目标节点对所述目标计算任务进行计算处理的时长；
根据所述目标参数信息，计算所述目标节点对所述目标计算任务进行计算处理的目标总耗时，所述目标总耗时包括目标节点读取所述目标计算任务所对应的文件的第一耗时、所述目标节点对所述目标计算任务进行计算的第二耗时和所述目标节点输出计算结果的第三耗时；
根据所述目标总耗时和所述目标计算任务以外的其他计算任务各自对应的总耗时，按照耗时均衡原则对所述目标计算任务进行调整，其中，所述耗时均衡原则为各个计算任务之间的耗时差值，所述耗时差值在预设差值范围内。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标参数信息，计算所述目标节点对所述目标计算任务进行计算处理的目标总耗时的步骤，包括：
根据所述目标参数信息，分别计算所述目标节点对所述目标计算任务的所述第一耗时、所述第二耗时和所述第三耗时；
将计算所得的所述第一耗时、所述第二耗时和所述第三耗时相加得到所述目标总耗时。
3.根据权利要求2所述的方法，其特征在于，当目标参数信息包括所述目标节点的文件读取速度、所述目标节点对所述目标计算任务进行计算处理的速度和所述目标节点输出计算结果的传输速度时，
所述根据所述目标参数信息，分别计算所述目标节点对所述目标计算任务的所述第一耗时、所述第二耗时和所述第三耗时的步骤，包括：
计算所述第一耗时所利用的公式如下所示：
Figure FDA0002169446420000021
其中T1为所述第一耗时，Q为所述目标计算任务所对应的文件量，V1为所述目标节点的文件读取速度；
计算所述第二耗时所利用的公式如下所示：
Figure FDA0002169446420000022
其中T2为所述第二耗时，Q为所述目标计算任务所对应的文件量，V2为所述目标节点对所述目标计算任务进行计算处理的速度；
计算所述第三耗时所利用的公式如下所示：
Figure FDA0002169446420000023
其中T3为所述第二耗时，P为所述目标计算任务所对应的计算结果，V3为所述目标节点输出所述计算结果的传输速度。
4.根据权利要求2所述的方法，其特征在于，
当目标参数信息包括所述目标节点的文件读取速度、所述目标节点对所述目标计算任务进行计算处理的速度、所述目标节点输出计算结果的传输速度、所述目标计算任务所对应的文件的文件格式和文件压缩方式时，
所述根据所述目标参数信息，分别计算所述目标节点对所述目标计算任务的所述第一耗时、所述第二耗时和所述第三耗时的步骤，包括：
计算所述第一耗时所利用的公式如下所示：
Figure FDA0002169446420000024
其中T4为所述第一耗时，Q为所述目标计算任务所对应的文件量，V4为所述目标节点对所述目标计算任务所对应的文件进行解压和读取的速度，其中，V4是由所述目标节点的文件读取速度、所述目标计算任务所对应的文件的文件格式和文件压缩方式共同确定的；
计算所述第二耗时所利用的公式如下所示：
Figure FDA0002169446420000025
其中T5为所述第二耗时，Q为所述目标计算任务所对应的文件量，V5为所述目标节点对所述目标计算任务进行计算处理的速度；
计算所述第三耗时所利用的公式如下所示：
Figure FDA0002169446420000031
其中T6为所述第三耗时，P为所述目标计算任务所对应的计算结果，V6为所述目标节点输出所述计算结果的传输速度。
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标总耗时和所述目标计算任务以外的其他计算任务各自对应的总耗时，按照耗时均衡原则对所述目标计算任务进行调整的步骤，包括：
分别判断所述目标总耗时与第一计算任务的总耗时的耗时差值是否满足所述耗时均衡原则，所述第一计算任务为所述目标计算任务以外的其他计算任务；
如果满足，保持所述目标计算任务和所述第一计算任务均不变；
如果不满足，并且当所述目标总耗时大于所述第一计算任务的总耗时时，从所述目标计算任务所对应的文件中拆分出第一部分文件，并将所述第一部分文件合并至所述第一计算任务所对应的文件中；
如果不满足，并且当所述目标总耗时小于所述第一计算任务的总耗时时，从所述第一计算任务所对应的文件中拆分出第一部分文件，并将所述第一部分文件合并至所述目标计算任务所对应的文件中；
其中，所述第一部分文件为使得所述目标总耗时与第一计算任务的总耗时的耗时差值满足耗时均衡原则的文件。
6.一种计算任务调整装置，其特征在于，应用于资源管理器，所述装置包括：
确定模块，用于确定目标计算任务所对应的目标节点，所述目标节点按照预设的计算方式对所述目标计算任务进行计算处理；
获取模块，用于获取所述目标节点对应的目标参数信息，所述目标参数信息为计算耗时所需的信息，所述耗时为所述目标节点对所述目标计算任务进行计算处理的时长；
计算模块，用于根据所述目标参数信息，计算所述目标节点对所述目标计算任务进行计算处理的目标总耗时，所述目标总耗时包括目标节点读取所述目标计算任务所对应的文件的第一耗时、所述目标节点对所述目标计算任务进行计算的第二耗时和所述目标节点输出计算结果的第三耗时；
调整模块，用于根据所述目标总耗时和所述目标计算任务以外的其他计算任务各自对应的总耗时，按照耗时均衡原则对所述目标计算任务进行调整，其中，所述耗时均衡原则为各个计算任务之间的耗时差值，所述耗时差值在预设差值范围内。
7.根据权利要求6所述的装置，其特征在于，所述计算模块包括：
第一计算子模块，用于根据所述目标参数信息，分别计算所述目标节点对所述目标计算任务的所述第一耗时、所述第二耗时和所述第三耗时；
第二计算子模块，用于将计算所得的所述第一耗时、所述第二耗时和所述第三耗时相加得到所述目标总耗时。
8.根据权利要求7所述的装置，其特征在于，当目标参数信息包括所述目标节点的文件读取速度、所述目标节点对所述目标计算任务进行计算处理的速度和所述目标节点输出计算结果的传输速度时，
所述第一计算子模块包括：
第一计算单元，用于计算所述第一耗时所利用的公式如下所示：
其中T1为所述第一耗时，Q为所述目标计算任务所对应的文件量，V1为所述目标节点的文件读取速度；
第二计算单元，用于计算所述第二耗时所利用的公式如下所示：
Figure FDA0002169446420000042
其中T2为所述第二耗时，Q为所述目标计算任务所对应的文件量，V2为所述目标节点对所述目标计算任务进行计算处理的速度；
第三计算单元，用于计算所述第三耗时所利用的公式如下所示：
Figure FDA0002169446420000051
其中T3为所述第二耗时，P为所述目标计算任务所对应的计算结果，V3为所述目标节点输出所述计算结果的传输速度。
9.根据权利要求7所述的装置，其特征在于，当目标参数信息包括所述目标节点的文件读取速度、所述目标节点对所述目标计算任务进行计算处理的速度、所述目标节点输出计算结果的传输速度、所述目标计算任务所对应的文件的文件格式和文件压缩方式时，
所述第一计算子模块包括：
第四计算单元，用于计算所述第一耗时所利用的公式如下所示：
Figure FDA0002169446420000052
其中T4为所述第一耗时，Q为所述目标计算任务所对应的文件量，V4为所述目标节点对所述目标计算任务所对应的文件进行解压和读取的速度，其中，V4是由所述目标节点的文件读取速度、所述目标计算任务所对应的文件的文件格式和文件压缩方式共同确定的；
第五计算单元，用于计算所述第二耗时所利用的公式如下所示：
Figure FDA0002169446420000053
其中T5为所述第二耗时，Q为所述目标计算任务所对应的文件量，V5为所述目标节点对所述目标计算任务进行计算处理的速度；
第六计算单元，用于计算所述第三耗时所利用的公式如下所示：
其中T6为所述第三耗时，P为所述目标计算任务所对应的计算结果，V6为所述目标节点输出所述计算结果的传输速度。
10.根据权利要求6所述的装置，其特征在于，所述调整模块包括：
第一判断子模块，用于分别判断所述目标总耗时与第一计算任务的总耗时的耗时差值是否满足所述耗时均衡原则，所述第一计算任务为所述目标计算任务以外的其他计算任务；
保持子模块，用于当满足所述耗时均衡原则时，保持所述目标计算任务和所述第一计算任务均不变；
第二判断子模块，用于当不满足所述耗时均衡原则时，判断所述目标总耗时是否大于所述第一计算任务的总耗时；
第一拆分子模块，用于所述第二判断子模块的判断结果为是时，从所述目标计算任务所对应的文件中拆分出第一部分文件，并将所述第一部分文件合并至所述第一计算任务所对应的文件中；
第二拆分子模块，用于所述第二判断子模块的判断结果为否时，从所述第一计算任务所对应的文件中拆分出第一部分文件，并将所述第一部分文件合并至所述目标计算任务所对应的文件中；
其中，所述第一部分文件为使得所述目标总耗时与第一计算任务的总耗时的耗时差值满足耗时均衡原则的文件。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
CN201710502312.6A 2017-06-27 2017-06-27 一种计算任务调整方法及装置 Active CN107357642B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710502312.6A CN107357642B (zh) 2017-06-27 2017-06-27 一种计算任务调整方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710502312.6A CN107357642B (zh) 2017-06-27 2017-06-27 一种计算任务调整方法及装置

Publications (2)

Publication Number Publication Date
CN107357642A CN107357642A (zh) 2017-11-17
CN107357642B true CN107357642B (zh) 2020-01-10

Family

ID=60273974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710502312.6A Active CN107357642B (zh) 2017-06-27 2017-06-27 一种计算任务调整方法及装置

Country Status (1)

Country Link
CN (1) CN107357642B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101531B (zh) * 2018-06-22 2022-05-31 联想(北京)有限公司 文件处理方法、装置及系统
CN109857633B (zh) * 2018-12-14 2022-05-17 武汉斗鱼鱼乐网络科技有限公司 一种任务算力估计方法、装置和存储介质
CN110008187B (zh) * 2018-12-18 2023-05-12 创新先进技术有限公司 文件传输调度方法、装置、设备及计算机可读存储介质
CN112685177A (zh) * 2020-12-25 2021-04-20 联想(北京)有限公司 一种服务器节点的任务分配方法及装置
CN114168337A (zh) * 2021-12-09 2022-03-11 航天信息股份有限公司 一种资源调度方法及装置
CN116339956B (zh) * 2023-05-29 2023-10-10 天翼云科技有限公司 一种配置任务的分发方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541645A (zh) * 2012-01-04 2012-07-04 北京航空航天大学 一种基于节点状态反馈的节点任务槽动态调整方法
CN103699445A (zh) * 2013-12-19 2014-04-02 北京奇艺世纪科技有限公司 一种任务调度方法、装置及系统
CN105468439A (zh) * 2015-11-19 2016-04-06 华东师范大学 在cpu-gpu异构框架下遍历固定半径内邻居的自适应并行算法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI549053B (zh) * 2014-10-14 2016-09-11 The Dynamic Operation Environment Adjustment System and Method Based on Computing Work

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541645A (zh) * 2012-01-04 2012-07-04 北京航空航天大学 一种基于节点状态反馈的节点任务槽动态调整方法
CN103699445A (zh) * 2013-12-19 2014-04-02 北京奇艺世纪科技有限公司 一种任务调度方法、装置及系统
CN105468439A (zh) * 2015-11-19 2016-04-06 华东师范大学 在cpu-gpu异构框架下遍历固定半径内邻居的自适应并行算法

Also Published As

Publication number Publication date
CN107357642A (zh) 2017-11-17

Similar Documents

Publication Publication Date Title
CN107357642B (zh) 一种计算任务调整方法及装置
US9766818B2 (en) Electronic system with learning mechanism and method of operation thereof
CN107391031B (zh) 一种基于混合存储的计算系统中的数据迁移方法及装置
CN113535721B (zh) 一种数据写入方法及装置
US10705935B2 (en) Generating job alert
CN109840589A (zh) 一种在fpga上运行卷积神经网络的方法、装置及系统
CN111966649B (zh) 一种高效去重的轻量级在线文件存储方法及装置
KR102189824B1 (ko) 메모리 장치의 단위 어레이, 이를 포함하는 메모리 장치 및 메모리 시스템
US10635311B2 (en) Information handling system with reduced reset during dual in-line memory module goal reconfiguration
EP3482294A1 (en) Methods and modules relating to allocation of host machines
US11349677B2 (en) System and method for utility ranking and funding for cloud storage
US10313214B2 (en) Cross-tenant analysis of similar storage environments to recommend storage policy changes
US11023825B2 (en) Platform as a service cloud server and machine learning data processing method thereof
US10802760B2 (en) Apparatus and method of intelligent dynamic application aware storage device optimization
CN111562884A (zh) 一种数据存储方法、装置及电子设备
US20170293562A1 (en) Dynamically-Adjusted Host Memory Buffer
CN104883394A (zh) 一种均衡服务器负载的方法和系统
KR102296940B1 (ko) 클라우드 환경 내에서 가상 머신을 위한 마이그레이션을 수행하기 위한 전자 장치 및 그의 동작 방법
CN103634350A (zh) 一种存储系统及其实现方法
CN110909085A (zh) 数据处理方法、装置、设备及存储介质
US8533423B2 (en) Systems and methods for performing parallel multi-level data computations
CN106502775B (zh) 一种分时调度dsp算法的方法和系统
US10732919B2 (en) Method and apparatus for determining treatment of cross-screen content for a dual segmented display
TW201710885A (zh) 硬體負載調整方法及相關的電子裝置
CN113111013A (zh) 一种闪存数据块绑定方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant