CN106462360B - 一种资源调度方法以及相关装置 - Google Patents

一种资源调度方法以及相关装置 Download PDF

Info

Publication number
CN106462360B
CN106462360B CN201480077812.4A CN201480077812A CN106462360B CN 106462360 B CN106462360 B CN 106462360B CN 201480077812 A CN201480077812 A CN 201480077812A CN 106462360 B CN106462360 B CN 106462360B
Authority
CN
China
Prior art keywords
data block
hot spot
accessed
application task
spot data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480077812.4A
Other languages
English (en)
Other versions
CN106462360A (zh
Inventor
李嘉
刘杰
党李飞
毛凌志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Cloud Computing Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN106462360A publication Critical patent/CN106462360A/zh
Application granted granted Critical
Publication of CN106462360B publication Critical patent/CN106462360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G06F12/0871—Allocation or management of cache space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12—Replacement control
    • G06F12/121—Replacement control using replacement algorithms
    • G06F12/123—Replacement control using replacement algorithms with age lists, e.g. queue, most recently used [MRU] list or least recently used [LRU] list
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3854—Instruction completion, e.g. retiring, committing or graduating
    • G06F9/3856—Reordering of instructions, e.g. using queues or age tags
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Debugging And Monitoring (AREA)
  • Computer And Data Communications (AREA)
  • Devices For Executing Special Programs (AREA)

Abstract

本发明实施例提供了一种资源调度方法，用于提升数据IO效率。本发明实施例提供的资源调度方法包括：确定当前的任务队列，所述任务队列中包括多个待执行的应用任务；确定所述应用任务所要访问的磁盘中的数据块中，每个数据块待被所述应用任务访问的次数；根据所述每个数据块待被所述应用任务访问的次数，确定热点数据块；向所述热点数据块的本地节点发送移入指令，所述移入指令用于指示将所述热点数据块移入内存，使得所述热点数据块可以在内存中被访问。本发明实施例还提出了相关的资源调度装置。

Description

一种资源调度方法以及相关装置
技术领域
本发明涉及数据处理领域，尤其涉及一种资源调度方法以及相关装置。
背景技术
近年来，社会经济不断进步，科学技术飞速发展，大、中、小型企业的数据规模也随之快速膨胀。如何提高大数据的存储效率与访问速度，具有重要的实际应用价值。分布式文件系统是一种适合进行大数据存储的文件管理系统，该系统中的物理存储资源不一定连接在本地节点上，而是通过计算机网络与多个节点相连。分布式文件系统中，大的数据块被分为多个小的数据块存储在多个节点上，使得分布式文件系统有着较高的容错性与吞吐量。其中，Hadoop分布式文件系统(HDFS，Hadoop Distributed File System)是一种常用的高度容错性的文件系统，能够被部署在廉价的机器上，非常适合在大规模数据集上的应用。在HDFS中，数据被集合成数据块(block)存储于数据节点(DN，DataNode)的磁盘中，应用任务(task)可以从磁盘中的数据块中读取数据，或将数据写入磁盘中的数据块中。但是在大规模数据的分析任务中，磁盘中的数据需要被应用任务反复读写，导致数据输入输出(IO)花费了大量的时间，任务运行时间过长。
由于内存的IO速度要远远快于磁盘的IO速度，因此现阶段的HDFS在进行资源调度时，会统计每个数据块在预置时间段内的历史被访问次数，然后将历史被访问次数较多的数据块确定为热点数据块并移入DN的内存中，使得应用任务可以直接通过DN的内存来访问热点数据块，提升了数据IO效率。
但是，数据块的历史被访问次数并不能准确的反应该数据块的热点程度，即使该数据块的历史被访问次数较多，该数据块在移入内存中后被访问的次数也可能很少。在这种情况下，若将该数据块移入内存中，则不仅不能显著的提升数据IO效率，还会造成不必要的内存资源浪费。
发明内容
本发明实施例提供了一种资源调度方法，可以提升系统的数据IO效率。
本发明实施例第一方面提供了一种资源调度方法，包括：
确定当前的任务队列，所述任务队列中包括多个待执行的应用任务；
确定所述应用任务所要访问的磁盘中的数据块中，每个数据块待被所述应用任务访问的次数；
根据所述每个数据块待被所述应用任务访问的次数，确定热点数据块；
向所述热点数据块的本地节点发送移入指令，所述移入指令用于指示将所述热点数据块移入内存，使得所述热点数据块可以在内存中被访问。
结合本发明实施例的第一方面，本发明实施例的第一方面的第一种实现方式中，所述根据所述每个数据块待被所述应用任务访问的次数，确定热点数据块包括：
将待被所述应用任务访问的次数最高的前M个数据块，确定为热点数据块，所述M为预置数值；
或，
将待被所述应用任务访问的次数不小于N的数据块，确定为热点数据块，所述N为预置数值。
结合本发明实施例的第一方面或第一方面的第一种实现方式，本发明实施例的第一方面的第二种实现方式中，所述向所述热点数据块的本地节点发送移入指令之后还包括：
若所述热点数据块的本地节点当前具有空闲的槽位slot，则将所述热点数据块对应的应用任务调度到所述热点数据块的本地节点上。
结合本发明实施例的第一方面或第一方面的第一种实现方式，本发明实施例的第一方面的第三种实现方式中，所述向所述热点数据块的本地节点发送移入指令之后还包括：
按照待被所述应用任务访问的次数从多到少的顺序，依次执行每个所述热点数据块对应的应用任务。
结合本发明实施例的第一方面或第一方面的第一种实现方式，本发明实施例的第一方面的第四种实现方式还包括：
确定每个所述应用任务所要访问的热点数据块的个数；
所述向所述热点数据块的本地节点发送移入指令之后还包括：
按照要访问的热点数据块的个数从多到少的顺序，依次执行每个所述应用任务。
结合本发明实施例的第一方面、或第一方面的第一种至第四种实现方式中的任一项，本发明实施例的第一方面的第五种实现方式还包括：
确定每个内存中的数据块待被所述应用任务访问的次数；
将待被所述应用任务访问的次数最少的前P个内存中的数据块确定为非热点数据块，所述P为预置数值，或，将待被所述应用任务访问的次数不大于Q的内存中的数据块确定为非热点数据块，所述Q为预置数值；
向所述非热点数据块的本地节点发送移出指令，所述移出指令用于指示将所述非热点数据块从内存中移出。
结合本发明实施例的第一方面、或第一方面的第一种至第五种实现方式中的任一项，本发明实施例的第一方面的第六种实现方式中，所述确定当前的任务队列包括：
接收预置时间段内，客户端下发的待执行的工作的执行指令；
将所述待执行的工作划分为多个待执行的应用任务，并将所述多个待执行的应用任务的集合确定为当前的任务队列。
本发明实施例第二方面提供了一种资源调度装置，包括：
任务队列确定模块，用于确定当前的任务队列，所述任务队列中包括多个待执行的应用任务；
第一次数确定模块，用于确定所述应用任务所要访问的磁盘中的数据块中，每个数据块待被所述应用任务访问的次数；
热点数据确定模块，用于根据所述每个数据块待被所述应用任务访问的次数，确定热点数据块；
移入指令发送模块，用于向所述热点数据块的本地节点发送移入指令，所述移入指令用于指示将所述热点数据块移入内存，使得所述热点数据块可以在内存中被访问。
结合本发明实施例的第二方面，本发明实施例的第二方面的第一种实现方式中，所述热点数据确定模块具体用于：
将待被所述应用任务访问的次数最高的前M个数据块，确定为热点数据块，所述M为预置数值；
或，
将待被所述应用任务访问的次数不小于N的数据块，确定为热点数据块，所述N为预置数值。
结合本发明实施例的第二方面或第二方面的第一种实现方式，本发明实施例的第二方面的第二种实现方式中，所述装置还包括：
任务节点调度模块，用于在所述移入指令发送模块向所述热点数据块的本地节点发送移入指令之后，当所述热点数据块的本地节点当前具有空闲的槽位slot时，将所述热点数据块对应的应用任务调度到所述热点数据块的本地节点上。
结合本发明实施例的第二方面或第二方面的第一种实现方式，本发明实施例的第二方面的第三种实现方式中，所述装置还包括：
第一顺序调度模块，用于在所述移入指令发送模块向所述热点数据块的本地节点发送移入指令之后，按照待被所述应用任务访问的次数从多到少的顺序，依次执行每个所述热点数据块对应的应用任务。
结合本发明实施例的第二方面或第二方面的第一种实现方式，本发明实施例的第二方面的第四种实现方式中，所述装置还包括：
访问个数确定模块，用于确定每个所述应用任务所要访问的热点数据块的个数；
所述装置还包括：
第二顺序调度模块，用于在所述移入指令发送模块向所述热点数据块的本地节点发送移入指令之后，按照要访问的热点数据块的个数从多到少的顺序，依次执行每个所述应用任务。
结合本发明实施例的第二方面、或第二方面的第一种至第四种实现方式中的任一项，本发明实施例的第二方面的第五种实现方式中，所述装置还包括：
第二次数确定模块，用于确定每个内存中的数据块待被所述应用任务访问的次数；
非热点数据确定模块，用于将待被所述应用任务访问的次数最少的前P个内存中的数据块确定为非热点数据块，所述P为预置数值，或，将待被所述应用任务访问的次数不大于Q的内存中的数据块确定为非热点数据块，所述Q为预置数值；
移出指令发送模块，用于向所述非热点数据块的本地节点发送移出指令，所述移出指令用于指示将所述非热点数据块从内存中移出。
结合本发明实施例的第二方面、或第二方面的第一种至第五种实现方式中的任一项，本发明实施例的第二方面的第六种实现方式中，所述任务队列确定模块包括：
指令接收单元，用于接收预置时间段内，客户端下发的待执行的工作的执行指令；
任务划分单元，用于将所述待执行的工作划分为多个待执行的应用任务，并将所述多个待执行的应用任务的集合确定为当前的任务队列。
本发明实施例的第三方面提供了一种资源调度装置，包括输入装置、输出装置、处理器和存储器，其特征在于，调用存储器存储的操作指令，所述处理器用于执行如下步骤：
确定当前的任务队列，所述任务队列中包括多个待执行的应用任务；
确定所述应用任务所要访问的磁盘中的数据块中，每个数据块待被所述应用任务访问的次数；
根据所述每个数据块待被所述应用任务访问的次数，确定热点数据块；
向所述热点数据块的本地节点发送移入指令，所述移入指令用于指示将所述热点数据块移入内存，使得所述热点数据块可以在内存中被访问。
结合本发明实施例的第三方面，本发明实施例的第三方面的第一种实现方式中，处理器还执行如下步骤：
将待被所述应用任务访问的次数最高的前M个数据块，确定为热点数据块，所述M为预置数值；
或，
将待被所述应用任务访问的次数不小于N的数据块，确定为热点数据块，所述N为预置数值。
结合本发明实施例的第三方面或第三方面的第一种实现方式，本发明实施例的第三方面的第二种实现方式中，处理器还执行如下步骤：
在向所述热点数据块的本地节点发送移入指令之后，若所述热点数据块的本地节点当前具有空闲的槽位slot，则将所述热点数据块对应的应用任务调度到所述热点数据块的本地节点上。
结合本发明实施例的第三方面或第三方面的第一种实现方式，本发明实施例的第三方面的第三种实现方式中，处理器还执行如下步骤：
在向所述热点数据块的本地节点发送移入指令之后，按照待被所述应用任务访问的次数从多到少的顺序，依次执行每个所述热点数据块对应的应用任务。
结合本发明实施例的第三方面或第三方面的第一种实现方式，本发明实施例的第三方面的第四种实现方式中，处理器还执行如下步骤：
确定每个所述应用任务所要访问的热点数据块的个数；
所述向所述热点数据块的本地节点发送移入指令之后还包括：
按照要访问的热点数据块的个数从多到少的顺序，依次执行每个所述应用任务。
结合本发明实施例的第三方面、或第三方面的第一种至第四种实现方式中的任一项，本发明实施例的第三方面的第五种实现方式中，处理器还执行如下步骤：
确定每个内存中的数据块待被所述应用任务访问的次数；
将待被所述应用任务访问的次数最少的前P个内存中的数据块确定为非热点数据块，所述P为预置数值，或，将待被所述应用任务访问的次数不大于Q的内存中的数据块确定为非热点数据块，所述Q为预置数值；
向所述非热点数据块的本地节点发送移出指令，所述移出指令用于指示将所述非热点数据块从内存中移出。
结合本发明实施例的第三方面、或第三方面的第一种至第五种实现方式中的任一项，本发明实施例的第三方面的第六种实现方式中，处理器还执行如下步骤：
接收预置时间段内，客户端下发的待执行的工作的执行指令；
将所述待执行的工作划分为多个待执行的应用任务，并将所述多个待执行的应用任务的集合确定为当前的任务队列。
本发明实施例提供了一种资源调度方法，包括：确定当前的任务队列，该任务队列中包括多个待执行的应用任务；确定应用任务所要访问的磁盘中的数据块中，每个数据块待被应用任务访问的次数；根据每个数据块待被应用任务访问的次数，确定热点数据块；向热点数据块的本地节点发送移入指令，该移入指令用于指示将所述热点数据块移入内存，使得所述热点数据块可以在内存中被访问。本发明实施例通过当前的任务队列中的待执行的应用任务来确定数据块的热点程度，保证了被确定的热点数据块在移入内存中后，被待执行的应用任务访问的次数较多。与现有技术中根据历史被访问次数确定热点数据块相比，本发明实施例提供的资源调度方法能够显著的提升数据IO效率，进而缩短应用任务的运行时间，不会造成不必要的内存资源浪费。
附图说明
图1为本发明实施例中资源调度方法一个实施例流程图；
图2为本发明实施例中资源调度方法另一个实施例流程图；
图3为本发明实施例中资源调度方法另一个实施例流程图；
图4为本发明实施例中资源调度方法另一个实施例流程图；
图5为本发明实施例中资源调度装置一个实施例流程图；
图6为本发明实施例中资源调度装置另一个实施例流程图；
图7为本发明实施例中资源调度装置另一个实施例流程图；
图8为本发明实施例中资源调度装置另一个实施例流程图；
图9为本发明实施例中资源调度装置另一个实施例流程图。
具体实施方式
本发明实施例提供了一种资源调度方法，可以提升数据IO效率。本发明还提出了相关的资源调度装置，以下将分别进行说明。
本发明实施例提供的资源调度方法的基本流程请参阅图1，主要包括：
101、确定当前的任务队列；
资源调度装置确定当前的任务队列，该任务队列中包括多个待执行的应用任务。
资源调度装置确定当前的任务队列的方法有很多，具体将在后面的实施例中详述，此处不做限定。
102、确定应用任务所要访问的磁盘中的数据块中，每个数据块待被应用任务访问的次数；
任务队列中的应用任务需要访问位于磁盘中的数据块，本实施例中，资源调度装置确定任务队列的应用任务所要访问的磁盘中的数据块中，每个数据块待被应用任务访问的次数。
103、根据每个数据块待被应用任务访问的次数，确定热点数据块；
资源调度装置根据每个数据块待被应用任务访问的次数，确定热点数据块。热点数据块为磁盘中的数据块中，待被访问次数较多的数据块，其确定方法有很多，具体将在后面的实施例中详述，此处不做限定。
104、向热点数据块的本地节点发送移入指令。
资源调度装置确定了热点数据块后，向热点数据块的本地节点发送移入指令，该移入指令用于指示热点数据块的本地节点将热点数据块从磁盘中移入内存，使得热点数据块可以在内存中被访问。其中，热点数据块的本地节点指的是热点数据块所在的节点。其中，热点数据块的本地节点优先将热点数据块从磁盘中移入本地的内存中。
本实施例提供了一种资源调度方法，包括：确定当前的任务队列；确定应用任务所要访问的磁盘中的数据块中，每个数据块待被应用任务访问的次数；根据每个数据块待被应用任务访问的次数，确定热点数据块；向热点数据块的本地节点发送移入指令，该移入指令用于指示将所述热点数据块移入内存，使得所述热点数据块可以在内存中被访问。本实施例通过当前的任务队列中的待执行的应用任务来确定数据块的热点程度，保证了被确定的热点数据块在移入内存中后，被待执行的应用任务访问的次数较多。与现有技术中根据历史被访问次数确定热点数据块相比，本实施例提供的资源调度方法能够显著的提升数据IO效率，进而缩短应用任务的运行时间，不会造成不必要的内存资源浪费。
图1所示的实施例给出了本发明实施例提供的资源调度方法的基本流程，其中，资源调度装置通过当前的任务队列中的待执行的应用任务来确定数据块的热点程度，其确定方法有很多。优选的，作为本发明的又一个实施例，步骤103中资源调度装置根据每个数据块待被应用任务访问的次数确定热点数据块的方法具体可以为：将待被该应用任务访问的次数最高的前M个数据块确定为热点数据块；或将待被该应用任务访问的次数不小于N的数据块确定为热点数据块。其中M、N均为预置数值。步骤103中资源调度装置也可以通过其它方法来根据每个数据块待被应用任务访问的次数确定热点数据块，此处不做限定。
优选的，作为本发明的又一个实施例，步骤104中资源调度装置向热点数据块的本地节点发送移入指令后，还可以判断热点数据块的本地节点当前是否有空闲的槽位(slot)。若确定热点数据块的本地节点当前具有空闲的slot，则将热点数据块对应的应用任务调度到热点数据块的本地节点上，使得该应用任务无需跨节点访问热点数据块，提升了系统的数据IO效率。
图1所示的实施例详细解释了本发明提供的资源调度方法如何确定并调度热点数据块，下面将提供另一种资源调度方法，可以在图1所示的实施例的基础上进一步的实现对热点数据块对应的工作任务进行调度，请参阅图2。其基本流程包括：
201、确定当前的任务队列；
202、确定应用任务所要访问的磁盘中的数据块中，每个数据块待被应用任务访问的次数；
203、根据每个数据块待被应用任务访问的次数，确定热点数据块；
204、向热点数据块的本地节点发送移入指令。
步骤201至204与步骤101至104基本相同，此处不做赘述。
205、按照待被应用任务访问的次数从多到少的顺序，依次执行每个热点数据块对应的应用任务。
资源调度装置向热点数据块的本地节点发送移入指令后，热点数据块的本地节点会将热点数据块移入内存中。此时，任务队列中的应用任务可以直接从内存中访问热点数据块。本实施例中，资源调度装置还用于对工作队列中的应用任务的执行顺序进行调度，具体方法为：按照待被应用任务访问的次数从多到少的顺序，依次执行每个热点数据块对应的应用任务。
本实施例提供了一种资源调度方法，包括：确定当前的任务队列；确定应用任务所要访问的磁盘中的数据块中，每个数据块待被应用任务访问的次数；根据每个数据块待被应用任务访问的次数，确定热点数据块；向热点数据块的本地节点发送移入指令，该移入指令用于指示将所述热点数据块移入内存，使得所述热点数据块可以在内存中被访问；按照待被应用任务访问的次数从多到少的顺序，依次执行每个热点数据块对应的应用任务。本实施例通过当前的任务队列中的待执行的应用任务来确定数据块的热点程度，保证了被确定的热点数据块在移入内存中后，被待执行的应用任务访问的次数较多。与现有技术中根据历史被访问次数确定热点数据块相比，本实施例提供的资源调度方法能够显著的提升数据IO效率，进而缩短应用任务的运行时间，不会造成不必要的内存资源浪费。同时通过按照待被应用任务访问的次数从多到少的顺序，依次执行每个热点数据块对应的应用任务，使得热点程度较高的数据块对应的任务可以先被执行，优化了工作队列中的应用任务的执行顺序，提升了系统执行应用任务的效率。
资源调度装置还可以通过其他方法对工作队列中的应用任务的执行顺序进行调度。优选的，作为本发明的又一实施例，步骤205之前还可以包括步骤：资源调度装置确定每个应用任务所要访问的热点数据块的个数。步骤205可以被替换为：按照要访问的热点数据块的个数从多到少的顺序，依次执行每个应用任务。这样就可以使得访问热点数据块的次数较多的应用任务先被执行，同样可以优化工作队列中的应用任务的执行顺序，提升系统执行应用任务的效率。
图2所示的实施例所提供的方法给出了在将热点数据块移入内存中后，优化工作队列中的应用任务的执行顺序的方法。但在实际应用中，内存所能容纳的数据块的个数是有限的。在本发明提供的资源调度方法的应用过程中，热点数据块会被源源不断的移入内存中，当移入内存中的数据块的个数达到内存所能容纳的上限时，内存就没有能力接纳新的热点数据块。为了使本发明提供的资源调度方法能够持续运行，需要保证内存具有足够的空间来容纳新的数据块。为此，本发明提供了一种新的实施例，用于保证节点的内存具有足够的空间来容纳新的数据块，请参阅图3，本发明实施例提供的又一种资源调度方法的基本流程包括：
301、确定当前的任务队列；
302、确定应用任务所要访问的磁盘中的数据块中，每个数据块待被应用任务访问的次数；
303、根据每个数据块待被应用任务访问的次数，确定热点数据块；
304、向热点数据块的本地节点发送移入指令。
305、按照待被应用任务访问的次数从多到少的顺序，依次执行每个热点数据块对应的应用任务。
步骤301至305与步骤201至205基本相同，此处不做赘述。
内存所能容纳的数据块的个数是有限的。在本发明提供的资源调度方法的应用过程中，热点数据块会被源源不断的移入内存中，当移入内存中的数据块的个数达到内存所能容纳的上限时，内存就没有能力接纳新的热点数据块。为了使本发明提供的资源调度方法能够持续运行，需要保证内存具有足够的空间来容纳新的数据块。因此本实施例中，资源调度装置会根据任务队列判断位于内存中的数据块中，哪些数据块待被访问的次数较少，并将待被访问的次数较少的数据块移出内存。具体的方法可以参阅步骤306至308。
306、确定每个内存中的数据块待被应用任务访问的次数；
资源调度装置确定位于内存中的数据块中，每个数据块待被任务队列中的应用任务访问的次数。
307、根据每个内存中的数据块待被应用任务访问的次数，确定非热点数据块；
资源调度装置根据每个内存中的数据块待被应用任务访问的次数，确定非热点数据块，该非热点数据块用于表示位于内存中的数据块中，待被应用任务访问的次数较少的数据块。非热点数据块的确认方法有很多，例如：将待被应用任务访问的次数最少的前P个内存中的数据块确定为非热点数据块，其中P为预置数值，或，将待被应用任务访问的次数不大于Q的内存中的数据块确定为非热点数据块，其中Q为预置数值。资源调度装置也可以通过其他方法来确定非热点数据块，此处不做限定。
308、向非热点数据块的本地节点发送移出指令。
资源调度装置确定了非热点数据块后，向非点数据块的本地节点发送移出指令，该移出指令用于指示非热点数据块的本地节点将非热点数据块从内存中移出到磁盘中。
本实施例提供了一种资源调度方法，包括：确定当前的任务队列；确定应用任务所要访问的磁盘中的数据块中，每个数据块待被应用任务访问的次数；根据每个数据块待被应用任务访问的次数，确定热点数据块；向热点数据块的本地节点发送移入指令，该移入指令用于指示将所述热点数据块移入内存，使得所述热点数据块可以在内存中被访问；按照待被应用任务访问的次数从多到少的顺序，依次执行每个热点数据块对应的应用任务；确定每个内存中的数据块待被应用任务访问的次数；根据每个内存中的数据块待被应用任务访问的次数，确定非热点数据块；向非热点数据块的本地节点发送移出指令，指示非热点数据块的本地节点将非热点数据块从内存中移出到磁盘中。本实施例通过当前的任务队列中的待执行的应用任务来确定数据块的热点程度，保证了被确定的热点数据块在移入内存中后，被待执行的应用任务访问的次数较多。与现有技术中根据历史被访问次数确定热点数据块相比，本实施例提供的资源调度方法能够显著的提升数据IO效率，进而缩短应用任务的运行时间，不会造成不必要的内存资源浪费。同时通过按照待被应用任务访问的次数从多到少的顺序，依次执行每个热点数据块对应的应用任务，使得热点程度较高的数据块对应的任务可以先被执行，优化了工作队列中的应用任务的执行顺序，提升了系统执行应用任务的效率。实施例中资源调度装置还会确定内存中的非热点数据块，并指示非热点数据块的本地节点将非热点数据块从内存中移出，使得内存中保存的数据块均为热点程度较高的数据库，实现了内存中热点数据块的动态优化。
图1至图3所示的实施例提供的资源调度方法均根据工作队列来确定热点数据，下面将提供一种更为细化的资源调度方法，详细解释如何确定工作队列，其基本流程请参阅图4，包括：
401、接收预置时间段内，客户端下发的待执行的工作的执行指令；
资源调度装置接收预置时间段内，客户端下发的待执行的工作(Job)的执行指令，该执行指令用于指示资源调度装置执行待执行的工作。
其中，预置时间段可以为人为设置的时间段，也可以为资源调度装置默认的时间段，也可以为其他时间段，此处不做限定。
402、将待执行的工作划分为多个待执行的应用任务，并将该多个待执行的应用任务的集合确定为当前的任务队列；
可以理解的，每个待执行的工作均可以被划分为一个或多个待执行的应用任务，每个待执行的应用任务需要访问一个数据块。例如，某个待执行的工作需要访问128M大小的数据文件，而分布式文件系统中每个数据块的大小为32M，于是资源调度装置将该待执行的工作划分为4个待执行的应用任务，每个待执行的应用任务用于访问一个32M的数据块。
本实施例中待执行的工作可以只包括一个工作，但是较为优选的，待执行的工作可以包括多个工作，资源调度装置将该多个工作划分为多个待执行的应用任务，并将该多个待执行的应用任务的集合确定为当前的任务队列。
403、确定应用任务所要访问的磁盘中的数据块中，每个数据块待被应用任务访问的次数；
404、根据每个数据块待被应用任务访问的次数，确定热点数据块；
405、向热点数据块的本地节点发送移入指令；
406、按照待被应用任务访问的次数从多到少的顺序，依次执行每个热点数据块对应的应用任务。
407、确定每个内存中的数据块待被应用任务访问的次数；
408、根据每个内存中的数据块待被应用任务访问的次数，确定非热点数据块；
409、向非热点数据块的本地节点发送移出指令。
步骤403至409与步骤302至308基本相同，此处不做赘述。
本实施例提供了一种资源调度方法，包括：接收预置时间段内，客户端下发的待执行的工作的执行指令；将待执行的工作划分为多个待执行的应用任务，并将该多个待执行的应用任务的集合确定为当前的任务队列；确定应用任务所要访问的磁盘中的数据块中，每个数据块待被应用任务访问的次数；根据每个数据块待被应用任务访问的次数，确定热点数据块；向热点数据块的本地节点发送移入指令，该移入指令用于指示将所述热点数据块移入内存，使得所述热点数据块可以在内存中被访问；按照待被应用任务访问的次数从多到少的顺序，依次执行每个热点数据块对应的应用任务；确定每个内存中的数据块待被应用任务访问的次数；根据每个内存中的数据块待被应用任务访问的次数，确定非热点数据块；向非热点数据块的本地节点发送移出指令，指示非热点数据块的本地节点将非热点数据块从内存中移出到磁盘中。本实施例通过当前的任务队列中的待执行的应用任务来确定数据块的热点程度，保证了被确定的热点数据块在移入内存中后，被待执行的应用任务访问的次数较多。与现有技术中根据历史被访问次数确定热点数据块相比，本实施例提供的资源调度方法能够显著的提升数据IO效率，进而缩短应用任务的运行时间，不会造成不必要的内存资源浪费。同时，本实施例中资源调度装置还对工作队列中的应用任务的执行顺序进行调度，使得待被应用任务访问的次数较多的热点数据块对应的任务被优先执行。本实施例中资源调度装置还会确定内存中的非热点数据块，并指示非热点数据块的本地节点将非热点数据块从内存中移出，使得内存中保存的数据块均为热点程度较高的数据库，实现了内存中热点数据块的动态优化。
为了便于理解上述实施例，下面将以上述实施例的一个具体的应用场景为例进行描述。
在分布式文件系统中，资源调度装置接收预置时间段内，客户端下发的待执行的工作的执行指令，该执行指令用于指示资源调度装置执行待执行的工作，该待执行的工作需要访问128M大小的数据文件。
分布式文件系统中每个数据块的大小为32M，于是资源调度装置将该待执行的工作划分为4个待执行的应用任务，每个待执行的应用任务用于访问一个32M的数据块。资源调度装置将该4个待执行的应用任务集合确定为当前的任务队列。
资源调度装置确定任务队列的应用任务所要访问的磁盘中的数据块中，每个数据块待被应用任务访问的次数。得到共有100个数据块，其中20个数据块被访问了300次，30个数据块被访问了200次，50个数据块被访问了100次。
资源调度装置将待被应用任务访问的次数不小于150的数据块确定为热点数据块，即，将被访问了300次的20个数据块与被访问了200次的30个数据块确定为热点数据块。
资源调度装置向热点数据块的本地节点发送移入指令，热点数据块的本地节点接收到移入指令后，将热点数据块从磁盘中移入内存，使得热点数据块可以在内存中被访问。
资源调度装置按照待被应用任务访问的次数从多到少的顺序，先执行被访问了300次的20个数据块对应的应用任务，再执行被访问了300次的20个数据块对应的应用任务。
当前内存中已有60个数据块，资源调度装置执行了热点数据块对应的应用任务后，确定位于内存中的数据块中，每个数据块待被任务队列中的应用任务访问的次数。得到有30个数据块被任务队列中的应用任务访问的次数为100次，有30个数据块被任务队列中的应用任务访问的次数为160次。
资源调度装置将待被应用任务访问的次数不大于150的内存中的数据块确定为非热点数据块，即，将被任务队列中的应用任务访问的次数为100次的30个数据块确定为非热点数据块。
资源调度装置确定了非热点数据块后，向非点数据块的本地节点发送移出指令，非热点数据块的本地节点接收到该移出指令后，将非热点数据块从内存中移出到磁盘中。
本发明实施例还提供了一种资源调度装置，用于实现图1至图4所示的实施例所提供的方法，其基本结构请参阅图5，主要包括：
任务队列确定模块501，用于确定当前的任务队列；
任务队列确定模块501确定当前的任务队列，该任务队列中包括多个待执行的应用任务。
第一次数确定模块502，用于确定应用任务所要访问的磁盘中的数据块中，每个数据块待被应用任务访问的次数；
任务队列中的应用任务需要访问位于磁盘中的数据块，本实施例中，第一次数确定模块502确定任务队列的应用任务所要访问的磁盘中的数据块中，每个数据块待被应用任务访问的次数。
热点数据确定模块503，用于根据每个数据块待被应用任务访问的次数，确定热点数据块；
热点数据确定模块503根据每个数据块待被应用任务访问的次数，确定热点数据块。热点数据块为磁盘中的数据块中，待被访问次数较多的数据块，其确定方法有很多，具体将在后面的实施例中详述，此处不做限定。
移入指令发送模块504，用于向热点数据块的本地节点发送移入指令。
热点数据确定模块503确定了热点数据块后，移入指令发送模块504向热点数据块的本地节点发送移入指令，该移入指令用于指示热点数据块的本地节点将热点数据块从磁盘中移入内存，使得热点数据块可以在内存中被访问。其中，热点数据块的本地节点指的是热点数据块所在的节点。其中，热点数据块的本地节点优先将热点数据块从磁盘中移入本地的内存中。
本实施例提供了一种资源调度方法，包括：任务队列确定模块501确定当前的任务队列；第一次数确定模块502确定应用任务所要访问的磁盘中的数据块中，每个数据块待被应用任务访问的次数；热点数据确定模块503根据每个数据块待被应用任务访问的次数，确定热点数据块；移入指令发送模块504向热点数据块的本地节点发送移入指令，该移入指令用于指示将所述热点数据块移入内存，使得所述热点数据块可以在内存中被访问。本实施例通过当前的任务队列中的待执行的应用任务来确定数据块的热点程度，保证了被确定的热点数据块在移入内存中后，被待执行的应用任务访问的次数较多。与现有技术中根据历史被访问次数确定热点数据块相比，本实施例提供的资源调度装置能够显著的提升数据IO效率，进而缩短应用任务的运行时间，不会造成不必要的内存资源浪费。
图1所示的实施例给出了本发明实施例提供的资源调度装置基本结构，其中，热点数据确定模块503通过当前的任务队列中的待执行的应用任务来确定数据块的热点程度，其确定方法有很多。优选的，作为本发明的又一个实施例，热点数据确定模块503具体可以用于：将待被该应用任务访问的次数最高的前M个数据块确定为热点数据块；或将待被该应用任务访问的次数不小于N的数据块确定为热点数据块。其中M、N均为预置数值。热点数据确定模块503也可以通过其它方法来根据每个数据块待被应用任务访问的次数确定热点数据块，此处不做限定。
优选的，作为本发明的又一个实施例，资源调度装置还可以包括任务节点调度模块，用于在移入指令发送模块504向热点数据块的本地节点发送移入指令后，当热点数据块的本地节点当前具有空闲的槽位(slot)时，则将热点数据块对应的应用任务调度到热点数据块的本地节点上，使得该应用任务无需跨节点访问热点数据块，提升了系统的数据IO效率。
图5所示的实施例详细解释了本发明提供的资源调度装置如何确定并调度热点数据块，下面将提供另一种资源调度装置，可以在图5所示的实施例的基础上进一步的实现对热点数据块对应的工作任务进行调度，请参阅图6。其基本结构包括：
任务队列确定模块601，用于确定当前的任务队列；
第一次数确定模块602，用于确定应用任务所要访问的磁盘中的数据块中，每个数据块待被应用任务访问的次数；
热点数据确定模块603，用于根据每个数据块待被应用任务访问的次数，确定热点数据块；
移入指令发送模块604，用于向热点数据块的本地节点发送移入指令；
模块601至604与模块501至504基本相同，此处不做赘述。
第一顺序调度模块605，用于在移入指令发送模块604向热点数据块的本地节点发送移入指令之后，按照待被应用任务访问的次数从多到少的顺序，依次执行每个热点数据块对应的应用任务。
移入指令发送模块604向热点数据块的本地节点发送移入指令后，热点数据块的本地节点会将热点数据块移入内存中。此时，任务队列中的应用任务可以直接从内存中访问热点数据块。本实施例中，资源调度装置还用于对工作队列中的应用任务的执行顺序进行调度，具体方法为：第一顺序调度模块605按照待被应用任务访问的次数从多到少的顺序，依次执行每个热点数据块对应的应用任务。
本实施例提供了一种资源调度装置，包括：任务队列确定模块601确定当前的任务队列；第一次数确定模块602确定应用任务所要访问的磁盘中的数据块中，每个数据块待被应用任务访问的次数；热点数据确定模块603根据每个数据块待被应用任务访问的次数，确定热点数据块；移入指令发送模块604向热点数据块的本地节点发送移入指令，该移入指令用于指示将所述热点数据块移入内存，使得所述热点数据块可以在内存中被访问；第一顺序调度模块605按照待被应用任务访问的次数从多到少的顺序，依次执行每个热点数据块对应的应用任务。本实施例通过当前的任务队列中的待执行的应用任务来确定数据块的热点程度，保证了被确定的热点数据块在移入内存中后，被待执行的应用任务访问的次数较多。与现有技术中根据历史被访问次数确定热点数据块相比，本实施例提供的资源调度装置能够显著的提升数据IO效率，进而缩短应用任务的运行时间，不会造成不必要的内存资源浪费。同时通过按照待被应用任务访问的次数从多到少的顺序，依次执行每个热点数据块对应的应用任务，使得热点程度较高的数据块对应的任务可以先被执行，优化了工作队列中的应用任务的执行顺序，提升了系统执行应用任务的效率。
资源调度装置还可以通过其他方法对工作队列中的应用任务的执行顺序进行调度。优选的，作为本发明的又一实施例，资源调度装置还可以包括访问个数确定模块，用于确定每个应用任务所要访问的热点数据块的个数。第一顺序调度模块605可以被替换为第二顺序调度模块，用于在移入指令发送模块604向热点数据块的本地节点发送移入指令之后，按照要访问的热点数据块的个数从多到少的顺序，依次执行每个应用任务。这样就可以使得访问热点数据块的次数较多的应用任务先被执行，同样可以优化工作队列中的应用任务的执行顺序，提升系统执行应用任务的效率。
图6所示的实施例所提供的装置能够在将热点数据块移入内存中后，优化工作队列中的应用任务的执行顺序。但在实际应用中，内存所能容纳的数据块的个数是有限的。在本发明提供的资源调度装置的应用过程中，热点数据块会被源源不断的移入内存中，当移入内存中的数据块的个数达到内存所能容纳的上限时，内存就没有能力接纳新的热点数据块。为了使本发明提供的资源调度装置能够持续运行，需要保证内存具有足够的空间来容纳新的数据块。为此，本发明提供了一种新的实施例，用于保证节点的内存具有足够的空间来容纳新的数据块，请参阅图7，本发明实施例提供的又一种资源调度装置的基本结构包括：
任务队列确定模块701，用于确定当前的任务队列；
第一次数确定模块702，用于确定应用任务所要访问的磁盘中的数据块中，每个数据块待被应用任务访问的次数；
热点数据确定模块703，用于根据每个数据块待被应用任务访问的次数，确定热点数据块；
移入指令发送模块704，用于向热点数据块的本地节点发送移入指令；
第一顺序调度模块705，用于在移入指令发送模块704向热点数据块的本地节点发送移入指令之后，按照待被应用任务访问的次数从多到少的顺序，依次执行每个热点数据块对应的应用任务。
模块701至705与模块601至605基本相同，此处不做赘述。
第二次数确定模块706，用于确定每个内存中的数据块待被应用任务访问的次数；
第二次数确定模块706确定位于内存中的数据块中，每个数据块待被任务队列中的应用任务访问的次数。
非热点数据确定模块707，用于根据每个内存中的数据块待被应用任务访问的次数，确定非热点数据块；
非热点数据确定模块707根据每个内存中的数据块待被应用任务访问的次数，确定非热点数据块，该非热点数据块用于表示位于内存中的数据块中，待被应用任务访问的次数较少的数据块。非热点数据块的确认方法有很多，例如：将待被应用任务访问的次数最少的前P个内存中的数据块确定为非热点数据块，其中P为预置数值，或，将待被应用任务访问的次数不大于Q的内存中的数据块确定为非热点数据块，其中Q为预置数值。非热点数据确定模块707也可以通过其他方法来确定非热点数据块，此处不做限定。
移出指令发送模块708，用于向非热点数据块的本地节点发送移出指令。
非热点数据确定模块707确定了非热点数据块后，移出指令发送模块708向非点数据块的本地节点发送移出指令，该移出指令用于指示非热点数据块的本地节点将非热点数据块从内存中移出到磁盘中。
本实施例提供了一种资源调度装置，包括：任务队列确定模块701确定当前的任务队列；第一次数确定模块702确定应用任务所要访问的磁盘中的数据块中，每个数据块待被应用任务访问的次数；热点数据确定模块703根据每个数据块待被应用任务访问的次数，确定热点数据块；移入指令发送模块704向热点数据块的本地节点发送移入指令，该移入指令用于指示将所述热点数据块移入内存，使得所述热点数据块可以在内存中被访问；第一顺序调度模块705按照待被应用任务访问的次数从多到少的顺序，依次执行每个热点数据块对应的应用任务；第二次数确定模块706确定每个内存中的数据块待被应用任务访问的次数；非热点数据确定模块707根据每个内存中的数据块待被应用任务访问的次数，确定非热点数据块；移出指令发送模块708向非热点数据块的本地节点发送移出指令，指示非热点数据块的本地节点将非热点数据块从内存中移出到磁盘中。本实施例通过当前的任务队列中的待执行的应用任务来确定数据块的热点程度，保证了被确定的热点数据块在移入内存中后，被待执行的应用任务访问的次数较多。与现有技术中根据历史被访问次数确定热点数据块相比，本实施例提供的资源调度装置能够显著的提升数据IO效率，进而缩短应用任务的运行时间，不会造成不必要的内存资源浪费。同时通过按照待被应用任务访问的次数从多到少的顺序，依次执行每个热点数据块对应的应用任务，使得热点程度较高的数据块对应的任务可以先被执行，优化了工作队列中的应用任务的执行顺序，提升了系统执行应用任务的效率。非热点数据确定模块707还会确定内存中的非热点数据块，移出指令发送模块708指示非热点数据块的本地节点将非热点数据块从内存中移出，使得内存中保存的数据块均为热点程度较高的数据库，实现了内存中热点数据块的动态优化。
图5至图7所示的实施例提供的资源调度装置均根据工作队列来确定热点数据，下面将提供一种更为细化的资源调度装置，详细解释如何确定工作队列，其基本结构请参阅图8，包括：
任务队列确定模块801，用于确定当前的任务队列。本实施例中，任务队列确定模块801具体包括：
指令接收单元8011，用于接收预置时间段内，客户端下发的待执行的工作的执行指令；
指令接收单元8011接收预置时间段内，客户端下发的待执行的工作(Job)的执行指令，该执行指令用于指示资源调度装置执行待执行的工作。
其中，预置时间段可以为人为设置的时间段，也可以为资源调度装置默认的时间段，也可以为其他时间段，此处不做限定。
任务划分单元8012，用于将待执行的工作划分为多个待执行的应用任务，并将该多个待执行的应用任务的集合确定为当前的任务队列；
可以理解的，每个待执行的工作均可以被划分为一个或多个待执行的应用任务，每个待执行的应用任务需要访问一个数据块。例如，某个待执行的工作需要访问128M大小的数据文件，而分布式文件系统中每个数据块的大小为32M，于是资源调度装置将该待执行的工作划分为4个待执行的应用任务，每个待执行的应用任务用于访问一个32M的数据块。
本实施例中待执行的工作可以只包括一个工作，但是较为优选的，待执行的工作可以包括多个工作，任务划分单元8012将该多个工作划分为多个待执行的应用任务，并将该多个待执行的应用任务的集合确定为当前的任务队列。
第一次数确定模块802，用于确定应用任务所要访问的磁盘中的数据块中，每个数据块待被应用任务访问的次数；
热点数据确定模块803，用于根据每个数据块待被应用任务访问的次数，确定热点数据块；
移入指令发送模块804，用于向热点数据块的本地节点发送移入指令；
第一顺序调度模块805，用于在移入指令发送模块804向热点数据块的本地节点发送移入指令之后，按照待被应用任务访问的次数从多到少的顺序，依次执行每个热点数据块对应的应用任务。
第二次数确定模块806，用于确定每个内存中的数据块待被应用任务访问的次数；
非热点数据确定模块807，用于根据每个内存中的数据块待被应用任务访问的次数，确定非热点数据块；
移出指令发送模块808，用于向非热点数据块的本地节点发送移出指令。
模块802至808与模块702至708基本相同，此处不做赘述。
本实施例提供了一种资源调度装置，包括：指令接收单元8011接收预置时间段内，客户端下发的待执行的工作的执行指令；任务划分单元8012将待执行的工作划分为多个待执行的应用任务，并将该多个待执行的应用任务的集合确定为当前的任务队列；第一次数确定模块802确定应用任务所要访问的磁盘中的数据块中，每个数据块待被应用任务访问的次数；热点数据确定模块803根据每个数据块待被应用任务访问的次数，确定热点数据块；移入指令发送模块804向热点数据块的本地节点发送移入指令，该移入指令用于指示将所述热点数据块移入内存，使得所述热点数据块可以在内存中被访问；第一顺序调度模块805按照待被应用任务访问的次数从多到少的顺序，依次执行每个热点数据块对应的应用任务；第二次数确定模块806确定每个内存中的数据块待被应用任务访问的次数；非热点数据确定模块807根据每个内存中的数据块待被应用任务访问的次数，确定非热点数据块；移出指令发送模块808向非热点数据块的本地节点发送移出指令，指示非热点数据块的本地节点将非热点数据块从内存中移出到磁盘中。本实施例通过当前的任务队列中的待执行的应用任务来确定数据块的热点程度，保证了被确定的热点数据块在移入内存中后，被待执行的应用任务访问的次数较多。与现有技术中根据历史被访问次数确定热点数据块相比，本实施例提供的资源调度装置能够显著的提升数据IO效率，进而缩短应用任务的运行时间，不会造成不必要的内存资源浪费。同时，本实施例中第一顺序调度模块805还对工作队列中的应用任务的执行顺序进行调度，使得待被应用任务访问的次数较多的热点数据块对应的任务被优先执行。本实施例中非热点数据确定模块807还会确定内存中的非热点数据块，移出指令发送模块808指示非热点数据块的本地节点将非热点数据块从内存中移出，使得内存中保存的数据块均为热点程度较高的数据库，实现了内存中热点数据块的动态优化。
为了便于理解上述实施例，下面将以上述实施例的一个具体的应用场景为例进行描述。
在分布式文件系统中，指令接收单元8011接收预置时间段内，客户端下发的待执行的工作的执行指令，该执行指令用于指示资源调度装置执行待执行的工作，该待执行的工作需要访问128M大小的数据文件。
分布式文件系统中每个数据块的大小为32M，于是任务划分单元8012将该待执行的工作划分为4个待执行的应用任务，每个待执行的应用任务用于访问一个32M的数据块。任务划分单元8012将该4个待执行的应用任务集合确定为当前的任务队列。
第一次数确定模块802确定任务队列的应用任务所要访问的磁盘中的数据块中，每个数据块待被应用任务访问的次数。得到共有100个数据块，其中20个数据块被访问了300次，30个数据块被访问了200次，50个数据块被访问了100次。
热点数据确定模块803将待被应用任务访问的次数不小于150的数据块确定为热点数据块，即，将被访问了300次的20个数据块与被访问了200次的30个数据块确定为热点数据块。
移入指令发送模块804向热点数据块的本地节点发送移入指令，热点数据块的本地节点接收到移入指令后，将热点数据块从磁盘中移入内存，使得热点数据块可以在内存中被访问。
第一顺序调度模块805按照待被应用任务访问的次数从多到少的顺序，先执行被访问了300次的20个数据块对应的应用任务，再执行被访问了300次的20个数据块对应的应用任务。
当前内存中已有60个数据块，第二次数确定模块806执行了热点数据块对应的应用任务后，确定位于内存中的数据块中，每个数据块待被任务队列中的应用任务访问的次数。得到有30个数据块被任务队列中的应用任务访问的次数为100次，有30个数据块被任务队列中的应用任务访问的次数为160次。
非热点数据确定模块807将待被应用任务访问的次数不大于150的内存中的数据块确定为非热点数据块，即，将被任务队列中的应用任务访问的次数为100次的30个数据块确定为非热点数据块。
非热点数据确定模块807确定了非热点数据块后，移出指令发送模块808向非点数据块的本地节点发送移出指令，非热点数据块的本地节点接收到该移出指令后，将非热点数据块从内存中移出到磁盘中。
上面从单元化功能实体的角度对本发明实施例中的资源调度装置进行了描述，下面从硬件处理的角度对本发明实施例中的资源调度装置进行描述，请参阅图9，本发明实施例中的资源调度装置900另一实施例包括：
输入装置901、输出装置902、处理器903和存储器904(其中资源调度装置900中的处理器903的数量可以一个或多个，图9中以一个处理器903为例)。在本发明的一些实施例中，输入装置901、输出装置902、处理器903和存储器904可通过总线或其它方式连接，其中，图9中以通过总线连接为例。
其中，通过调用存储器904存储的操作指令，处理器903用于执行如下步骤：
确定当前的任务队列，所述任务队列中包括多个待执行的应用任务；
确定所述应用任务所要访问的磁盘中的数据块中，每个数据块待被所述应用任务访问的次数；
根据所述每个数据块待被所述应用任务访问的次数，确定热点数据块；
向所述热点数据块的本地节点发送移入指令，所述移入指令用于指示将所述热点数据块移入内存，使得所述热点数据块可以在内存中被访问。
本发明的一些实施例中，处理器903还执行如下步骤：
将待被所述应用任务访问的次数最高的前M个数据块，确定为热点数据块，所述M为预置数值；
或，
将待被所述应用任务访问的次数不小于N的数据块，确定为热点数据块，所述N为预置数值。
本发明的一些实施例中，处理器903还执行如下步骤：
在向所述热点数据块的本地节点发送移入指令之后，若所述热点数据块的本地节点当前具有空闲的槽位slot，则将所述热点数据块对应的应用任务调度到所述热点数据块的本地节点上。
本发明的一些实施例中，处理器903还执行如下步骤：
在向所述热点数据块的本地节点发送移入指令之后，按照待被所述应用任务访问的次数从多到少的顺序，依次执行每个所述热点数据块对应的应用任务。
本发明的一些实施例中，处理器903还执行如下步骤：
确定每个所述应用任务所要访问的热点数据块的个数；
所述向所述热点数据块的本地节点发送移入指令之后还包括：
按照要访问的热点数据块的个数从多到少的顺序，依次执行每个所述应用任务。
本发明的一些实施例中，处理器903还执行如下步骤：
确定每个内存中的数据块待被所述应用任务访问的次数；
将待被所述应用任务访问的次数最少的前P个内存中的数据块确定为非热点数据块，所述P为预置数值，或，将待被所述应用任务访问的次数不大于Q的内存中的数据块确定为非热点数据块，所述Q为预置数值；
向所述非热点数据块的本地节点发送移出指令，所述移出指令用于指示将所述非热点数据块从内存中移出。
本发明的一些实施例中，处理器903还执行如下步骤：
接收预置时间段内，客户端下发的待执行的工作的执行指令；
将所述待执行的工作划分为多个待执行的应用任务，并将所述多个待执行的应用任务的集合确定为当前的任务队列。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (34)

1.一种资源调度方法，其特征在于，包括：
确定当前的任务队列，所述任务队列中包括多个待执行的应用任务；
确定所述应用任务所要访问的磁盘中的数据块中，每个数据块待被所述应用任务访问的次数；
根据所述每个数据块待被所述应用任务访问的次数，确定热点数据块；
向所述热点数据块的本地节点发送移入指令，所述移入指令用于指示将所述热点数据块移入内存，使得所述热点数据块可以在内存中被访问。
2.根据权利要求1所述的资源调度方法，其特征在于，所述根据所述每个数据块待被所述应用任务访问的次数，确定热点数据块包括：
将待被所述应用任务访问的次数最高的前M个数据块，确定为热点数据块，所述M为预置数值；
或，
将待被所述应用任务访问的次数不小于N的数据块，确定为热点数据块，所述N为预置数值。
3.根据权利要求1所述的资源调度方法，其特征在于，所述向所述热点数据块的本地节点发送移入指令之后还包括：
若所述热点数据块的本地节点当前具有空闲的槽位slot，则将所述热点数据块对应的应用任务调度到所述热点数据块的本地节点上。
4.根据权利要求2所述的资源调度方法，其特征在于，所述向所述热点数据块的本地节点发送移入指令之后还包括：
若所述热点数据块的本地节点当前具有空闲的槽位slot，则将所述热点数据块对应的应用任务调度到所述热点数据块的本地节点上。
5.根据权利要求1所述的资源调度方法，其特征在于，所述向所述热点数据块的本地节点发送移入指令之后还包括：
按照待被所述应用任务访问的次数从多到少的顺序，依次执行每个所述热点数据块对应的应用任务。
6.根据权利要求2所述的资源调度方法，其特征在于，所述向所述热点数据块的本地节点发送移入指令之后还包括：
按照待被所述应用任务访问的次数从多到少的顺序，依次执行每个所述热点数据块对应的应用任务。
7.根据权利要求1所述的资源调度方法，其特征在于，所述方法还包括：
确定每个所述应用任务所要访问的热点数据块的个数；
所述向所述热点数据块的本地节点发送移入指令之后还包括：
按照要访问的热点数据块的个数从多到少的顺序，依次执行每个所述应用任务。
8.根据权利要求2所述的资源调度方法，其特征在于，所述方法还包括：
确定每个所述应用任务所要访问的热点数据块的个数；
所述向所述热点数据块的本地节点发送移入指令之后还包括：
按照要访问的热点数据块的个数从多到少的顺序，依次执行每个所述应用任务。
9.根据权利要求1至8中任一项所述的资源调度方法，其特征在于，所述方法还包括：
确定每个内存中的数据块待被所述应用任务访问的次数；
将待被所述应用任务访问的次数最少的前P个内存中的数据块确定为非热点数据块，所述P为预置数值，或，将待被所述应用任务访问的次数不大于Q的内存中的数据块确定为非热点数据块，所述Q为预置数值；
向所述非热点数据块的本地节点发送移出指令，所述移出指令用于指示将所述非热点数据块从内存中移出。
10.根据权利要求1至8中任一项所述的资源调度方法，其特征在于，所述确定当前的任务队列包括：
接收预置时间段内，客户端下发的待执行的工作的执行指令；
将所述待执行的工作划分为多个待执行的应用任务，并将所述多个待执行的应用任务的集合确定为当前的任务队列。
11.根据权利要求9所述的资源调度方法，其特征在于，所述方法还包括：
接收预置时间段内，客户端下发的待执行的工作的执行指令；
将所述待执行的工作划分为多个待执行的应用任务，并将所述多个待执行的应用任务的集合确定为当前的任务队列。
12.一种资源调度装置，其特征在于，包括：
任务队列确定模块，用于确定当前的任务队列，所述任务队列中包括多个待执行的应用任务；
第一次数确定模块，用于确定所述应用任务所要访问的磁盘中的数据块中，每个数据块待被所述应用任务访问的次数；
热点数据确定模块，用于根据所述每个数据块待被所述应用任务访问的次数，确定热点数据块；
移入指令发送模块，用于向所述热点数据块的本地节点发送移入指令，所述移入指令用于指示将所述热点数据块移入内存，使得所述热点数据块可以在内存中被访问。
13.根据权利要求12所述的资源调度装置，其特征在于，所述热点数据确定模块具体用于：
将待被所述应用任务访问的次数最高的前M个数据块，确定为热点数据块，所述M为预置数值；
或，
将待被所述应用任务访问的次数不小于N的数据块，确定为热点数据块，所述N为预置数值。
14.根据权利要求12所述的资源调度装置，其特征在于，所述装置还包括：
任务节点调度模块，用于在所述移入指令发送模块向所述热点数据块的本地节点发送移入指令之后，当所述热点数据块的本地节点当前具有空闲的槽位slot时，将所述热点数据块对应的应用任务调度到所述热点数据块的本地节点上。
15.根据权利要求13所述的资源调度装置，其特征在于，所述装置还包括：
任务节点调度模块，用于在所述移入指令发送模块向所述热点数据块的本地节点发送移入指令之后，当所述热点数据块的本地节点当前具有空闲的槽位slot时，将所述热点数据块对应的应用任务调度到所述热点数据块的本地节点上。
16.根据权利要求12所述的资源调度装置，其特征在于，所述装置还包括：
第一顺序调度模块，用于在所述移入指令发送模块向所述热点数据块的本地节点发送移入指令之后，按照待被所述应用任务访问的次数从多到少的顺序，依次执行每个所述热点数据块对应的应用任务。
17.根据权利要求13所述的资源调度装置，其特征在于，所述装置还包括：
第一顺序调度模块，用于在所述移入指令发送模块向所述热点数据块的本地节点发送移入指令之后，按照待被所述应用任务访问的次数从多到少的顺序，依次执行每个所述热点数据块对应的应用任务。
18.根据权利要求12所述的资源调度装置，其特征在于，所述装置还包括：
访问个数确定模块，用于确定每个所述应用任务所要访问的热点数据块的个数；
所述装置还包括：
第二顺序调度模块，用于在所述移入指令发送模块向所述热点数据块的本地节点发送移入指令之后，按照要访问的热点数据块的个数从多到少的顺序，依次执行每个所述应用任务。
19.根据权利要求13所述的资源调度装置，其特征在于，所述装置还包括：
访问个数确定模块，用于确定每个所述应用任务所要访问的热点数据块的个数；
所述装置还包括：
第二顺序调度模块，用于在所述移入指令发送模块向所述热点数据块的本地节点发送移入指令之后，按照要访问的热点数据块的个数从多到少的顺序，依次执行每个所述应用任务。
20.根据权利要求12至19中任一项所述的资源调度装置，其特征在于，所述装置还包括：
第二次数确定模块，用于确定每个内存中的数据块待被所述应用任务访问的次数；
非热点数据确定模块，用于将待被所述应用任务访问的次数最少的前P个内存中的数据块确定为非热点数据块，所述P为预置数值，或，将待被所述应用任务访问的次数不大于Q的内存中的数据块确定为非热点数据块，所述Q为预置数值；
移出指令发送模块，用于向所述非热点数据块的本地节点发送移出指令，所述移出指令用于指示将所述非热点数据块从内存中移出。
21.根据权利要求12至19中任一项所述的资源调度装置，其特征在于，所述任务队列确定模块包括：
指令接收单元，用于接收预置时间段内，客户端下发的待执行的工作的执行指令；
任务划分单元，用于将所述待执行的工作划分为多个待执行的应用任务，并将所述多个待执行的应用任务的集合确定为当前的任务队列。
22.根据权利要求20所述的资源调度装置，其特征在于，所述任务队列确定模块包括：
指令接收单元，用于接收预置时间段内，客户端下发的待执行的工作的执行指令；
任务划分单元，用于将所述待执行的工作划分为多个待执行的应用任务，并将所述多个待执行的应用任务的集合确定为当前的任务队列。
23.根据权利要求20所述的资源调度装置，其特征在于，所述任务队列确定模块包括：
指令接收单元，用于接收预置时间段内，客户端下发的待执行的工作的执行指令；
任务划分单元，用于将所述待执行的工作划分为多个待执行的应用任务，并将所述多个待执行的应用任务的集合确定为当前的任务队列。
24.一种资源调度装置，包括输入装置、输出装置、处理器和存储器，其特征在于，调用存储器存储的操作指令，所述处理器用于执行如下步骤：
确定当前的任务队列，所述任务队列中包括多个待执行的应用任务；
确定所述应用任务所要访问的磁盘中的数据块中，每个数据块待被所述应用任务访问的次数；
根据所述每个数据块待被所述应用任务访问的次数，确定热点数据块；
向所述热点数据块的本地节点发送移入指令，所述移入指令用于指示将所述热点数据块移入内存，使得所述热点数据块可以在内存中被访问。
25.根据权利要求24所述的资源调度装置，其特征在于，所述处理器还执行如下步骤：
将待被所述应用任务访问的次数最高的前M个数据块，确定为热点数据块，所述M为预置数值；
或，
将待被所述应用任务访问的次数不小于N的数据块，确定为热点数据块，所述N为预置数值。
26.根据权利要求24所述的资源调度装置，其特征在于，所述处理器还执行如下步骤：
在向所述热点数据块的本地节点发送移入指令之后，若所述热点数据块的本地节点当前具有空闲的槽位slot，则将所述热点数据块对应的应用任务调度到所述热点数据块的本地节点上。
27.根据权利要求25所述的资源调度装置，其特征在于，所述处理器还执行如下步骤：
在向所述热点数据块的本地节点发送移入指令之后，若所述热点数据块的本地节点当前具有空闲的槽位slot，则将所述热点数据块对应的应用任务调度到所述热点数据块的本地节点上。
28.根据权利要求24所述的资源调度装置，其特征在于，所述处理器还执行如下步骤：
在向所述热点数据块的本地节点发送移入指令之后，按照待被所述应用任务访问的次数从多到少的顺序，依次执行每个所述热点数据块对应的应用任务。
29.根据权利要求25所述的资源调度装置，其特征在于，所述处理器还执行如下步骤：
在向所述热点数据块的本地节点发送移入指令之后，按照待被所述应用任务访问的次数从多到少的顺序，依次执行每个所述热点数据块对应的应用任务。
30.根据权利要求24所述的资源调度装置，其特征在于，所述处理器还执行如下步骤：
确定每个所述应用任务所要访问的热点数据块的个数；
所述向所述热点数据块的本地节点发送移入指令之后还包括：
按照要访问的热点数据块的个数从多到少的顺序，依次执行每个所述应用任务。
31.根据权利要求25所述的资源调度装置，其特征在于，所述处理器还执行如下步骤：
确定每个所述应用任务所要访问的热点数据块的个数；
所述向所述热点数据块的本地节点发送移入指令之后还包括：
按照要访问的热点数据块的个数从多到少的顺序，依次执行每个所述应用任务。
32.根据权利要求24至31中任一项所述的资源调度装置，其特征在于，所述处理器还执行如下步骤：
确定每个内存中的数据块待被所述应用任务访问的次数；
将待被所述应用任务访问的次数最少的前P个内存中的数据块确定为非热点数据块，所述P为预置数值，或，将待被所述应用任务访问的次数不大于Q的内存中的数据块确定为非热点数据块，所述Q为预置数值；
向所述非热点数据块的本地节点发送移出指令，所述移出指令用于指示将所述非热点数据块从内存中移出。
33.根据权利要求24至31中任一项所述的资源调度装置，其特征在于，所述处理器还执行如下步骤：
接收预置时间段内，客户端下发的待执行的工作的执行指令；
将所述待执行的工作划分为多个待执行的应用任务，并将所述多个待执行的应用任务的集合确定为当前的任务队列。
34.根据权利要求32所述的资源调度装置，其特征在于，所述处理器还执行如下步骤：
接收预置时间段内，客户端下发的待执行的工作的执行指令；
将所述待执行的工作划分为多个待执行的应用任务，并将所述多个待执行的应用任务的集合确定为当前的任务队列。
CN201480077812.4A 2014-12-23 2014-12-23 一种资源调度方法以及相关装置 Active CN106462360B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/094581 WO2016101115A1 (zh) 2014-12-23 2014-12-23 一种资源调度方法以及相关装置

Publications (2)

Publication Number Publication Date
CN106462360A CN106462360A (zh) 2017-02-22
CN106462360B true CN106462360B (zh) 2019-10-25

Family

ID=56148859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480077812.4A Active CN106462360B (zh) 2014-12-23 2014-12-23 一种资源调度方法以及相关装置

Country Status (4)

Country Link
US (2) US10430237B2 (zh)
EP (1) EP3200083B1 (zh)
CN (1) CN106462360B (zh)
WO (1) WO2016101115A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105511942B (zh) * 2015-12-02 2019-02-19 华为技术有限公司 语言虚拟机中热点中间代码的识别方法以及装置
CN113590343A (zh) * 2020-04-30 2021-11-02 海南掌上能量传媒有限公司 一种解决信息占比不均的方法
CN112463754B (zh) * 2020-11-25 2022-08-02 上海哔哩哔哩科技有限公司 Hdfs中数据节点切换方法、装置及计算机设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103186350A (zh) * 2011-12-31 2013-07-03 北京快网科技有限公司 混合存储系统及热点数据块的迁移方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW591526B (en) * 2002-04-09 2004-06-11 Via Tech Inc Data maintenance method of DSM system
US6910106B2 (en) * 2002-10-04 2005-06-21 Microsoft Corporation Methods and mechanisms for proactive memory management
US8055689B1 (en) * 2005-03-14 2011-11-08 Oracle America, Inc. Methods and systems for distributing information model nodes in memory
US8307128B2 (en) * 2006-12-08 2012-11-06 International Business Machines Corporation System and method to improve sequential serial attached small computer system interface storage device performance
CN101431475B (zh) * 2008-11-20 2011-03-23 季鹏程 高性能的流媒体服务器的设置以及进行高性能节目读取的方法
US8869151B2 (en) * 2010-05-18 2014-10-21 Lsi Corporation Packet draining from a scheduling hierarchy in a traffic manager of a network processor
US8438361B2 (en) * 2010-03-10 2013-05-07 Seagate Technology Llc Logical block storage in a storage device
US8601486B2 (en) * 2011-05-31 2013-12-03 International Business Machines Corporation Deterministic parallelization through atomic task computation
CN102508872A (zh) * 2011-10-12 2012-06-20 恒生电子股份有限公司 一种基于内存的联机处理系统的数据处理方法及系统
US20130212584A1 (en) * 2012-02-09 2013-08-15 Robert Bosch Gmbh Method for distributed caching and scheduling for shared nothing computer frameworks
US9552297B2 (en) * 2013-03-04 2017-01-24 Dot Hill Systems Corporation Method and apparatus for efficient cache read ahead
CN102902593B (zh) * 2012-09-28 2016-05-25 方正国际软件有限公司 基于缓存机制的协议分发处理系统
CN103838681B (zh) * 2012-11-27 2017-10-27 北京联想核芯科技有限公司 存储装置和数据文件存取方法
US9292228B2 (en) * 2013-02-06 2016-03-22 Avago Technologies General Ip (Singapore) Pte. Ltd. Selective raid protection for cache memory
US9076530B2 (en) * 2013-02-07 2015-07-07 Seagate Technology Llc Non-volatile write buffer data retention pending scheduled verification
RU2538920C2 (ru) * 2013-05-06 2015-01-10 Общество с ограниченной ответственностью "Аби ИнфоПоиск" Способ распределения задач сервером вычислительной системы, машиночитаемый носитель информации и система для реализации способа
CN103440207B (zh) * 2013-07-31 2017-02-22 北京智谷睿拓技术服务有限公司 缓存方法及装置
CN104679661B (zh) * 2013-11-27 2019-12-10 阿里巴巴集团控股有限公司 混合存储的控制方法及混合存储系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103186350A (zh) * 2011-12-31 2013-07-03 北京快网科技有限公司 混合存储系统及热点数据块的迁移方法

Also Published As

Publication number Publication date
EP3200083B1 (en) 2019-03-13
EP3200083A4 (en) 2017-11-15
CN106462360A (zh) 2017-02-22
US10430237B2 (en) 2019-10-01
US11194623B2 (en) 2021-12-07
WO2016101115A1 (zh) 2016-06-30
US20170235602A1 (en) 2017-08-17
US20190391847A1 (en) 2019-12-26
EP3200083A1 (en) 2017-08-02

Similar Documents

Publication Publication Date Title
CN103309738B (zh) 用户作业调度方法及装置
CN102135901B (zh) 带有动态数量工作者的并行查询引擎
KR20220032007A (ko) 디지털 노동력 지능형 오케스트레이션을 위한 시스템들 및 방법들
CN104391918B (zh) 基于对等部署的分布式数据库查询优先级管理的实现方法
CN109144699A (zh) 分布式任务调度方法、装置及系统
CN114138486A (zh) 面向云边异构环境的容器化微服务编排方法、系统及介质
CN104834561A (zh) 一种数据处理方法及装置
CN106557471A (zh) 任务调度方法及装置
Bousselmi et al. QoS-aware scheduling of workflows in cloud computing environments
CN106462360B (zh) 一种资源调度方法以及相关装置
CN104683408A (zh) OpenStack云计算管理平台建立虚拟机实例的方法和系统
CN104461710A (zh) 任务处理方法及装置
US10326824B2 (en) Method and system for iterative pipeline
CN102760073B (zh) 一种任务调度方法、系统及装置
CN1783121A (zh) 用于执行设计自动化的方法和系统
Shu-Jun et al. Optimization and research of hadoop platform based on fifo scheduler
CN108268312A (zh) 任务调度方法和调度器
CN108228323A (zh) 基于数据本地性的Hadoop任务调度方法及装置
Salama A swarm intelligence based model for mobile cloud computing
Djebbar et al. Task scheduling strategy based on data replication in scientific cloud workflows
Prasad et al. Performance Analysis of Schedulers to Handle Multi Jobs in Hadoop Cluster.
CN109617954A (zh) 一种创建云主机的方法和装置
Diakité et al. Assessing new approaches to schedule a batch of identical intree-shaped workflows on a heterogeneous platform
Ding et al. Performance modeling of spark computing platform
US20230315522A1 (en) Systems and methods for implementing distributed scheduling capabilities for computing clusters

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220211

Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province

Patentee after: Huawei Cloud Computing Technologies Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.