CN112416368B - 缓存部署与任务调度方法、终端和计算机可读存储介质 - Google Patents

缓存部署与任务调度方法、终端和计算机可读存储介质 Download PDF

Info

Publication number
CN112416368B
CN112416368B CN202011353572.XA CN202011353572A CN112416368B CN 112416368 B CN112416368 B CN 112416368B CN 202011353572 A CN202011353572 A CN 202011353572A CN 112416368 B CN112416368 B CN 112416368B
Authority
CN
China
Prior art keywords
cache
training set
task
node
deployment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011353572.XA
Other languages
English (en)
Other versions
CN112416368A (zh
Inventor
郑烇
鲍裕麟
陈双武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Advanced Technology University of Science and Technology of China
Original Assignee
Institute of Advanced Technology University of Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Advanced Technology University of Science and Technology of China filed Critical Institute of Advanced Technology University of Science and Technology of China
Priority to CN202011353572.XA priority Critical patent/CN112416368B/zh
Publication of CN112416368A publication Critical patent/CN112416368A/zh
Application granted granted Critical
Publication of CN112416368B publication Critical patent/CN112416368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本申请公开了一种缓存部署与任务调度方法、终端和计算机可读存储介质，该方法包括：获取训练集的增益矩阵，基于增益矩阵中的缓存增益将训练集部署至各缓存节点中；接收任务调度指令，获取任务中使用的训练集和第一处理器数量；根据使用的训练集和第一处理器数量遍历部署矩阵以确定缓存节点，将任务调度至缓存节点中。解决了目前针对HDFS性能优化的研究多停留在其自身，忽略了上层业务的特点，从而难以解决上层应用的痛点以及优化效果不佳的技术问题，提高了人工智能应用场景下的计算节点缓存利用率和命中率，降低了HDFS集群网络、I/O口压力和深度学习任务数据的加载时间，提高了深度学习任务的执行效率。

Description

缓存部署与任务调度方法、终端和计算机可读存储介质
技术领域
本申请涉及计算机网络技术领域，尤其涉及一种缓存部署与任务调度方法、终端和计算机可读存储介质。
背景技术
随着大数据技术的应用和发展，大量实际应用中的数据量已经超过了传统单机的存储和计算能力，因此，分布式水平扩展就成为了大数据系统的解决方案。HDFS(分布式文件系统)旨在解决大数据的分布式存储问题，并已广泛应用于各行各业的大数据系统中，作为底层的文件存储系统，HDFS支持非常丰富的应用程序场景，例如复杂查询分析、交互式分析、详细订单查询、键值对存储和查询、迭代计算等。HDFS作为通用的分布式存储系统，向上支撑了丰富的应用场景，其中，人工智能应用场景具有训练集数量固定，读多写少，训练集很少修改，各训练集访问热度随时间变化不大的特点。同时，训练集多为图像文本等小文件，HDFS不能高效地处理大量小文件的读写操作，对集群网络、IO等具有较大压力。而传统的优化方法很少考虑上层应用的特点，仅针对HDFS本身，如网络协议，元数据结构等，进行优化。也即，目前针对HDFS性能优化的研究多停留在其自身，忽略了上层业务的特点，导致实际应用时，或是难以解决上层应用的痛点，或是优化效果不佳。
发明内容
本申请实施例通过提供一种缓存部署与任务调度方法、终端和计算机可读存储介质，旨在解决目前针对HDFS性能优化的研究多停留在其自身，忽略了上层业务的特点，从而难以解决上层应用的痛点以及优化效果不佳的问题。
为实现上述目的，本申请一方面提供一种缓存部署与任务调度方法，所述缓存部署与任务调度方法包括以下步骤：
获取训练集的增益矩阵，基于所述增益矩阵中的缓存增益将所述训练集部署至各缓存节点中；
接收任务调度指令，获取任务中使用的训练集和第一处理器数量，所述第一处理器数量为所述训练集所需的处理器数量；
根据所述使用的训练集和所述第一处理器数量遍历部署矩阵以确定缓存节点，将所述任务调度至所述缓存节点中。
可选地，所述基于所述增益矩阵中的缓存增益将所述训练集部署至各缓存节点中的步骤包括：
获取所述增益矩阵中的最大增益值；
当所述最大增益值满足设定条件时，确定所述各缓存节点中最小缓存收益值；
将所述最大增益值的训练集副本部署至所述最小缓存收益值对应的第一缓存节点中。
可选地，所述根据所述使用的训练集和所述第一处理器数量遍历部署矩阵以确定缓存节点的步骤包括：
获取所述各缓存节点分别对应的第二处理器数量，所述第二处理器数量为所述缓存节点当前可用的处理器数量；
根据所述使用的训练集和所述第一处理器数量遍历所述部署矩阵，以获取所述第二处理器数量大于或等于所述第一处理器数量对应的第二缓存节点。
可选地，所述获取所述增益矩阵中的最大增益值的步骤之后，还包括：
当所述最大增益值未满足设定条件时，对所述各缓存节点的缓存矩阵分别进行遍历，生成遍历结果；
根据所述遍历结果确定所述各缓存节点分别缓存的所述训练集副本。
可选地，所述将所述最大增益值的训练集副本部署至所述最小缓存收益值对应的第一缓存节点中的步骤包括：
获取所述第一缓存节点的第一缓存空间以及所述训练集的大小；
当所述第一缓存空间大于所述训练集的大小且所述缓存节点的缓存为设定值时，将所述最大增益值的训练集副本部署至所述第一缓存节点中。
可选地，所述基于所述匹配结果确定所述第二处理器数量大于或等于所述第一处理器数量的第二缓存节点的步骤之后，包括：
获取所述第二缓存节点的第二缓存空间；
当所述第二缓存空间满足设定条件时，则执行将所述任务调度至所述缓存节点中的步骤；或者，
当所述第二缓存空间未满足设定条件时，则遍历所述各缓存节点以确定满足约束条件的缓存节点，所述约束条件为所述缓存节点的处理器数量大于所述第一处理器数量。
可选地，所述将所述任务调度至所述缓存节点中的步骤之后，还包括：
在完成所述任务后，向任务调度中心发送反注册信息；
基于所述反注册信息更新所述第二缓存节点的缓存空间以及所述处理器数量。
可选地，所述获取训练集的增益矩阵的步骤之前，还包括：
设置所述约束条件；
统计操作日志时长以及各训练集的总访问次数，根据所述操作日志时长以及总访问次数计算所述各训练集分别对应的增益参数。
此外，为实现上述目的，本申请另一方面还提供一种终端，所述终端包括存储器、处理器及存储在存储器上并在处理器上运行的缓存部署与任务调度程序，所述处理器执行所述缓存部署与任务调度程序时实现如上所述缓存部署与任务调度方法的步骤。
此外，为实现上述目的，本申请另一方面还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有缓存部署与任务调度程序，所述缓存部署与任务调度程序被处理器执行时实现如上所述缓存部署与任务调度方法的步骤。
本实施例通过获取训练集的增益矩阵，基于增益矩阵中的缓存增益将训练集部署至各缓存节点中；接收任务调度指令，获取任务中使用的训练集和第一处理器数量，第一处理器数量为训练集所需的处理器数量；根据使用的训练集和第一处理器数量遍历部署矩阵以确定缓存节点，将任务调度至缓存节点中。解决了目前针对HDFS性能优化的研究多停留在其自身，忽略了上层业务的特点，从而难以解决上层应用的痛点以及优化效果不佳的技术问题，提高了人工智能应用场景下的计算节点缓存利用率和命中率，降低了HDFS集群网络、I/O口压力和深度学习任务数据的加载时间，提高了深度学习任务的执行效率。
附图说明
图1为本申请实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本申请缓存部署与任务调度方法第一实施例的流程示意图；
图3为本申请缓存部署与任务调度方法第二实施例的流程示意图；
图4为本申请缓存部署与任务调度方法中基于所述增益矩阵中的缓存增益将所述训练集部署至各缓存节点中的流程示意图；
图5为本申请缓存部署与任务调度方法中根据所述使用的训练集和所述第一处理器数量遍历部署矩阵以确定缓存节点的流程示意图；
图6为本申请缓存部署与任务调度方法的操作流程示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请实施例的主要解决方案是：获取训练集的增益矩阵，基于所述增益矩阵中的缓存增益将所述训练集部署至各缓存节点中；接收任务调度指令，获取任务中使用的训练集和第一处理器数量，所述第一处理器数量为所述训练集所需的处理器数量；根据所述使用的训练集和所述第一处理器数量遍历部署矩阵以确定缓存节点，将所述任务调度至所述缓存节点中。
由于目前针对HDFS性能优化的研究多停留在其自身，忽略了上层业务的特点，导致实际应用时，或是难以解决上层应用的痛点，或是优化效果不佳。本申请通过获取训练集的增益矩阵，基于增益矩阵中的缓存增益将训练集部署至各缓存节点中；接收任务调度指令，获取任务中使用的训练集和第一处理器数量，第一处理器数量为训练集所需的处理器数量；根据使用的训练集和第一处理器数量遍历部署矩阵以确定缓存节点，将任务调度至缓存节点中，使得提高了人工智能应用场景下的计算节点缓存利用率和命中率，降低了HDFS集群网络、I/O口压力和深度学习任务数据的加载时间，提高了深度学习任务的执行效率。
如图1所示，图1为本申请实施例方案涉及的硬件运行环境的终端结构示意图。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、遥控器、音频电路、WiFi模块、检测器等等。当然，所述终端还可配置陀螺仪、气压计、湿度计、温度传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及缓存部署与任务调度程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中缓存部署与任务调度程序，并执行以下操作：
获取训练集的增益矩阵，基于所述增益矩阵中的缓存增益将所述训练集部署至各缓存节点中；
接收任务调度指令，获取任务中使用的训练集和第一处理器数量，所述第一处理器数量为所述训练集所需的处理器数量；
根据所述使用的训练集和所述第一处理器数量遍历部署矩阵以确定缓存节点，将所述任务调度至所述缓存节点中。
参考图2，图2为本申请缓存部署与任务调度方法第一实施例的流程示意图。
本申请实施例提供了缓存部署与任务调度方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
缓存部署与任务调度方法包括：
步骤S10，获取训练集的增益矩阵，基于所述增益矩阵中的缓存增益将所述训练集部署至各缓存节点中；
本实施例提供的方法的应用环境为应用在人工智能应用场景中，在人工智能应用场景下，基于四个阶段完成HDFS文件系统的性能优化，其中，HDFS文件系统为分布式文件系统，HDFS采用了在系统中保存多个副本的方式保存数据，且同一个数据块的多个副本会存放在不同节点上；其中，采用多副本可以让客户从不同的数据块中读取数据，加快传输速度；因为HDFS的DataNode之间通过网络传输数据，如果采用多个副本可以判断数据传输是否出错；多副本可以保证某个DataNode失效的情况下，不会丢失数据。
终端在获取训练集的增益矩阵之前，需要先初始化系统的约束条件，即完成第一阶段，包括：初始化缓存空间，流行度参数；获取各训练集的大小，各计算节点中GPU数量；测试平均网络带宽，基于该平均带宽计算各训练集传输时间。具体地，在M个计算节点上开辟本地缓存空间，每个缓存空间大小为V0，所述计算节点主要用于接收服务器任务、转发任务与计算结果、监控计算模块是都正常等，其中，计算节点上有缓存，也称缓存节点；针对N个训练集样本，结合其本身流行度，定义初始参数λ′n；获取N个训练集样本大小vn；获取M个计算节点GPU数量，为Gm，其中，GPU为图像处理器，在一个计算节点中存在多个GPU；计算N个训练集样本平均占用时间tn，计算方法如(1)所示：
其中b为本地缓存平均带宽，可通过测试得出；τn为当前训练集平均训练时长，可根据日志和经验取得。
在完成第一阶段的初始化后，进入第二阶段(数据处理阶段)，通过操作日志统计出集群中个训练集样本的访问次数，最终计算出每个训练集样本的增益参数λn；其中，日志文件通常会记录下用户操作的一些相关内容，例如，用户对系统进行了IPC探测，系统就会在安全日志里迅速地记下探测者探测时所用的IP、时间、用户名等，当用FTP探测后，则会在FTP日志中记下IP、时间、探测所用的用户名等。具体地，统计日志记录时长T；统计N个训练集在T时间内的各自访问次数Cn；为简化问题，各训练集在单位时间(平均占用时间)tn内的访问次数符合泊松分布，其概率密度函数如(2)所示。
泊松分布的参数λ是单位时间(或单位面积)内随机事件的平均发生次数，泊松分布适合于描述单位时间内随机事件发生的次数。其中，参数λn计算方法如(3)式所示。
其中，加权参数α取0.5，λ′n为上一周期训练集n的泊松分布参数。
在完成第二阶段后，进入第三阶段(部署阶段)，根据流行度参数，初始化各训练集的增益矩阵，进一步初始化各计算节点缓存可用空间和缓存收益，根据训练集的增益矩阵，使用贪心算法将训练集相对均匀地部署至各计算节点中。具体地，wn,k表示训练集n的第k个副本的缓存增益属性，如(4)式所示。
其中pnk代表此时的总缓存收益，为单位空间的缓存收益，pnk的计算方法如(5)式所示。
其中，pn(k)如(2)式所示
进一步地，初始化所有训练集的增益为wn1，此时增益集合为：
W＝[w11 w21 w31 … wN1]
初始化每个计算节点的缓存可用空间为：
C＝[V0 V0 V0 … V0]
初始化每个计算节点的缓存收益为：
G＝[0 0 0 … 0]
初始化每个计算节点的缓存为：
B＝[0 0 0 … 0]
其中，初始化W＝[w11 w21 w31 … wN1]，实际上是初始化每个训练集的wn,k，在缓存节点未缓存副本时，则缓存每个训练集的第一个副本，即在增益矩阵中初始化每个副本的缓存增益值，其中N为训练集的个数。可用缓存空间C是用户预先设置的，在初始化计算节点的可用缓存空间时，直接采用用户预先设置的缓存空间值。每个计算节点的缓存收益为G＝∑Pnk，表示当前计算节点缓存所有的训练集副本的增益值之和，由于每个计算节点在刚开始的时候未缓存副本，因此初始化缓存收益矩阵中的数值为0，缓存矩阵的数值也为0。基于该增益矩阵中的缓存增益将训练集部署至各缓存节点中。
进一步地，参考图4，所述基于所述增益矩阵中的缓存增益将所述训练集部署至各缓存节点中的步骤包括：
步骤S11，获取所述增益矩阵中的最大增益值；
步骤S12，当所述最大增益值满足设定条件时，确定所述各缓存节点中最小缓存收益值；
步骤S13，将所述最大增益值的训练集副本部署至所述最小缓存收益值对应的第一缓存节点中。
终端在获取到增益矩阵W中的最大增益值时，判断该最大增益值(即最大缓存增益)是否满足设定值，如判断最大增益值是都为0，若最大增益值为0，则确定各缓存节点中的最小缓存收益值，将最大增益值的训练集副本部署至最小缓存收益对应的第一缓存节点中。具体地，步骤A，根据单位空间的缓存收益，选取增益矩阵W中最大的增益值Wn＝Wn,k，若Wn>0，则将各计算节点的缓存收益G从小到大排序，并依次检查各节点可用空间C。步骤B，若Cm>vn且bn＝0，即当计算节点的缓存空间大于训练集样本的大小且计算节点的缓存为0时，则减少当前节点的可用空间Cm＝Cm-vn，并设置bn＝k代表当前节点存储了训练集n的第k个副本，同时设置gm＝gm+pnk，即设置当前计算节点的缓存收益为之前的缓存收益与总缓存收益之和，设置wn＝wn,k，即当前节点节点缓存了训练集n的第k个副本，在完成一个训练集的副本缓存后，继续返回执行步骤A；步骤C，若当前的计算节点为最后一个节点时，则设置wn＝0，即设置最后一个计算节点的缓存增益为0，并返回执行步骤A；若当前的计算节点不是最后一个节点时，则将下一个节点设为当前节点，并返回执行步骤B。重复执行步骤A、步骤B、步骤C，直至增益矩阵中训练集副本的最大缓存增益值为0，则结束循环。由于在选择计算节点的缓存收益时，是按照从小到大选择的，这使得缓存对象的收益越来越小，根据这一特点，每次部署训练集副本时，先选择缓存增益高的训练集副本，再选择缓存增益低的训练集副本，每次都是将缓存增益最大的副本部署至总缓存收益最小的计算节点上，即相当于做了负载均衡，以保证每个计算节点的缓存收益比较平均。
需要说明的是，增益矩阵中的缓存增益就是矩阵中的每个元素，也就是缓存单个训练集的第k个副本的增益；计算节点的缓存收益是指该计算节点上当前已缓存的所有训练集的增益之和，其中，增益就是缓存某个文件对整体的好处，是在0-1之间的数，在本申请的模型里把它抽象成该文件的第k个副本可能被用到的概率，概率越大，说明缓存该文件好处越大。缓存带来的好处包括高速读写、降低后端负载：后端服务器通过前端缓存降低负载；业务端使用Redis降低后端MySQL负载等等。
步骤S20，接收任务调度指令，获取任务中使用的训练集和第一处理器数量，所述第一处理器数量为所述训练集所需的处理器数量；
终端在完成第三阶段，即缓存部署后，进入第四部分(任务调度)，在调度重点等待调度指令前，需要先构建训练集的部署矩阵，并初始化各计算节点GPU数量。具体地，用bn,m指定训练集n的第m个副本部署位置，得到部署矩阵B。
其中，
初始化每个计算节点的可用GPU数量为：
G＝[G1 G2 G3 … GM]
其中，bn,m中的n表示训练集的数量，m表示训练集的副本数，如b1,2表示当前位置部署了第1个训练集的第2个副本；如b4,3表示当前位置部署了第4个训练集的第3个副本。
当调度中心接收到任务调度指令时，获取当前任务所使用的训练集n和运行所需的GPU数量。
步骤S30，根据所述使用的训练集和所述第一处理器数量遍历部署矩阵以确定缓存节点，将所述任务调度至所述缓存节点中。
终端根据当前任务所使用的训练集和运行所需的GPU数量遍历训练集的部署矩阵，从而确定当前任务对应的缓存节点，并将该任务调度至缓存节点上执行。
进一步地，参考图5，所述根据所述使用的训练集和所述第一处理器数量遍历部署矩阵以确定缓存节点的步骤包括：
步骤S31，获取所述各缓存节点分别对应的第二处理器数量，所述第二处理器数量为所述缓存节点当前可用的处理器数量；
步骤S32，根据所述使用的训练集和所述第一处理器数量遍历所述部署矩阵，以获取所述第二处理器数量大于或等于所述第一处理器数量对应的第二缓存节点。
终端获取各缓存节点分别对应的当前可用的GPU数量，在遍历部署矩阵时，将当前可用的GPU数量与任务所需的GPU数量进行匹配，生成匹配结果，基于该匹配结果确定可用的GPU数量大于任务所需的GPU数量对应的缓存节点。具体地，步骤一，等待任务注册与反注册，若为任务注册，则执行步骤二，获取要使用的训练集和所需的GPU数量，按顺序遍历部署矩阵中的向量bn，直到找到满足bn.m≠-1且的bn,m项，也即找到计算节点当前可用的GPU数量大于当前任务所需的GPU数量的向量，其中，在遍历部署矩阵时，只要遍历到满足条件的向量，则停止遍历。设置/>即设置当前缓存节点剩余可用的GPU数量等于当前缓存节点可用GPU的数量与任务使用的训练集所需的GPU数量之间的差值，设置s＝bn,m；若在遍历过程中未找到满足条件的缓存节点，设置s＝-1，说明当前没有可用的缓存节点。步骤三，若s>0，意为该任务在节点s部署；若s＝-1，意为该任务可在任意节点部署，不使用缓存，此时遍历所有计算节点，找到任意满足gs≥g的节点s，设置gs＝gs-g。返回节点s，返回执行步骤一。步骤四，若任务为反注册，则获取注册节点s及GPU数量g，设置gs＝gs+g，返回执行步骤一。
在当前任务完成后，需要释放缓存节点占用的GPU数量，任务在所选缓存节点上独占g个GPU运行，则运行结束后释放GPU，例如，若当前g＝3，则说明当前任务使用了GPU3、GPU4以及GPU5，在运行结束后释放GPU3、GPU4以及GPU5，进一步地，更新该缓存节点可用的GPU资源数。
本实施例通过获取训练集的增益矩阵，基于增益矩阵中的缓存增益将训练集部署至各缓存节点中；接收任务调度指令，获取任务中使用的训练集和第一处理器数量，第一处理器数量为训练集所需的处理器数量；根据使用的训练集和第一处理器数量遍历部署矩阵以确定缓存节点，将任务调度至缓存节点中。通过针对人工智能应用场景中读多写少的特点，大量使用缓存，而不用担心缓存失效；将大量请求拦截在缓存上，使用缓存来缓解HDFS高效地处理大量小文件的缺陷；其次，针对训练集数量固定，且访问热度随时间变化不大的特点，定期进行主动的缓存策略计算和部署，而不是被动的缓存替换；由于缓存策略计算和部署过程是可控的，将人工智能应用部署到离缓存较近的节点上执行，使得更有效地利用缓存，进一步提高了人工智能应用场景下的计算节点缓存利用率和命中率，降低了HDFS集群网络、I/O口压力和深度学习任务数据的加载时间，提高了深度学习任务的执行效率。
进一步地，参考图3，提出本申请缓存部署与任务调度方法第二实施例。
所述缓存部署与任务调度方法第二实施例与所述缓存部署与任务调度方法第一实施例的区别在于，所述获取所述增益矩阵中的最大增益值的步骤之后，还包括：
步骤S110，当所述最大增益值未满足设定条件时，对所述各缓存节点的缓存矩阵分别进行遍历，生成遍历结果；
步骤S111，根据所述遍历结果确定所述各缓存节点分别缓存的所述训练集副本。
当终端从增益矩阵中获取到的最大缓存增益值为0时，即说明当前训练集副本的增益不满足大于0的条件，而wn＝0，则说明目前已经没有副本的增益大于0，可以停止循环，开始部署结果。具体地，遍历每个计算节点的缓存矩阵B，若bn≥0，则说明在当前计算节点中部署训练集的第n个副本，如b1≥0，则说明在当前计算节点中部署训练集的第1个副本。进一步地，基于获取到的每个训练集副本的存储位置，构建训练集的部署矩阵；其中，缓存矩阵B为调度中心计算的每个节点该缓存的内容，调度中心会将该缓存矩阵下发到各个计算节点中，由各个计算节点遍历自己的矩阵，如果元素>0，就执行部署该副本。
本实施例在当前增益矩阵中的最大增益值不满足设定条件时，则结束当前的循环，并基于获取到的每个训练集副本的存储位置构建训练集的部署矩阵，使得为任务调度工作做了准备。
为了更好的说明本申请实施例的方案，缓存部署与任务调度方法包括以下步骤：
参考图6，在深度学习的场景下，基于四个阶段实现HDFS文件系统的优化，第一阶段称为初始化阶段，包括：初始化各计算节点的缓存空间，流行度参数；获取各训练集大小，各计算节点GPU数量；测试平均网络带宽，计算各训练集传输时间。第二阶段为日志分析阶段(即数据处理阶段)，包括：统计日志时长和各训练集总访问次数；计算各训练集流行度参数。第三阶段为缓存部署阶段，包括：根据流行度参数，初始化各训练集增益矩阵；初始化节点缓存可用空间及缓存收益；根据训练集增益矩阵，使用贪心算法将训练集相对均匀地部署至各节点。第四阶段为任务调度阶段，包括：构建训练集部署矩阵，初始化节点GPU数量；调度中心等待事件；在接收到任务调度指令时，遍历部署矩阵，寻找空闲的缓存节点；若不存在空闲的缓存节点，则随机分配空闲节点；在当前任务完成后，更新缓存节点可用的GPU资源数以及释放节点占用的GPU资源。
本实施例通过缓存的主动部署和任务的主动调度，实现人工智能应用场景下的HDFS文件系统的性能优化，提高了人工智能应用场景下的计算节点缓存利用率和命中率，降低了HDFS集群网络和I/O压力，从而降低了深度学习任务的数据加载时间，提高了深度学习任务的执行效率，降低了成本。
此外，本申请还提供一种终端，所述终端包括存储器、处理器及存储在存储器上并在处理器上运行的缓存部署与任务调度程序，所述终端在深度学习的场景下，基于四个阶段实现HDFS文件系统的优化，第一阶段称为初始化阶段，用于初始化系统约束条件，该约束条件为当前任务所需的GPU数量小于缓存节点可用的GPU数量；第二阶段为数据处理阶段，通过操作日志统计出集群中个训练集样本的访问次数，最终计算出每个训练集样本的增益参数λn。第三阶段为部署阶段，根据增益参数λn，将训练集部署到个计算节点(缓存节点)的本地缓存中，使得总缓存增益较高的同时，各个计算节点的缓存增益大致相同。第四阶段为调度阶段，当任务来临时，根据各节点缓存情况，分配计算节点，并进行任务的注册与反注册。在一实施例中，终端通过网络协议，如NFS协议，将HDFS文件系统挂载到计算节点上，并利用缓存软件(如cachefilesd软件)在本地开辟缓存，每周定时分析任务日志，并生成缓存矩阵B。在每个缓存节点上先清除本地缓存，再异步地遍历各自的缓存矩阵B，并依次读取bn≥1的训练集n，放入本地缓存中。当有新的计算任务到来时，调用第四阶段中的注册逻辑，通过调度中心为其分配计算节点；当有计算任务完成后，调用第四阶段中的反注册逻辑，释放GPU资源。提高了人工智能应用场景下的计算节点缓存利用率和命中率，降低了HDFS集群网络和I/O压力，从而降低了深度学习任务的数据加载时间，提高了深度学习任务的执行效率，降低了成本。
此外，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有缓存部署与任务调度程序，所述缓存部署与任务调度程序被处理器执行时实现如上所述缓存部署与任务调度方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本申请可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本申请的可选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括可选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (6)

1.一种缓存部署与任务调度方法，其特征在于，所述方法包括：
设置约束条件；
初始化缓存空间，流行度参数；
获取各训练集的大小，各计算节点中GPU数量；
测试平均网络带宽，基于所述平均带宽计算各训练集传输时间；
统计操作日志时长以及各训练集的总访问次数，根据所述操作日志时长以及总访问次数计算所述各训练集分别对应的增益参数，并基于所述增益参数构建增益矩阵；
获取训练集的所述增益矩阵，基于所述增益矩阵中的缓存增益将所述训练集部署至各缓存节点中；
接收任务调度指令，获取任务中使用的训练集和第一处理器数量，所述第一处理器数量为所述训练集所需的处理器数量；
根据所述使用的训练集和所述第一处理器数量遍历部署矩阵以确定缓存节点，将所述任务调度至所述缓存节点中，其中所述根据所述使用的训练集和所述第一处理器数量遍历部署矩阵以确定缓存节点包括：
获取所述各缓存节点分别对应的第二处理器数量，所述第二处理器数量为所述缓存节点当前可用的处理器数量；
根据所述使用的训练集和所述第一处理器数量遍历所述部署矩阵，以获取所述第二处理器数量大于或等于所述第一处理器数量对应的第二缓存节点；
所述基于所述增益矩阵中的缓存增益将所述训练集部署至各缓存节点中的步骤包括：
获取所述增益矩阵中的最大增益值；
当所述最大增益值满足设定条件时，确定所述各缓存节点中最小缓存收益值；
将所述最大增益值的训练集副本部署至所述最小缓存收益值对应的第一缓存节点中；
当所述最大增益值未满足设定条件时，对所述各缓存节点的缓存矩阵分别进行遍历，生成遍历结果；
根据所述遍历结果确定所述各缓存节点分别缓存的所述训练集副本。
2.根据权利要求1所述的缓存部署与任务调度方法，其特征在于，所述将所述最大增益值的训练集副本部署至所述最小缓存收益值对应的第一缓存节点中的步骤包括：
获取所述第一缓存节点的第一缓存空间以及所述训练集的大小；
当所述第一缓存空间大于所述训练集的大小且所述缓存节点的缓存为设定值时，将所述最大增益值的训练集副本部署至所述第一缓存节点中。
3.根据权利要求1所述的缓存部署与任务调度方法，其特征在于，所述获取所述第二处理器数量大于或等于所述第一处理器数量对应的第二缓存节点的步骤之后，包括：
获取所述第二缓存节点的第二缓存空间；
当所述第二缓存空间满足设定条件时，则执行将所述任务调度至所述缓存节点中的步骤；或者，
当所述第二缓存空间未满足设定条件时，则遍历所述各缓存节点以确定满足约束条件的缓存节点，所述约束条件为所述缓存节点的处理器数量大于所述第一处理器数量。
4.根据权利要求1所述的缓存部署与任务调度方法，其特征在于，所述将所述任务调度至所述缓存节点中的步骤之后，还包括：
在完成所述任务后，向任务调度中心发送反注册信息；
基于所述反注册信息更新所述第二缓存节点的缓存空间以及所述处理器数量。
5.一种终端，其特征在于，所述终端包括存储器、处理器及存储在存储器上并在所述处理器上运行的缓存部署与任务调度程序，所述处理器执行所述缓存部署与任务调度程序时实现如权利要求1至4中任一项所述的方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有缓存部署与任务调度程序，所述缓存部署与任务调度程序被处理器执行时实现权利如要求1至4中任一项所述的方法的步骤。
CN202011353572.XA 2020-11-25 2020-11-25 缓存部署与任务调度方法、终端和计算机可读存储介质 Active CN112416368B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011353572.XA CN112416368B (zh) 2020-11-25 2020-11-25 缓存部署与任务调度方法、终端和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011353572.XA CN112416368B (zh) 2020-11-25 2020-11-25 缓存部署与任务调度方法、终端和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112416368A CN112416368A (zh) 2021-02-26
CN112416368B true CN112416368B (zh) 2024-01-16

Family

ID=74843246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011353572.XA Active CN112416368B (zh) 2020-11-25 2020-11-25 缓存部署与任务调度方法、终端和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112416368B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113778330B (zh) * 2021-08-05 2023-04-25 无锡融卡科技有限公司 一种基于Flash存储器的事务处理方法
CN114968588A (zh) * 2022-06-07 2022-08-30 之江实验室 一种面向多并发深度学习训练任务的数据缓存方法和装置
CN117369996B (zh) * 2023-09-25 2024-06-14 深圳国匠云职业教育科技有限公司 数据处理方法、电子设备及计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458558A (zh) * 2007-12-10 2009-06-17 英特尔公司 将处理器封装转换到低功率状态
CN101975966A (zh) * 2010-10-22 2011-02-16 中国海洋石油总公司 一种用于地球物理勘探的拖缆模拟器板
CN104133882A (zh) * 2014-07-28 2014-11-05 四川大学 一种基于hdfs的小文件处理方法
CN108664116A (zh) * 2018-04-27 2018-10-16 北京邮电大学 网络功能虚拟化的自适应省电方法、装置及cpu控制器
CN109117265A (zh) * 2018-07-12 2019-01-01 北京百度网讯科技有限公司 在集群中调度作业的方法、装置、设备及存储介质
CN109816049A (zh) * 2019-02-22 2019-05-28 青岛理工大学 一种基于深度学习的装配监测方法、设备及可读存储介质
CN109885389A (zh) * 2019-02-19 2019-06-14 山东浪潮云信息技术有限公司 一种基于容器的并行深度学习调度训练方法及系统
WO2019166106A1 (en) * 2018-03-02 2019-09-06 Huawei Technologies Co., Ltd. Devices and methods for coded caching

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458558A (zh) * 2007-12-10 2009-06-17 英特尔公司 将处理器封装转换到低功率状态
CN101975966A (zh) * 2010-10-22 2011-02-16 中国海洋石油总公司 一种用于地球物理勘探的拖缆模拟器板
CN104133882A (zh) * 2014-07-28 2014-11-05 四川大学 一种基于hdfs的小文件处理方法
WO2019166106A1 (en) * 2018-03-02 2019-09-06 Huawei Technologies Co., Ltd. Devices and methods for coded caching
CN108664116A (zh) * 2018-04-27 2018-10-16 北京邮电大学 网络功能虚拟化的自适应省电方法、装置及cpu控制器
CN109117265A (zh) * 2018-07-12 2019-01-01 北京百度网讯科技有限公司 在集群中调度作业的方法、装置、设备及存储介质
CN109885389A (zh) * 2019-02-19 2019-06-14 山东浪潮云信息技术有限公司 一种基于容器的并行深度学习调度训练方法及系统
CN109816049A (zh) * 2019-02-22 2019-05-28 青岛理工大学 一种基于深度学习的装配监测方法、设备及可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Cache Replication Strategy Based on Betweenness and Edge Popularity in Named Data Networking;Quan Zheng等;《ICC 2019 - 2019 IEEE International Conference on Communications (ICC)》;1-8 *
一种基于机器学习的Spark容器集群性能提升方法;田春岐;李静;王伟;张礼庆;;信息网络安全(第04期);17-25 *
一种支持大量并发用户的瓦片缓存方案研究;陈桦 等;《计算机工程与科学》;144-149 *
深度学习框架下的移动感知预缓存策略;陈正勇;杨崇旭;姚振;杨坚;;小型微型计算机系统(第05期);3-7 *

Also Published As

Publication number Publication date
CN112416368A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN112416368B (zh) 缓存部署与任务调度方法、终端和计算机可读存储介质
US10764202B2 (en) Container-based mobile code offloading support system in cloud environment and offloading method thereof
US9563426B1 (en) Partitioned key-value store with atomic memory operations
CN103198097B (zh) 一种基于分布式文件系统的海量地学数据并行处理方法
CN109240946A (zh) 数据的多级缓存方法及终端设备
CN111898698B (zh) 对象的处理方法及装置、存储介质和电子设备
CN114679451B (zh) 面向边缘计算的服务调度系统及其调度方法
WO2017131784A1 (en) Hybrid concurrency control
CN109614270A (zh) 基于Hbase的数据读写方法、装置、设备及存储介质
US11494237B2 (en) Managing workloads of a deep neural network processor
CN114444715A (zh) 图数据处理方法、装置、系统、电子设备及可读存储介质
CN117015767A (zh) 存储器信道控制器的芯片上互连
CN115129460A (zh) 获取算子硬件时间的方法、装置、计算机设备和存储介质
CN116737370A (zh) 一种多资源调度方法、系统、存储介质及终端
Costan From big data to fast data: Efficient stream data management
CN112688980B (zh) 资源分发方法、装置、计算机设备
US9172729B2 (en) Managing message distribution in a networked environment
Jian et al. A HDFS dynamic load balancing strategy using improved niche PSO algorithm in cloud storage
CN110209645A (zh) 任务处理方法、装置、电子设备及存储介质
WO2022082493A1 (en) Method and system for embedding with smart memory pool
Baresi et al. Training and Serving Machine Learning Models at Scale
Li et al. DAG-based Task Orchestration for Edge Computing
CN111737298A (zh) 基于分布式存储的缓存数据管控方法及装置
CN116112442A (zh) 请求响应方法、装置、计算机设备、存储介质和程序产品
CN107451041B (zh) 一种对象云存储系统响应时延预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant