CN109670593A - 一种评估、以及预测深度学习模型中层计算时间的方法 - Google Patents
一种评估、以及预测深度学习模型中层计算时间的方法 Download PDFInfo
- Publication number
- CN109670593A CN109670593A CN201811578053.6A CN201811578053A CN109670593A CN 109670593 A CN109670593 A CN 109670593A CN 201811578053 A CN201811578053 A CN 201811578053A CN 109670593 A CN109670593 A CN 109670593A
- Authority
- CN
- China
- Prior art keywords
- layer
- time
- predicted
- estimation
- similar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- Development Economics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Game Theory and Decision Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种评估、以及预测深度学习模型中层计算时间的方法。该方法根据层间相似程度在待预测层两侧选择历史日志中的相似层计算时间赋值最大、最小计算时间,以此评估、以及预测层计算时间,使利用相似层计算时间估算的待预测层计算时间在可接受范围内。该发明通过尽可能地利用历史日志中的相似层估算待预测层的计算时间,避免对部分的层做不必要的重复测量;同时又通过评估在一定程度上避免估算的误差,获得在可接受范围内的层计算时间。
Description
技术领域
本发明涉及深度学习技术领域;具体地,涉及一种评估、以及预测深度学习模型中层计算时间的方法。
背景技术
深度学习目前已经在诸如金融保险、安防监控等个行业得到了广泛应用。深度学习的核心方法是使用神经网络模型分析和描述数据的特征。训练一个深度学习的模型需要以秒为数量级的频率进行多轮迭代。其次,相较于线性算法,深度学习往往需要更为庞大的数据训练方能取得准确的模型。训练一个神经网络模型往往需要数天或者数周的时间才能完成。
正是因为上面的原因,仅靠单一节点来训练深度学习模型显然需要花费更长的时间;对此,当前主流的深度学习框架均支持通过并行计算实现分布式训练模型。广义上的分布式训练包括两种:一种是数据并行,另一种是模型并行。在数据并行的场景下,通过预测深度学习模型的训练时间,对动辄数天、数周、数月的深度学习模型训练过程中的资源调配、模型评估等都有着重要的意义。特别是在多个不同的模型训练任务并存的情形下,提前预测训练时间,合理调配资源,将大幅提高资源利用率。对此,通过少量层的测量历史日志,并结合相似层关系复用上述层的时间,将大大降低预测模型训练中迭代时间时的开销。
此外,测量/预测深度学习模型中各层计算时间,对模型以层粒度进行针对性调整也有着重要意义。
发明内容
有鉴于此,本发明提供一种评估、以及预测深度学习模型中层计算时间的方法。该方法根据层间相似程度在待预测层两侧选择历史日志中的相似层计算时间赋值最大、最小计算时间,以此评估、以及预测层计算时间,使利用相似层计算时间估算的待预测层计算时间在可接受范围内。
一方面,本发明提供一种评估层计算时间估算的方法。
上述的评估层计算时间估算的方法,包括:
对于任一的待预测层,
分别将该待预测层的最大计算时间、最小计算时间初始化为0和无穷大;
从历史日志中,
选择在偏序关系上计算时间大于该待预测层的相似层,将这些相似层计算时间按大小排序,选择其中的最小值作为该待预测层的最大计算时间;
选择在偏序关系上计算时间小于该待预测层的相似层,将这些相似层计算时间按大小排序,选择其中的最大值作为该待预测层的最小计算时间;
根据上述的最大计算时间、最小计算时间评估估算是否可接受:
若该最大计算时间、最小计算时间之差小于设定的阈值,则该估算可接受;
否则,该估算不可接受;
其中,根据关键属性确定上述的相似层:
对于任一的该待预测层的相同类型的层,若其与该待预测层全部的相应的关键属性都相同,则其为该待预测层的相似层;上述的相同类型层是指其层输入、输出规模均与待预测层相同的层,其中的层输入、输出规模均为上述层属性中的一种;而关键属性是指全部层属性中对计算时间存在非线性影响的层属性;对应地,全部层属性中对计算时间存在线性影响的层属性,为非关键属性;
恰是由于非关键属性对计算时间的线性影响,故,上述的偏序关系是指存在于待预测层和其部分或全部的相似层中的如下偏序关系:
对它们中任一的正向影响层计算时间的非关键属性,若该非关键属性单调增加时使其计算时间单调增加,
且对它们中任一的反向影响层计算时间的非关键属性,若该非关键属性单调减小时使其计算时间单调增加;
上述的阈值可以设定为最小计算时间乘上系数γ;γ值将限定每层估算的误差。
可选地,前面述及的相似层计算时间,是根据测量获得的,而非估算获得的,以避免放大(以及潜在地级联放大)以该方法估算时的误差。
另一方面,本发明提供一种利用相似层估算层计算时间的方法。
结合第一方面,上述的利用相似层估算层计算时间的方法,包括:
对于任一的待预测层,
若以第一方面述及的方法评估结果为估算可接受,则根据该方法述及的最大计算时间、最小计算时间估算该待预测层的计算时间。
可选地,对前面述及的最大计算时间、最小计算时间求平均值,作为该待预测层的计算时间。
又一方面,本发明提供一种利用相似层预测深度学习模型中层计算时间的方法。
结合第一、第二方面,上述的利用相似层预测深度学习模型中层计算时间的方法,包括:
对任一的待预测层,
先以第一方面述及的方法评估估算是否可接受,
若是,则根据第二方面述及的方法估算该待预测层的计算时间;
否则,测量该待预测层的计算时间。
本发明提供的技术方案,具有着诸多有益效果:
一,低开销;本发明尽可能地复用了已知的层计算时间,避免相同层或相似层的重复测量。
二,预测本地化;即使是对在分布式机器学习平台上训练的模型或是利用在线资源训练的模型,通过本发明预测其计算时间时,完全可以在一台设备上完成。
附图说明
为更加清楚地说明本发明实施例或现有技术中的技术方案,下面将对本发明中一部分实施例涉及的附图做简单介绍。
图1为本发明一实施例提供的一种利用相似层预测深度学习模型中层计算时间的方法的流程示意图。
具体实施方式
下面结合本发明实施例的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
以下为本发明的一个优选实施例。
图1为该实施例提供的一种利用相似层预测深度学习模型中层计算时间的方法的流程示意图。以上实施例展示了在tensorflow框架下实现的模型的层计算时间的预测。
在预测前,通过数据流图解析,获得模型中的层;
其中,流水线图是采用JSON定义的,该数据流图描述文件将每个层描述为JSON条目,包括层名称和层属性;
以下为其中一个模型数据流图的描述文件示例,
[
{
"layer_name":"conv1","layer_id":1,"tf_layer_name":"conv2d","params":{
"input_size":112,"kernel_size":3,"ch_in":3,"ch_out":64,"batch_size":32,"stride":1}
},
{
"layer_name":"fc1","layer_id":2,"input_id":1,"tf_layer_name":"dense",
"params":{"num_units":1000}
},
...
]
在获得模型的层后,如图1所示,
对其中每个待预测的层,
首先,将该待预测层的最大计算时间、最小计算时间初始化为0和无穷大;
然后,查询历史日志,根据其中的合适的相似层计算时间赋值上述的最大、最小计算时间:
选择在偏序关系上计算时间大于该待预测层的相似层,将这些相似层计算时间按大小排序,选择其中的最小值作为该待预测层的最大计算时间;
选择在偏序关系上计算时间小于该待预测层的相似层,将这些相似层计算时间按大小排序,选择其中的最大值作为该待预测层的最小计算时间;
其中,对相似层、偏序关系及其相关概念定义如下:
A相似层
对任意两个或两个以上的相同类型的层,若它们的任一相应的关键属性均相同,则认为它们为相似的层;
其中,对前面述及的一些概念,如
相同类型的层:输入、输出规模都相同的层;
关键属性:是指对计算时间影响为非线性的层属性;在本实施例中,kernel_size等对计算时间影响是非线性的,并不会使计算时间随着属性值增大而对应地变化,被认为是关键属性;
非关键属性:对应地,是指对计算时间影响为线性的层属性;在本实施例中,batch_size、channels等对计算时间影响则是线性的,能够使计算时间随着属性值增大而对应地增大,被认为是非关键属性。
B偏序关系
该偏序关系是指存在在部分或全部相似层间的如下的偏序关系:
对上述的相似层,
对它们中任一的正向影响层计算时间的非关键属性,若该非关键属性单调增加时使其计算时间单调增加,
且对它们中任一的反向影响层计算时间的非关键属性,若该非关键属性单调减小时使其计算时间单调增加。
在本实施例中,
对任意的相似层集合中,若该集合中的两个或两个以上的层的channels和batchsize(均为正向影响的非关键属性)属性值均存在着相同的大小关系,同时其他的任一非关键属性也存在与之相应的情形(其中,反向影响的非关键属性存在相反的大小关系),则认为二者存在上述偏序关系。据此,即可对这些层的计算时间做初步的定性排序。,
接下来,根据上述的最大计算时间、最小计算时间评估估算是否可接受:
若该最大计算时间、最小计算时间之差小于设定的阈值,则该估算可接受;则对该最大计算时间、最小计算时间求平均值,作为该待预测层的计算时间;
否则,该估算不可接受,则测量该待预测层的计算时间。
其中,上述的阈值可以设定为最小计算时间乘上系数γ;γ值限定了每层估算的误差。而以上又是以上、下限(最大计算时间、最小计算时间)均值作为估算的计算时间的,故在用于估算的层计算时间是测量值时,可以将误差限定在γ与(最大计算时间-最小计算时间)/2的乘积值范围内。在本实施例中,兼顾效率和准确度,γ被设定为20%。
以上所述仅为本发明的具体实施方式,但本发明的保护范围并不局限于此。
Claims (5)
1.一种评估层计算时间估算的方法,其特征在于,该方法包括:
对于任一的待预测层,
分别将该待预测层的最大计算时间、最小计算时间初始化为0和无穷大;
从历史日志中,
选择在偏序关系上计算时间大于该待预测层的相似层,将这些相似层计算时间按大小排序,选择其中的最小值作为该待预测层的最大计算时间;
选择在偏序关系上计算时间小于该待预测层的相似层,将这些相似层计算时间按大小排序,选择其中的最大值作为该待预测层的最小计算时间;
根据上述的最大计算时间、最小计算时间评估估算是否可接受:
若该最大计算时间、最小计算时间之差小于设定的阈值,则该估算可接受;
否则,该估算不可接受;
其中,根据关键属性确定所述的相似层:
对于任一的该待预测层的相同类型的层,若其与该待预测层全部的相应的关键属性都相同,则其为该待预测层的相似层;
所述的偏序关系是指存在与该待预测层和其部分或全部的相似层中的如下偏序关系:
对它们中任一的正向影响层计算时间的非关键属性,若该非关键属性单调增加时使其计算时间单调增加,
且对它们中任一的反向影响层计算时间的非关键属性,若该非关键属性单调减小时使其计算时间单调增加。
2.根据权利要求1所述的评估层计算时间估算的方法,其特征在于,
所述的相似层计算时间,是根据测量获得的。
3.一种利用相似层估算层计算时间的方法,其特征在于,
该方法包括:
对于任一的待预测层,
若以权利要求1-2所述的任一方法评估估算可接受时,则根据该方法所述的最大计算时间、最小计算时间估算该待预测层的计算时间。
4.根据权利要求3所述的利用相似层估算层计算时间的方法,其特征在于,
对所述的最大计算时间、最小计算时间求平均值,作为该待预测层的计算时间。
5.一种利用相似层预测深度学习模型中层计算时间的方法,其特征在于,
对任一的待预测层,
先以权利要求1-2所述的任一方法评估估算是否可接受,
若是,则根据权利要求3-4所述的任一方法估算该待预测层的计算时间;否则,测量该待预测层的计算时间。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811578053.6A CN109670593B (zh) | 2018-12-21 | 2018-12-21 | 一种评估、以及预测深度学习模型中层计算时间的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811578053.6A CN109670593B (zh) | 2018-12-21 | 2018-12-21 | 一种评估、以及预测深度学习模型中层计算时间的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109670593A true CN109670593A (zh) | 2019-04-23 |
CN109670593B CN109670593B (zh) | 2021-03-23 |
Family
ID=66147097
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811578053.6A Active CN109670593B (zh) | 2018-12-21 | 2018-12-21 | 一种评估、以及预测深度学习模型中层计算时间的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109670593B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110888744A (zh) * | 2019-11-29 | 2020-03-17 | 杭州电子科技大学 | 一种基于工作量自动调优的负载均衡方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110066579A1 (en) * | 2009-09-16 | 2011-03-17 | Oki Electric Industry Co., Ltd. | Neural network system for time series data prediction |
CN102254025A (zh) * | 2011-07-28 | 2011-11-23 | 清华大学 | 信息回忆检索方法 |
CN102868936A (zh) * | 2012-09-06 | 2013-01-09 | 北京邮电大学 | 存储视频日志的方法和系统 |
CN102955946A (zh) * | 2011-08-18 | 2013-03-06 | 刘军 | 基于线性分类树和神经网络的两阶段快速分类器 |
CN105631558A (zh) * | 2016-03-22 | 2016-06-01 | 国家电网公司 | 基于相似日的bp神经网络光伏发电系统功率预测方法 |
CN106250306A (zh) * | 2016-08-18 | 2016-12-21 | 电子科技大学 | 一种适用于企业级运维自动化平台的性能预测方法 |
CN108416795A (zh) * | 2018-03-04 | 2018-08-17 | 南京理工大学 | 基于排序池化融合空间特征的视频动作识别方法 |
-
2018
- 2018-12-21 CN CN201811578053.6A patent/CN109670593B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110066579A1 (en) * | 2009-09-16 | 2011-03-17 | Oki Electric Industry Co., Ltd. | Neural network system for time series data prediction |
CN102254025A (zh) * | 2011-07-28 | 2011-11-23 | 清华大学 | 信息回忆检索方法 |
CN102955946A (zh) * | 2011-08-18 | 2013-03-06 | 刘军 | 基于线性分类树和神经网络的两阶段快速分类器 |
CN102868936A (zh) * | 2012-09-06 | 2013-01-09 | 北京邮电大学 | 存储视频日志的方法和系统 |
CN105631558A (zh) * | 2016-03-22 | 2016-06-01 | 国家电网公司 | 基于相似日的bp神经网络光伏发电系统功率预测方法 |
CN106250306A (zh) * | 2016-08-18 | 2016-12-21 | 电子科技大学 | 一种适用于企业级运维自动化平台的性能预测方法 |
CN108416795A (zh) * | 2018-03-04 | 2018-08-17 | 南京理工大学 | 基于排序池化融合空间特征的视频动作识别方法 |
Non-Patent Citations (2)
Title |
---|
EDUARDO R.RODRIGUES ET AL.: "Helping HPC Users Specify Job Memory Requirements via Machine Learning", 《2016 THIRD INTERNATIONAL WORKSHOP ON HPC USER SUPPORT TOOLS(HUST)》 * |
宋浒: "面向用户服务需求的云计算管理机制研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110888744A (zh) * | 2019-11-29 | 2020-03-17 | 杭州电子科技大学 | 一种基于工作量自动调优的负载均衡方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109670593B (zh) | 2021-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Coupling the k-nearest neighbor procedure with the Kalman filter for real-time updating of the hydraulic model in flood forecasting | |
CN108647891A (zh) | 数据异常归因分析方法及装置 | |
CN102262681B (zh) | 一种博客信息传播中识别关键博客集的方法 | |
US20060247900A1 (en) | Computer-implemented regression systems and methods for time series data analysis | |
CN106033424B (zh) | 数据挖掘方法和装置 | |
CN103853786A (zh) | 数据库参数的优化方法与系统 | |
Adkins et al. | Deterministic models for premature and postponed replacement | |
CN102819768A (zh) | 客流数据分析的方法及系统 | |
CN104217091A (zh) | 一种基于历史走势权重的网站访问量预测方法 | |
CN113312578B (zh) | 一种数据指标的波动归因方法、装置、设备、及介质 | |
KR102025605B1 (ko) | 상인의 상업지역 정보의 표시 | |
Poloni et al. | A note on forecasting demand using the multivariate exponential smoothing framework | |
CN109670593A (zh) | 一种评估、以及预测深度学习模型中层计算时间的方法 | |
CN109540089A (zh) | 一种基于贝叶斯-克里金模型的桥面高程拟合方法 | |
Shestopaloff et al. | On Bayesian inference for the M/G/1 queue with efficient MCMC sampling | |
CN104917812A (zh) | 一种应用于群智计算的服务节点选择方法 | |
CN103530190A (zh) | 一种负载预测方法及装置 | |
CN109711555A (zh) | 一种预测深度学习模型单轮迭代时间的方法和系统 | |
Chow et al. | How the basic RBC model fails to explain US time series | |
CN111124489A (zh) | 一种基于bp神经网络的软件功能点数估算方法 | |
CN109711535A (zh) | 一种利用相似层预测深度学习模型中层计算时间的方法 | |
CN104679939A (zh) | 一种飞机设计经济可承受性评估过程的多准则决策方法 | |
Susila et al. | Performance Analysis of the Triple Exponential Smoothing Method During the Covid19 Pandemic on Tourist Visit Data | |
CN110298690B (zh) | 对象类目的周期判断方法、装置、服务器及可读存储介质 | |
JP6558860B2 (ja) | 推定装置、予測装置、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 518000 a2405, building 9, zone 2, Shenzhen Bay science and technology ecological park, 3609 Baishi Road, community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province Applicant after: Shenzhen Zhixing Technology Co., Ltd Address before: Room 408, Building 3, 4 Chegongzhuang Street, Xicheng District, Beijing 100044 Applicant before: BEIJING HANHAI CLUSTAR TECHNOLOGY Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |