CN109636212A - 作业实际运行时间的预测方法 - Google Patents
作业实际运行时间的预测方法 Download PDFInfo
- Publication number
- CN109636212A CN109636212A CN201811556853.8A CN201811556853A CN109636212A CN 109636212 A CN109636212 A CN 109636212A CN 201811556853 A CN201811556853 A CN 201811556853A CN 109636212 A CN109636212 A CN 109636212A
- Authority
- CN
- China
- Prior art keywords
- job
- user
- predicting
- value
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000012417 linear regression Methods 0.000 claims description 4
- 238000007637 random forest analysis Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006854 communication Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000000329 molecular dynamics simulation Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种作业实际运行时间的预测方法，包括：采集历史数据，从而计算每一用户的估计运行时间准确率分布，即R值分布；根据每一用户的R值分布对所有用户进行聚类；对于待预测的新作业，根据新作业所属的用户及聚类结果，提取相应用户所属类别下所有用户的历史数据作为训练数据；利用训练数据中各作业的作业特征训练用于预测R值的多个不同类型的预测模型；将新作业中的作业特征分别输入至每一训练好的预测模型中，并综合所有预测模型的输出结果计算新作业的R值，进而预测新作业实际运行时间。该方法一定程度上改善基于作业历史和基于作业内在特征的建模方法的局限性，使得作业的运行时间预测更加的准确。
Description
技术领域
本发明涉及高性能作业性能预测技术领域，尤其涉及一种作业实际运行时间的预测方法。
背景技术
在高性能计算领域，对提交的作业进行运行时间预测是一项非常重要的研究。准确的预测高性能计算作业的运行时间，对于资源的合理分配和作业的合理调度有非常重要的意义。
一种常用于作业运行时间预测的方法是基于作业历史的预测。基于作业历史的预测指的是，利用计算平台上历史运行作业的信息对当前提交的作业进行运行时间预测。运行作业的信息指的是作业泛属性即作业所用的CPU核数、用户估计作业运行时间、用户作业提交的等待队列等属性。当前基于作业历史的运行时间预测的建模主要有三种方法。其一是利用作业之间的相似性，这种研究方法通过在历史任务数据中找到和当前最相似的任务，然后再利用这些相似的任务来预测当前任务的运行时间。其二是使用回归方法，这种研究方法通过构建各种回归模型比如线性回归模型，从而对新任务进行运行时间预测。其三是利用用户估计运行时间准确率，这种方法不是直接预测作业的运行时间而是通过预测用户估计时间的准确性间接的预测作业的运行时间。它所基于的公式为：用户估计运行时间准确率＝作业实际的运行时间/用户估计时间。基于作业历史的预测，这类研究方法的局限性主要在于作业泛属性和作业运行时间的关联性无法保证。
另一种常用于作业运行时间预测的方法是基于作业内在特征的预测。用户提交的运行作业有其内在的特征，比如输入参数，输入文件，配置参数，通信过程以及资源等。基于作业内在特征的预测指的是，利用作业内在的特征作为输入，然后利用各类算法比如机器学习算法进行作业运行时间预测。这类研究方法的局限性在于，它只适用与内在特征和运行时长有明确关系的一类作业。
发明内容
本发明的目的是提供一种作业实际运行时间的预测方法，可以准确实现作业实际运行时间的预测。
本发明的目的是通过以下技术方案实现的：
一种作业实际运行时间的预测方法，包括：
采集历史数据，从而计算每一用户的估计运行时间准确率分布，即R值分布；
根据每一用户的R值分布对所有用户进行聚类；
对于待预测的新作业，根据新作业所属的用户及聚类结果，提取相应用户所属类别下所有用户的历史数据作为训练数据；
利用训练数据中各作业的作业特征训练用于预测R值的多个不同类型的预测模型；
将新作业中的作业特征分别输入至每一训练好的预测模型中，并综合所有预测模型的输出结果计算新作业的R值，进而预测新作业实际运行时间。
由上述本发明提供的技术方案可以看出，从用户建模的角度出发，根据R值分布对用户进行了聚类，后续过程中不是直接预测作业的运行时间而是通过预测R值的大小间接的预测作业的运行时间，本发明能在一定程度上改善基于作业历史和基于作业内在特征的建模方法的局限性，使得作业的运行时间预测更加的准确。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种作业实际运行时间的预测方法的流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种作业实际运行时间的预测方法，如图1所示，其主要包括如下步骤：
步骤1、采集历史数据，从而计算每一用户的估计运行时间准确率分布，即R值分布。
本发明实施例中，可以利用超算平台收集用户所提交高性能作业的历史数据，所述的历史数据包括每一个作业的作业泛属性和作业的内在特征。作业泛属性包括作业所属的用户、作业的实际运行时间、用户估计的CPU核数、作业提交的等待队列、作业的提交时间、用户是否取消了该作业、用户估计的作业运行时间。作业的内在特征包括作业的输入文件。
本发明实施例中，对于每一用户的每一个历史作业计算相应的R值，去掉R值小于0的作业；再将每一用户的所有作业的R值按照从小到大进行排序，从而构成每一个用户的R值分布；其中，R值计算公式为：
其中，Treal表示当前作业实际的运行时间，Test表示用户估计的当前作业运行时间。
步骤2、根据每一用户的R值分布对所有用户进行聚类。
本发明实施例中，所述根据每一用户的R值分布对所有用户进行聚类包括：一个用户的R值分布，取它的百分位点，构成一个100维的向量；然后将这一向量作为相应用户的特征，采用层次聚类技术进行用户聚类，从而确定每一用户所述的类别。
假设有S个用户，第i个用户的R值分布为Di，该用户的R值特征向量为Qi，Qi＝[Ri1,Ri2,....,Ri100]。其中Rij表示Di中第Nj个作业所对应的R值；Nj的计算公式为：
其中，N表示用户R值分布中的作业总数。
可以利用欧几里得距离来定义用户之间的相似度；设第i个用户有R值特征向量Qi＝[Ri1,Ri2,....,Ri100]，第p个用户有R值特征向量Qp＝[Rp1,Rp2,....,Rp100]，则第i个用户和第p个用户之间的相似度Sip为：
用户之间的相似度也就是层次聚类中的距离，在上述公式的基础上用单链接层次聚类进行用户聚类，最后聚类出的用户类别个数由具体的实验效果决定，以实验效果最好的类别个数作为最后确定的类别个数。
步骤3、对于待预测的新作业，根据新作业所属的用户及聚类结果，提取相应用户所属类别下所有用户的历史数据作为训练数据。
本发明实施例中，根据新作业所属用户这个特征，就可以找到该用户在步骤2中聚类结果所属的类别，然后将这个类别中的所有用户的历史数据作为训练数据。
步骤4、利用训练数据中各作业的作业特征训练用于预测R值的多个不同类型的预测模型。
本发明实施例中，需要从训练数据中选出作业特征作为模型输入。所述作业特征包括：用户特征、作业泛属性特征，作业内在特征；其中：
1)用户特征包括：用户正确预测作业运行时间的概率、用户错误预测作业运行时间的概率及用户取消作业的概率。
a、用户正确预测作业运行时间的概率的计算公式为：
其中，REij为第i个用户在第j个作业之前正确预测作业运行时间的概率；Beforeij为用户在第j个作业之前提交的作业数目，即等于j-1；Correctij为第i个用户在第j个作业之前提交的作业中正确预测作业运行时间的数目， Cik表示第i个用户的第k个作业是否被正确预测，表示第k个作业实际的运行时间，表示用户估计的第k个作业运行时间，其中上标k表示第k个作业，τ1为设定的第一阈值，例如可设置成0.1；
b、用户错误预测作业运行时间的概率的计算公式为：
其中，ERij为第i个用户在第j个作业之前正确预测作业运行时间的概率；Errorij为第i个用户在第j个作业之前提交的作业中错误预测作业运行时间的数目， Eik表示第i个用户的第k个作业是否被错误预测，τ2为设定的第二阈值，例如可设置成0.8；
c、用户取消作业的概率的计算公式为：
其中，CAij为第i个用户在第j个作业之前取消作业的概率；Cancelij为第i个用户在第j个作业之前提交的作业中取消作业的数目， Canik表示第i个用户的第k个作业是否取消。
2)作业泛属性特征包括：用户估计的CPU核数、用户作业提交的等待队列、用户估计的作业运行时间、用户提交时间以及用户是否取消了该作业。用户作业提交的等待队列可以采用one-hot模型进行编码，用户提交时间根据其所处24小时中的哪一个小时，一个星期中的哪一天，12月份中的哪一个月进行one-hot模型编码。
3)作业的内在特征包括：从作业的输入文件中提取的作业的程序参数。以vasp作业为例，该作业能采集到的内在特征有系统体积、计算精度控制、体系对称性、能带数量等。这里的vasp指的是维也纳大学Hafner小组开发的进行电子结构计算和量子力学-分子动力学模拟的软件包。它是目前材料模拟和计算物质研究中最流行的商用软件包。
步骤5、将新作业中的作业特征分别输入至每一训练好的预测模型中，并综合所有预测模型的输出结果计算新作业的R值，进而预测新作业实际运行时间。
1)训练预测模型。
利用训练数据中各作业的作业特征训练用于预测R值的多个不同类型的预测模型时，对于每一个作业，将相应的作业特征作为预测模型的输入，将相应的作业对应的R值作为目标变量，采用boostrap算法，分别获取随机森林回归模型，线性回归模型和支持向量回归模型的训练数据；然后，利用相应的训练数据来训练对应的预测模型。
boostrap算法指的是从训练集中采用有放回的随机抽样的方式，抽取和训练集大小相等的数据集作为模型的训练集的方法，对于每个模型，利用抽样得到的训练集，分别进行模型训练。
假设有m个作业，对于每一个作业获取的特征共有n种。在这m个作业中进行三次boostarp抽样，得到X1、X2、X3。其中记第t次抽样得到包含n种特征的m个作业组成的特征输入Xt，xr表示第r个作业的n维特征数据。记第t次抽样得到的m个作业对应的R值组成了输出Yt,yr表示第r个作业的R值,则有以下的输入和输出数据：
Xt＝[x1,x2,......,xm]T
Yt＝[y1,y2,......,ym]
将X1、Y1作为随机森林回归模型的输入和输出，X2、Y2作为线性回归模型的输入和输出，X3、Y3作为支持向量回归模型的输入和输出，分别进行模型训练，即可得到对应的三个预测模型。
2)预测R值。
将新作业中的作业特征分别输入至每一训练好的预测模型中，获得的三个R值预测结果分别记为R1、R2与R3，取三个R值预测结果的均值作为新作业的R值：
3)预测新作业实际运行时间。
预测新作业实际运行时间的公式为：
其中，表示预测到的新作业实际运行时间，Rnew表示新作业的R值，表示用户估计的新作业运行时间，即新作业的作业泛属性中的用户估计的运行时间，其中上标new表示用户当前需要预测运行时间的新作业。
本发明实施例上述方案和现有的基于作业历史的建模方法相比，本发明从用户建模的角度出发，根据R值分布对用户进行了聚类，同时在建模的过程中加入了作业的内在特征；和现有的基于作业内在特征的建模方法相比，本发明在建模的过程中加入了用户特征，并且其目标不是直接预测作业的运行时间而是通过预测R值的大小间接的预测作业的运行时间。本发明能在一定程度上改善基于作业历史和基于作业内在特征的建模方法的局限性，使得作业的运行时间预测更加的准确。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (8)
1.一种作业实际运行时间的预测方法，其特征在于，包括：
采集历史数据，从而计算每一用户的估计运行时间准确率分布，即R值分布；
根据每一用户的R值分布对所有用户进行聚类；
对于待预测的新作业，根据新作业所属的用户及聚类结果，提取相应用户所属类别下所有用户的历史数据作为训练数据；
利用训练数据中各作业的作业特征训练用于预测R值的多个不同类型的预测模型；
将新作业中的作业特征分别输入至每一训练好的预测模型中，并综合所有预测模型的输出结果计算新作业的R值，进而预测新作业实际运行时间。
2.根据权利要求1所述的一种作业实际运行时间的预测方法，其特征在于，对于每一用户的每一个历史作业计算相应的R值，去掉R值小于0的作业；再将每一用户的所有作业的R值按照从小到大进行排序，从而构成每一个用户的R值分布；其中，R值计算公式为：
其中，Treal表示当前作业实际的运行时间，Test表示用户估计的当前作业运行时间。
3.根据权利要求1所述的一种作业实际运行时间的预测方法，其特征在于，所述根据每一用户的R值分布对所有用户进行聚类包括：
一个用户的R值分布，取它的百分位点，构成一个100维的向量；然后将这一向量作为相应用户的特征，采用层次聚类技术进行用户聚类，从而确定每一用户所述的类别。
4.根据权利要求1所述的一种作业实际运行时间的预测方法，其特征在于，所述作业特征包括：用户特征、作业泛属性特征，作业内在特征；其中：
用户特征包括：用户正确预测作业运行时间的概率、用户错误预测作业运行时间的概率及用户取消作业的概率；
作业泛属性特征包括：用户估计的CPU核数、用户作业提交的等待队列、用户估计的作业运行时间、用户提交时间以及用户是否取消了该作业；
作业的内在特征包括：从作业的输入文件中提取的作业的程序参数。
5.根据权利要求4所述的一种作业实际运行时间的预测方法，其特征在于，用户正确预测作业运行时间的概率的计算公式为：
其中，REij为第i个用户在第j个作业之前正确预测作业运行时间的概率；Beforeij为用户在第j个作业之前提交的作业数目，即等于j-1；Correctij为第i个用户在第j个作业之前提交的作业中正确预测作业运行时间的数目， Cik表示第i个用户的第k个作业是否被正确预测，表示第k个作业实际的运行时间，表示用户估计的第k个作业运行时间，τ1为设定的第一阈值；
用户错误预测作业运行时间的概率的计算公式为：
其中，ERij为第i个用户在第j个作业之前正确预测作业运行时间的概率；Errorij为第i个用户在第j个作业之前提交的作业中错误预测作业运行时间的数目， Eik表示第i个用户的第k个作业是否被错误预测，τ2为设定的第二阈值；
用户取消作业的概率的计算公式为：
其中，CAij为第i个用户在第j个作业之前取消作业的概率；Cancelij为第i个用户在第j个作业之前提交的作业中取消作业的数目， Canik表示第i个用户的第k个作业是否取消。
6.根据权利要求1所述的一种作业实际运行时间的预测方法，其特征在于，利用训练数据中各作业的作业特征训练用于预测R值的多个不同类型的预测模型时，对于每一个作业，将相应的作业特征作为预测模型的输入，将相应的作业对应的R值作为目标变量，采用boostrap算法，分别获取随机森林回归模型，线性回归模型和支持向量回归模型的训练数据；
然后，利用相应的训练数据来训练对应的预测模型。
7.根据权利要求6所述的一种作业实际运行时间的预测方法，其特征在于，将新作业中的作业特征分别输入至每一训练好的预测模型中，获得的三个R值预测结果分别记为R1、R2与R3，取三个R值预测结果的均值作为新作业的R值：
8.根据权利要求1或7所述的一种作业实际运行时间的预测方法，其特征在于，预测新作业实际运行时间的公式为：
其中，表示预测到的新作业实际运行时间，Rnew表示新作业的R值，表示用户估计的新作业运行时间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811556853.8A CN109636212B (zh) | 2018-12-19 | 2018-12-19 | 作业实际运行时间的预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811556853.8A CN109636212B (zh) | 2018-12-19 | 2018-12-19 | 作业实际运行时间的预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109636212A true CN109636212A (zh) | 2019-04-16 |
| CN109636212B CN109636212B (zh) | 2023-06-16 |
Family
ID=66075488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811556853.8A Active CN109636212B (zh) | 2018-12-19 | 2018-12-19 | 作业实际运行时间的预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109636212B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263869A (zh) * | 2019-06-25 | 2019-09-20 | 咪咕文化科技有限公司 | 一种Spark任务的时长预测方法及装置 |
| CN111754017A (zh) * | 2020-04-20 | 2020-10-09 | 怀曦智能科技(上海)有限公司 | 一种基于机器学习的ls-dyna计算时间自动预测算法 |
| CN112800013A (zh) * | 2021-02-07 | 2021-05-14 | 北京天华星航科技有限公司 | 大数据处理系统 |
| CN113436003A (zh) * | 2021-06-29 | 2021-09-24 | 中国工商银行股份有限公司 | 时长确定方法、装置、电子设备、介质和程序产品 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101697141A (zh) * | 2009-10-30 | 2010-04-21 | 清华大学 | 网格中基于历史数据建模的作业性能预测方法 |
| US20130103826A1 (en) * | 2010-04-15 | 2013-04-25 | Caplan Software Development S.R.L. | Automated service time estimation method for it system resources |
| US20140115592A1 (en) * | 2010-07-08 | 2014-04-24 | Marcus Frean | Method for estimating job run time |
| CN104516784A (zh) * | 2014-07-11 | 2015-04-15 | 中国科学院计算技术研究所 | 一种预测任务资源等待时间的方法及系统 |
| CN104573630A (zh) * | 2014-12-05 | 2015-04-29 | 杭州电子科技大学 | 基于双支持向量机概率输出的多类脑电模式在线识别方法 |
| CN105303262A (zh) * | 2015-11-12 | 2016-02-03 | 河海大学 | 一种基于核主成分分析和随机森林的短期负荷预测方法 |
| US20160321037A1 (en) * | 2015-04-28 | 2016-11-03 | Renesas Electronics Corporation | Performance verification device for verifying performance of program, method, and recording medium having program recorded thereon for causing computer to perform the method |
| CN106933665A (zh) * | 2017-03-09 | 2017-07-07 | 中国科学技术大学 | 预测mpi程序运行时间的方法 |
| CN107563511A (zh) * | 2017-08-14 | 2018-01-09 | 华东师范大学 | 一种实时系统可用时间快速估算与优化方法 |
| CN108564135A (zh) * | 2018-04-27 | 2018-09-21 | 中国科学技术大学 | 构建骨架程序并实现高性能计算程序运行时间预测的方法 |
-
2018
- 2018-12-19 CN CN201811556853.8A patent/CN109636212B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101697141A (zh) * | 2009-10-30 | 2010-04-21 | 清华大学 | 网格中基于历史数据建模的作业性能预测方法 |
| US20130103826A1 (en) * | 2010-04-15 | 2013-04-25 | Caplan Software Development S.R.L. | Automated service time estimation method for it system resources |
| US20140115592A1 (en) * | 2010-07-08 | 2014-04-24 | Marcus Frean | Method for estimating job run time |
| CN104516784A (zh) * | 2014-07-11 | 2015-04-15 | 中国科学院计算技术研究所 | 一种预测任务资源等待时间的方法及系统 |
| CN104573630A (zh) * | 2014-12-05 | 2015-04-29 | 杭州电子科技大学 | 基于双支持向量机概率输出的多类脑电模式在线识别方法 |
| US20160321037A1 (en) * | 2015-04-28 | 2016-11-03 | Renesas Electronics Corporation | Performance verification device for verifying performance of program, method, and recording medium having program recorded thereon for causing computer to perform the method |
| CN105303262A (zh) * | 2015-11-12 | 2016-02-03 | 河海大学 | 一种基于核主成分分析和随机森林的短期负荷预测方法 |
| CN106933665A (zh) * | 2017-03-09 | 2017-07-07 | 中国科学技术大学 | 预测mpi程序运行时间的方法 |
| CN107563511A (zh) * | 2017-08-14 | 2018-01-09 | 华东师范大学 | 一种实时系统可用时间快速估算与优化方法 |
| CN108564135A (zh) * | 2018-04-27 | 2018-09-21 | 中国科学技术大学 | 构建骨架程序并实现高性能计算程序运行时间预测的方法 |
Non-Patent Citations (3)
| Title |
|---|
| CHEN G.-L., SUN G.-Z., ZHANG Y.-Q., MO, Z.-Y.: "Study on Parallel Computing", 《JOURNAL OF COMPUTER SCIENCE AND TECHNOLOGY》 * |
| ZHANG YUANYUAN, SUN WEI, INOGUCHI, YSSUSHI: "Predict task running time in grid environments based on CPU load predictions", 《FUTURE GENERATION COMPUTER SYSTEMS》 * |
| 伍章俊，刘晓，倪志伟: "基于混沌时间序列的云工作流活动运行时间预测模型", 《计算机集成制造系统》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263869A (zh) * | 2019-06-25 | 2019-09-20 | 咪咕文化科技有限公司 | 一种Spark任务的时长预测方法及装置 |
| CN110263869B (zh) * | 2019-06-25 | 2021-06-08 | 咪咕文化科技有限公司 | 一种Spark任务的时长预测方法及装置 |
| CN111754017A (zh) * | 2020-04-20 | 2020-10-09 | 怀曦智能科技(上海)有限公司 | 一种基于机器学习的ls-dyna计算时间自动预测算法 |
| CN112800013A (zh) * | 2021-02-07 | 2021-05-14 | 北京天华星航科技有限公司 | 大数据处理系统 |
| CN113436003A (zh) * | 2021-06-29 | 2021-09-24 | 中国工商银行股份有限公司 | 时长确定方法、装置、电子设备、介质和程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109636212B (zh) | 2023-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109636212B (zh) | 作业实际运行时间的预测方法 | |
| Mistry et al. | Mixed-integer convex nonlinear optimization with gradient-boosted trees embedded | |
| Yin et al. | A data-driven fuzzy information granulation approach for freight volume forecasting | |
| Patel et al. | A hybrid CNN-LSTM model for predicting server load in cloud computing | |
| WO2021004324A1 (zh) | 资源数据的处理方法、装置、计算机设备和存储介质 | |
| CN113298230B (zh) | 一种基于生成对抗网络的不平衡数据集的预测方法 | |
| CN107609147B (zh) | 一种从日志流中自动提取特征的方法和系统 | |
| Li et al. | Dynamic structure embedded online multiple-output regression for streaming data | |
| Guo et al. | Machine learning predictions for underestimation of job runtime on HPC system | |
| CN104615722B (zh) | 基于密度搜索与快速划分的混合数据聚类方法 | |
| CN114066073A (zh) | 电网负荷预测方法 | |
| CN110414624A (zh) | 基于多任务学习的分类模型构建方法及装置 | |
| CN111159481B (zh) | 图数据的边预测方法、装置及终端设备 | |
| CN101789000A (zh) | 搜索引擎中的模式分类方法 | |
| Yan et al. | A clustering algorithm for multi-modal heterogeneous big data with abnormal data | |
| CN114139636B (zh) | 异常作业处理方法及装置 | |
| CN114925938A (zh) | 一种基于自适应svm模型的电能表运行状态预测方法、装置 | |
| CN111126629A (zh) | 模型的生成方法、刷单行为识别方法、系统、设备和介质 | |
| Mirtaheri et al. | History repeats: Overcoming catastrophic forgetting for event-centric temporal knowledge graph completion | |
| Lin et al. | Using Computing Intelligence Techniques to Estimate Software Effort | |
| CN117407120A (zh) | 一种容器调度方法、装置和设备 | |
| CN111988412A (zh) | 一种多租户服务资源需求智能预测系统及方法 | |
| Khodaverdian et al. | Combination of convolutional neural network and gated recurrent unit for energy aware resource allocation | |
| Son et al. | Reliable decision from multiple subtasks through threshold optimization: Content moderation in the wild | |
| Feng et al. | Web service QoS classification based on optimized convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |