CN111190800A - 预测主机的批量运行时长的方法、系统、装置及存储介质 - Google Patents
预测主机的批量运行时长的方法、系统、装置及存储介质 Download PDFInfo
- Publication number
- CN111190800A CN111190800A CN201911282276.2A CN201911282276A CN111190800A CN 111190800 A CN111190800 A CN 111190800A CN 201911282276 A CN201911282276 A CN 201911282276A CN 111190800 A CN111190800 A CN 111190800A
- Authority
- CN
- China
- Prior art keywords
- performance data
- data set
- batch operation
- model
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000012216 screening Methods 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims abstract description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 34
- 230000001419 dependent effect Effects 0.000 claims description 28
- 238000001914 filtration Methods 0.000 claims description 10
- 238000003066 decision tree Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 16
- 238000010801 machine learning Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000528 statistical test Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
- G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
- G06F11/3062—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations where the monitored property is the power consumption
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种预测主机的批量运行时长的方法、系统、装置及存储介质，其中，所述方法包括：通过性能数据库获取主机批量运行时的性能数据集合，通过历史数据库获取历史批量运行时长；根据预设的筛选规则筛选性能数据集合中的元素，获取关联性能数据集合；将关联性能数据集合和历史批量运行时长投入预设的学习模型中进行训练，获取时长预测模型；根据时长预测模型对主机的批量运行时长进行预测。采用本发明不仅能处理线性关系的预测还能处理非线性关系的预测，且支持具有多种复杂变量的环境，适用性广泛的同时可以使预测结果更加精准。此外，本发明采用损失函数使时长预测模型可以不断的自动调整，使得预测本身具有机器学习的特点。
Description
技术领域
本发明涉及计算机应用技术领域，更为具体而言，涉及一种预测主机的批量运行时长的方法、系统、装置及存储介质。
背景技术
目前，各大银行核心业务主要建立在以主机为核心的架构之上，各类核心业务除了白天联机交易的处理外，还有大量的夜间批量交易处理。随着近期金融业的迅猛发展，夜间批量承载的业务处理量远超白天，夜间批量处理的时长逐渐成为数据中心重点关注的指标，但目前主机平台上缺少有效的分析和预测手段。
对于主机批量时长的预测，传统的方式是基于历史数据的对比性预测，依赖于历史批量时间建立的样本空间，然后利用简单的一元回归，是一种经验数据的推导过程，准确率较低，缺少对于主机各相关信息与主机批量时长的关联性分析和科学的数据建模理论基础。同时，随着银行业务的迅猛发展以及跨领域业务的扩张，现有的批量运行平台已经由主机扩展到了开放平台，业务系统也从原来单一的主机平台拓展到了x86，这些巨大的变化导致影响批量运行时长的变量也日异繁多，仅仅依据历史运行时长的估算方式已经不能适用于现有银行批量运行时长的实际估算场景。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种预测主机的批量运行时长的方法、系统、服务器及存储介质，支持在多种复杂变量的环境下实现对主机批量运行时长的预测。
根据本发明的实施方式，提供了一种预测主机的批量运行时长的方法，所述方法包括：通过性能数据库获取所述主机批量运行时的性能数据集合，通过历史数据库获取历史批量运行时长；根据预设的筛选规则筛选所述性能数据集合中的元素，获取关联性能数据集合；将所述关联性能数据集合和所述历史批量运行时长投入预设的学习模型中进行训练，获取时长预测模型；根据所述时长预测模型对主机的批量运行时长进行预测。
在本发明的一些实施方式中，所述根据预设的筛选规则筛选所述性能数据集合中的元素，获取关联性能数据集合包括：对于所述性能数据集合中的元素，分别执行以下操作：将所述元素作为自变量，所述历史批量运行时长作为因变量，计算皮尔逊相关系数；若所述皮尔逊相关系数大于预设的阈值，则确定所述元素为关联元素；将筛选出的所有关联元素的集合作为所述关联性能数据集合。
在本发明的一些实施方式中，所述根据预设的筛选规则筛选所述性能数据集合中的元素，获取关联性能数据集合包括：对于所述性能数据集合中的元素，分别执行以下操作：将所述元素作为自变量，所述历史批量运行时长作为因变量，计算皮尔逊相关系数；若所述皮尔逊相关系数大于预设的阈值，则获取所述皮尔逊相关系数的统计量；根据所述统计量获取对应的概率值；判断所述概率值是否小于预设值，若小于，则确定所述元素为关联元素；将筛选出的所有关联元素的集合作为所述关联性能数据集合。
在本发明的一些实施方式中，所述预设的学习模型为梯度提升树回归模型，模型公式如下：
FM(X)＝y1h1(X)+y2h2(X)+…+yihi(X)+…+yMhM(X)；
FM(X)＝FM-1(X)+yMhM(X)；
其中，FM(X)为因变量，X为自变量，hi(X)为基本算法，yi为权重，M为所述基本算法的个数。
在本发明的一些实施方式中，所述hi(X)为决策树算法。
在本发明的一些实施方式中，所述将所述关联性能数据集合和所述历史批量运行时长投入预设的学习模型中进行训练包括：将所述关联性能数据集合作为自变量，所述历史批量运行时长作为因变量，投入所述梯度提升树回归模型进行训练。
在本发明的一些实施方式中，所述将所述关联性能数据集合和所述历史批量运行时长投入预设的学习模型中进行训练还包括：通过损失函数对所述梯度提升树回归模型进行修正。
同时，本发明提供了一种预测主机的批量运行时长的系统，所述系统包括：数据获取模块，用于通过性能数据库获取所述主机批量运行时的性能数据集合，通过历史数据库获取历史批量运行时长；数据筛选模块，用于根据预设的筛选规则筛选所述性能数据集合中的元素，获取关联性能数据集合；模型训练模块，用于将所述关联性能数据集合和所述历史批量运行时长投入预设的学习模型中进行训练，获取时长预测模型；预测模块，用于根据所述时长预测模型对主机的批量运行时长进行预测。
在本发明的一些实施方式中，所述数据筛选模块用于：对于所述性能数据集合中的元素，分别执行以下操作：将所述元素作为自变量，所述历史批量运行时长作为因变量，计算皮尔逊相关系数；若所述皮尔逊相关系数大于预设的阈值，则确定所述元素为关联元素；将筛选出的所有关联元素的集合作为所述关联性能数据集合。
在本发明的一些实施方式中，所述数据筛选模块用于：对于所述性能数据集合中的元素，分别执行以下操作：将所述元素作为自变量，所述历史批量运行时长作为因变量，计算皮尔逊相关系数；若所述皮尔逊相关系数大于预设的阈值，则获取所述皮尔逊相关系数的统计量；根据所述统计量获取对应的概率值；判断所述概率值是否小于预设值，若小于，则确定所述元素为关联元素；将筛选出的所有关联元素的集合作为所述关联性能数据集合。
在本发明的一些实施方式中，所述预设的学习模型为梯度提升树回归模型，模型公式如下：
FM(X)＝y1h1(X)+y2h2(X)+…+yihi(X)+…+yMhM(X)；
FM(X)＝FM-1(X)+yMhM(X)；
其中，FM(X)为因变量，X为自变量，hi(X)为基本算法，yi为权重，M为所述基本算法的个数。
在本发明的一些实施方式中，所述hi(X)为决策树算法。
在本发明的一些实施方式中，所述模型训练模块用于：将所述关联性能数据集合作为自变量，所述历史批量运行时长作为因变量，投入所述梯度提升树回归模型进行训练。
在本发明的一些实施方式中，所述模型训练模块还用于：通过损失函数对所述梯度提升树回归模型进行修正。
此外，本发明实施方式提供了一种预测主机的批量运行时长的装置，包括存储器和处理器，所述存储器用于存储一条或多条计算机可读指令；所述处理器用于执行所述一条或多条计算机可读指令从而实现前述任一项的方法。
本发明实施方式还提供了一种计算机存储介质，存储有一条或多条计算机程序，所述一条或多条计算机程序在执行时实现前述任一项的方法。
本发明通过获取主机平台上业务批量作业运行期间的各类系统性能数据集合和历史批量运行时长，基于数据分析对可能影响批量运行时长的性能数据集合中的元素进行关联性分析，筛选出与批量运行时长强关联的关联性能数据集合，然后依据机器学习的理论，建立起关联性能数据集合和批量运行时长的决策树模型，并设置损失函数，依据偏差值对预测模型进行迭代优化，建立一套基于主机平台批量运行时长的预测模型。采用本发明不仅能处理线性关系的预测还能处理非线性关系的预测，且支持具有多种复杂变量的环境，适用性广泛的同时可以使预测结果更加精准，摆脱了现有方法中依据历史数据对比预测的不准确性，极大的提升了主机批量作业运行时间的预测科学性。此外，本发明采用损失函数，能够根据预测的结果不断自动调整预测模型的参数，使得预测本身具有机器学习的特点。
附图说明
为了便于理解本发明，以下通过具体实施方式并结合附图对本发明进行具体说明。
图1是根据本发明一种实施方式的预测主机的批量运行时长的方法的流程示意图；
图2是根据图1中的处理101的一种实施方式的流程示意图；
图3是根据图1中的处理101的另一种实施方式的流程示意图；
图4是在不同的基本算法的个数M下GTBR模型预测与实际情况的曲线图；
图5是预测值与真实值的平均绝对误差与基本算法的个数M的关系图；
图6是根据图1中的处理102的一种实施方式的流程示意图；
图7是根据本发明一种实施方式的预测主机的批量运行时长的系统的框图。
具体实施方式
以下结合附图和具体实施方式对本发明的各个方面进行详细阐述。其中，众所周知的模块、单元及其相互之间的连接、链接、通信或操作没有示出或未作详细说明。并且，所描述的特征、架构或功能可在一个或一个以上实施方式中以任何方式组合。本领域技术人员应当理解，下述的各种实施方式只用于举例说明，而非用于限制本发明的保护范围。还可以容易理解，本文所述和附图所示的各实施方式中的模块或单元或处理方式可以按各种不同配置进行组合和设计。
图1是根据本发明一种实施方式的预测主机的批量运行时长的方法的流程示意图，在本发明的实施方式中，参照图1，该方法包括：
100：通过性能数据库获取主机批量运行时的性能数据集合，通过历史数据库获取历史批量运行时长；
101：根据预设的筛选规则筛选性能数据集合中的元素，获取关联性能数据集合；
102：将关联性能数据集合和历史批量运行时长投入预设的学习模型中进行训练，获取时长预测模型；
103：根据时长预测模型对主机的批量运行时长进行预测。
在本发明的实施方式中，通过建立性能数据库优化对方案进行优化。具体的，通过定时触发配置在主机端的自动化采集工具采集相关性能数据集合，经过数据清理、解析和格式化处理后，以JSON格式写入文本文件并放入z/OS文件系统。
在本发明的实施方式中，通过运行基于Python的数据处理程序，定时调用z/OS MFREST API向主机端请求数据，从而建立数据传输连接，获取采集到的性能数据集合。该Python脚本具体如下：
在本发明的实施方式中，数据处理程序获取到性能数据集合后，通过数据增量的方式将其写入分布式文件系统HDFS，构成性能数据数据库。
由于批量作业运行在IBM大型主机平台之上，从技术架构上属于最上层的应用，因此基础硬件层、操作系统层的各种因素均会对批量作业的运行状态造成影响。此外，由于金融业务的特殊性，主机平台运行的都是核心业务应用，这就导致大量的外围业务应用系统与主机平台应用有各种数据交互，交互的方式以及频繁程度也会对主机平台的批量处理时长造成影响。除此以外，由于银行业务的复杂性和多样性，某些业务的变化也会影响批量的运行时长。
因此，如果将所有影响批量运行时长的全部因素进行分析，则方法的复杂度及处理成本将会极大的增加。基于此，在本发明的实施方式中，通过对性能数据集合进行筛选，获取其中与批量处理时长之间具有强关联性的元素构成关联性能数据集合，从而简化方法、减少处理成本。
参照图2，在本发明的实施方式中，给出了一种实现处理101的方法，具体如下：
对于性能数据集合中的元素，分别执行以下操作：
104：:元素作为自变量，历史批量运行时长作为因变量，计算皮尔逊相关系数；
105：若皮尔逊相关系数大于预设的阈值，则确定该元素为关联元素；
106：将筛选出的所有关联元素的集合作为关联性能数据集合。
相关关系是一种非确定性的关系，相关系数是研究变量之间相关程度的量，可以反映变量之间相关关系的密切程度，常用的系数是皮尔逊相关系数，计算公式如下：
其中，存在两个变量X和Y，一共有n个样本，其中Xi和Yi是它们的第i个样本值，
和
分别是它们的样本均值，其计算公式为：
在本发明的实施方式中，分别以元素作为变量X，历史批量运行时长作为变量Y计算皮尔逊相关系数。通常认为当计算出的皮尔逊相关系数大于0时，则表示两个变量之间密切相关，因此，在可选的实施方式中，预设的阈值可以为0。
此外，由于历史批量运行时长作为因变量，除了受到强关联性的元素的影响外，还受会到其它随机元素的影响。因此，还需要排除筛选出的元素中的随机元素。
因此，在本发明的实施方式中，还给出了另一种实现处理101的方法，可以在上述方法的基础上再一次进行筛选，以排除随机元素。参照图3，该方法包括：
对于性能数据集合中的元素，分别执行以下操作：
107：将元素作为自变量，历史批量运行时长作为因变量，计算皮尔逊相关系数；
108：若皮尔逊相关系数大于预设的阈值，则获取皮尔逊相关系数的统计量；
109：根据统计量获取对应的概率值；
110：判断所述概率值是否小于预设值，若小于，则执行处理111，若大于，则选取另一个元素从处理107开始执行；
111：确定所该元素为关联元素；
112：将筛选出的所有关联元素的集合作为关联性能数据集合。
在本发明的实施方式中，使用显著性检验的方法来排除随机元素，即预设值可以为显著性水平值。
显著性水平是假设检验中的一个概念，是指当原假设为正确时人们却把它拒绝了的概率或风险。它是公认的小概率事件的概率值，必须在每一次统计检验之前确定，通常取α＝0.05或α＝0.01。这表明，当作出接受原假设的决定时，其正确的可能性(概率)为95％或99％。显著性水平代表的意义是在一次试验中小概率事物发生的可能性大小。
在本发明的实施方式中，计算出皮尔逊相关系数r(X,Y)的检验统计量t和该统计量t对应的概率值P，预设显著性水平值为α＝0.01，当P<α时，即我们可以认为这两个变量有显著的相关性。
统计量t的计算公式如下：
其中，r为皮尔逊系数，n为样本数。
并且统计量t服从自由度为(n-2)的t分布，依据t分布概率表即可得到概率值P。设置显著性水平为α＝0.01，表示因变量有99％的概率与自变量有强相关性。当概率值P<α，即对应元素与历史批量运行时长的相关性是是显著的。因此，可以将该元素作为影响批量运行时长的强关联性元素。
下面将结合具体例子对本实施方式所提供的实现处理101的方法进行描述。
以每日批量运行时长RUNTIME作为需要预测的变量，称之为因变量；另外，可能影响批量运行时长的因素诸多，由于交易量具有较强的周期性，这里以交易量相关性分析为例。
以NCIM、NKBS、NKDS业务子系统某一年的数据为例(其余业务系统计算方法一样)，假设Xi为某日交易量，Yi为当日业务子系统批量运行时长，分别计算出皮尔逊系数r(X,Y)、概率值P，如表1所示：
表1
| NCIM | NKBS | NKDS | RUNTIME | |
| 个案数 | 365 | 365 | 365 | 365 |
| 皮尔逊相关系数r | 0.464 | 0.485 | 0.636 | 1 |
| 概率值P | 0.000 | 0.000 | 0.000 |
可见，其皮尔逊系数分别为0.464、0.485、0.636，均大于0，表示这交易量与批量运行时长RUNTIME呈现正相关关系，即这三个系统的交易量越多，批量运行时长RUNTIME越长。
预设显著性水平值α＝0.01，概率值P<α，即NCIM、NKBS、NKDS的日交易量与批量运行时长RUNTIME的相关性是是显著的。因此，我们在预测模型中可以将它们作为影响批量运行时长RUNTIME的强关联性元素。
获取到关联性能数据集合后，即可开始构建时长预测模型。在本发明的实施方式中，通过将关联性能数据集合作为自变量，历史批量运行时长作为因变量，投入预设的学习模型进行训练的方式构建时长预测模型。
在可选的实施方式中，预设的学习模型可以为梯度提升树回归模型(GradientTree Boosting Regression，简称GTBR)，模型公式如下：
FM(X)＝y1h1(X)+y2h2(X)+…+yihi(X)+…+yMhM(X)；
FM(X)＝FM-1(X)+yMhM(X)；
其中，FM(X)为因变量，X为自变量，hi(X)为基本算法，yi为权重，M为基本算法的个数。
GTBR模型是一种基于经验误差学习的经典加法模型，在本发明的实施方式中，hi(X)可以选择决策树算法。
在计算GTBR模型时，基本算法的权重yi初始设置为零，迭代时根据GTBR模型特点权重yi会自动更新，因此，需要关注的是模型中基本算法的个数，也就是M的大小，这也大大减轻了GTBR模型的复杂程度。
图4示出了在不同的基本算法的个数M下GTBR模型预测与实际情况的曲线图，如图4所示，M分别取值1(圆型)，10(五角星型)，100(三角型)，300(X型)。其中，实线是记录得到的实际批量运行时长(单位：秒)，其他形状是M值不同的情况下得到的时长预测模型的预测值，观察图4可以发现，随着基本算法数量M的增加，预测曲线更加的接近实际曲线(实线)。
图5是预测值与真实值的平均绝对误差与基本算法的个数M的关系图，随着基本算法的个数M的增加，平均绝对误差在不断的下降，这也证明的基本算法的个数M越多，模型的预测更加准确。
同时，由图5可知，随着基本算法的个数M的增加，平均绝对误差下降的速度也在变慢，即平均绝对误差趋于收敛。直观表现就是M从1增加到150，平均绝对误差从411多降到167左右，降幅达到244；M从150增加到300，平均绝对误差只降到128，降幅只有39。虽然基本算法个数M越多，模型预测的平均绝对误差越小，但是模型复杂度越大，会消耗更多计算资源。因此，需要平衡平均绝对误差和模型复杂度，即基本算法的个数M尽可能的小，同时平均绝对误差也在可接受的范围内使模型复杂度小，从而减少计算资源的消耗。
同时，为了最终训练得出的时长预测模型更加精准，在GTBR模型中每一次迭代计算基本算法时，使用损失函数对其进行修正。在本发明的实施方式中，选择均方误差函数(Mean Absolute Error，简称MSE)作为损失函数，其计算公式如下：
其中，Yi是第i个历史批量运行时长，
是它的的预测，n是样本数量。根据经验风险最小化准则(Empirical Risk Minimization，简称ERM)，我们需要使GTBR模型在迭代计算基本算法时，它的损失函数——均方误差最小。
基于此，在本发明的实施方式中，给出了一种实现处理102的方法。参照图6，该方法包括：
113：将关联性能数据集合作为自变量，历史批量运行时长作为因变量，投入GTBR模型中进行训练；
114：GTBR模型每次进行迭代运算更新时长预测模型时，根据ERM准则和损失函数计算相应的均方误差；
115：判断均方误差是否小于预设的误差阈值，若小于，则执行处理117，若不小于，则执行处理116；
116：判断基本算法的个数M是否小于预设的最大值，若小于，则返回处理114，若不小于，则执行处理117；
117：输出时长预测模型。
由此，构建出精准的时长预测模型，对主机的批量运行时长进行预测。
本发明通过获取主机平台上业务批量作业运行期间的各类系统性能数据集合和历史批量运行时长，基于数据分析对可能影响批量运行时长的性能数据集合中的元素进行关联性分析，筛选出与批量运行时长强关联的关联性能数据集合，然后依据机器学习的理论，建立起关联性能数据集合和批量运行时长的决策树模型，并设置损失函数，依据偏差值对预测模型进行迭代优化，建立一套基于主机平台批量运行时长的预测模型。采用本发明不仅能处理线性关系的预测还能处理非线性关系的预测，且支持具有多种复杂变量的环境，适用性广泛的同时可以使预测结果更加精准，摆脱了现有方法中依据历史数据对比预测的不准确性，极大的提升了主机批量作业运行时间的预测科学性。此外，本发明采用损失函数，能够根据预测的结果不断自动调整预测模型的参数，使得预测本身具有机器学习的特点。
图7是根据本发明一种实施方式的预测主机的批量运行时长的系统1的框图，参照图7，该系统1包括：数据获取模块11，用于通过性能数据库获取所述主机批量运行时的性能数据集合，通过历史数据库获取历史批量运行时长；数据筛选模块12，用于根据预设的筛选规则筛选性能数据集合中的元素，获取关联性能数据集合；模型训练模块13，用于将关联性能数据集合和历史批量运行时长投入预设的学习模型中进行训练，获取时长预测模型；预测模块14，用于根据时长预测模型对主机的批量运行时长进行预测。
在本发明的实施方式中，数据筛选模块12用于对于性能数据集合中的元素，分别执行以下操作：将元素作为自变量，历史批量运行时长作为因变量，计算皮尔逊相关系数；若皮尔逊相关系数大于预设的阈值，则确定该元素为关联元素；将筛选出的所有关联元素的集合作为关联性能数据集合。
在本发明可选的实施方式中，数据筛选模块12用于对于性能数据集合中的元素，分别执行以下操作：将元素作为自变量，历史批量运行时长作为因变量，计算皮尔逊相关系数；若皮尔逊相关系数大于预设的阈值，则获取皮尔逊相关系数的统计量；根据统计量获取对应的概率值；判断概率值是否小于预设值，若小于，则确定该元素为关联元素；将筛选出的所有关联元素的集合作为关联性能数据集合。
在本发明的实施方式中，预设的学习模型为梯度提升树回归模型，模型公式如下：
FM(X)＝y1h1(X)+y2h2(X)+…+yihi(X)+…+yMhM(X)；
FM(X)＝FM-1(X)+yMhM(X)；
其中，FM(X)为因变量，X为自变量，hi(X)为基本算法，yi为权重，M为基本算法个数。
在本发明的实施方式中，上述hi(X)为决策树算法。
在本发明的实施方式中，模型训练模块13用于将关联性能数据集合作为自变量，历史批量运行时长作为因变量，投入该梯度提升树回归模型进行训练。
在本发明的实施方式中，模型训练模块13还用于通过损失函数对梯度提升树回归模型进行修正。
可选的，本发明实施方式提供了一种预测主机的批量运行时长的装置，该装置包括存储器，用于存储一条或多条计算机可读指令；处理器，用于执行所述一条或多条计算机可读指令从而实现本发明前述实施方式或实现方式所提供的预测主机的批量运行时长的方法。可选地，在本发明实施方式的一种实现方式中，所述装置还可以包括用于进行数据通信的输入输出接口。例如，所述装置可以是计算机、智能终端、服务器等。
本发明实施方式还提供了一种计算机存储介质，存储有一条或多条计算机程序，用于在执行时实现本发明前述实施方式或实现方式提供的预测主机的批量运行时长的方法。例如，所述存储介质可以包括硬盘、软盘、光盘、磁带、磁盘、优盘、闪存等。
虽然本文举例描述了一些实施方式，但是，在不脱离本发明实质的前提下，可以对这些实施方式进行各种变形，所有这些变形仍属于本发明的构思，并且落入本发明权利要求所限定的保护范围。
本文所公开的具体实施方式仅用于举例说明本发明，对于本领域技术人员而言，显然可以根据本文的教导进行各种修改，可以采用各种等同的方式实施本发明，因此，本发明上述公开的特定的实施方式仅仅是示例性的，其保护范围不受在此公开的结构或设计的细节所限，除非在权利要求中另有说明。因此，上述公开的特定的示例性的实施方式可进行各种替换、组合或修改，其所有的变形都落入本文公开的范围内。在缺少本文没有具体公开的任何元件或缺少本文公开的任选的部件的情况下，本文示例性公开的预测主机的批量运行时长的方法、系统、装置及存储介质仍可适当地实施。上述公开的所有的数值和范围也可进行一定变化。每当公开了具有下限和上限的数值范围，落入此范围内的任何数值及任何被包含的范围都被具体地公开了。具体而言，本文公开的数值的任一范围均可理解为列举了包含在较宽数值范围内的任一数值和范围。同样，除非申请人明确且清楚地另有定义，权利要求中的术语具有它们的清楚、通常的含义。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施方式或者实施方式的某些部分所述的方法。
此外，权利要求书中的部件的数量包括一个或至少一个，除非另有说明。如果本发明中的用词或术语与其它文献中的用法或含义存在不一致，则应当以与本发明所定义的为准。
Claims (16)
1.一种预测主机的批量运行时长的方法，其特征在于，所述方法包括：
通过性能数据库获取所述主机批量运行时的性能数据集合，通过历史数据库获取历史批量运行时长；
根据预设的筛选规则筛选所述性能数据集合中的元素，获取关联性能数据集合；
将所述关联性能数据集合和所述历史批量运行时长投入预设的学习模型中进行训练，获取时长预测模型；
根据所述时长预测模型对主机的批量运行时长进行预测。
2.如权利要求1所述的方法，其特征在于，所述根据预设的筛选规则筛选所述性能数据集合中的元素，获取关联性能数据集合包括：
对于所述性能数据集合中的元素，分别执行以下操作：
将所述元素作为自变量，所述历史批量运行时长作为因变量，计算皮尔逊相关系数；
若所述皮尔逊相关系数大于预设的阈值，则确定所述元素为关联元素；
将筛选出的所有关联元素的集合作为所述关联性能数据集合。
3.如权利要求1所述的方法，其特征在于，所述根据预设的筛选规则筛选所述性能数据集合中的元素，获取关联性能数据集合包括：
对于所述性能数据集合中的元素，分别执行以下操作：
将所述元素作为自变量，所述历史批量运行时长作为因变量，计算皮尔逊相关系数；
若所述皮尔逊相关系数大于预设的阈值，则获取所述皮尔逊相关系数的统计量；
根据所述统计量获取对应的概率值；
判断所述概率值是否小于预设值，
若小于，则确定所述元素为关联元素；
将筛选出的所有关联元素的集合作为所述关联性能数据集合。
4.如权利要求1所述的方法，其特征在于，所述预设的学习模型为梯度提升树回归模型，模型公式如下：
FM(X)＝y1h1(X)+y2h2(X)+…+yihi(X)+…+yMhM(X)；
FM(X)＝FM-1(X)+yMhM(X)；
其中，FM(X)为因变量，X为自变量，hi(X)为基本算法，yi为权重，M为所述基本算法的个数。
5.如权利要求4所述的方法，其特征在于，
所述hi(X)为决策树算法。
6.如权利要求4所述的方法，其特征在于，所述将所述关联性能数据集合和所述历史批量运行时长投入预设的学习模型中进行训练包括：
将所述关联性能数据集合作为自变量，所述历史批量运行时长作为因变量，投入所述梯度提升树回归模型进行训练。
7.如权利要求6所述的方法，其特征在于，所述将所述关联性能数据集合和所述历史批量运行时长投入预设的学习模型中进行训练还包括：
通过损失函数对所述梯度提升树回归模型进行修正。
8.一种预测主机的批量运行时长的系统，其特征在于，所述系统包括：
数据获取模块，用于通过性能数据库获取所述主机批量运行时的性能数据集合，通过历史数据库获取历史批量运行时长；
数据筛选模块，用于根据预设的筛选规则筛选所述性能数据集合中的元素，获取关联性能数据集合；
模型训练模块，用于将所述关联性能数据集合和所述历史批量运行时长投入预设的学习模型中进行训练，获取时长预测模型；
预测模块，用于根据所述时长预测模型对主机的批量运行时长进行预测。
9.如权利要求8所述的系统，其特征在于，所述数据筛选模块用于：
对于所述性能数据集合中的元素，分别执行以下操作：
将所述元素作为自变量，所述历史批量运行时长作为因变量，计算皮尔逊相关系数；
若所述皮尔逊相关系数大于预设的阈值，则确定所述元素为关联元素；
将筛选出的所有关联元素的集合作为所述关联性能数据集合。
10.如权利要求8所述的系统，其特征在于，所述数据筛选模块用于：
对于所述性能数据集合中的元素，分别执行以下操作：
将所述元素作为自变量，所述历史批量运行时长作为因变量，计算皮尔逊相关系数；
若所述皮尔逊相关系数大于预设的阈值，则获取所述皮尔逊相关系数的统计量；
根据所述统计量获取对应的概率值；
判断所述概率值是否小于预设值，
若小于，则确定所述元素为关联元素；
将筛选出的所有关联元素的集合作为所述关联性能数据集合。
11.如权利要求8所述的系统，其特征在于，所述预设的学习模型为梯度提升树回归模型，模型公式如下：
FM(X)＝y1h1(X)+y2h2(X)+…+yihi(X)+…+yMhM(X)；
FM(X)＝FM-1(X)+yMhM(X)；
其中，FM(X)为因变量，X为自变量，hi(X)为基本算法，yi为权重，M为所述基本算法的个数。
12.如权利要求11所述的系统，其特征在于，
所述hi(X)为决策树算法。
13.如权利要求11所述的系统，其特征在于，所述模型训练模块用于：
将所述关联性能数据集合作为自变量，所述历史批量运行时长作为因变量，投入所述梯度提升树回归模型进行训练。
14.如权利要求13所述的系统，其特征在于，所述模型训练模块还用于：
通过损失函数对所述梯度提升树回归模型进行修正。
15.一种预测主机的批量运行时长的装置，包括存储器和处理器，其特征在于，
所述存储器用于存储一条或多条计算机可读指令；
所述处理器用于执行所述一条或多条计算机可读指令以实现如权利要求1-7中任一项所述的方法。
16.一种计算机存储介质，存储有一条或多条计算机程序，其特征在于，所述一条或多条计算机程序在被处理器执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911282276.2A CN111190800B (zh) | 2019-12-13 | 2019-12-13 | 预测主机的批量运行时长的方法、系统、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911282276.2A CN111190800B (zh) | 2019-12-13 | 2019-12-13 | 预测主机的批量运行时长的方法、系统、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111190800A true CN111190800A (zh) | 2020-05-22 |
| CN111190800B CN111190800B (zh) | 2023-10-24 |
Family
ID=70707361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911282276.2A Active CN111190800B (zh) | 2019-12-13 | 2019-12-13 | 预测主机的批量运行时长的方法、系统、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111190800B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112200461A (zh) * | 2020-10-12 | 2021-01-08 | 中国农业银行股份有限公司 | 关键路径的预测方法及装置、电子设备、计算机存储介质 |
-
2019
- 2019-12-13 CN CN201911282276.2A patent/CN111190800B/zh active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112200461A (zh) * | 2020-10-12 | 2021-01-08 | 中国农业银行股份有限公司 | 关键路径的预测方法及装置、电子设备、计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111190800B (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10943186B2 (en) | Machine learning model training method and device, and electronic device | |
| CN109697522B (zh) | 一种数据预测的方法和装置 | |
| CN114415965B (zh) | 一种数据迁移方法、装置、设备及存储介质 | |
| CN109413694B (zh) | 一种基于内容流行度预测的小小区缓存方法及装置 | |
| CN114168318A (zh) | 存储释放模型的训练方法、存储释放方法及设备 | |
| CN114494814A (zh) | 基于注意力的模型训练方法、装置及电子设备 | |
| CN114037518A (zh) | 风险预测模型的构建方法、装置、电子设备和存储介质 | |
| CN111190800A (zh) | 预测主机的批量运行时长的方法、系统、装置及存储介质 | |
| CN109829115B (zh) | 搜索引擎关键词优化方法 | |
| US9922071B2 (en) | Isolation anomaly quantification through heuristical pattern detection | |
| CN116501468A (zh) | 批量作业处理方法、装置及电子设备 | |
| CN114185938B (zh) | 基于数字金融及大数据溯源的项目溯源分析方法及系统 | |
| CN112926206B (zh) | 一种基于工业流程背景的工作流引擎缓存淘汰方法 | |
| CN114999665A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN112000955B (zh) | 确定日志特征序列的方法、漏洞分析方法及系统、设备 | |
| CN114139636A (zh) | 异常作业处理方法及装置 | |
| US20190138931A1 (en) | Apparatus and method of introducing probability and uncertainty via order statistics to unsupervised data classification via clustering | |
| CN111104569A (zh) | 数据库表的区域切分方法、装置及存储介质 | |
| CN115550259B (zh) | 基于白名单的流量分配方法及相关设备 | |
| CN113032564B (zh) | 特征提取方法、装置、电子设备以及存储介质 | |
| CN110298742B (zh) | 数据处理方法和装置 | |
| CN115185805A (zh) | 一种存储系统的性能预测方法、系统、设备及存储介质 | |
| CN116451852A (zh) | 一种企业对账时效管理方法、装置、设备和存储介质 | |
| CN116432776A (zh) | 目标模型的训练方法、装置、设备及存储介质 | |
| CN116843473A (zh) | 基于云计算的股票数据采集方法、系统、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |