CN106445788A - 一种信息系统运行状态预测方法和装置 - Google Patents
一种信息系统运行状态预测方法和装置 Download PDFInfo
- Publication number
- CN106445788A CN106445788A CN201610877735.1A CN201610877735A CN106445788A CN 106445788 A CN106445788 A CN 106445788A CN 201610877735 A CN201610877735 A CN 201610877735A CN 106445788 A CN106445788 A CN 106445788A
- Authority
- CN
- China
- Prior art keywords
- information system
- algorithm
- data
- running state
- association rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012544 monitoring process Methods 0.000 claims abstract description 42
- 238000005065 mining Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 238000012417 linear regression Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000010219 correlation analysis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 208000018910 keratinopathic ichthyosis Diseases 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000012098 association analyses Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种信息系统运行状态预测方法和装置,其中所述方法包含以下步骤,基于信息系统数据,利用粗糙集算法识别出信息系统的关键监控指标;基于信息系统数据,利用关联规则挖掘算法建立各关键监控指标与信息系统运行状态间的关联规则;基于信息系统实时监控数据,利用所得关联规则,结合预测算法,进行信息系统运行状态的预测。本发明具有效率高、运用关键指标准确预测信息系统运行状态的有益效果。
Description
技术领域
本发明涉及IT运维中智能监控技术领域,更具体地,涉及信息系统运行状态预测技术领域。
背景技术
目前,随着信息系统的日益广泛以及不同领域的业务种类的日益丰富,基于海量数据存储与处理的计算信息系统的应用变得越来越广泛,由此,随着用于大量运算速度及存储量的主机、中间件及数据库的数量的显著增长,其发生故障的概率以及不良影响也越来越大,因此,对信息系统运行状态进行有效的预测变得越来越重要。
在信息运维过程中,支撑应用系统运行的监控指标有很多,通过这些监控指标可以发现应用系统的运行状况。
现有的技术方案存在如下问题需要解决:(1)如何识别关键监控指标(KPI),以减少不重要的监控指标;(2)如何通过这些关键的监控指标综合判断应用系统的运行状况;(3)如何提前预测系统的运行状况。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的方法和装置。
根据本发明的一个方面,如图1所示,提供了一种信息系统运行状态预测方法,包括以下步骤,S1.基于信息系统数据,利用粗糙集算法识别出信息系统的关键监控指标;S2.基于信息系统数据,利用关联规则挖掘算法建立各关键监控指标与信息系统运行状态间的关联规则;S3.基于信息系统实时监控数据,利用所得关联规则,结合预测算法,进行信息系统运行状态的预测。
根据本发明的另一个方面,如图2所示,提供了一种信息系统运行状态预测装置,包括以下模块,采集模块,用于采集信息系统数据;处理模块,用于基于信息系统数据,利用粗糙集算法识别出信息系统的关键监控指标;基于信息系统数据,利用关联规则挖掘算法建立各关键监控指标与信息系统运行状态间的关联规则;基于信息系统实时监控数据,利用所得关联规则,结合预测算法,进行信息系统运行状态的预测。
本申请提出一种信息系统运行状态预测方法和装置,利用粗糙集算法识别出信息系统的关键监控指标、利用关联规则挖掘算法建立各关键监控指标与信息系统运行状态间的关联规则、利用预测算法技术以预测信息系统的运行状况。本发明具有效率高、运用关键指标准确预测信息系统运行状态的有益效果。
附图说明
图1为根据本发明实施例的信息系统运行状态预测方法的总体流程示意图;
图2为根据本发明实施例的信息系统运行状态预测装置的总体结构示意图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
在一个具体实施例中,以某营销基础数据平台信息系统运行状态预测为例,结合附图对本发明进行进一步的说明。
图1给出了根据本发明实施例的一种信息系统运行状态预测方法的总体流程示意图。总的来说,该方法包括:S1.基于信息系统数据,利用粗糙集算法识别出信息系统的关键监控指标;S2.基于信息系统数据,利用关联规则挖掘算法建立各关键监控指标与信息系统运行状态间的关联规则;S3.基于信息系统实时监控数据,利用所得关联规则,结合预测算法,进行信息系统运行状态的预测。利用大数据技术及数据挖掘方法对业务系统进行关联规则挖掘,可以发现支撑业务系统运行的主机、中间件及数据库等资源与业务系统的关联关系,同时也可以挖掘出业务系统之间的关联关系,这对与业务系统故障定位及提前预判有着重要意义,是自动化巡检中的一个关键技术。此外,对于一些重要的系统(比如营销系统)运行状况的提前预判,可以让我们能够及时处理将来可能发生的问题,从而提升客户体验。
在本发明一个具体实施例中,所述步骤S1包括,
1)确定条件属性C和决策属性D,并且用字母编号决策表中数据。
2)对条件属性进行约简,删除多余的属性,本文利用属性的依赖度分析方法来完成约简和求核。
在本发明另一个具体实施例中,步骤S2中所述“关联规则挖掘算法”还包括以下步骤:
利用改进的Apriori算法建立各监控指标与信息系统运行状态的关联规则;所述算法改进点在于:利用频繁项目集Lk-1对所述数据进行筛选,如果Lk-1没有包含集合k,则不对该频繁项目集Lk-1进行后续计算。
在本发明另一个具体实施例中,步骤S2中所述“关联规则挖掘算法”还包括以下步骤:利用Apriori算法建立各监控指标与信息系统运行状态的关联规则。
在本发明另一个具体实施例中,步骤S3还包括以下步骤:利用数据拟合技术进行信息系统运行状态的预测。可以理解为,本发明用于实现信息系统运行状态的预测不仅限于数据拟合算法,还可以利用但不限于以下算法:简易平均算法、移动平均算法、指数平滑算法、线性回归算法
在本发明另一个具体实施例中,所述步骤S1前还包括以下步骤,S001.采集信息系统数据S002.将所述信息系统数据归一化处理,将数据都限定在[0,1]范围内。
在本发明另一个具体实施例中,步骤S12具体方式如下:
①求出条件属性C的等价集;
②求出决策属性D的等价集;
③求出决策属性的各等价集的下近似集;
④以条件属性A为例,计算条件属性C相对于决策属性D的重要性γ(C,D),以及γ(C-{A},D);
⑤求A的重要度Sig(A,C,D)
Sig(A,C,D)=γ(C,D)-γ(C-{A},D)
Sig(A,C,D)>0表示属性是重要的,否则表示属性是不必要冗余的,去掉它们后对分类结果不产生任何影响。通过这种方法就可以识别出关键的监控指标(KPI)。
在本发明的又一个实施例中,所述“关联规则挖掘算法”还包括以下步骤:
S21.若|Lk-1|<k,则输出Ck=φ;若|Lk-1|≥k,则计算出候选k项目集Ck;
S22.若CK≠φ,则计算出候选项目集Ck的各个候选项目支持度,求得k项目集合Lk。
在本发明另一个具体实施例中,所述“关联规则挖掘算法”还包括以下步骤:
S21.若|Lk-1|<k,则输出Ck=φ;若|Lk-1|≥k,则计算出候选k项目集Ck;
S22.若CK≠φ,则计算出候选项目集Ck的各个候选项目支持度,求得k项目集合Lk。
单个信息系统通常由主机、中间件和数据库构成的有机整体,它们之间是相互关联的。因此我们需要挖掘出各监控指标与信息系统运行状态的关联规则,这样就可以通过它们之间的关联关系预判信息系统是否存在问题。我们以营销基础数据平台系统为例,进行关联分析。
营销基础数据平台系统主要包括2台数据库服务器和4台应用服务器(包括主机和中间件)。
这里我们进行关联分析的监控指标包括数据库的“数据库表空间”与“数据库状态”两个指标、中间件的“JVM运行时间”一个指标、主机的“CPU利用率”一个指标,总共4个监控指标。通过对数据库中各监控指标的各个字段的分析和研究,我们发现可以根据各个监控指标的category字段(good\warning\error)来进行关联分析。在本文中,我们利用改进的Apriori算法进行关联规则的挖掘,以发现各个监控指标之间的关联关系。在这里,所有支持度大于最小支持度的项集称为频繁项集,简称频集。为了便于分析,我们分别对各个指标的category字段的值进行标记,标记规则如表I所示。
表I标记规则
我们对2016年3月1日至3月8日的某公司信息中心的监控数据进行了关联分析,分析出不同的最小支持度和可信度时的关联规则,结果如下:
当min_support=60000,min_confidence=0.9时,其关联规则有:
比如关联规则"a11"^"c11"->"b11"^"a21":0.98922274432,表示数据库表空间是good、JVM运行时间good时,CPU利用率是good,那么应用系统的状态是good(正常状态),这个关联规则的可信度为98.9%。
通过预测算法预测出数据库表空间、JVM运行时间和CPU利用率在将来的某个时刻的状态,就可以通过它们之间的关联规则,预测出应用系统在将来的某个时刻的运行状态。
在本发明的又一个实施例中,步骤S002更具体地,主要包括以下的步骤:
其中,为归一化后的数据,xmin和xmax分别为原始数据的最小值和最大值,以为数据个数。
如图2所示,本发明的一种信息系统运行状态预测装置的总体结构示意图,包括:
A1采集模块,用于采集信息系统数据;
A2处理模块,用于基于信息系统数据,利用粗糙集算法识别出信息系统的关键监控指标;基于信息系统数据,利用关联规则挖掘算法建立各关键监控指标与信息系统运行状态间的关联规则;基于信息系统实时监控数据,利用所得关联规则,结合预测算法,进行信息系统运行状态的预测;
A3输出模块,用于输出信息系统运行状态的预测结果。
最后,本申请的方法仅为较佳的实施方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种信息系统运行状态预测方法,其特征在于,包括以下步骤,
S1.基于信息系统数据,利用粗糙集算法识别出信息系统的关键监控指标;
S2.基于信息系统数据,利用关联规则挖掘算法建立各关键监控指标与信息系统运行状态间的关联规则;
S3.基于信息系统实时监控数据,利用所述关联规则,结合预测算法,进行信息系统运行状态的预测。
2.如权利要求1所述的方法,其特征在于,所述步骤S1还包括以下步骤:
S11.确定各指标条件属性和决策属性;
S12.对条件属性进行约简处理。
3.如权利要求1所述的方法,其特征在于,步骤S2中,所述“关联规则挖掘算法”还包括以下步骤:
利用改进的Apriori算法建立各监控指标与信息系统运行状态的关联规则;所述算法改进点在于:利用频繁项目集Lk-1对所述数据进行筛选,如果Lk-1没有包含集合k,则不对该频繁项目集Lk-1进行后续计算。
4.如权利要求1所述的方法,其特征在于,步骤S2中,所述“关联规则挖掘算法”还包括以下步骤:
利用Apriori算法建立各监控指标与信息系统运行状态的关联规则。
5.如权利要求1所述的方法,其特征在于,所述步骤S3中“预测算法”能够利用以下方法:数据拟合算法、简易平均算法、移动平均算法、指数平滑算法、线性回归算法。
6.如权利要求1所述的方法,其特征在于,所述步骤S1前还包括以下步骤,
S001.采集信息系统数据;
S002.将所述信息系统数据归一化处理。
7.如权利要求2所述的方法,其特征在于,所述步骤S12还包括以下步骤,
所述依赖度求解过程如下:
①求出条件属性C的等价集;
②求出决策属性D的等价集;
③求出决策属性D的各等价集的下近似集;
④判断条件属性A的重要度:计算条件属性C相对于决策属性D的重要性γ(C,D),以及γ(C-{A},D);
⑤求A的重要度Sig(A,C,D),
Sig(A,C,D)=γ(C,D)-γ(C-{A},D),
Sig(A,C,D)>0则保留条件属性A,Sig(A,C,D)≤0则删除条件属性A。
8.如权利要求3所述的方法,其特征在于,所述“关联规则挖掘算法”还包括以下步骤:
S21.若|Lk-1|<k,则输出Ck=φ;若|Lk-1|≥k,则计算出候选k项目集Ck;
S22.若CK≠φ,则计算出候选项目集Ck的各个候选项目支持度,求得k项目集合Lk。
9.如权利要求6所述的方法,其特征在于,所述步骤S002还包括以下步骤,
其中,为归一化后的数据,xmin和xmax分别为原始数据的最小值和最大值。
10.一种信息系统运行状态预测装置,其特征在于,包括:
采集模块,用于采集信息系统数据;
处理模块,用于基于信息系统数据,利用粗糙集算法识别出信息系统的关键监控指标;基于信息系统数据,利用关联规则挖掘算法建立各关键监控指标与信息系统运行状态间的关联规则;基于信息系统实时监控数据,利用所得关联规则,结合预测算法,进行信息系统运行状态的预测;
输出模块,用于输出信息系统运行状态的预测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610877735.1A CN106445788A (zh) | 2016-09-30 | 2016-09-30 | 一种信息系统运行状态预测方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610877735.1A CN106445788A (zh) | 2016-09-30 | 2016-09-30 | 一种信息系统运行状态预测方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106445788A true CN106445788A (zh) | 2017-02-22 |
Family
ID=58172179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610877735.1A Pending CN106445788A (zh) | 2016-09-30 | 2016-09-30 | 一种信息系统运行状态预测方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106445788A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108647808A (zh) * | 2018-04-11 | 2018-10-12 | 济南大学 | 一种生产参数优化预测方法、装置、设备及存储介质 |
CN109492826A (zh) * | 2018-12-06 | 2019-03-19 | 远光软件股份有限公司 | 一种基于机器学习的信息系统运行状态风险预测方法 |
CN111563647A (zh) * | 2020-03-26 | 2020-08-21 | 国网福建省电力有限公司信息通信分公司 | 基于关联规则和dea的电力信息系统检测方法及系统 |
CN112801337A (zh) * | 2020-12-07 | 2021-05-14 | 河北志晟信息技术股份有限公司 | 一种基于污染数据的区域企业排污控制方法及其系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101984415A (zh) * | 2010-11-02 | 2011-03-09 | 中兴通讯股份有限公司 | 一种设定监控指标阈值的方法和装置 |
US20160070780A1 (en) * | 2013-04-16 | 2016-03-10 | International Business Machines Corporation | Management of file storage locations |
CN105911476A (zh) * | 2016-04-13 | 2016-08-31 | 华北电力大学 | 一种基于数据挖掘的电池储能系统soc预测方法 |
CN105930255A (zh) * | 2015-10-16 | 2016-09-07 | 中国银联股份有限公司 | 一种系统健康度预测方法及装置 |
-
2016
- 2016-09-30 CN CN201610877735.1A patent/CN106445788A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101984415A (zh) * | 2010-11-02 | 2011-03-09 | 中兴通讯股份有限公司 | 一种设定监控指标阈值的方法和装置 |
US20160070780A1 (en) * | 2013-04-16 | 2016-03-10 | International Business Machines Corporation | Management of file storage locations |
CN105930255A (zh) * | 2015-10-16 | 2016-09-07 | 中国银联股份有限公司 | 一种系统健康度预测方法及装置 |
CN105911476A (zh) * | 2016-04-13 | 2016-08-31 | 华北电力大学 | 一种基于数据挖掘的电池储能系统soc预测方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108647808A (zh) * | 2018-04-11 | 2018-10-12 | 济南大学 | 一种生产参数优化预测方法、装置、设备及存储介质 |
CN108647808B (zh) * | 2018-04-11 | 2022-03-29 | 济南大学 | 一种生产参数优化预测方法、装置、设备及存储介质 |
CN109492826A (zh) * | 2018-12-06 | 2019-03-19 | 远光软件股份有限公司 | 一种基于机器学习的信息系统运行状态风险预测方法 |
CN109492826B (zh) * | 2018-12-06 | 2021-12-14 | 远光软件股份有限公司 | 一种基于机器学习的信息系统运行状态风险预测方法 |
CN111563647A (zh) * | 2020-03-26 | 2020-08-21 | 国网福建省电力有限公司信息通信分公司 | 基于关联规则和dea的电力信息系统检测方法及系统 |
CN112801337A (zh) * | 2020-12-07 | 2021-05-14 | 河北志晟信息技术股份有限公司 | 一种基于污染数据的区域企业排污控制方法及其系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107633265B (zh) | 用于优化信用评估模型的数据处理方法及装置 | |
CN110806954B (zh) | 评估云主机资源的方法、装置、设备及存储介质 | |
CN108182515B (zh) | 智能规则引擎规则输出方法、设备及计算机可读存储介质 | |
CN103513983A (zh) | 用于预测性警报阈值确定工具的方法和系统 | |
CN106445788A (zh) | 一种信息系统运行状态预测方法和装置 | |
US12019059B2 (en) | Detecting equipment defects using lubricant analysis | |
CN110874744A (zh) | 一种数据异常检测方法及装置 | |
CN116089873A (zh) | 模型训练方法、数据分类分级方法、装置、设备及介质 | |
CN112990583A (zh) | 一种数据预测模型的入模特征确定方法及设备 | |
CN112685374B (zh) | 日志分类方法、装置及电子设备 | |
CN111160959A (zh) | 一种用户点击转化预估方法及装置 | |
CN116841779A (zh) | 异常日志检测方法、装置、电子设备和可读存储介质 | |
CN115509784A (zh) | 数据库实例的故障检测方法和装置 | |
CN113282920B (zh) | 日志异常检测方法、装置、计算机设备和存储介质 | |
CN113850669A (zh) | 用户分群方法、装置、计算机设备及计算机可读存储介质 | |
CN111950623B (zh) | 数据稳定性监控方法、装置、计算机设备及介质 | |
CN113220551A (zh) | 指标趋势预测及预警方法、装置、电子设备及存储介质 | |
CN115114124A (zh) | 主机风险的评估方法及评估装置 | |
CN113449062B (zh) | 轨迹处理方法、装置、电子设备和存储介质 | |
CN111654853B (zh) | 一种基于用户信息的数据分析方法 | |
JP2022037107A (ja) | 障害分析装置、障害分析方法および障害分析プログラム | |
CN114312930A (zh) | 基于日志数据的列车运行异常诊断方法和装置 | |
CN115408182A (zh) | 业务系统故障定位方法及装置 | |
CN112906723A (zh) | 一种特征选择的方法和装置 | |
CN117519948B (zh) | 基于云平台实现建筑施工下的计算资源调整方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170222 |
|
RJ01 | Rejection of invention patent application after publication |