CN106600115A - 一种企业信息系统运维智能分析方法 - Google Patents

一种企业信息系统运维智能分析方法 Download PDF

Info

Publication number
CN106600115A
CN106600115A CN201611062149.8A CN201611062149A CN106600115A CN 106600115 A CN106600115 A CN 106600115A CN 201611062149 A CN201611062149 A CN 201611062149A CN 106600115 A CN106600115 A CN 106600115A
Authority
CN
China
Prior art keywords
data
analysis
collection
index
intelligent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611062149.8A
Other languages
English (en)
Inventor
俞亮
向灏帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HUBEI CENTRAL CHINA TECHNOLOGY DEVELOPMENT OF ELECTRIC POWER Co Ltd
State Grid Corp of China SGCC
Original Assignee
HUBEI CENTRAL CHINA TECHNOLOGY DEVELOPMENT OF ELECTRIC POWER Co Ltd
State Grid Corp of China SGCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HUBEI CENTRAL CHINA TECHNOLOGY DEVELOPMENT OF ELECTRIC POWER Co Ltd, State Grid Corp of China SGCC filed Critical HUBEI CENTRAL CHINA TECHNOLOGY DEVELOPMENT OF ELECTRIC POWER Co Ltd
Priority to CN201611062149.8A priority Critical patent/CN106600115A/zh
Publication of CN106600115A publication Critical patent/CN106600115A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395Quality analysis or management

Abstract

本发明提供一种企业信息系统运维智能分析方法,包括通过分析信息系统应用在运行中各项数据的动态复杂性,构建企业信息系统趋势数据集,在此基础之上建立起运行数据分析模型,不但能通过分析结果了解企业信息系统的整体运行状态,还能根据企业信息系统的实际情况设计高效智能的运维策略。借助本智能运维系统分析方法可打造智能化运维体系,形成智能感知、智能预警、智能处理的智能运维服务体系,以求能够实现事前预测、事后快速处理的智能高效运维效果。

Description

一种企业信息系统运维智能分析方法
技术领域
本发明涉及信息系统运行维护监控领域,具体是一种企业信息系统运维智能分析方法。
背景技术
随着IT技术的飞速发展,大型企业在信息化建设上规模日益扩大,相关业务信息化程度和连续性要求逐步提高,同时对IT系统的运维要求越来越高,系统运维的时间窗口将越来越小,甚至关键业务将对重大故障呈现“零容忍”。国内大型企业对企业信息化数据分析技术的应用更多集中在对业务发展的研究与探索,在系统运维方面应用较少。目前大部分企业采取的还是相对固化的信息运维策略,原有基于人员监控、手动处理的运维体系,由于运维人员的个人水平参差不齐,同时对不同系统监控的强度缺乏合理性标准规范,在对系统运行状态的判断准确性和效率上难以应对企业实际业务的动态变化,且对人员依赖性较大存在运维资源的浪费问题,同时在对系统运行故障的提前预警上没有科学有效的方法。
发明内容
本发明的目的提供一种企业信息系统运维智能分析方法,通过分析信息系统应用在运行中各项数据的动态复杂性,构建企业信息系统趋势数据集,在此基础之上建立起运行数据分析模型,不但能通过分析结果了解企业信息系统的整体运行状态,还能根据企业信息系统的实际情况设计高效智能的运维策略。
一种企业信息系统运维智能分析方法,包括如下步骤:
步骤一、数据采集:采集用于分析系统运行指标的基础数据以及用于辅助分析关键性数据的逻辑关联性数据;
步骤二、数据标准化:对采集的原始数据行进趋势性分析,并建立趋势性数据集;
步骤三、建立波动参考区间:通过计算公式将趋势性数据集转为监控指标在数据模型分析后的参考对象,并建立监控指标在每个时间颗粒度上的正常值波动范围区间;
步骤四、利用数据分析模型处理监控数据:将需要分析的原始数据利用数据分析模型转换为反映数据产生对象真实运行状态的科学参考指标;
步骤五、启动处理策略集:过将数据分析模型处理后的监控指标对比同颗粒度上的波动区间值进行分析,根据不同的结果启动相应处理策略。
进一步的,步骤一具体包括:
(1)确定数据采集规则:采集数据的选取要结合实际运维工作中的记录来分析,在业务层面选取的变量需能够整体反映系统的服务性能,数据层面选取的变量则需具有趋势性、自身波动性;
(2)建立基础数据采集范围:在数据采集范围方面,首先采集的对象为各应用系统运行全面直观信息基础数据,根据信息的特点将信息划分类别,确定建模基础数据采集范围,包含系统操作日志、运行日志和异常日志中提炼抽取的数据;
(3)建立逻辑关联性数据采集范围:使用关系测定理论,在定性分析的基础上,通过相关表、相关图、计算相关系数与判断系数相结合,在大量的抽象数据源中使用公式采集与主要分析直观信息的基础数据在同一逻辑关联范围内的相关性数据,具体分析公式如下:
其中x为系统运行指标,y分别为检验指标,r为相关性系数,当|r|>0.8即可判断x和y存在相关性,可将y纳入采集范围。
(4)对抽象数据进行智能抽取,获得可供抽取的原始基础数据;
(5)建立基础变量队列:获取原始数据后进行加工处理,根据企业自身的实际情况建立多个基础变量,每个基础变量对应多个数据指标。
进一步的,所述本智能抽取方法基于聚类检索和字段限定检索理论,在对抽象数据进行自动标引的基础上,构造抽象数据的形式化表示——搜索信息向量,然后同时对抽象数据源进行关键信息检索,查找检索条件的记录,每次检索的信息可根据实际需求匹配多个字段,最终形成检索匹配集,然后通过聚类方法,计算出搜索信息向量与匹配数据集间的相似度,并把相似度较高的数据集中在一起,形成一个个的聚类的检索,通过自定义信息检索匹配集合后,可将单个或多个类目体系信息生成可供抽取的原始基础数据。
进一步的,步骤二具体包括:
将采集后的数据划分为模型训练集、验证集和测试集,对于整体波动趋势不明显的数据集,将数据集划为非趋势数据集,对于非趋势项数据集需结合并联算法对数据进行处理,将其转化为趋势性数据集,所述并联算法用于将非趋势性数据集转化为可建立参考频度曲线的趋势性数据集。其关联规则是一种基于大型事务数据集的发现模式,令I={i1,i2,...,id}是事务数据集中所有项的集合,其中项是指事务每一列所对应的属性,采用二元表示方法,由0个或多个项组成的集合称为项集,项集的一个重要性质是它的支持度计数,即包含特定项集的事务个数,数学表示如下:
σ(X)=|ti|X∈ti,t{i∈T}|
而T=t1,t2,…,t{}N是所有事务的集合,每个事务ti包含的项集都是I的子集,关联规则是形如X→Y的蕴涵表达式,其中X和Y是不相交的项集,即X∩Y=空。关联规则的强度可以用它的支持度和置信度度量,支持度确定规则可以用于给定数据集的频繁程度,而置信度确定Y在包含X的事务中出现的频繁程度,支持度s和置信度c这两种度量的形式定义如下:
s(X→Y)=σ(X∪Y)/N
c(X→Y)=σ(X∪Y)/σ(X)
若设定最小支持度和最小置信度是对应的支持度与置信度阈值,则关联规则发现是指找到支持度大于等于最小支持度并且置信度大于等于最小置信度的所有规则。
进一步的,步骤三具体包括:
(1)对趋势性数据集进处理和分析:对数据进行标准化,公式如下:
Ri(t)=Ii(i)/Si(t)
其中Ii(t)为t时刻第i个标准变量的原始输入值;Si(t)为t时刻第i个标准变量的标准化系数,即为检查时间周期均值;Ri(t)为标准化后变量值,即频数相对比率。经检验Si(t)的波动近似服从正态分布,因此设置置信度为Z,得出预测区间[Ui(t)–Z*Oi(t),Ui(t)+Z*Oi(t)],取其边界为Si(t)的预测区间。其中为第i个标准变量在模型训练集中有效监控时间段t时刻的均值,为t时刻第i个标准变量的标准差。Ri(t)值的边界即为当前数据的合理波动范围;
(2)将各上个步骤分析后的数据建立频数时间序列,为平滑各频数指标波动性及保障预测的及时性,选择T为时间粒度对上述指标进行汇总建立指标波动参考区间,T时间越短曲线越真实,原则上按照趋势性数据集中最低频率建立时间颗粒。
进一步的,步骤四中数据分析模型的建立过程如下:
(1)建立调整因子序列:
调整因子序列,频数标准化依赖监控时间段均值,而实时监控时无法直接获取该项数据,因此引入调整因子指标,通过累积频数来估计均值,定义如下:
调整因子向量,即一个监控时间段内不同时刻累积频数占当日总频数的百分比,以M天的数据计算均值;
建立调整因子序列后,在当前时刻用累积频数估计监控时段内均值:
Si(t)=(θi(t)/Ai(t))/(24*60/时间颗粒)),对当前频数序列进行标准化,进而判断是否位于参考波动区间内;
(2)建立预警信号加权规则:
基于监控的基础变量设计的预警指标均会产生预警信号。
其中,Ri(t)为t时刻第i个变量的相对值;R’i(t)为t时刻第i个标准变量的下边界值,Gi(t)为t时刻第i个信号量的值,将3个信号量进行加权产生最终的三级预警信号,进而根据预警信号的值产生警报,具体公式如下:
G(t)Σdi|Gi(t)t>Y
其中,di为信号量的权重,∑di=1;T为模型开启时间点
进一步的,步骤五中处理策略集建立方法为:首先建立可处理故障关联集合,将前期建立的N个趋势性数据通过故障关联集合建立方法划分到各个故障关联集合中;对于每一个故障关联集合,对其中的每一个元素设置该故障的触发阀值,并设置故障发生时的监测优先级和处理策略,在故障处理策略触发后,优先监测数据库表空间使用率指标,如果表空间使用率达到预设的阈值,则触发表空间使用率处理策略,如表空间使用率正常,则以相同原理监测网络连接状况指标
本发明在传统的运维管理平台的开发过程中,借助本系统运维智能分析方法核心思想,利用软件开发技术,将本分析方法代码化、实例化,形成基于智能感知、智能预警、智能处理的智能运维服务体系的运维服务分析平台,达到能够实现事前预测、事后快速处理的智能高效运维效果。
附图说明
图1是本发明企业信息系统运维智能分析方法的原理图。
具体实施方式
下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述。
如图1所示,本发明企业信息系统运维智能分析方法其中一个实施例提供,包括如下步骤:
步骤一、数据采集:采集用于分析系统运行指标的基础数据以及用于辅助分析关键性数据的逻辑关联性数据;
具体步骤如下:
(1)确定数据采集规则:
采集数据的选取要结合实际运维工作中的记录来分析,在业务层面选取的变量需能够整体反映系统的服务性能,如登陆量、登出量、业务量等。数据层面选取的变量则需具有趋势性、自身波动性。
(2)建立基础数据采集范围
在数据采集范围方面,首先采集的对象为各应用系统运行全面直观信息基础数据,通常为通过数据字面值就可判断系统运行情况的数据,例如CPU使用率、网络负载、存储容量、内存使用率等。根据信息的特点将信息划分类别(数字、警告、错误、文本、日期等),确定建模基础数据采集范围,包含系统操作日志、运行日志和异常日志中提炼抽取的数据等。
(3)建立逻辑关联性数据采集范围
使用关系测定理论,在定性分析的基础上,通过相关表、相关图、计算相关系数与判断系数相结合,在大量的抽象数据源中使用公式采集与主要分析直观信息的基础数据在同一逻辑关联范围内的相关性数据(如CPU使用率、系统进程数、系统激活服务数、僵死进程数、句柄数都处于同一逻辑关联范围),具体分析公式如下:
其中x为系统运行指标,y分别为检验指标,r为相关性系数,当|r|>0.8即可判断x和y存在相关性,可将y纳入采集范围。
(4)对抽象数据进行智能抽取,获得可供抽取的原始基础数据
本智能抽取方法主要用于在抽象数据中提取基础数据。本方法基于聚类检索和字段限定检索理论,具有聚类检索系统能够兼有主题检索系统和分类检索系统的优点,同时具备族性检索和特性检索的功能。在对抽象数据进行自动标引的基础上,构造抽象数据的形式化表示——搜索信息向量,然后同时对抽象数据源进行关键信息检索,查找检索条件的记录,每次检索的信息可根据实际需求匹配多个字段,最终形成检索匹配集,然后通过聚类方法,计算出搜索信息向量与匹配数据集间的相似度,并把相似度较高的数据集中在一起,形成一个个的聚类的检索。根据不同的聚类水平的要求,可以形成不同聚类层次的类目体系。在这样的类目体系中,主题相近、内容相关的信息便聚在一起,而相异的则被区分开。通过自定义信息检索匹配集合后,运用本方法可将单个或多个类目体系信息生成可供抽取的原始基础数据。
(5)建立基础变量队列
获取原始数据(即所述基础数据和所述关联性数据)后进行加工处理,根据企业自身的实际情况建立N(N越大分析结果越精确)个基础变量,每个基础变量对应如交易量、处理量、故障次数等数据指标。
步骤二、数据标准化:对采集的原始数据行进趋势性分析,并建立趋势性数据集;具体步骤如下:
将采集后的数据划分为模型训练集、验证集和测试集,对于整体波动趋势不明显的数据集,将数据集划为非趋势数据集,对于非趋势项数据集通过并联算法对数据进行处理,将其转化为趋势性数据集,所述并联算法用于将非趋势性数据集转化为可建立参考频度曲线的趋势性数据集,其关联规则是一种基于大型事务数据集的发现模式,令I={i1,i2,...,id}是事务数据集中所有项的集合,其中项是指事务每一列所对应的属性,采用二元表示方法,由0个或多个项组成的集合称为项集,项集的一个重要性质是它的支持度计数,即包含特定项集的事务个数,数学表示如下:
σ(X)=|ti|X∈ti,t{i∈T}|
而T=t1,t2,…,t{}N是所有事务的集合,每个事务ti包含的项集都是I的子集,关联规则是形如X→Y的蕴涵表达式,其中X和Y是不相交的项集,即X∩Y=空,关联规则的强度可以用它的支持度和置信度度量,支持度确定规则可以用于给定数据集的频繁程度,而置信度确定Y在包含X的事务中出现的频繁程度,支持度s和置信度c这两种度量的形式定义如下:
s(X→Y)=σ(X∪Y)/N
c(X→Y)=σ(X∪Y)/σ(X)
若设定最小支持度和最小置信度是对应的支持度与置信度阈值,则关联规则发现是指找到支持度大于等于最小支持度并且置信度大于等于最小置信度的所有规则。
步骤三、建立波动参考区间:通过计算公式将趋势性数据集转为监控指标在数据模型分析后的参考对象,并建立监控指标在每个时间颗粒度上的正常值波动范围区间。
通过用计算公式对已收集到的监控指标趋势性数据集进行度量与分析,可有效把握数据的变化范围和规律,将时间颗粒度上的单值转为科学严谨的波动范围,并将分析后的数据以时间颗粒度建立指标运行正常范围内的波动参考区间,后期可根据信息系统的应用特征及规律设定系统运行安全指标,对超出安全指标范围的各种情况设计相应的信息系统运维策略。
具体步骤如下:
(1)对趋势性数据集进处理和分析。根据系统发生故障时点前,系统处于亚健康状态时各基础变量的特征,寻找其中的规律性变化。通过对企业现存运维记录指明发生故障的时点前变量变化遵循以下特征:
一是故障发生时系统变量与正常同时段相比,降到比较低的水平。二是故障发生前变量逐步降低,通过数个周期后达到故障点,当波形发生明显异常时,距离故障记录点仍有一段时间。即基于对历史数据的分析,确定每个时刻观察变量的正常区间。为使不同监控时间段(一般一个工作日为一个时段)相同时点的频数序列具有可比性,首先需要对数据进行标准化,公式如下:
Ri(t)=Ii(i)/Si(t)
其中Ii(t)为t时刻第i个标准变量的原始输入值;Si(t)为t时刻第i个标准变量的标准化系数,即为检查时间周期均值;Ri(t)为标准化后变量值,即频数相对比率。经检验Si(t)的波动近似服从正态分布,因此设置置信度为Z,得出预测区间[Ui(t)–Z*Oi(t),Ui(t)+Z*Oi(t)],取其边界为Si(t)的预测区间。其中为第i个标准变量在模型训练集中有效监控时间段t时刻的均值,为t时刻第i个标准变量的标准差。Ri(t)值的边界即为当前数据的合理波动范围。
(2)将各上个步骤分析后的数据建立频数时间序列,为平滑各频数指标波动性,及保障预测的及时性,应选择T为时间粒度对上述指标进行汇总建立指标波动参考区间,T时间越短曲线越真实,原则上按照趋势性数据集中最低频率建立时间颗粒。
步骤四、利用数据分析模型处理监控数据:将需要分析的原始数据利用数据分析模型转换为反映数据产生对象真实运行状态的科学参考指标;
数据分析模型的建立过程如下:
本分析数据模型主要用于将原始数据转换为反映数据产生对象真实运行状态的科学参考指标,该指标同时也是处理策略触发的核心数据。具体的数据分析模型建立方法如下:
(1)建立调整因子序列:
调整因子序列,频数标准化依赖监控时间段均值,而实时监控时无法直接获取该项数据,因此引入调整因子指标,通过累积频数来估计均值,定义如下:
调整因子向量,即一个监控时间段内不同时刻(时刻点计算公式为24*60/时间颗粒)累积频数占当日总频数的百分比,以M天的数据计算均值。调整因子是否有效取决于其在不同工作目的稳定性,我们统计了每个时刻调整因子在M天分布的变异系数Cv=O/U。
例如:变异系数从每天的开始时点(凌晨零点)起稳步下降,即估算结果相对稳定性逐步提高。至上班时间点,登入量变异系数0.18,登出量变异系数0.30,交易量变异系数0.22,综合考虑模型稳定性和模型应用场景,模型设定预警功能在正常工作时间前半小时开启(可根据实际需求设定)开启。
建立调整因子序列后,可以在当前时刻用累积频数估计监控时段内均值:
Si(t)=(θi(t)/Ai(t))/(24*60/时间颗粒)),对当前频数序列进行标准化,进而判断是否位于参考波动区间内。
(2)建立预警信号加权规则:
基于监控的基础变量设计的预警指标均会产生预警信号。
其中,Ri(t)为t时刻第i个变量的相对值;R’i(t)为t时刻第i个标准变量的下边界值,Gi(t)为t时刻第i个信号量的值。为提高预警信号的准确度,将3个信号量进行加权产生最终的三级预警信号,进而根据预警信号的值产生警报。具体公式如下:
G(t)=∑di|Gi(t)t>T
其中,di为信号量的权重,∑di=1;T为模型开启时间点。
(3)模型适用性说明:
适用于会影响到系统整体响应服务能力的重大故障,且系统访问量平稳性较好。无法预测突发式系统崩溃,例如:服务器掉电,管理员异常操作导致系统硬件故障,无规律网络恶意攻击等。模型应用期间需持续监控模型预测效果,目标系统坚持进行系统故障记录,为模型优化提供数据基础。
(4)模型校验规则:
基于模型验证数据,对模型的应用效果进行了检验。通过由系统记录的系统故障、波形异常数据作为检验基础,对模型产生的所有信号进行统计,通过漏报率,弃真,第一类错误)、准确性(取伪,第二类错误)及预测的时效性3个指标进行检验。测算其预报准确率大于75%,漏报率小于35%,平均预报比故障发生提前5个监测时间颗粒,则说明总体达到了建模时预设的目标。
步骤五、启动处理策略集:过将数据分析模型处理后的监控指标对比同颗粒度上的波动区间值进行分析,根据不同的结果启动相应处理策略。
处理策略集建立方法:
本处理策略集建立方法基于利用关系模式理论和数据挖掘分类技术,其核心点为利用关系模式范式设计方法和基于规则分类思想建立科学、高效、符合实际的故障关联集合建立方法。首先建立可处理故障关联集合,将前期建立的N个趋势性数据通过故障关联集合建立方法划分到各个故障关联集合中,例如对于CPU使用率、内存使用率、磁盘使用率指标都与系统运行故障和数据库运行故障相关,则在建立的系统运行故障和数据库故障相关的关联集合中,都可以加入这3项趋势性指标。对于每一个故障关联集合,需对其中的每一个元素设置该故障的触发阀值,并设置故障发生时的监测优先级和处理策略,如某个数据操作失败故障关联集合中包含数据库表空间使用率、网络连接状况、CPU使用率指标,对于数据操作失败故障,在故障处理策略触发后,优先监测数据库表空间使用率(设置的故障触发阀值为95%,监测优先级为1)指标,如果表空间使用率为98%,则触发表空间使用率处理策略(自动扩充表空间或通知数据库DBA处理),如表空间使用率正常,则以相同原理监测网络连接状况指标。
本分析方法为掌控大型企业信息系统运行情况提供了科学高效智能的分析理论,同时也为系统运维工具/平台的开发提供了技术核心。目前虽然存在多种智能运维的相关技术与理论,但在整体效率、智能化程度、适用范围上达不到本方法的高度。本分析方法所涉及的框架设计及包含的计算方法都是通过大量的实际数据研究和科学计算得出,在基于本分析方法的核心框架前提下,通过替换数据处理公式后,也可能达到本分析方法的部分效果,但分析结果的科学性、准确性存在疑问。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何属于本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种企业信息系统运维智能分析方法,其特征在于包括如下步骤:
步骤一、数据采集:采集用于分析系统运行指标的基础数据以及用于辅助分析关键性数据的逻辑关联性数据;
步骤二、数据标准化:对采集的原始数据行进趋势性分析,并建立趋势性数据集;
步骤三、建立波动参考区间:通过计算公式将趋势性数据集转为监控指标在数据模型分析后的参考对象,并建立监控指标在每个时间颗粒度上的正常值波动范围区间;
步骤四、利用数据分析模型处理监控数据:将需要分析的原始数据利用数据分析模型转换为反映数据产生对象真实运行状态的科学参考指标;
步骤五、启动处理策略集:过将数据分析模型处理后的监控指标对比同颗粒度上的波动区间值进行分析,根据不同的结果启动相应处理策略。
2.如权利要求1所述的企业信息系统运维智能分析方法,其特征在于步骤一具体包括:
(1)确定数据采集规则:采集数据的选取要结合实际运维工作中的记录来分析,在业务层面选取的变量需能够整体反映系统的服务性能,数据层面选取的变量则需具有趋势性、自身波动性;
(2)建立基础数据采集范围:在数据采集范围方面,首先采集的对象为各应用系统运行全面直观信息基础数据,根据信息的特点将信息划分类别,确定建模基础数据采集范围,包含系统操作日志、运行日志和异常日志中提炼抽取的数据;
(3)建立逻辑关联性数据采集范围:使用关系测定理论,在定性分析的基础上,通过相关表、相关图、计算相关系数与判断系数相结合,在大量的抽象数据源中使用公式采集与主要分析直观信息的基础数据在同一逻辑关联范围内的相关性数据,具体分析公式如下:
r = n Σ x y - Σ x Σ y ( n Σ x 2 - ( Σ x ) 2 ) ( n Σ y 2 - ( Σ y ) 2 )
其中x为系统运行指标,y分别为检验指标,r为相关性系数,当|r|>0.8即可判断x和y存在相关性,可将y纳入采集范围。
(4)对抽象数据进行智能抽取,获得可供抽取的原始基础数据;
(5)建立基础变量队列:获取原始数据后进行加工处理,根据企业自身的实际情况建立多个基础变量,每个基础变量对应多个数据指标。
3.如权利要求2所述的企业信息系统运维智能分析方法,其特征在于:所述本智能抽取方法基于聚类检索和字段限定检索理论,在对抽象数据进行自动标引的基础上,构造抽象数据的形式化表示——搜索信息向量,然后同时对抽象数据源进行关键信息检索,查找检索条件的记录,每次检索的信息可根据实际需求匹配多个字段,最终形成检索匹配集,然后通过聚类方法,计算出搜索信息向量与匹配数据集间的相似度,并把相似度较高的数据集中在一起,形成一个个的聚类的检索,通过自定义信息检索匹配集合后,可将单个或多个类目体系信息生成可供抽取的原始基础数据。
4.如权利要求1所述的企业信息系统运维智能分析方法,其特征在于步骤二具体包括:
将采集后的数据划分为模型训练集、验证集和测试集,对于整体波动趋势不明显的数据集,将数据集划为非趋势数据集,对于非趋势项数据集需结合并联算法对数据进行处理,将其转化为趋势性数据集,所述并联算法用于将非趋势性数据集转化为可建立参考频度曲线的趋势性数据集。其关联规则是一种基于大型事务数据集的发现模式,令I={i1,i2,...,id}是事务数据集中所有项的集合,其中项是指事务每一列所对应的属性,采用二元表示方法,由0个或多个项组成的集合称为项集,项集的一个重要性质是它的支持度计数,即包含特定项集的事务个数,数学表示如下:
σ(X)=|ti|X∈ti,t{i∈T}|
而T=t1,t2,…,t{}N是所有事务的集合,每个事务ti包含的项集都是I的子集,关联规则是形如X→Y的蕴涵表达式,其中X和Y是不相交的项集,即X∩Y=空。关联规则的强度可以用它的支持度和置信度度量,支持度确定规则可以用于给定数据集的频繁程度,而置信度确定Y在包含X的事务中出现的频繁程度,支持度s和置信度c这两种度量的形式定义如下:
s(X→Y)=σ(X∪Y)/N
c(X→Y)=σ(X∪Y)/σ(X)
若设定最小支持度和最小置信度是对应的支持度与置信度阈值,则关联规则发现是指找到支持度大于等于最小支持度并且置信度大于等于最小置信度的所有规则。
5.如权利要求1所述的企业信息系统运维智能分析方法,其特征在于步骤三具体包括:
(1)对趋势性数据集进处理和分析:对数据进行标准化,公式如下:
Ri(t)=Ii(i)/Si(t)
其中Ii(t)为t时刻第i个标准变量的原始输入值;Si(t)为t时刻第i个标准变量的标准化系数,即为检查时间周期均值;Ri(t)为标准化后变量值,即频数相对比率。经检验Si(t)的波动近似服从正态分布,因此设置置信度为Z,得出预测区间[Ui(t)–Z*Oi(t),Ui(t)+Z*Oi(t)],取其边界为Si(t)的预测区间。其中为第i个标准变量在模型训练集中有效监控时间段t时刻的均值,为t时刻第i个标准变量的标准差。Ri(t)值的边界即为当前数据的合理波动范围;
(2)将各上个步骤分析后的数据建立频数时间序列,为平滑各频数指标波动性及保障预测的及时性,选择T为时间粒度对上述指标进行汇总建立指标波动参考区间,T时间越短曲线越真实,原则上按照趋势性数据集中最低频率建立时间颗粒。
6.如权利要求1所述的企业信息系统运维智能分析方法,其特征在于步骤四中数据分析模型的建立过程如下:
(1)建立调整因子序列:
调整因子序列,频数标准化依赖监控时间段均值,而实时监控时无法直接获取该项数据,因此引入调整因子指标,通过累积频数来估计均值,定义如下:
A i ( t ) = 1 M Σ M [ Σ t = 0 t I i ( t ) Σ t = 0 24 I i ( t ) ]
调整因子向量,即一个监控时间段内不同时刻累积频数占当日总频数的百分比,以M天的数据计算均值;
建立调整因子序列后,在当前时刻用累积频数估计监控时段内均值:
Si(t)=(θi(t)/Ai(t))/(24*60/时间颗粒)),对当前频数序列进行标准化,进而判断是否位于参考波动区间内;
(2)建立预警信号加权规则:
基于监控的基础变量设计的预警指标均会产生预警信号。
G i ( t ) = 1 R i ( t ) < R ` i ( t ) 0 R i ( t ) &GreaterEqual; R ` i ( t )
其中,Ri(t)为t时刻第i个变量的相对值;R’i(t)为t时刻第i个标准变量的下边界值,Gi(t)为t时刻第i个信号量的值,将3个信号量进行加权产生最终的三级预警信号,进而根据预警信号的值产生警报,具体公式如下:
G(t)=∑di|Gi(t))t>T
其中,di为信号量的权重,∑di=1;T为模型开启时间点。
7.如权利要求1所述的企业信息系统运维智能分析方法,其特征在于步骤五中处理策略集建立方法为:
首先建立可处理故障关联集合,将前期建立的N个趋势性数据通过故障关联集合建立方法划分到各个故障关联集合中;对于每一个故障关联集合,对其中的每一个元素设置该故障的触发阀值,并设置故障发生时的监测优先级和处理策略,在故障处理策略触发后,优先监测数据库表空间使用率指标,如果表空间使用率达到预设的阈值,则触发表空间使用率处理策略,如表空间使用率正常,则以相同原理监测网络连接状况指标。
CN201611062149.8A 2016-11-28 2016-11-28 一种企业信息系统运维智能分析方法 Pending CN106600115A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611062149.8A CN106600115A (zh) 2016-11-28 2016-11-28 一种企业信息系统运维智能分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611062149.8A CN106600115A (zh) 2016-11-28 2016-11-28 一种企业信息系统运维智能分析方法

Publications (1)

Publication Number Publication Date
CN106600115A true CN106600115A (zh) 2017-04-26

Family

ID=58593510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611062149.8A Pending CN106600115A (zh) 2016-11-28 2016-11-28 一种企业信息系统运维智能分析方法

Country Status (1)

Country Link
CN (1) CN106600115A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107370618A (zh) * 2017-06-05 2017-11-21 北京奇艺世纪科技有限公司 故障排查方法、装置及电子设备
CN107423192A (zh) * 2017-06-14 2017-12-01 华迪计算机集团有限公司 一种用于多级运行维护监控服务的系统及方法
CN108390793A (zh) * 2018-01-29 2018-08-10 苏宁云商集团股份有限公司 一种分析系统稳定性的方法及装置
CN108596436A (zh) * 2018-03-28 2018-09-28 郑州铁路职业技术学院 基于计算机的经济指标实时监控分析方法
CN108847955A (zh) * 2018-05-04 2018-11-20 郑州祺石信息技术有限公司 一种设备与业务的故障预警监测方法
CN109656969A (zh) * 2018-11-16 2019-04-19 北京奇虎科技有限公司 数据异动分析方法及装置
CN109743204A (zh) * 2018-12-28 2019-05-10 肇庆学院 一种智能化运维系统
CN110083507A (zh) * 2019-04-19 2019-08-02 中国科学院信息工程研究所 关键性能指标分类方法及装置
CN110232119A (zh) * 2019-05-08 2019-09-13 中国科学院计算技术研究所 基于元分析的通用智能度量模型构建方法和系统
CN110659173A (zh) * 2018-06-28 2020-01-07 中兴通讯股份有限公司 一种运维系统及方法
CN110853744A (zh) * 2019-09-04 2020-02-28 太原市中心医院 一种大数据下医院质控管理系统
CN111460027A (zh) * 2020-03-31 2020-07-28 贵州电网有限责任公司 一种适用于能源互联网的智能动态监测方法及系统
CN113033839A (zh) * 2021-03-17 2021-06-25 山东通维信息工程有限公司 一种基于itss的高速公路机电智能运维改进的方法
CN113722403A (zh) * 2020-05-25 2021-11-30 中国石油化工股份有限公司 异常运行数据的聚类方法、装置、存储介质及处理器
CN114996360A (zh) * 2022-07-20 2022-09-02 江西现代职业技术学院 数据分析方法、系统、可读存储介质及计算机设备
CN115001835A (zh) * 2022-06-15 2022-09-02 覃惠玲 一种基于物联网终端的数据加密系统
CN117391644A (zh) * 2023-12-12 2024-01-12 国网物资有限公司 一种参数调整方法、装置、设备及存储介质

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107370618A (zh) * 2017-06-05 2017-11-21 北京奇艺世纪科技有限公司 故障排查方法、装置及电子设备
CN107423192A (zh) * 2017-06-14 2017-12-01 华迪计算机集团有限公司 一种用于多级运行维护监控服务的系统及方法
CN108390793A (zh) * 2018-01-29 2018-08-10 苏宁云商集团股份有限公司 一种分析系统稳定性的方法及装置
CN108596436A (zh) * 2018-03-28 2018-09-28 郑州铁路职业技术学院 基于计算机的经济指标实时监控分析方法
CN108847955A (zh) * 2018-05-04 2018-11-20 郑州祺石信息技术有限公司 一种设备与业务的故障预警监测方法
CN110659173B (zh) * 2018-06-28 2023-05-26 中兴通讯股份有限公司 一种运维系统及方法
CN110659173A (zh) * 2018-06-28 2020-01-07 中兴通讯股份有限公司 一种运维系统及方法
US11947438B2 (en) 2018-06-28 2024-04-02 Xi'an Zhongxing New Software Co., Ltd. Operation and maintenance system and method
CN109656969A (zh) * 2018-11-16 2019-04-19 北京奇虎科技有限公司 数据异动分析方法及装置
CN109743204A (zh) * 2018-12-28 2019-05-10 肇庆学院 一种智能化运维系统
CN110083507A (zh) * 2019-04-19 2019-08-02 中国科学院信息工程研究所 关键性能指标分类方法及装置
CN110232119A (zh) * 2019-05-08 2019-09-13 中国科学院计算技术研究所 基于元分析的通用智能度量模型构建方法和系统
CN110853744A (zh) * 2019-09-04 2020-02-28 太原市中心医院 一种大数据下医院质控管理系统
CN111460027B (zh) * 2020-03-31 2023-12-05 贵州电网有限责任公司 一种适用于能源互联网的智能动态监测方法及系统
CN111460027A (zh) * 2020-03-31 2020-07-28 贵州电网有限责任公司 一种适用于能源互联网的智能动态监测方法及系统
CN113722403A (zh) * 2020-05-25 2021-11-30 中国石油化工股份有限公司 异常运行数据的聚类方法、装置、存储介质及处理器
CN113033839A (zh) * 2021-03-17 2021-06-25 山东通维信息工程有限公司 一种基于itss的高速公路机电智能运维改进的方法
CN115001835A (zh) * 2022-06-15 2022-09-02 覃惠玲 一种基于物联网终端的数据加密系统
CN114996360A (zh) * 2022-07-20 2022-09-02 江西现代职业技术学院 数据分析方法、系统、可读存储介质及计算机设备
CN117391644A (zh) * 2023-12-12 2024-01-12 国网物资有限公司 一种参数调整方法、装置、设备及存储介质
CN117391644B (zh) * 2023-12-12 2024-02-06 国网物资有限公司 一种合同管理过程中参数调整方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN106600115A (zh) 一种企业信息系统运维智能分析方法
US11748227B2 (en) Proactive information technology infrastructure management
Manco et al. Fault detection and explanation through big data analysis on sensor streams
CN110084326B (zh) 一种基于模糊集的工业设备异常检测方法
CN102098180A (zh) 一种网络安全态势感知方法
CN102282552A (zh) 基于模式的智能控制、监测及自动化的系统、方法和计算机程序
CN104636449A (zh) 基于lsa-gcc的分布式大数据系统风险识别方法
CN111538741B (zh) 一种面向警情大数据的深度学习分析方法及系统
CN109829721B (zh) 基于异质网络表征学习的线上交易多主体行为建模方法
CN105871634A (zh) 检测集群异常的方法及应用、管理集群的系统
CN104050361A (zh) 一种监狱服刑人员危险性倾向的智能分析预警方法
CN111738843B (zh) 一种使用流水数据的量化风险评价系统和方法
CN109088869A (zh) Apt攻击检测方法及装置
VS Multi Label Deep Learning classification approach for False Data Injection Attacks in Smart Grid.
CN111143838A (zh) 数据库用户异常行为检测方法
Momtazpour et al. Analyzing invariants in cyber-physical systems using latent factor regression
Gupta et al. A supervised deep learning framework for proactive anomaly detection in cloud workloads
CN107368516A (zh) 一种基于层次聚类的日志审计方法及装置
CN110337640A (zh) 用于问题警报聚合的方法和系统
Zhu et al. A Performance Fault Diagnosis Method for SaaS Software Based on GBDT Algorithm.
Liu et al. Valid probabilistic anomaly detection models for system logs
CN102611714B (zh) 基于联系发现技术的网络入侵预测方法
CN115564410A (zh) 一种继电保护设备的状态监测方法及装置
Xia et al. A study on the significance of software metrics in defect prediction
CN111221704B (zh) 一种确定办公管理应用系统运行状态的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170426

RJ01 Rejection of invention patent application after publication