CN111221704A - 一种确定办公管理应用系统运行状态的方法及系统 - Google Patents

一种确定办公管理应用系统运行状态的方法及系统 Download PDF

Info

Publication number
CN111221704A
CN111221704A CN201911400433.5A CN201911400433A CN111221704A CN 111221704 A CN111221704 A CN 111221704A CN 201911400433 A CN201911400433 A CN 201911400433A CN 111221704 A CN111221704 A CN 111221704A
Authority
CN
China
Prior art keywords
application
target object
relationship
relation
fault
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911400433.5A
Other languages
English (en)
Other versions
CN111221704B (zh
Inventor
仲跻冲
徐志斌
叶晗
黄超
郜义浩
王晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Capital Road Development Group Co ltd
Beijing Yunxingyu Traffic Science & Technology Co ltd
Original Assignee
Beijing Capital Road Development Group Co ltd
Beijing Yunxingyu Traffic Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Capital Road Development Group Co ltd, Beijing Yunxingyu Traffic Science & Technology Co ltd filed Critical Beijing Capital Road Development Group Co ltd
Priority to CN201911400433.5A priority Critical patent/CN111221704B/zh
Publication of CN111221704A publication Critical patent/CN111221704A/zh
Application granted granted Critical
Publication of CN111221704B publication Critical patent/CN111221704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3051Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447Performance evaluation by modeling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452Performance evaluation by statistical analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种确定办公管理应用系统运行状态的方法及系统,包括:确定待测的办公管理应用系统的应用结构模型和应用关系模型;所述应用结构模型包括:应用的构成组件、组件的运行依赖关系和组件对应用的依赖关系,应用关系模型包括:应用间的运行依赖关系和影响;根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用负载评价模型确定待测的办公管理应用系统的应用负载评分;根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用质量评价模型确定待测的办公管理应用系统的应用质量评分;根据预设的基础指标和当前的日志,基于预设的规则识别方法和人工智能识别方法进行故障识别和预警。

Description

一种确定办公管理应用系统运行状态的方法及系统
技术领域
本发明涉及系统监控技术领域,并且更具体地,涉及一种确定办公管理应用系统运行状态的方法及系统。
背景技术
近些年随着业务系统规模不断扩大,系统组织结构也变得十分复杂,常规的基于规则的故障预测方法已经很难判断各个系统相互作用下的复合型故障,难以分析数据存在的复杂特性,也难以准确预测故障情况。这种情况下,对于复杂系统的综合状况评价分析就显得尤为重要。
对于传统的单机日志而言,通常直接使用shell或者python脚本对日志进行分析,随着日志数量逐渐的增大,开始需要使用并行计算等方式。出现了采用分布式组件构建日志采集、日志分析系统,并且逐渐成为了各大互联网企业的标准配置。
日志的分析和处理包括Hadoop、Spark、Storm、Spark Streaming等工具。Hadoop与Spark主要用于离线计算,可以对日志进行处理,将处理结果保存在指定数据库中,同时提供多种查询;Storm、Spark Streaming等可以实现实时计算,对日志进行实时处理,并把处理的结果进行存储、展示和告警。
深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。深度学习最大的一个好处是使用无监督或半监督的特征学习和分层特征提取算法来替代手工获取特征,从而大大减少研究人员对研究领域知识的依赖。
当前深度学习中有很多成功的模型框架,例如深度神经网络、卷积神经网络、循环神经网络等等。这些模型广泛应用于多个研究领域,在计算机视觉、语音识别、自然语言处理以及生物信息学等领域都取得了极好的效果。
发明内容
本发明提出一种确定办公管理应用系统运行状态的方法及系统,以解决如何确定办公管理应用系统的运行状态的问题。
为了解决上述问题,根据本发明的一个方面,提供了一种确定办公管理应用系统运行状态的方法,所述方法包括:
确定待测的办公管理应用系统的应用结构模型和应用关系模型;其中所述应用结构模型包括:应用的构成组件、组件的运行依赖关系和组件对应用的依赖关系,应用关系模型包括:应用间的运行依赖关系和影响;
根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用负载评价模型确定待测的办公管理应用系统的应用负载评分;其中,关系目标对象为应用或组件;
根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用质量评价模型确定待测的办公管理应用系统的应用质量评分;
根据预设的基础指标和当前的日志,基于预设的规则识别方法和人工智能识别方法进行故障识别和预警。
优选地,其中所述根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用负载评价模型确定待测的办公管理应用系统的应用负载评分,包括:
Figure BDA0002347327330000021
其中,L为应用负载评分;Li为在关系链中该应用的下一层的第i个关系目标对象的负载评分;Wi为第i个关系目标对象的权重;其中,任一关系目标对象自身的负载评分均根据其下层的关系目标对象的负载评分和权重利用上述公式确定,且处于关系链的最下层的关系目标对象为各监控项。
优选地,其中所述根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用质量评价模型确定待测的办公管理应用系统的应用质量评分,包括:
Figure BDA0002347327330000031
Figure BDA0002347327330000032
其中,S1为待测的办公管理应用系统的应用质量评分;Si在关系链中该应用的下一层的第i个关系目标对象的质量评分;Wi为第i个关系目标对象的权重;Ck是所有指标中存在的第k个关键依赖指标的第一标识值,所述第一标识值为0或1,当某一个属于关键依赖指标的关系目标对象为故障时,也标记其上层的源目标为故障,m为关键依赖指标的个数;n为与当前应用相关的关系目标对象的个数;其中,任一关系目标对象自身的质量评分均根据其相关的关系目标对象的质量评分和权重利用上述公式确定,且处于关系链的最下层的关系目标对象为各监控项。
优选地,其中所述根据预设的基础指标和当前的日志,基于预设的规则识别方法和人工智能识别方法进行故障识别和预警,包括:
确定预设的基础指标的采集结果,并采用阈值四则运算和逻辑表达式的算法对所述采集结果和预设的指标阈值进行逻辑运算,获取运算结果,并根据所述运算结果判断是否发生故障;
当故障发生时,根据第一预设时间段的日志,利用训练好的人工智能识别模型确定当前时刻发生的故障的故障类型和严重程度;
根据预设的基础指标的移动平均线的斜率与预设的阈值相交的概率和时间,进行故障预警;
根据第二预设时间段内的日志,利用训练好的人工智能识别模型确定未来的第三预设时间段内预警信息。
优选地,其中所述方法还包括:
基于所述应用关系模型中应用间的运行依赖关系和影响,利用故障传导模型进行故障检测;其中,所述故障传导模型包括:
Figure BDA0002347327330000041
Figure BDA0002347327330000042
其中,S2为应用质量评分;Si为第i个关系目标对象的应用质量评分,Wi为第i个关系目标对象的权重,Cp是所有指标中存在的第p个关键依赖指标的第二标识值,所述第二标识值为0或1,当某一个属于关键依赖指标的关系目标对象为故障时,也标记其上层的源目标为故障,q为关键依赖指标的个数;n为与当前应用相关的关系目标对象的个数;其中,任一关系目标对象自身的质量评分均根据其相关的关系目标对象的质量评分和权重利用上述公式确定,且处于关系链的最下层的关系目标对象为各监控项。
根据本发明的另一个方面,提供了一种确定办公管理应用系统运行状态的系统,所述系统包括:
应用结构和关系确定单元,用于确定待测的办公管理应用系统的应用结构模型和应用关系模型;其中所述应用结构模型包括:应用的构成组件、组件的运行依赖关系和组件对应用的依赖关系,应用关系模型包括:应用间的运行依赖关系和影响;
应用负载评分单元,用于根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用负载评价模型确定待测的办公管理应用系统的应用负载评分;其中,关系目标对象为应用或组件;
应用质量评分单元,用于根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用质量评价模型确定待测的办公管理应用系统的应用质量评分;
故障识别和预警单元,用于根据预设的基础指标和当前的日志,基于预设的规则识别系统和人工智能识别系统进行故障识别和预警。
优选地,其中所述应用负载评分单元,根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用负载评价模型确定待测的办公管理应用系统的应用负载评分,包括:
Figure BDA0002347327330000051
其中,L为应用负载评分;Li为在关系链中该应用的下一层的第i个关系目标对象的负载评分;Wi为第i个关系目标对象的权重;其中,任一关系目标对象自身的负载评分均根据其下层的关系目标对象的负载评分和权重利用上述公式确定,且处于关系链的最下层的关系目标对象为各监控项。
优选地,其中所述应用质量评分单元,根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用质量评价模型确定待测的办公管理应用系统的应用质量评分,包括:
Figure BDA0002347327330000052
Figure BDA0002347327330000053
其中,S1为待测的办公管理应用系统的应用质量评分;Si在关系链中该应用的下一层的第i个关系目标对象的质量评分;Wi为第i个关系目标对象的权重;Ck是所有指标中存在的第k个关键依赖指标的第一标识值,所述第一标识值为0或1,当某一个属于关键依赖指标的关系目标对象为故障时,也标记其上层的源目标为故障,m为关键依赖指标的个数;n为与当前应用相关的关系目标对象的个数;其中,任一关系目标对象自身的质量评分均根据其相关的关系目标对象的质量评分和权重利用上述公式确定,且处于关系链的最下层的关系目标对象为各监控项。
优选地,其中所述故障识别和预警单元,根据预设的基础指标和当前的日志,基于预设的规则识别系统和人工智能识别系统进行故障识别和预警,包括:
确定预设的基础指标的采集结果,并采用阈值四则运算和逻辑表达式的算法对所述采集结果和预设的指标阈值进行逻辑运算,获取运算结果,并根据所述运算结果判断是否发生故障;
当故障发生时,根据第一预设时间段的日志,利用训练好的人工智能识别模型确定当前时刻发生的故障的故障类型和严重程度;
根据预设的基础指标的移动平均线的斜率与预设的阈值相交的概率和时间,进行故障预警;
根据第二预设时间段内的日志,利用训练好的人工智能识别模型确定未来的第三预设时间段内预警信息。
优选地,其中所述系统还包括:
故障检测单元,用于基于所述应用关系模型中应用间的运行依赖关系和影响,利用故障传导模型进行故障检测;其中,所述故障传导模型包括:
Figure BDA0002347327330000061
Figure BDA0002347327330000062
其中,S2为应用质量评分;Si为第i个关系目标对象的应用质量评分,Wi为第i个关系目标对象的权重,Cp是所有指标中存在的第p个关键依赖指标的第二标识值,所述第二标识值为0或1,当某一个属于关键依赖指标的关系目标对象为故障时,也标记其上层的源目标为故障,q为关键依赖指标的个数;n为与当前应用相关的关系目标对象的个数;其中,任一关系目标对象自身的质量评分均根据其相关的关系目标对象的质量评分和权重利用上述公式确定,且处于关系链的最下层的关系目标对象为各监控项。
本发明提供了一种确定办公管理应用系统运行状态的方法及系统,通过系统负载评价、系统质量评价、系统故障识别等不同维度确定系统的运行状态,既可以直观反应应用系统整体运行状况,也可以直观地对系统负载、质量、故障等子维度进行监控,包含应用相关的所有维度信息,可以全方位的评价复杂系统整体运行状态,同时不以主机作为最小监控粒度,从应用出发,能够更加直接的反映出系统存在的问题,对系统进行监管。
附图说明
通过参考下面的附图,可以更为完整地理解本发明的示例性实施方式:
图1为根据本发明实施方式的确定办公管理应用系统运行状态的方法100的流程图;
图2为根据本发明实施方式的确定应用系统运行状态的系统的示意图;以及
图3为根据本发明实施方式的确定办公管理应用系统运行状态的系统300的结构示意图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式,然而,本发明可以用许多不同的形式来实施,并且不局限于此处描述的实施例,提供这些实施例是为了详尽地且完全地公开本发明,并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中,相同的单元/元件使用相同的附图标记。
除非另有说明,此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外,可以理解的是,以通常使用的词典限定的术语,应当被理解为与其相关领域的语境具有一致的含义,而不应该被理解为理想化的或过于正式的意义。
图1为根据本发明实施方式的确定办公管理应用系统运行状态的方法100的流程图。如图1所示,本发明实施方式提供的确定办公管理应用系统运行状态的方法,通过系统负载评价、系统质量评价、系统故障识别等不同维度确定系统的运行状态,既可以直观反应应用系统整体运行状况,也可以直观地对系统负载、质量、故障等子维度进行监控,包含应用相关的所有维度信息,可以全方位的评价复杂系统整体运行状态,同时不以主机作为最小监控粒度,从应用出发,能够更加直接的反映出系统存在的问题,对系统进行监管。本发明实施方式提供的确定办公管理应用系统运行状态的方法100,从步骤101处开始,在步骤101确定待测的办公管理应用系统的应用结构模型和应用关系模型;其中所述应用结构模型包括:应用的构成组件、组件的运行依赖关系和组件对应用的依赖关系,应用关系模型包括:应用间的运行依赖关系和影响。
本发明实施方式提供的确定应用系统运行状态的方法,分为监控模型与应用模型两部分,涉及的内容包括应用结构、应用关系、负载评价、健康度评价、故障识别等等。具体功能模块以及各个模块之间的关系如图2所示。
其中,应用建模针对系统业务应用,包括应用结构建模与应用关系建模部分。应用结构建模用于描述应用由哪些组件构成、组件间的运行依赖关系,以及组件对主机、储存、数据库等的依赖关系。应用关系建模功能用于描述应用间的运行依赖关系与影响,此功能可以进一步提升运维监控效率,缩短应用故障恢复时间。对于不同业务系统其内部结构与外部关系也有所不同。因此该部分内容不能通过定制化固定结构实现,而应该只保留各模块评分计算方法,同时为相关业务人员提供可自行配置的基础模块,在业务人员定义当前各个系统关系之后,根据评分计算方法自动生成系统评分。
在步骤102,根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用负载评价模型确定待测的办公管理应用系统的应用负载评分;其中,关系目标对象为应用或组件。
优选地,其中所述根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用负载评价模型确定待测的办公管理应用系统的应用负载评分,包括:
Figure BDA0002347327330000081
其中,L为应用负载评分;Li为在关系链中该应用的下一层的第i个关系目标对象的负载评分;Wi为第i个关系目标对象的权重;其中,任一关系目标对象自身的负载评分均根据其下层的关系目标对象的负载评分和权重利用上述公式确定,且处于关系链的最下层的关系目标对象为各监控项。
如图2所示,监控模型包括负载评价模型、质量评价模型和故障检测三部分内容。
其中,负载评价模型用于对应用和组件,以及其依赖的主机、存储、数据库、中间件、网络等进行容量使用的情况评价。负载评价由其所依赖的组件负载及其权重综合计算得出,依关系链向上传播。算法如下:
Figure BDA0002347327330000091
其中,L为应用负载评分,Li为关系目标对象(模块、主机,最细程度为监控项)评分,Wi为关系目标对象权重。另外,各目标对象本身的负载评价得分也采用上面的公式计算得来。
在步骤103,根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用质量评价模型确定待测的办公管理应用系统的应用质量评分。
优选地,其中所述根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用质量评价模型确定待测的办公管理应用系统的应用质量评分,包括:
Figure BDA0002347327330000092
Figure BDA0002347327330000093
其中,S1为待测的办公管理应用系统的应用质量评分;Si在关系链中该应用的下一层的第i个关系目标对象的质量评分;Wi为第i个关系目标对象的权重;Ck是所有指标中存在的第k个关键依赖指标的第一标识值,所述第一标识值为0或1,当某一个属于关键依赖指标的关系目标对象为故障时,也标记其上层的源目标为故障,m为关键依赖指标的个数;n为与当前应用相关的关系目标对象的个数;其中,任一关系目标对象自身的质量评分均根据其相关的关系目标对象的质量评分和权重利用上述公式确定,且处于关系链的最下层的关系目标对象为各监控项。
在本发明的实施方式中,健康度评价模型与负载评价模型类似,由其所依赖的组件负载及其权重综合计算得出,依关系链向上传播。算法如下:
Figure BDA0002347327330000101
Figure BDA0002347327330000102
其中,S1为待测的办公管理应用系统的应用质量评分,Si为第i个关系目标对象(模块或主机,最细程度为监控项)的评分,Wi为第i个关系目标对象权重,Ck是所有指标中存在的第k个关键依赖指标的第一标识值,所述第一标识值为0或1,当某一个属于关键依赖指标的关系目标对象为故障时,也标记其上层的源目标为故障,m为关键依赖指标的个数;n为与当前应用相关的关系目标对象的个数;其中,任一关系目标对象自身的质量评分均根据其相关的关系目标对象的质量评分和权重利用上述公式确定,且处于关系链的最下层的关系目标对象为各监控项。其中,各目标对象本身的健康度评分也采用上面的公式计算得来。
在步骤104,根据预设的基础指标和当前的日志,基于预设的规则识别方法和人工智能识别方法进行故障识别和预警。
优选地,其中所述根据预设的基础指标和当前的日志,基于预设的规则识别方法和人工智能识别方法进行故障识别和预警,包括:
确定预设的基础指标的采集结果,并采用阈值四则运算和逻辑表达式的算法对所述采集结果和预设的指标阈值进行逻辑运算,获取运算结果,并根据所述运算结果判断是否发生故障;
当故障发生时,根据第一预设时间段的日志,利用训练好的人工智能识别模型确定当前时刻发生的故障的故障类型和严重程度;
根据预设的基础指标的移动平均线的斜率与预设的阈值相交的概率和时间,进行故障预警;
根据第二预设时间段内的日志,利用训练好的人工智能识别模型确定未来的第三预设时间段内预警信息。
优选地,其中所述方法还包括:
基于所述应用关系模型中应用间的运行依赖关系和影响,利用故障传导模型进行故障检测;其中,所述故障传导模型包括:
Figure BDA0002347327330000111
Figure BDA0002347327330000112
其中,S2为应用质量评分;Si为第i个关系目标对象的应用质量评分,Wi为第i个关系目标对象的权重,Cp是所有指标中存在的第p个关键依赖指标的第二标识值,所述第二标识值为0或1,当某一个属于关键依赖指标的关系目标对象为故障时,也标记其上层的源目标为故障,q为关键依赖指标的个数;n为与当前应用相关的关系目标对象的个数;其中,任一关系目标对象自身的质量评分均根据其相关的关系目标对象的质量评分和权重利用上述公式确定,且处于关系链的最下层的关系目标对象为各监控项。
在本发明的实施方式中,故障检测包括:故障识别、故障预警以及故障传导模型,故障识别与故障预警模型又可以下分成规则模型和人工智能模型。
具体地,在进行故障识别时,对于规则识别模型,采用阈值四则运算+逻辑表达式的算法对基础指标进行故障识别。系统用户需要为指定的指标设定阈值,最终采用四则运算将采集结果与阈值进行逻辑运算得出结果,判定是否发生故障。故障识别的四则运算+逻辑算式是可编辑的,根据具体情况进行设置。
而故障识别人工智能模型,主要是当故障已经发生时,通过日志判断当前时刻的故障类型、严重程度等情况。其主要算法流程说明如下:
1、日志数据结构化:通过规则匹配的方法,获取日志时间,将日志划分成时间和内容两部分。
2、标签匹配:根据日志时间,查询日志产生后5分钟内产生的告警,生成标签,标签内容包括严重、主要、次要、警告、其他、未匹配共计6类。
3、数据分类统计,获取6类标签对应日志的长度、数量、等内容,生成训练数据。
4、对训练数据中每个单词进行编号,生成数字序列。
5、按照最大日志长度的60%进行截取,设长度为N,长度超过N的日志进行删除,长度不足N的进行补0,生成矩阵。
6、构建标准LSTM模型,设置模型参数、学习率、训练步数、损失优化器等。
7、将矩阵放入RNN模型中开始训练,生成模型。
8、模型以5分钟为单位接入日志,判断当前日志预警情况及预警具体级别(严重、主要、次要、警告、其他、未匹配)。
在进行故障预警时,规则预警模型主要通过对基础指标的趋势进行预警来完成,具体而对基础指标有两类预计算法。其中,对于数值类指标,通过计算其移动平均线,再计算移动平均线的斜率与阈值相交的可能性与时间,从而进行预警。对于非数值类指标,通过对指标值进行统计,然后计算其移动平均线,再计算移动平均线的斜率与阈值相交的可能性与时间,从而进行预警。
人工智能预警模型,主要通过日志预测接下来的一段时间内是否发生严重故障,同时生成预警信息。其主要算法流程说明如下:
1、日志数据结构化:通过规则匹配的方法,获取日志时间,将日志划分成时间和内容两部分。
2、标签匹配:根据日志时间,查询日志产生后30分钟内产生的告警,生成标签,标签为是否生成告警。
3、数据分类统计,获取日志的长度、数量、等内容,生成训练数据。
4、对训练数据中每个单词进行编号,生成数字序列。
5、按照最大日志长度的60%进行截取,设长度为N,长度超过N的日志进行删除,长度不足N的进行补0,生成矩阵。
6、构建标准LSTM模型,设置模型参数、学习率、训练步数、损失优化器等。
7、将矩阵放入RNN模型中开始训练,生成模型。
8、模型以30分钟为单位接入日志,判断当前日志是否能生成告警。
在进行故障预警和识别时,训练和使用日志所述的时间段可以根据具体需求设置。
故障传导链功能构建于上述应用结构模型、应用关系模型的基础上。在应用结构模型、应用关系模型中,“关系”定义了故障的传导方向、传导权重以及关键性标记。因此,可以根据关系链实现故障传导的计算,所述故障传导模型包括:
Figure BDA0002347327330000131
Figure BDA0002347327330000132
其中,S2为应用质量评分;Si为第i个关系目标对象的应用质量评分,Wi为第i个关系目标对象的权重,Cp是所有指标中存在的第p个关键依赖指标的第二标识值,所述第二标识值为0或1,当某一个属于关键依赖指标的关系目标对象为故障时,也标记其上层的源目标为故障,q为关键依赖指标的个数;n为与当前应用相关的关系目标对象的个数;其中,任一关系目标对象自身的质量评分均根据其相关的关系目标对象的质量评分和权重利用上述公式确定,且处于关系链的最下层的关系目标对象为各监控项。
图3为根据本发明实施方式的确定办公管理应用系统运行状态的系统300的结构示意图。如图3所示,本发明实施方式提供的确定办公管理应用系统运行状态的系统300,包括:应用结构和关系确定单元301、应用负载评分单元302、应用质量评分单元303和故障识别和预警单元304。
优选地,所述应用结构和关系确定单元301,用于确定待测的办公管理应用系统的应用结构模型和应用关系模型;其中所述应用结构模型包括:应用的构成组件、组件的运行依赖关系和组件对应用的依赖关系,应用关系模型包括:应用间的运行依赖关系和影响。
优选地,所述应用负载评分单元302,用于根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用负载评价模型确定待测的办公管理应用系统的应用负载评分;其中,关系目标对象为应用或组件。
优选地,其中所述应用负载评分单元302,根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用负载评价模型确定待测的办公管理应用系统的应用负载评分,包括:
Figure BDA0002347327330000141
其中,L为应用负载评分;Li为在关系链中该应用的下一层的第i个关系目标对象的负载评分;Wi为第i个关系目标对象的权重;其中,任一关系目标对象自身的负载评分均根据其下层的关系目标对象的负载评分和权重利用上述公式确定,且处于关系链的最下层的关系目标对象为各监控项。
优选地,所述应用质量评分单元303,用于根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用质量评价模型确定待测的办公管理应用系统的应用质量评分。
优选地,其中所述应用质量评分单元303,根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用质量评价模型确定待测的办公管理应用系统的应用质量评分,包括:
Figure BDA0002347327330000142
Figure BDA0002347327330000143
其中,S1为待测的办公管理应用系统的应用质量评分;Si在关系链中该应用的下一层的第i个关系目标对象的质量评分;Wi为第i个关系目标对象的权重;Ck是所有指标中存在的第k个关键依赖指标的第一标识值,所述第一标识值为0或1,当某一个属于关键依赖指标的关系目标对象为故障时,也标记其上层的源目标为故障,m为关键依赖指标的个数;n为与当前应用相关的关系目标对象的个数;其中,任一关系目标对象自身的质量评分均根据其相关的关系目标对象的质量评分和权重利用上述公式确定,且处于关系链的最下层的关系目标对象为各监控项。
优选地,所述故障识别和预警单元304,用于根据预设的基础指标和当前的日志,基于预设的规则识别系统和人工智能识别系统进行故障识别和预警。
优选地,其中所述故障识别和预警单元304,根据预设的基础指标和当前的日志,基于预设的规则识别系统和人工智能识别系统进行故障识别和预警,包括:
确定预设的基础指标的采集结果,并采用阈值四则运算和逻辑表达式的算法对所述采集结果和预设的指标阈值进行逻辑运算,获取运算结果,并根据所述运算结果判断是否发生故障;
当故障发生时,根据第一预设时间段的日志,利用训练好的人工智能识别模型确定当前时刻发生的故障的故障类型和严重程度;
根据预设的基础指标的移动平均线的斜率与预设的阈值相交的概率和时间,进行故障预警;
根据第二预设时间段内的日志,利用训练好的人工智能识别模型确定未来的第三预设时间段内预警信息。
优选地,其中所述系统还包括:故障检测单元,用于基于所述应用关系模型中应用间的运行依赖关系和影响,利用故障传导模型进行故障检测;其中,所述故障传导模型包括:
Figure BDA0002347327330000151
Figure BDA0002347327330000152
其中,S2为应用质量评分;Si为第i个关系目标对象的应用质量评分,Wi为第i个关系目标对象的权重,Cp是所有指标中存在的第p个关键依赖指标的第二标识值,所述第二标识值为0或1,当某一个属于关键依赖指标的关系目标对象为故障时,也标记其上层的源目标为故障,q为关键依赖指标的个数;n为与当前应用相关的关系目标对象的个数;其中,任一关系目标对象自身的质量评分均根据其相关的关系目标对象的质量评分和权重利用上述公式确定,且处于关系链的最下层的关系目标对象为各监控项。
本发明的实施例的确定办公管理应用系统运行状态的系统300与本发明的另一个实施例的确定办公管理应用系统运行状态的方法100相对应,在此不再赘述。
已经通过参考少量实施方式描述了本发明。然而,本领域技术人员所公知的,正如附带的专利权利要求所限定的,除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
通常地,在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释,除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例,除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行,除非明确地说明。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种确定办公管理应用系统运行状态的方法,其特征在于,所述方法包括:
确定待测的办公管理应用系统的应用结构模型和应用关系模型;其中所述应用结构模型包括:应用的构成组件、组件的运行依赖关系和组件对应用的依赖关系,应用关系模型包括:应用间的运行依赖关系和影响;
根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用负载评价模型确定待测的办公管理应用系统的应用负载评分;其中,关系目标对象为应用或组件;
根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用质量评价模型确定待测的办公管理应用系统的应用质量评分;
根据预设的基础指标和当前的日志,基于预设的规则识别方法和人工智能识别方法进行故障识别和预警。
2.根据权利要求1所述的方法,其特征在于,所述根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用负载评价模型确定待测的办公管理应用系统的应用负载评分,包括:
Figure FDA0002347327320000011
其中,L为应用负载评分;Li为在关系链中该应用的下一层的第i个关系目标对象的负载评分;Wi为第i个关系目标对象的权重;其中,任一关系目标对象自身的负载评分均根据其下层的关系目标对象的负载评分和权重利用上述公式确定,且处于关系链的最下层的关系目标对象为各监控项。
3.根据权利要求1所述的方法,其特征在于,所述根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用质量评价模型确定待测的办公管理应用系统的应用质量评分,包括:
Figure FDA0002347327320000021
Figure FDA0002347327320000022
其中,S1为待测的办公管理应用系统的应用质量评分;Si在关系链中该应用的下一层的第i个关系目标对象的质量评分;Wi为第i个关系目标对象的权重;Ck是所有指标中存在的第k个关键依赖指标的第一标识值,所述第一标识值为0或1,当某一个属于关键依赖指标的关系目标对象为故障时,也标记其上层的源目标为故障,m为关键依赖指标的个数;n为与当前应用相关的关系目标对象的个数;其中,任一关系目标对象自身的质量评分均根据其相关的关系目标对象的质量评分和权重利用上述公式确定,且处于关系链的最下层的关系目标对象为各监控项。
4.根据权利要求1所述的方法,其特征在于,所述根据预设的基础指标和当前的日志,基于预设的规则识别方法和人工智能识别方法进行故障识别和预警,包括:
确定预设的基础指标的采集结果,并采用阈值四则运算和逻辑表达式的算法对所述采集结果和预设的指标阈值进行逻辑运算,获取运算结果,并根据所述运算结果判断是否发生故障;
当故障发生时,根据第一预设时间段的日志,利用训练好的人工智能识别模型确定当前时刻发生的故障的故障类型和严重程度;
根据预设的基础指标的移动平均线的斜率与预设的阈值相交的概率和时间,进行故障预警;
根据第二预设时间段内的日志,利用训练好的人工智能识别模型确定未来的第三预设时间段内预警信息。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于所述应用关系模型中应用间的运行依赖关系和影响,利用故障传导模型进行故障检测;其中,所述故障传导模型包括:
Figure FDA0002347327320000031
Figure FDA0002347327320000032
其中,S2为应用质量评分;Si为第i个关系目标对象的应用质量评分,Wi为第i个关系目标对象的权重,Cp是所有指标中存在的第p个关键依赖指标的第二标识值,所述第二标识值为0或1,当某一个属于关键依赖指标的关系目标对象为故障时,也标记其上层的源目标为故障,q为关键依赖指标的个数;n为与当前应用相关的关系目标对象的个数;其中,任一关系目标对象自身的质量评分均根据其相关的关系目标对象的质量评分和权重利用上述公式确定,且处于关系链的最下层的关系目标对象为各监控项。
6.一种确定办公管理应用系统运行状态的系统,其特征在于,所述系统包括:
应用结构和关系确定单元,用于确定待测的办公管理应用系统的应用结构模型和应用关系模型;其中所述应用结构模型包括:应用的构成组件、组件的运行依赖关系和组件对应用的依赖关系,应用关系模型包括:应用间的运行依赖关系和影响;
应用负载评分单元,用于根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用负载评价模型确定待测的办公管理应用系统的应用负载评分;其中,关系目标对象为应用或组件;
应用质量评分单元,用于根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用质量评价模型确定待测的办公管理应用系统的应用质量评分;
故障识别和预警单元,用于根据预设的基础指标和当前的日志,基于预设的规则识别系统和人工智能识别系统进行故障识别和预警。
7.根据权利要求6所述的系统,其特征在于,所述应用负载评分单元,根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用负载评价模型确定待测的办公管理应用系统的应用负载评分,包括:
Figure FDA0002347327320000041
其中,L为应用负载评分;Li为在关系链中该应用的下一层的第i个关系目标对象的负载评分;Wi为第i个关系目标对象的权重;其中,任一关系目标对象自身的负载评分均根据其下层的关系目标对象的负载评分和权重利用上述公式确定,且处于关系链的最下层的关系目标对象为各监控项。
8.根据权利要求6所述的系统,其特征在于,所述应用质量评分单元,根据不同层级的多个关系目标对象之间的关系链和每个关系目标对象所占的权重,利用质量评价模型确定待测的办公管理应用系统的应用质量评分,包括:
Figure FDA0002347327320000042
Figure FDA0002347327320000043
其中,S1为待测的办公管理应用系统的应用质量评分;Si在关系链中该应用的下一层的第i个关系目标对象的质量评分;Wi为第i个关系目标对象的权重;Ck是所有指标中存在的第k个关键依赖指标的第一标识值,所述第一标识值为0或1,当某一个属于关键依赖指标的关系目标对象为故障时,也标记其上层的源目标为故障,m为关键依赖指标的个数;n为与当前应用相关的关系目标对象的个数;其中,任一关系目标对象自身的质量评分均根据其相关的关系目标对象的质量评分和权重利用上述公式确定,且处于关系链的最下层的关系目标对象为各监控项。
9.根据权利要求6所述的系统,其特征在于,所述故障识别和预警单元,根据预设的基础指标和当前的日志,基于预设的规则识别系统和人工智能识别系统进行故障识别和预警,包括:
确定预设的基础指标的采集结果,并采用阈值四则运算和逻辑表达式的算法对所述采集结果和预设的指标阈值进行逻辑运算,获取运算结果,并根据所述运算结果判断是否发生故障;
当故障发生时,根据第一预设时间段的日志,利用训练好的人工智能识别模型确定当前时刻发生的故障的故障类型和严重程度;
根据预设的基础指标的移动平均线的斜率与预设的阈值相交的概率和时间,进行故障预警;
根据第二预设时间段内的日志,利用训练好的人工智能识别模型确定未来的第三预设时间段内预警信息。
10.根据权利要求6所述的系统,其特征在于,所述系统还包括:
故障检测单元,用于基于所述应用关系模型中应用间的运行依赖关系和影响,利用故障传导模型进行故障检测;其中,所述故障传导模型包括:
Figure FDA0002347327320000051
Figure FDA0002347327320000052
其中,S2为应用质量评分;Si为第i个关系目标对象的应用质量评分,Wi为第i个关系目标对象的权重,Cp是所有指标中存在的第p个关键依赖指标的第二标识值,所述第二标识值为0或1,当某一个属于关键依赖指标的关系目标对象为故障时,也标记其上层的源目标为故障,q为关键依赖指标的个数;n为与当前应用相关的关系目标对象的个数;其中,任一关系目标对象自身的质量评分均根据其相关的关系目标对象的质量评分和权重利用上述公式确定,且处于关系链的最下层的关系目标对象为各监控项。
CN201911400433.5A 2019-12-30 2019-12-30 一种确定办公管理应用系统运行状态的方法及系统 Active CN111221704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911400433.5A CN111221704B (zh) 2019-12-30 2019-12-30 一种确定办公管理应用系统运行状态的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911400433.5A CN111221704B (zh) 2019-12-30 2019-12-30 一种确定办公管理应用系统运行状态的方法及系统

Publications (2)

Publication Number Publication Date
CN111221704A true CN111221704A (zh) 2020-06-02
CN111221704B CN111221704B (zh) 2023-06-30

Family

ID=70832744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911400433.5A Active CN111221704B (zh) 2019-12-30 2019-12-30 一种确定办公管理应用系统运行状态的方法及系统

Country Status (1)

Country Link
CN (1) CN111221704B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084055A (zh) * 2020-08-19 2020-12-15 广州小鹏汽车科技有限公司 应用系统的故障定位方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010009127A (ja) * 2008-06-24 2010-01-14 Toshiba Corp 管理プログラムおよび管理装置
CN104463691A (zh) * 2014-10-13 2015-03-25 国家电网公司 电力系统信息状态故障识别方法
CN106960292A (zh) * 2017-04-18 2017-07-18 国网福建省电力有限公司 一种应用于电力公司的业务流程监测系统及方法
CN109309575A (zh) * 2017-07-26 2019-02-05 贵州白山云科技股份有限公司 一种确定监控系统健康度的方法和装置
WO2019060043A1 (en) * 2017-09-22 2019-03-28 Nec Laboratories America, Inc. MAINTENANCE AND SYSTEM MANAGEMENT BASED ON NEWSPAPERS
CN110249588A (zh) * 2017-02-03 2019-09-17 维萨国际服务协会 用于检测网络拓扑的系统和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010009127A (ja) * 2008-06-24 2010-01-14 Toshiba Corp 管理プログラムおよび管理装置
CN104463691A (zh) * 2014-10-13 2015-03-25 国家电网公司 电力系统信息状态故障识别方法
CN110249588A (zh) * 2017-02-03 2019-09-17 维萨国际服务协会 用于检测网络拓扑的系统和方法
CN106960292A (zh) * 2017-04-18 2017-07-18 国网福建省电力有限公司 一种应用于电力公司的业务流程监测系统及方法
CN109309575A (zh) * 2017-07-26 2019-02-05 贵州白山云科技股份有限公司 一种确定监控系统健康度的方法和装置
WO2019060043A1 (en) * 2017-09-22 2019-03-28 Nec Laboratories America, Inc. MAINTENANCE AND SYSTEM MANAGEMENT BASED ON NEWSPAPERS

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
沈磊;何娇;胡昊;: "分布式环境应用系统运行状态监控方法研究", 中国环境管理 *
王灿;彭新宇;邵晓勇;姜旭;: "基于运维日志的应用系统评价体系研究", 金融科技时代 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084055A (zh) * 2020-08-19 2020-12-15 广州小鹏汽车科技有限公司 应用系统的故障定位方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111221704B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
JP7090936B2 (ja) Esg基盤の企業評価遂行装置及びその作動方法
KR102522005B1 (ko) 가상 네트워크 관리를 위한 머신 러닝 기반 vnf 이상 탐지 시스템 및 방법
CN111614491B (zh) 一种面向电力监控系统安全态势评估指标选取方法及系统
CN111881983B (zh) 基于分类模型的数据处理方法、装置、电子设备及介质
CN111460167A (zh) 基于知识图谱定位排污对象的方法及相关设备
CN111539493B (zh) 一种告警预测方法、装置、电子设备及存储介质
CN111639497A (zh) 一种基于大数据机器学习的异常行为发现方法
CN111949646B (zh) 基于大数据的设备运行状况分析方法、装置、设备及介质
KR20180072167A (ko) 유사특허 추출 시스템 및 그 방법
CN110969015B (zh) 一种基于运维脚本的标签自动化识别方法和设备
CN112491891B (zh) 物联网环境下基于混合深度学习的网络攻击检测方法
CN114036531A (zh) 一种基于多尺度代码度量的软件安全漏洞检测方法
CN114638498A (zh) Esg评价方法、系统、电子设备及存储设备
CN115630732A (zh) 一种面向城市运营的企业迁移大数据监测预警方法及装置
CN114201328A (zh) 基于人工智能的故障处理方法、装置、电子设备及介质
WO2018036402A1 (zh) 模型中关键变量的探测方法及装置
Chochlov et al. Using a nearest-neighbour, BERT-based approach for scalable clone detection
CN117891234A (zh) 机房运行状态的检测方法、装置、存储介质以及电子设备
CN111221704B (zh) 一种确定办公管理应用系统运行状态的方法及系统
CN110874601A (zh) 识别设备运行状态的方法、状态识别模型训练方法及装置
CN113360357A (zh) 数据监控方法、系统、设备及计算机程序产品
CN110472416A (zh) 一种网页恶意代码检测方法及相关装置
CN113688120A (zh) 数据仓库的质量检测方法、装置和电子设备
CN112395167A (zh) 一种作业故障预测方法、装置及电子设备
CN111565192A (zh) 基于可信度的内网安全威胁多模型协同防御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant