CN106940678A - 一种系统实时健康度评估分析方法及装置 - Google Patents

Abstract

本发明公开了一种系统实时健康度评估分析方法及装置，所述系统实时健康度评估分析方法包括：建立系统健康度模型；获取实时基础监控数据；根据所述实时基础监控数据和所述系统健康度模型，利用第一预设方法对系统实时健康度进行评估分析，得到反映所述系统实时健康度的第一系统健康度数据。本发明通过建立系统健康度模型并通过预设方法，能够对运维系统的实时健康度进行评估分析。

Description

一种系统实时健康度评估分析方法及装置

技术领域

本发明涉及计算机应用领域，尤其涉及一种系统健康度评估方法及装置。

背景技术

全国性综合类证券公司拥有大量的业务系统及客户，除了与核心交易相关的集中交易系统、融资融券系统、网上交易系统等若干系统外，还有其他的外围系统(数据量在50左右)，这些系统又部署在不同的服务器上，且随着近期股市交易行情的不断火爆，股市的成交金额和成交笔数也是不断创立新高，例如近段时间的沪市成交量超万亿元。而目前交易系统的运维主要依靠人工方式进行，既无法满足如此庞大数量的系统的运维要求，在成交量不断增长的情况下，也无法实时地对系统的运行情况进行监测和评估，进而无法及时发现和处理系统可能出现的各种故障和问题，影响正常业务的进行。

上述的一系列原因，导致了运维工作需要有一个实时的智能运维辅助系统，该系统应该能够实时地监控系统的运行状态，检测系统的实时健康度，及时发现系统问题隐患，以便采取措施。

发明内容

针对现有技术中的缺陷，本发明提供一种系统实时健康度评估分析方法及装置，能够对运维系统的实时健康度进行评估分析。

第一方面，本发明提供了一种系统实时健康度评估分析方法，所述系统实时健康度评估分析方法包括：

建立系统健康度模型；

获取实时基础监控数据；

根据所述实时基础监控数据和所述系统健康度模型，利用第一预设方法对系统实时健康度进行评估分析，得到反映系统实时健康度的第一系统健康度数据。

进一步地，所述建立系统健康度模型，具体包括：收集第一样本数据，所述第一样本数据包括基础监控数据和第二系统健康度数据；所述第二系统健康度数据为预先测得的数据；利用第二预设方法学习所述基础监控数据和所述第二系统健康度数据的关系；根据所述基础监控数据和所述第二系统健康度数据的关系建立所述系统健康度模型。

进一步地，所述系统包括核心交易系统和外围系统；所述系统实时健康度评估分析方法还包括：建立核心交易系统健康度模型和基础监控数据回归模型；所述获取实时基础监控数据，具体包括：根据所述核心交易系统健康度模型，利用所述第一预设方法计算反映核心交易系统实时健康度的第一核心交易系统健康度数据；根据所述第一核心交易系统健康度和所述基础监控数据回归模型，利用所述第一预设方法计算得到实时基础监控数据。

进一步地，所述建立核心交易系统健康度模型，具体包括：收集第二样本数据，所述第二样本数据包括基础监控数据、应用进程数据、日志数据和第二核心交易系统健康度数据；其中，所述基础监控数据、所述应用进程数据和所述日志数据为自变量，所述第二核心交易系统健康度数据为因变量；所述第二核心交易系统健康度数据为预先测得的数据；利用第二预设方法学习所述自变量和所述因变量之间的关系；根据所述自变量和所述因变量的关系建立所述核心交易系统健康度模型。

进一步地，所述建立基础监控数据回归模型，具体包括：收集第三样本数据，所述第三样本数据包括所述第二核心交易系统健康度数据和所述基础监控数据；利用第二预设方法学习所述第二核心交易系统健康度数据和所述基础监控数据的关系；根据所述第二核心交易系统健康度数据和所述基础监控数据的关系建立所述基础监控数据回归模型。

进一步地，所述第一预设方法为利用Spark的内存计算框架进行计算。

进一步地，所述第二预设方法为机器学习的方法。

第二方面，本发明还提供了一种系统实时健康度评估分析装置，所述系统实时健康度评估分析装置包括：模型建立模块，数据获取模块，数据评估模块；所述模型建立模块，用于建立系统健康度模型；所述数据获取模块，用于获取实时基础监控数据；所述数据评估模块，用于根据所述实时基础监控数据和所述系统健康度模型，利用第一预设方法对系统实时健康度进行评估分析。

进一步地，所述模型建立模块，具体用于：收集第一样本数据，所述第一样本数据包括基础监控数据和第一系统健康度数据；所述第一系统健康度数据为预先测得的数据；利用第二预设方法学习所述基础监控数据和所述第一系统健康度数据的关系；根据所述基础监控数据和所述第一系统健康度数据的关系建立所述系统健康度模型。

进一步地，所述模型建立模块，还用于建立核心交易系统健康度模型和基础监控数据回归模型。

由上述技术方案可知，本发明提供一种系统实时健康度评估分析方法及装置，通过建立系统健康度模型并通过预设方法，能够实时监控运维系统的运行状态，对运维系统的实时健康度进行评估分析。

附图说明

图1示出了本发明提供的系统实时健康度评估分析方法的流程示意图。

图2示出了本发明提供的系统实时健康度评估分析装置的结构示意图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

实施例一

图1示出了本发明实施例一提供的系统实时健康度评估分析方法的流程示意图。如图1所示，一种系统实时健康度评估分析方法，包括：

步骤S1，建立系统健康度模型；

步骤S2，获取实时基础监控数据；

步骤S3，根据所述实时基础监控数据和所述系统健康度模型，利用第一预设方法对系统实时健康度进行评估分析，得到反映所述系统实时健康度的第一系统健康度数据。

本实施例所述的系统包括核心交易系统和外围系统，其中，核心交易系统包括集中交易系统、融资融券交易系统、网上交易系统等，系统健康度可以从机器的硬件使用率及系统的故障率两方面来体现，机器的硬件使用率可以从核心交易系统上体现出来，而核心交易系统的健康度可以从各个业务环节的运维指标数据中得出。所述运维指标数据包括系统的基础监控数据、应用进程数据和日志数据，其中，所述基础监控数据包括IT资源使用率，具体包括：CPU使用率、内存使用率、网络流量和磁盘使用率等；所述应用进程数据包括端口数据、进程状态和应用内部指标等；所述日志数据包括操作系统日志、应用日志和业务日志等，其中又包括了其它更具体的数据；所述运维指标数据是预先监控和存储好的。现有的运维系统只保存了少数数据，绝大多数数据，例如日志数据、历史监控数据等，都没有保留，而本发明实施例提供的系统健康度检测方法在建立模型之前对系统各项运维数据进行二十四小时的监控，以及集中收集和存储，以便能够用来建立相关的健康度模型。

本实施例的技术方案为：

收集和存储运维指标数据后，建立用于检测系统健康度的多个模型，包括核心交易系统健康度模型、基础监控数据回归模型和系统健康度模型，上述三个模型均为多元回归模型。其中，所述核心交易系统健康度模型用于检测所述核心交易系统的健康度，获取能够反映所述核心交易系统实时健康度的第一核心交易系统健康度数据；所述基础监控数据回归模型用于根据所述第一核心交易系统健康度数据，获取与所述第一核心交易系统健康度数据对应的实时基础监控数据；所述系统健康度模型用于根据所述实时基础监控数据，利用第一预设方法对系统实时健康度进行评估，得到得到反映所述系统实时健康度的第一系统健康度数据。

其中，建立系统健康度模型具体包括以下过程：收集第一样本数据，所述第一样本数据包括基础监控数据和第二系统健康度数据；所述基础监控数据和所述第二系统健康度数据均为预先测得的数据，是历史数据；利用第二预设方法学习所述基础监控数据和所述第二系统健康度数据的关系；根据所述基础监控数据和所述第二系统健康度数据的关系建立所述系统健康度模型。其中，所述第一样本数据的数量为多组，通过对多组数据的学习，可以建立系统健康度模型，数据数量越多，学习效果也越好。

优选地，所述第二预设方法为机器学习的方法，还可以是其它方法，在机器学习中优选为监督式学习的方法，监督式学习是机器学习中的一种技巧，可以由训练资料中学到或建立一个模式，并依此模式推测新的实例；监督式学习在学习过程中提供对错指示，使机器减少误差。

在建立系统健康度模型的过程中，将第一样本数据推送给机器，让其学习各种参数之间的关系。例如，收集第一样本数据，其包括以下两组数据：

IT资源CPU使用率：50％，IT资源内存使用率：60％，IT资源磁盘IO：70％，IT资源网络流量：100M/s，当时系统健康度为51％；

IT资源CPU使用率：60％，IT资源内存使用率：40％，IT资源磁盘IO：70％，IT资源网络流量：10M/s，当时系统健康度为41％；

通过对大量类似这两组数据的第一样本数据的学习，可以建立系统健康度的回归模型。

建立核心交易系统健康度模型具体包括以下过程：收集第二样本数据，所述第二样本数据包括基础监控数据、应用进程数据、日志数据和第二核心交易系统健康度数据；其中，所述基础监控数据、所述应用进程数据和所述日志数据为自变量，所述第二核心交易系统健康度数据为因变量；所述第二核心交易系统健康度数据为预先测得的数据；利用第二预设方法学习所述自变量和所述因变量之间的关系；根据所述自变量和所述因变量的关系建立所述核心交易系统健康度模型。其中，所述应用进程数据、所述日志数据和所述第二核心交易系统数据均为预先测得的数据，是历史数据；所述第二核心交易系统健康度数据包括与集中交易系统健康度、融资融券系统健康度和/或网上交易系统健康度相关的数据。

在建立核心交易系统健康度模型的过程中，将第二样本数据推送给机器，让其学习各种参数之间的关系。例如，收集第二样本数据，其包括以下两组数据：

集中交易系统交易时间：11:08:07点，委托笔数：每秒1500笔，查询股票操作：每秒10000笔，登陆操作：每秒100笔，当时的集中交易系统健康度：50％；

集中交易系统交易时间：11:10:10点，委托笔数：每秒1200笔，查询股票操作：每秒8000笔，登陆操作：每秒50笔，当时的集中交易系统健康度：70％；

通过对大量类似的第二样本数据的学习，可以建立集中交易系统健康度与每秒委托笔数、每秒查询数、每秒登陆数或的回归模型，类似的，也可以通过上述方式建立集中交易系统健康度、融资融券系统健康度或网上交易系统健康度与其它参数的回归模型。

建立基础监控数据回归模型具体包括以下过程：收集第三样本数据，所述第三样本数据包括所述第二核心交易系统健康度数据和所述基础监控数据；利用第二预设方法学习所述第二核心交易系统健康度数据和所述基础监控数据的关系；根据所述第二核心交易系统健康度数据和所述基础监控数据的关系建立所述基础监控数据回归模型。

在建立基础监控数据回归模型的过程中，将第三样本数据推送给机器，让其学习各种参数之间的关系。例如，收集第三样本数据，其包括以下两组数据：

集中交易系统健康指数：50％，融资融券系统健康指数：60％，网上交易系统健康指数：70％，当时IT资源CPU使用率为51％；

集中交易系统健康指数：30％，融资融券系统健康指数：10％，网上交易系统健康指数：20％，当时IT资源内存使用率为20％；

通过对大量类似的第三样本数据的学习，可以分别建立IT资源CPU使用率、内存使用率、网络流量、磁盘使用率等的回归模型，均属于基础监控数据回归模型。

通过建立上述模型，使运维系统能够对其实时健康度进行评估分析，并且由于建立模型在评估分析过程之前，评估分析过程中直接利用上述三个模型，使得系统能够更加快速的进行检测，省去了评估分析过程中实时建立模型的过程，也省去了繁杂的计算量。

可选地，在建立系统健康度模型、核心交易系统健康度模型和基础监控数据回归模型时，还包括对第一样本数据、第二样本数据和第三样本数据进行质量检测，以确保数据质量的可靠性，减小建立模型时存在的误差。

所述获取实时基础监控数据，具体包括：根据所述核心交易系统健康度模型，利用所述第一预设方法计算第一核心交易系统健康度数据，具体地，可以先获取选定的一项或多项实时运维指标数据，将该数据与所述核心交易系统健康度模型中的第二样本数据及第二样本数据中各参数的关系进行分析和对比，得到与所述实时运维指标数据有一定对应关系的第一核心交易系统健康度数据，这种对应与建立核心交易系统健康度模型时学习的关系相同或相关。然后根据所述实时核心交易系统健康度和所述基础监控数据回归模型，利用所述第一预设方法计算得到实时基础监控数据；具体地，将得到的第一核心交易系统健康度数据与所述基础监控回归模型中的第三样本数据及第三样本数据中的各参数的对应关系进行分析和对比，得到与所述第一核心交易系统健康数据有一定对应关系的实时基础监控数据，这种对应与建立基础监控数据回归模型时学习的关系相同或相关。

其次，根据所述实时基础监控数据和所述系统健康度模型，利用第一预设方法对系统实时健康度进行实时评估分析，得到反映所述系统实时健康度的第一系统健康度数据，具体地，可以将所述实时基础监控数据与所述系统健康度模型中的第一样本数据进行分析和对比，得到与实时基础监控数据有对应关系的第一系统健康度数据，这种对应关系与建立系统健康度模型时学习的关系相同或相关。通过对系统实时健康度的评估，能够使用户或运维人员及时了解系统当前的健康状况，及时了解系统存在的问题或故障，以便能够及时地解决问题。优选地，所述第一预设方法为利用Spark的内存计算框架进行计算，能够提升计算的速度，也能够促进机器学习的速度，同时所述第一预设方法也可以通过预设规则对系统实时健康度数据进行计算，获取用户需要的其它数据。

可选地，所述第一核心交易系统健康度数据、实时基础监控数据和系统实时健康度数据，还可以用于作为新的参数更新和优化所述核心交易系统健康模型、基础监控数据回归模型和系统健康度模型，以便能够使上述三个模型能够保持良好的适用性，不会因为长期未更新而失效，同时使实时评估更加准确和有效。

可选地，本实施例提供的系统实时健康度评估分析方法，还包括向用户实时展示评估得到的系统实时健康度，可选地，展示的系统实时健康度可以百分数的形式展示；如果无法以百分数的形式展示，也可以用文字来展示，例如“健康状态”、“隐患状态”或“不健康状态”，从而使用户或运维人员能够直观地了解系统的实时健康状况。在用文字展示时，哪种状态属于健康、隐患或不健康，可由运维人员或用户按照经验进行设定，或者通过与百分数形式的数值对应来设定，例如在百分数形式下，以90％和60％为临界值进行划分，第一系统健康度数据大于90％时，视为健康状态，小于60％时，视为不健康状态，其它情况属于隐患状态；可选地，也可以通过正态分布的方式，用机器提取的手段来设定“健康状态”、“隐患状态”或“不健康状态”。

基于以上内容，本发明实施例一可以实现的技术效果为：建立系统健康度模型，以系统健康度模型为基础进行评估分析，能够为后期的评估过程节约资源和流程，效率更高；利用第一预设方法对运维系统实时健康度进行评估分析，能够达到实时监控运维系统的运行状态的目的，且计算速度更快，实时监控的效果更好；对系统实时健康度的评估，能够使用户或运维人员更及时地了解系统的实时健康状况，有助于及时发现问题和解决问题，使系统运行更安全高效。

实施例二

对本发明实施例一对应地，图2示出了本发明实施例提供的一种系统实时健康度评估分析装置的结构示意图。如图2所示，一种系统实时健康度评估分析装置，包括：模型建立模块101，数据获取模块102，数据评估模块103。

所述模型建立模块101，用于建立系统健康度模型具体用于：收集第一样本数据，所述第一样本数据包括基础监控数据和第一系统健康度数据；所述第一系统健康度数据为预先测得的数据；利用第二预设方法学习所述基础监控数据和所述第一系统健康度数据的关系；根据所述基础监控数据和所述第一系统健康度数据的关系建立所述系统健康度模型；所述数据获取模块102，用于根据核心交易系统健康度模型和基础监控数据回归模型，利用第一预设方法获取实时基础监控数据；所述数据评估模块103，用于根据所述实时基础监控数据和所述系统健康度模型，利用第一预设方法对系统实时健康度进行评估分析，得到反映所述系统实时健康度的第一系统健康度数据。

优选地，所述模型建立模块101还用于建立核心交易系统健康度模型和基础监控数据回归模型。

可选地，所述模型建立模块101还可以用于利用第一核心交易系统健康度数据、实时基础监控数据和系统实时健康度数据对核心交易系统健康模型、基础监控数据回归模型和系统健康度模型进行更新和优化，以便能够使上述三个模型能够保持良好的适用性，不会因为长期未更新而失效，同时使检测更加准确和有效。

优选地，所述系统健康度检测装置还包括数据收集模块，用于收集系统的运维指标数据，以及建立系统健康度模型、核心交易系统健康度模型和基础监控数据回归模型分别所需的第一样本数据、第二样本数据和第三样本数据。

可选地，所述系统健康度检测装置还包括数据检测模块，用于在建立系统健康度模型、核心交易系统健康度模型和基础监控数据回归模型时，对收集的第一样本数据、第二样本数据和第三样本数据进行质量检测，以确保数据质量的可靠性，减小建立模型时存在的误差。

基于以上内容，本发明实施例二可以达到的技术效果是：所述模型建立模块101建立系统健康度模型，能够为后期的评估过程节约资源和流程，效率更高；所述数据评估模块103所采用的第一预设方法，能够达到实时监控运维系统的运行状态的目的，且计算速度更快，实时监控的效果更好；所述数据评估模块103对系统实时健康度的评估，能够使用户或运维人员更及时地了解系统的实时健康状况，有助于及时发现问题和解决问题，使系统运行更安全高效。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种系统实时健康度评估分析方法，其特征在于，所述系统实时健康度评估分析方法包括：

建立系统健康度模型；

获取实时基础监控数据；

根据所述实时基础监控数据和所述系统健康度模型，利用第一预设方法对系统实时健康度进行评估分析，得到反映所述系统实时健康度的第一系统健康度数据。

2.根据权利要求1所述的系统实时健康度评估分析方法，其特征在于，所述建立系统健康度模型，具体包括：

收集第一样本数据，所述第一样本数据包括基础监控数据和第二系统健康度数据；所述第二系统健康度数据为预先测得的数据；

利用第二预设方法学习所述基础监控数据和所述第二系统健康度数据的关系；

根据所述基础监控数据和所述第二系统健康度数据的关系建立所述系统健康度模型。

3.根据权利要求1所述的系统实时健康度评估分析方法，其特征在于，所述系统包括核心交易系统和外围系统；所述系统实时健康度评估分析方法还包括：建立核心交易系统健康度模型和基础监控数据回归模型；所述获取实时基础监控数据，具体包括：

根据所述核心交易系统健康度模型，利用所述第一预设方法计算反映核心交易系统实时健康度的第一核心交易系统健康度数据；

根据所述第一核心交易系统健康度和所述基础监控数据回归模型，利用所述第一预设方法计算得到实时基础监控数据。

4.根据权利要求3所述的系统实时健康度评估分析方法，其特征在于，所述建立核心交易系统健康度模型，具体包括：

收集第二样本数据，所述第二样本数据包括基础监控数据、应用进程数据、日志数据和第二核心交易系统健康度数据；其中，所述基础监控数据、所述应用进程数据和所述日志数据为自变量，所述第二核心交易系统健康度数据为因变量；所述第二核心交易系统健康度数据为预先测得的数据；

利用第二预设方法学习所述自变量和所述因变量之间的关系；

根据所述自变量和所述因变量的关系建立所述核心交易系统健康度模型。

5.根据权利要求3所述的系统实时健康度评估分析方法，其特征在于，所述建立基础监控数据回归模型，具体包括：

收集第三样本数据，所述第三样本数据包括所述第二核心交易系统健康度数据和所述基础监控数据；

利用第二预设方法学习所述第二核心交易系统健康度数据和所述基础监控数据的关系；

根据所述第二核心交易系统健康度数据和所述基础监控数据的关系建立所述基础监控数据回归模型。

6.根据权利要求3所述的系统实时健康度评估分析方法，其特征在于，所述第一预设方法为利用Spark的内存计算框架进行计算。

7.根据权利要求2、4或5所述的系统实时健康度评估分析方法，其特征在于，所述第二预设方法为机器学习的方法。

8.一种系统实时健康度评估分析装置，其特征在于，所述系统实时健康度评估分析装置包括：模型建立模块，数据获取模块，数据评估模块；

所述模型建立模块，用于建立系统健康度模型；

所述数据获取模块，用于获取实时基础监控数据；

所述数据评估模块，用于根据所述实时基础监控数据和所述系统健康度模型，利用第一预设方法对系统实时健康度进行评估分析，得到反映所述系统实时健康度的第一系统健康度数据。

9.根据权利要求8所述的系统实时健康度评估分析装置，其特征在于，所述模型建立模块，具体用于：

收集第一样本数据，所述第一样本数据包括基础监控数据和第一系统健康度数据；所述第一系统健康度数据为预先测得的数据；

利用第二预设方法学习所述基础监控数据和所述第一系统健康度数据的关系；

根据所述基础监控数据和所述第一系统健康度数据的关系建立所述系统健康度模型。

10.根据权利要求8所述的系统实时健康度评估分析装置，其特征在于，所述模型建立模块，还用于建立核心交易系统健康度模型和基础监控数据回归模型。