CN115687034A - 一种业务系统平面可用性判定方法和装置 - Google Patents
一种业务系统平面可用性判定方法和装置 Download PDFInfo
- Publication number
- CN115687034A CN115687034A CN202110830168.5A CN202110830168A CN115687034A CN 115687034 A CN115687034 A CN 115687034A CN 202110830168 A CN202110830168 A CN 202110830168A CN 115687034 A CN115687034 A CN 115687034A
- Authority
- CN
- China
- Prior art keywords
- data
- plane
- resource index
- transaction
- index data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种业务系统平面可用性判定方法和装置,该方法包括:采集业务系统的历史数据,对历史数据进行分析处理,得到多种资源指标数据和对应的历史异动数据;依据多种资源指标数据和历史异动数据构建异动判定模型;提取多种资源指标数据对应的异动数据的特征值进行训练学习,得到业务系统中多个平面的平面可用性判定模型;依据异动判定模型和平面可用性判定模型,对当前实时获得的业务系统的多种当前资源指标数据进行处理,判定多个平面的平面可用性,并依据判定结果进行流量引流处理。本发明基于平面可用性的判定结果,自动触发引流工具,快速解决故障,降低对业务系统处理业务的影响。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及一种业务系统平面可用性判定方法和装置。
背景技术
业务,是指企业和组织生产经营活动、事务处理等一系列过程的总和。业务包括业务的IT支撑系统(简称业务支撑系统)、业务数据、业务流程和业务参与人员。其中,业务支撑系统是业务的基石,包括了承载业务运行的各种软硬件IT资源,例如网络设备、安全设备、主机、数据库、中间件等。这些IT资源有机的结合在一起,共同承担一组产生特定客户价值的任务,就形成了业务支撑系统。目前大部分业务支撑系统为了灰度发布及快速解决故障考虑,往往会将IT资源按机房平面进行平行部署,平时两平面同时运行承载业务,当监控到某平面异常时,可将所有业务流量引流至正常平面,从而降低故障影响,减少用户感知,图1为现有技术中业务系统平面使用示意图,如图1所示,当A平面和B平面都正常运行时,两平面平行运行共同承载业务,当A平面或B平面异常时,可以通过引流停止异常平面业务,由正常平面单独承载业务。
因此,当业务支撑系统运行过程中发生故障时,如何判定哪个平面出现异常,从而快速解决故障,是当前IT系统运维过程中非常重要的事情,而要快速判定平面是否异常,就需要引入平面可用性的判定模型,目前关于系统可用性的相关技术方案包括如下方案一、方案二和方案三:其中,方案一为基于网元健康度及权重的系统可用性评估方法,具体是基于监测到的业务系统网元故障事件,根据预设规则获取网元的健康分值,所述网元包括节点和链路;根据节点在业务系统路径中出现的次数获取节点的权重;根据链路关联节点获取链路的权重;根据所述网元的健康分值和所述网元的权重按照预定算法评估业务系统可用性。方案二为基于多层降维的移动应用可用性评估方法,是基于多层降维的方法来评估移动应用可用性:通过对指标层的25个基础指标取0-100的分值,通过既定的计算公式,分别计算维度层的6个维度的分值,再通过公式计算出属性层3个属性的分值,最终计算目标层可用性的最终分值。方案三为基于最小维度可用性模型关联组合的系统可用性评估方法,通过最小维度的可用性模型模块存储单元,通过模型模块间的连接关系的规则组合部分可用性模型模块,从而生成用于评估系统可用性的模型。
然而,现有技术针对系统可用性评估的方案,无论是网元健康度或者特定的业务指标,都是基于预先设定好的模型或者计算公式,只适用于特定场景下的可用性评估,存在一定的局限性,而且无法同时获取当前业务系统机房平面的状况,所以在故障发生期间,无法用平面可用性判定,来快速引流来解决故障,无法满足业务系统故障及时发现及时处理的处理原则。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种业务系统平面可用性判定方法和装置。
根据本发明的一个方面,提供了一种业务系统平面可用性判定方法,包括:
采集业务系统的历史数据,对所述历史数据进行分析处理,得到多种资源指标数据和每一种资源指标数据对应的历史异动数据;
依据所述多种资源指标数据和每一种资源指标数据对应的历史异动数据构建异动判定模型;
提取多种资源指标数据对应的异动数据的特征值,依据多种资源指标数据对应的异动数据的特征值进行训练学习,得到业务系统中多个平面的平面可用性判定模型;
依据所述异动判定模型和所述多个平面的平面可用性判定模型,对当前实时获得的业务系统的多种当前资源指标数据进行处理,判定所述业务系统中多个平面的平面可用性,并依据判定结果进行流量引流处理。
根据本发明的另一方面,提供了一种业务系统平面可用性判定装置,包括:
数据采集模块,用于采集业务系统的历史数据,对所述历史数据进行分析处理,得到多种资源指标数据和每一种资源指标数据对应的历史异动数据;
模型构建模块,用于依据所述多种资源指标数据和每一种资源指标数据对应的历史异动数据构建异动判定模型;提取多种资源指标数据对应的异动数据的特征值,依据多种资源指标数据对应的异动数据的特征值进行训练学习,得到业务系统中多个平面的平面可用性判定模型;
处理模块,用于依据所述异动判定模型和所述多个平面的平面可用性判定模型,对当前实时获得的业务系统的多种当前资源指标数据进行处理,判定所述业务系统中多个平面的平面可用性,并依据判定结果进行流量引流处理。
根据本发明的又一方面,提供了一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行上述一种业务系统平面可用性判定方法对应的操作。
根据本发明的再一方面,提供了一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如上述一种业务系统平面可用性判定方法对应的操作。
根据本发明的一种业务系统平面可用性判定方法和装置,通过采集业务系统的历史数据,对历史数据进行分析处理,得到多种资源指标数据和每一种资源指标数据对应的历史异动数据;依据多种资源指标数据和每一种资源指标数据对应的历史异动数据构建异动判定模型;提取多种资源指标数据对应的异动数据的特征值,依据多种资源指标数据对应的异动数据的特征值进行训练学习,得到业务系统中多个平面的平面可用性判定模型;依据异动判定模型和多个平面的平面可用性判定模型,对当前实时获得的业务系统的多种当前资源指标数据进行处理,判定业务系统中多个平面的平面可用性,并依据判定结果进行流量引流处理。本发明基于业务系统中的多种资源指标数据,按照构建的异动判定模型自动判定异动,再通过训练的平面可用性判定模型自动判断当前故障发生期间的多个平面的平面可用性,基于平面可用性的判定结果,自动触发引流工具,快速解决故障,降低对业务系统处理业务的影响。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了现有技术中业务系统平面使用示意图;
图2示出了本发明实施例提供的一种业务系统平面可用性判定方法流程图;
图3示出了本发明实施例提供的sigmoid函数的曲线示意图;
图4示出了本发明实施例提供的机器训练得到的逻辑回归曲线示意图;
图5示出了本发明实施例提供的异动判定模型判定示意图;
图6示出了本发明实施例提供的通过k-means算法得到质心点的过程示意图;
图7a示出了本发明实施例提供的取4个聚类质心点时平面可用性模型训练聚类示意图;
图7b示出了本发明实施例提供的其中一个测试点在历史异动的分布图的示意图;
图8示出了本发明实施例提供的一种业务系统平面可用性判定装置的结构示意图;
图9示出了本发明实施例提供的计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
图2示出了本发明一种业务系统平面可用性判定方法实施例的流程图,如图2所示,该方法包括以下步骤:
步骤S210:采集业务系统的历史数据,对历史数据进行分析处理,得到多种资源指标数据和每一种资源指标数据对应的历史异动数据。
在本步骤中,通过数据采集工具采集业务系统中的历史数据,其中,历史数据可以包括多种软硬件资源和业务数据;软硬件资源包括:主机、实例、应用程序代理(在本实施例中以haproxy代理为例)、数据库(在本实施例中以redis数据库为例)等组件;业务数据包括日志量、域名流量、业务量等数据,将采集到的多种软硬件资源和业务数据按照机房平面进行整理得到多种资源指标数据和每一种资源指标数据对应的历史异动数据,并制成表格以表1形式保存至数据库,表1为按预设时间维度保存的多种资源指标数据和每一种资源指标数据对应的历史异动数据,其中,预设时间维度可为分钟维度:
表1历史数据保存样式
步骤S220:依据多种资源指标数据和每一种资源指标数据对应的历史异动数据构建异动判定模型。
在一种可选的方式中,步骤S220进一步包括:针对每一个平面,对多种资源指标数据和每一种资源指标数据对应的历史异动数据进行分析处理,得到每一种资源指标数据的异动生成阈值条件;依据多种资源指标数据和每一种资源指标数据的异动生成阈值条件进行训练学习,得到每一种资源指标数据的异动判定模型。
在本步骤中,针对每一个平面,基于每类资源指标数据和每一种资源指标数据对应的历史异动数据,以每一个平面为维度,分别通过逻辑回归的机器学习算法进行训练学习,得出每一种资源指标数据的异动判定模型,通过该异动判定模型自动判断当前实时获得的业务系统的多种当前资源指标数据是否能生成异动。
在本实施例中,通过逻辑回归算法对异动判定模型进行训练学习,逻辑回归算法是利用已知的自变量来预测一个离散型因变量的值,具体算法详述如下:
假设数据集有n个独立的特征,x1到xn为样本的n个特征,其中[x1…xn]是输入向量,训练的过程就是确定[c0,c2…cn-1]的值,使得该表达式对于多个输入向量的输出值正确率最高;为了使得预测值与真实值的误差最小,拟合出一个多项式函数作为回归算法的目标函数如式(1):
f(x)=c0+c1xi+…+cn-1xn; (1)
为了使f(x)能够具有很好的逻辑判断性质,最好能够直接表达具有特征x的样本被分到某类的概率,可以通过拟定f(x)的阈值范围来进行分类,比如f(x)>0.5的时候能够表示x被分为正类,f(x)<0.5表示分为反类,且f(x)总在[0,1]之间,进一步地,引入神经网络sigmoid函数作为激活函数,其中sigmoid函数表示如下式(2):
其中,图3为sigmoid函数的曲线示意图,如图3所示,sigmoid函数定义域为全体实数,值域在[0,1]之间,并且在0点值为0.5。
进一步地,需要将f(x)转变为sigmoid函数,定义p(x)=1为具有特征x的样本被分到类别1的概率,则p(x)/[1-p(x)]被定义为让步比(odds ratio),引入对数如下式(3):
通过式(1)-(3)解出p(x)得到下式(4):
得到sigmoid函数之后,通过线性回归拟合出式(4)中的n个参数c进行机器训练。
进一步地,通过逻辑回归算法,对多种资源指标数据和每一种资源指标数据对应的历史异动数据进行机器训练,设置自变量为:一种资源指标数据和该资源指标数据生成异动的异动生成阈值条件;设置因变量为:该资源指标数据是否生成异动;
基于上述自变量和因变量进行训练,得到该资源指标数据的异动判定模型如图4所示,图4示出了经过训练后的逻辑回归曲线,曲线下方的圆形节点为不产生异动的资源指标数据,曲线上方的方形节点为产生异动的资源指标数据。
基于上述这种资源指标数据的异动判定模型,对于当前实时获得的业务系统的该类资源指标数据,运用该异动判定模型就可以自动判断是否能生成异动,图5为运用异动判定模型判定示意图,如图5所示,若当前实时获得的业务系统的该类资源指标数据落在逻辑回归曲线下方,则当前数据不生成异动,若落在逻辑回归曲线上方,则判定其生成异动。
进一步地,将采集到的每一种资源指标数据均通过各自的异动判定模型来判断是否生成异动,生成的异动按照归属的机房平面、资源类型、时间、异动详情等分类保存到数据库表中,数据保存样式可参考表2,表2为按时间维度保存的各类资源指标数据的异动数据:
业务系统 | 异动类型 | 异动数据 | 资源 | 归属平面 | 异动详情 | 时间 |
系统x | 主机 | 主机CPU使用率 | IP1 | A平面 | 99.0%超出范围 | 2020-10-20 17:15 |
系统x | haproxy | 后端实例响应时长 | IP1_PORT | A平面 | 1500超出范围 | 2020-10-20 17:15 |
系统x | 日志类 | 日志量 | 模块1 | A平面 | 3000超出范围 | 2020-10-20 17:15 |
系统x | 日志类 | 日志量 | 模块2 | B平面 | 500超出范围 | 2020-10-20 17:15 |
系统x | 日志类 | 日志关键字1 | 模块1 | A平面 | 320超出范围 | 2020-10-20 17:15 |
系统x | 服务网关 | 调用成功率 | 系统x | A平面 | 95.6%超出范围 | 2020-10-20 17:15 |
系统x | 服务网关 | 调用平均耗时 | 系统x | A平面 | 3000超出范围 | 2020-10-20 17:15 |
… | … | … | … | … | … | … |
表2各类资源指标数据的异动数据
步骤S230:提取多种资源指标数据对应的异动数据的特征值,依据多种资源指标数据对应的异动数据的特征值进行训练学习,得到业务系统中多个平面的平面可用性判定模型。
在一种可选的方式中,步骤S230进一步包括:针对每一个平面,提取该平面对应的多种资源指标数据对应的异动数据,依据异动数据获取该平面发生异动时的平面可用性数据;提取异动数据的特征值;将异动数据的特征值和该平面发生异动时的平面可用性数据通过聚类算法进行训练学习,得到该平面的平面可用性判定模型。
在本步骤中,基于表2,提取各个平面生成的多种资源指标数据对应的异动数据,依据异动数据获取历史故障发生期间各个平面的平面可用性的情况,提取异动数据的特征值,再根据k均值聚类算法(k-means clustering algorithm,k-means算法)进行机器训练得出各平面的平面可用性判定模型,通过各平面的平面可用性判定模型可以自动判断当前故障发生时生成的异动所对应的平面可用性等级,以此决定是否需要通过引流来解决故障。
在一种可选的方式中,异动数据的特征值包括:异动类型、等级类特征值、数量级特征值和异动持续时长;其中,异动类型包括:日志类异动、主机类异动、实例类异动、应用程序代理类异动以及服务网关类异动。
具体地说,首先提取该平面对应的多种资源指标数据对应的异动数据,提取异动数据的特征值,具体包括:异动类型、异动所属资源等级、异动等级、异动数量分类、异动影响业务等级以及异动持续时长等;其中,异动类型包括日志类异动、主机类异动、实例类异动、应用程序代理类异动(例如haproxy类异动等)、服务网关类异动等;异动所属资源等级包括核心、重要、次要、一般等;异动等级包括核心、重要、次要、一般等;异动数量分类包括1以内、1-5、6-10、11-30、30以上等;异动影响业务等级包括核心、重要、次要、一般等;异动持续时长:5分钟以内、5-10分钟、10-30分钟、30-60分钟、60分钟以上等。其中,异动所属资源等级、异动等级和异动影响业务等级属于等级类特征值;异动数量分类属于数量级特征值。
在一种可选的方式中,步骤S230进一步包括:依据异动数据的特征值和该平面发生异动时的平面可用性数据进行聚类运算,得到多个聚类质心点;统计单位时间内的等级类特征值和数量级特征值,依据单位时间内的等级类特征值、数量级特征值以及多个聚类质心点绘制异动分布图;针对每个异动数据,计算这个异动数据的特征值与多个聚类质心点之间的距离,根据距离确定这个异动数据所属的聚类确定该平面的平面可用性判定模型。
具体地,依据异动数据的特征值和该平面发生异动时的平面可用性数据,通过k-means算法对平面可用性进行机器训练,k-means算法基本思想是通过迭代寻找k个聚类的一种划分方案,使得用这k个聚类的均值来代表相应各类样本时所得的总体误差最小,即k-means算法的基础是最小误差平方和准则,k-means算法的代价函数如下式(5):
为了使得上述代价函数的值最小,直观的来说,各类内的样本越相似,其与该类均值间的误差平方越小,因此,通过对所有类所得到的误差平方求和,即可验证分为k类时,各聚类是否是最优的。
由于上式(5)的代价函数无法用解析的方法最小化,因此可以通过迭代的方法将样本聚类成k个簇(cluster),其中k是预先设定的常数,算法为首先随机选取k个聚类质心点,接着重复下面步骤1-步骤2直到收敛完成:
步骤1:对于每一个样例i,通过式(6)计算其应该属于的类:
c(i)∶=argminj||x(i)-μj||2; (6)
步骤2:对于每一个类j,通过式(7)重复计算该类的质心点:
图6为通过k-means算法得到质心点的过程示意图,如图6所示,首先随机选取3个聚类质心点,通过从图6中1-2-3-4的重复收敛过程,重复计算该类的质心点,最终得到3个簇,其中,每个簇对应一个质心点。
进一步地,统计单个平面单位时间内(如每分钟或每五分钟等)的历史异动数据,分别对应等级类特征值和数量级特征值计算汇总值,绘制历史异动的分布图,取多个聚类质心点,分别代表多个平面可用性等级(可用性等级包括高、中、低、极低等),分别计算所有历史异动点跟多个质心点的距离,按照距离从大到小划分为多个类,再重新计算每个类的质心点,重复上述过程,直到所有历史异动点都归类到历史异动的分布图中,即可得出该平面的可用性判定模型,图7a示出了取4个聚类质心点时平面可用性模型训练聚类示意图,如图7a所示,分别计算所有历史异动点跟4个质心点的距离,按照距离从大到小划分为4个类,再重新计算每个类的质心点,重复上述过程,直到所有历史异动点都归类到历史异动的分布图中,即可得出该平面的可用性判定模型。
对于故障期间通过异动判定模型生成的各平面异动数据,统计等级类特征值和数量级特征值,将其显示在历史异动的分布图上,通过计算和不同质心点之间距离,依据该距离从大到小进行排序,距离最小的等级即为当前平面属于什么可用性等级,图7b示出了其中一个测试点在历史异动的分布图的示意图,如图7b所示,依据距离大小进行排序,可以判断该测试点与极低可应用等级的距离最近,因此,依据该平面的平面可用性判定模型判定该平面的当前可用性为极低。
步骤S240:依据异动判定模型和多个平面的平面可用性判定模型,对当前实时获得的业务系统的多种当前资源指标数据进行处理,判定业务系统中多个平面的平面可用性,并依据判定结果进行流量引流处理。
在一种可选的方式中,步骤S240进一步包括:采集业务系统的当前数据,对当前数据进行处理,得到多种当前资源指标数据资源指标数据;将多种当前资源指标数据资源指标数据输入至异动判定模型进行判定,得到每一种资源的异动判定结果;针对异动判定结果为发生异动的资源,提取资源的当前资源指标数据对应的异动数据的特征值,将特征值输入至资源所属平面的平面可用性判定模型进行处理,得到该平面的平面可用性的判定结果,并依据判定结果进行流量引流处理。
通过上述步骤S230的平面可用性判定模型,即可快速判定出当前故障时发生的平面可用性等级,在本步骤中,可以通过预先设定规则,例如,当平面可用性等级为低或极低时自动触发流量引流工具,从而将业务系统所有流量从可用性低或极低的平面引流至可用性中或高的平面,从而快速解决故障,减少故障处理时长和内外部用户感知。
采用本实施例的方法,通过采集业务系统的历史数据,对历史数据进行分析处理,得到多种资源指标数据和每一种资源指标数据对应的历史异动数据;依据多种资源指标数据和每一种资源指标数据对应的历史异动数据构建异动判定模型;提取多种资源指标数据对应的异动数据的特征值,依据多种资源指标数据对应的异动数据的特征值进行训练学习,得到业务系统中多个平面的平面可用性判定模型;依据异动判定模型和多个平面的平面可用性判定模型,对当前实时获得的业务系统的多种当前资源指标数据进行处理,判定业务系统中多个平面的平面可用性,并依据判定结果进行流量引流处理。本发明基于业务系统中的多种资源指标数据,按照构建的异动判定模型自动判定异动,再通过训练的平面可用性判定模型自动判断当前故障发生期间的多个平面的平面可用性,基于平面可用性的判定结果,自动触发引流工具,快速解决故障,降低对业务系统处理业务的影响。同时,本发明通过采集业务系统中的各类基础层的软硬件资源及业务层的各类指标数据作为历史数据基础,数据采集范围更广,训练模型更完善,结果更准确;通过机器学习的算法训练学习生成异动判定模型和平面可用性判定模型,可实时更新模型状态,符合当前业务系统现状。
图8示出了本发明一种业务系统平面可用性判定装置实施例的结构示意图。如图8所示,该装置包括:数据采集模块810、模型构建模块820和处理模块830。
数据采集模块810,用于采集业务系统的历史数据,对历史数据进行分析处理,得到多种资源指标数据和每一种资源指标数据对应的历史异动数据。
模型构建模块820,用于依据多种资源指标数据和每一种资源指标数据对应的历史异动数据构建异动判定模型;提取多种资源指标数据对应的异动数据的特征值,依据多种资源指标数据对应的异动数据的特征值进行训练学习,得到业务系统中多个平面的平面可用性判定模型。
在一种可选的方式中,模型构建模块820进一步用于:针对每一个平面,对多种资源指标数据和每一种资源指标数据对应的历史异动数据进行分析处理,得到每一种资源指标数据的异动生成阈值条件;依据多种资源指标数据和每一种资源指标数据的异动生成阈值条件进行训练学习,得到每一种资源指标数据的异动判定模型。
在一种可选的方式中,模型构建模块820进一步用于:针对每一个平面,提取该平面对应的多种资源指标数据对应的异动数据,依据异动数据获取该平面发生异动时的平面可用性数据;提取异动数据的特征值;将异动数据的特征值和该平面发生异动时的平面可用性数据通过聚类算法进行训练学习,得到该平面的平面可用性判定模型。
在一种可选的方式中,异动数据的特征值包括:异动类型、等级类特征值、数量级特征值和异动持续时长;其中,异动类型包括:日志类异动、主机类异动、实例类异动、应用程序代理类异动以及服务网关类异动。
在一种可选的方式中,模型构建模块820进一步用于:依据异动数据的特征值和该平面发生异动时的平面可用性数据进行聚类运算,得到多个聚类质心点;统计单位时间内的等级类特征值和数量级特征值,依据单位时间内的等级类特征值、数量级特征值以及多个聚类质心点绘制异动分布图;针对每个异动数据,计算这个异动数据的特征值与多个聚类质心点之间的距离,根据距离确定这个异动数据所属的聚类确定该平面的平面可用性判定模型。
处理模块830,用于依据异动判定模型和多个平面的平面可用性判定模型,对当前实时获得的业务系统的多种当前资源指标数据进行处理,判定业务系统中多个平面的平面可用性,并依据判定结果进行流量引流处理。
在一种可选的方式中,处理模块830进一步用于:采集业务系统的当前数据,对当前数据进行处理,得到多种当前资源指标数据资源指标数据;将多种当前资源指标数据资源指标数据输入至异动判定模型进行判定,得到每一种资源的异动判定结果;针对异动判定结果为发生异动的资源,提取资源的当前资源指标数据对应的异动数据的特征值,将特征值输入至资源所属平面的平面可用性判定模型进行处理,得到该平面的平面可用性的判定结果,并依据判定结果进行流量引流处理。
采用本实施例的装置,通过采集业务系统的历史数据,对历史数据进行分析处理,得到多种资源指标数据和每一种资源指标数据对应的历史异动数据;依据多种资源指标数据和每一种资源指标数据对应的历史异动数据构建异动判定模型;提取多种资源指标数据对应的异动数据的特征值,依据多种资源指标数据对应的异动数据的特征值进行训练学习,得到业务系统中多个平面的平面可用性判定模型;依据异动判定模型和多个平面的平面可用性判定模型,对当前实时获得的业务系统的多种当前资源指标数据进行处理,判定业务系统中多个平面的平面可用性,并依据判定结果进行流量引流处理。本发明基于业务系统中的多种资源指标数据,按照构建的异动判定模型自动判定异动,再通过训练的平面可用性判定模型自动判断当前故障发生期间的多个平面的平面可用性,基于平面可用性的判定结果,自动触发引流工具,快速解决故障,降低对业务系统处理业务的影响。
本发明实施例提供了一种非易失性计算机存储介质,计算机存储介质存储有至少一可执行指令,该计算机可执行指令可执行上述任意方法实施例中的一种业务系统平面可用性判定方法。
可执行指令具体可以用于使得处理器执行以下操作:
采集业务系统的历史数据,对历史数据进行分析处理,得到多种资源指标数据和每一种资源指标数据对应的历史异动数据;
依据多种资源指标数据和每一种资源指标数据对应的历史异动数据构建异动判定模型;
提取多种资源指标数据对应的异动数据的特征值,依据多种资源指标数据对应的异动数据的特征值进行训练学习,得到业务系统中多个平面的平面可用性判定模型;
依据异动判定模型和多个平面的平面可用性判定模型,对当前实时获得的业务系统的多种当前资源指标数据进行处理,判定业务系统中多个平面的平面可用性,并依据判定结果进行流量引流处理。
图9示出了本发明计算设备实施例的结构示意图,本发明具体实施例并不对计算设备的具体实现做限定。
如图9所示,该计算设备可以包括:
处理器(processor)、通信接口(Communications Interface)、存储器(memory)、以及通信总线。
其中:处理器、通信接口、以及存储器通过通信总线完成相互间的通信。通信接口,用于与其它设备比如客户端或其它服务器等的网元通信。处理器,用于执行程序,具体可以执行上述一种业务系统平面可用性判定方法实施例中的相关步骤。
具体地,程序可以包括程序代码,该程序代码包括计算机操作指令。
处理器可能是中央处理器CPU,或者是特定集成电路ASIC(Application SpecificIntegrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。服务器包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器,用于存放程序。存储器可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序具体可以用于使得处理器执行以下操作:
采集业务系统的历史数据,对历史数据进行分析处理,得到多种资源指标数据和每一种资源指标数据对应的历史异动数据;
依据多种资源指标数据和每一种资源指标数据对应的历史异动数据构建异动判定模型;
提取多种资源指标数据对应的异动数据的特征值,依据多种资源指标数据对应的异动数据的特征值进行训练学习,得到业务系统中多个平面的平面可用性判定模型;
依据异动判定模型和多个平面的平面可用性判定模型,对当前实时获得的业务系统的多种当前资源指标数据进行处理,判定业务系统中多个平面的平面可用性,并依据判定结果进行流量引流处理。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明实施例也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤,除有特殊说明外,不应理解为对执行顺序的限定。
Claims (10)
1.一种业务系统平面可用性判定方法,其特征在于,包括:
采集业务系统的历史数据,对所述历史数据进行分析处理,得到多种资源指标数据和每一种资源指标数据对应的历史异动数据;
依据所述多种资源指标数据和每一种资源指标数据对应的历史异动数据构建异动判定模型;
提取多种资源指标数据对应的异动数据的特征值,依据多种资源指标数据对应的异动数据的特征值进行训练学习,得到业务系统中多个平面的平面可用性判定模型;
依据所述异动判定模型和所述多个平面的平面可用性判定模型,对当前实时获得的业务系统的多种当前资源指标数据进行处理,判定所述业务系统中多个平面的平面可用性,并依据判定结果进行流量引流处理。
2.根据权利要求1所述的方法,其特征在于,所述依据所述多种资源指标数据和每一种资源指标数据对应的历史异动数据构建异动判定模型进一步包括:
针对每一个平面,对所述多种资源指标数据和每一种资源指标数据对应的历史异动数据进行分析处理,得到每一种资源指标数据的异动生成阈值条件;
依据所述多种资源指标数据和每一种资源指标数据的异动生成阈值条件进行训练学习,得到每一种资源指标数据的异动判定模型。
3.根据权利要求1所述的方法,其特征在于,所述提取多种资源指标数据对应的异动数据的特征值,依据多种资源指标数据对应的异动数据的特征值进行训练学习,分别得到业务系统中多个平面的平面可用性判定模型进一步包括:
针对每一个平面,提取该平面对应的多种资源指标数据对应的异动数据,依据所述异动数据获取该平面发生异动时的平面可用性数据;
提取所述异动数据的特征值;
将所述异动数据的特征值和该平面发生异动时的平面可用性数据通过聚类算法进行训练学习,得到该平面的平面可用性判定模型。
4.根据权利要求3所述的方法,其特征在于,所述异动数据的特征值包括:异动类型、等级类特征值、数量级特征值和异动持续时长;
其中,所述异动类型包括:日志类异动、主机类异动、实例类异动、应用程序代理类异动以及服务网关类异动。
5.根据权利要求4所述的方法,其特征在于,所述将所述异动数据的特征值和该平面发生异动时的平面可用性数据通过聚类算法进行训练学习,得到该平面的平面可用性判定模型进一步包括:
依据所述异动数据的特征值和该平面发生异动时的平面可用性数据进行聚类运算,得到多个聚类质心点;
统计单位时间内的所述等级类特征值和所述数量级特征值,依据单位时间内的所述等级类特征值、所述数量级特征值以及多个聚类质心点绘制异动分布图;
针对每个异动数据,计算这个异动数据的特征值与多个聚类质心点之间的距离,根据距离确定这个异动数据所属的聚类确定该平面的平面可用性判定模型。
6.根据权利要求1-5任一项中所述的方法,其特征在于,所述依据所述异动判定模型和所述多个平面的平面可用性判定模型,对当前实时获得的业务系统的多种当前资源指标数据进行处理,判定所述业务系统中多个平面的平面可用性,并依据判定结果进行流量引流处理进一步包括:
采集业务系统的当前数据,对所述当前数据进行处理,得到多种当前资源指标数据资源指标数据;
将多种当前资源指标数据资源指标数据输入至所述异动判定模型进行判定,得到每一种资源的异动判定结果;
针对所述异动判定结果为发生异动的资源,提取所述资源的当前资源指标数据对应的异动数据的特征值,将所述特征值输入至所述资源所属平面的平面可用性判定模型进行处理,得到该平面的平面可用性的判定结果,并依据判定结果进行流量引流处理。
7.一种业务系统平面可用性判定装置,其特征在于,包括:
数据采集模块,用于采集业务系统的历史数据,对所述历史数据进行分析处理,得到多种资源指标数据和每一种资源指标数据对应的历史异动数据;
模型构建模块,用于依据所述多种资源指标数据和每一种资源指标数据对应的历史异动数据构建异动判定模型;提取多种资源指标数据对应的异动数据的特征值,依据多种资源指标数据对应的异动数据的特征值进行训练学习,得到业务系统中多个平面的平面可用性判定模型;
处理模块,用于依据所述异动判定模型和所述多个平面的平面可用性判定模型,对当前实时获得的业务系统的多种当前资源指标数据进行处理,判定所述业务系统中多个平面的平面可用性,并依据判定结果进行流量引流处理。
8.根据权利要求7所述的装置,其特征在于,所述模型构建模块进一步用于:
针对每一个平面,对所述多种资源指标数据和每一种资源指标数据对应的历史异动数据进行分析处理,得到每一种资源指标数据的异动生成阈值条件;
依据所述多种资源指标数据和每一种资源指标数据的异动生成阈值条件进行训练学习,得到每一种资源指标数据的异动判定模型。
9.一种计算设备,其特征在于,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-6中任一项所述的一种业务系统平面可用性判定方法对应的操作。
10.一种计算机存储介质,其特征在于,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求1-6中任一项所述的一种业务系统平面可用性判定方法对应的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110830168.5A CN115687034A (zh) | 2021-07-22 | 2021-07-22 | 一种业务系统平面可用性判定方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110830168.5A CN115687034A (zh) | 2021-07-22 | 2021-07-22 | 一种业务系统平面可用性判定方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115687034A true CN115687034A (zh) | 2023-02-03 |
Family
ID=85043741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110830168.5A Pending CN115687034A (zh) | 2021-07-22 | 2021-07-22 | 一种业务系统平面可用性判定方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115687034A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116089248A (zh) * | 2023-04-07 | 2023-05-09 | 中国空气动力研究与发展中心计算空气动力研究所 | 一种写i/o突发分布预测方法、装置、设备及存储介质 |
-
2021
- 2021-07-22 CN CN202110830168.5A patent/CN115687034A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116089248A (zh) * | 2023-04-07 | 2023-05-09 | 中国空气动力研究与发展中心计算空气动力研究所 | 一种写i/o突发分布预测方法、装置、设备及存储介质 |
CN116089248B (zh) * | 2023-04-07 | 2023-06-02 | 中国空气动力研究与发展中心计算空气动力研究所 | 一种写i/o突发分布预测方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105590055B (zh) | 用于在网络交互系统中识别用户可信行为的方法及装置 | |
CN112837069B (zh) | 基于区块链与大数据的安全支付方法及云平台系统 | |
CN110991474A (zh) | 一种机器学习建模平台 | |
CN111507470A (zh) | 一种异常账户的识别方法及装置 | |
CN112966865B (zh) | 携号转网预测方法、装置及设备 | |
CN111797320B (zh) | 数据处理方法、装置、设备及存储介质 | |
CN114048468A (zh) | 入侵检测的方法、入侵检测模型训练的方法、装置及介质 | |
CN111582645B (zh) | 基于因子分解机的app风险评估方法、装置和电子设备 | |
CN113537337A (zh) | 训练方法、异常检测方法、装置、设备和存储介质 | |
CN112949914A (zh) | 一种产业集群的识别方法、装置、存储介质及电子设备 | |
Sharma et al. | Big data reliability: A critical review | |
CN113541985A (zh) | 物联网故障诊断方法、模型的训练方法及相关装置 | |
CN115687034A (zh) | 一种业务系统平面可用性判定方法和装置 | |
WO2021262344A1 (en) | Method and apparatus to detect scripted network traffic | |
US20230156043A1 (en) | System and method of supporting decision-making for security management | |
CN112241820A (zh) | 资金流动中关键节点的风险识别方法、装置及计算设备 | |
CN110059966A (zh) | 影响因素的贡献力分析方法和装置 | |
CN115660101A (zh) | 一种基于业务节点信息的数据服务提供方法及装置 | |
CN115422000A (zh) | 异常日志处理方法及装置 | |
CN114281664A (zh) | 应用程序负载数据预测方法、装置及存储介质 | |
Malhotra et al. | A neuro-fuzzy classifier for website quality prediction | |
CN111931035B (zh) | 业务推荐方法、装置及设备 | |
CN113656354A (zh) | 日志分类方法、系统、计算机设备和可读存储介质 | |
Glonek et al. | Semi-supervised graph labelling reveals increasing partisanship in the United States Congress | |
CN116680323B (zh) | 基于大数据安全平台的用户需求挖掘方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |