CN105721199B - 一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法 - Google Patents
一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法 Download PDFInfo
- Publication number
- CN105721199B CN105721199B CN201610040259.8A CN201610040259A CN105721199B CN 105721199 B CN105721199 B CN 105721199B CN 201610040259 A CN201610040259 A CN 201610040259A CN 105721199 B CN105721199 B CN 105721199B
- Authority
- CN
- China
- Prior art keywords
- cloud service
- real
- time
- fuzzy inference
- inference system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 16
- 238000012790 confirmation Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 abstract description 5
- 230000005856 abnormality Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/50—Testing arrangements
- H04L43/55—Testing of service level quality, e.g. simulating service usage
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Feedback Control In General (AREA)
Abstract
本发明提出了一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法,包括以下步骤:步骤1、启动实时云环境,运行云服务;步骤2、启动实时云服务状态参数获取组件;步骤3、获取某一段时间内集群正常运行环境下的云服务状态参数,采用核密度估计模型对其进行建模,同时开启模糊推理系统;步骤4、新获得的状态参数输入到该模糊推理系统中,计算出瓶颈指数;步骤5、设置阈值,观察每一个云服务瓶颈指数的历史规律,如果在某一时间段内一直超过阈值,则启动预警机制。本发明的方法能够实时获取云集群中每一个服务的运行状态,存入数据仓库;实现对每一个实时云服务的瓶颈检测;当实时云服务的瓶颈指数长时间超过某一阈值,启动预警机制。
Description
技术领域
本发明涉及云计算大数据计算、实时服务计算和异常检测领域,具体涉及到一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法。
背景技术
对云计算环境下实时服务的异常检测是极为困难的。
首先是云服务状态参数获取与选择上的困难,实时云环境中的云服务分布在各个集群节点中,有的云服务还运行在同一节点不同虚拟机上面,这就造成了对云服务运行的状态难以获取。
其次是实时云服务的运行模式不可预测,一个云服务的空闲、繁忙等状态没有一个规定的标准加以定义,这就造成了一个云服务的瓶颈也难以定义。加之,集群规模不可控,当一个云计算集群中的节点个数的规模很大时,这对集群内部的网络产生障碍,而获取云服务状态本身就会消耗资源,这也造成了针对云服务的瓶颈检测算法必须要求资源消耗少等特点;同时数量庞大的云服务也要求检测算法必须为非监督,不然会消耗大量的人工操作,后者显然是不可行的。
发明内容
为解决现有技术的不足,本发明提出一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法。
本发明的技术方案是这样实现的:
一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法,包括以下步骤:
步骤1、启动实时云环境,运行云服务;
步骤2、启动实时云服务状态参数获取组件;
步骤3、获取某一段时间内集群正常运行环境下的云服务状态参数,采用核密度估计模型对其进行建模,同时开启模糊推理系统;
步骤4、新获得的状态参数输入到该模糊推理系统中,计算出瓶颈指数;
步骤5、设置阈值,观察每一个云服务瓶颈指数的历史规律,如果在某一时间段内一直超过阈值,则启动预警机制。
可选地,所述核密度估计模型首先根据每一个服务的属性日志建立关于“确认数”与“吞吐量”之间的二维概率密度模型,以及“延迟”与“CPU使用率”之间的二维概率密度模型;当模型建立完成,新的日志接收到以后,将云服务的日志输入到建立好的两个概率密度模型,输出相对应的概率;最后将两个概率密度模型的两个输出作为模糊推理系统的输入。
可选地,所述模糊推理系统的算法具体如下:
算法开始:
输入变量:
延迟-CPU:实数;
确认数-吞吐量:实数;
输出变量:
瓶颈:实数;
模糊化:延迟-CPU
术语 低:=(0,1)(0.2,0);
术语 中:=高斯0.5 0.12;
术语 高:=(0.75,0)(1,1);
模糊化:确认数-吞吐量
术语 低:=(0,1)(0.2,0);
术语 中:=高斯0.5 0.12;
术语 高:=(0.75,0)(1,1);
去模糊化:瓶颈
术语 低:=(0,1)(0.2,0);
术语 中:=高斯0.5 0.12;
术语 高:=(0.75,0)(1,1);
默认:=0;
规则定制:
规则1:如果延迟-CPU是低,并且确认数-吞吐量是低,那么瓶颈是高;
规则2:如果延迟-CPU是高,或者确认数-吞吐量是高,那么瓶颈是低;
规则3:如果延迟-CPU是中,并且确认数-吞吐量是中,那么瓶颈是中;
算法结束。
本发明的有益效果是:
(1)具有很高的鲁棒性,并且所消耗的计算资源也相对较少,而且具有非监督的算法特点;
(2)同时该方法的输入也具有动态性,一个实时云服务状态的描述具有多维性,可以有多个状态参数组成一个对云服务的描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法的流程图;
图2为本发明一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法的概率密度模型示意图;
图3为本发明一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法的模糊推理系统示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提出了一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法,如图1所示,包括以下步骤:
步骤1、启动实时云环境,运行云服务;
步骤2、启动实时云服务状态参数获取组件;
步骤3、获取某一段时间内集群正常运行环境下的云服务状态参数,采用核密度估计模型对其进行建模,同时开启模糊推理系统;
步骤4、新获得的状态参数输入到该模糊推理系统中,计算出瓶颈指数;
步骤5、设置阈值,观察每一个云服务瓶颈指数的历史规律,如果在某一时间段内一直超过阈值,则启动预警机制。
本发明的基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法,能够实时地、自动地监控实时云服务的运行状态,并给与每一个云服务对应的瓶颈指数。本发明的方法具有资源消耗小、非监督以及误差小等优点。
本发明的核密度估计模型首先根据每一个服务的属性日志(包括CPU使用情况、内存使用情况、吞吐量、延迟等)建立如图2所示的关于“确认数”与“吞吐量”之间的二维概率密度模型,以及“延迟”与“CPU使用率”之间的二维概率密度模型;当模型建立完成,新的日志接收到以后,将云服务的日志输入到建立好的两个概率密度模型,输出相对应的概率;最后将两个概率密度模型的两个输出作为模糊推理系统的输入,如图3所示。
上述模糊推理系统的算法具体如下:
算法开始:
输入变量:
延迟-CPU:实数;
确认数-吞吐量:实数;
输出变量:
瓶颈:实数;
模糊化:延迟-CPU
术语 低:=(0,1)(0.2,0);
术语 中:=高斯0.5 0.12;
术语 高:=(0.75,0)(1,1);
模糊化:确认数-吞吐量
术语 低:=(0,1)(0.2,0);
术语 中:=高斯0.5 0.12;
术语 高:=(0.75,0)(1,1);
去模糊化:瓶颈
术语 低:=(0,1)(0.2,0);
术语 中:=高斯0.5 0.12;
术语 高:=(0.75,0)(1,1);
默认:=0;
规则定制:
规则1:如果延迟-CPU是低,并且确认数-吞吐量是低,那么瓶颈是高;
规则2:如果延迟-CPU是高,或者确认数-吞吐量是高,那么瓶颈是低;
规则3:如果延迟-CPU是中,并且确认数-吞吐量是中,那么瓶颈是中;
算法结束。
本发明的基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法,能够实时获取云集群中每一个服务的运行状态,存入数据仓库;实现对每一个实时云服务的瓶颈检测;当实时云服务的瓶颈指数长时间超过某一阈值,启动预警机制。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (1)
1.一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法,其特征在于,包括以下步骤:
步骤1、启动实时云环境,运行云服务;
步骤2、启动实时云服务状态参数获取组件;
步骤3、获取某一段时间内集群正常运行环境下的云服务状态参数,采用核密度估计模型对其进行建模,同时开启模糊推理系统;
步骤4、新获得的状态参数输入到该模糊推理系统中,计算出瓶颈指数;
步骤5、设置阈值,观察每一个云服务瓶颈指数的历史规律,如果在某一时间段内一直超过阈值,则启动预警机制;
所述核密度估计模型首先根据每一个服务的属性日志建立关于“确认数”与“吞吐量”之间的二维概率密度模型,以及“延迟”与“CPU使用率”之间的二维概率密度模型;当模型建立完成,新的日志接收到以后,将云服务的日志输入到建立好的两个概率密度模型,输出相对应的概率;最后将两个概率密度模型的两个输出作为模糊推理系统的输入。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610040259.8A CN105721199B (zh) | 2016-01-18 | 2016-01-18 | 一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610040259.8A CN105721199B (zh) | 2016-01-18 | 2016-01-18 | 一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105721199A CN105721199A (zh) | 2016-06-29 |
CN105721199B true CN105721199B (zh) | 2019-06-07 |
Family
ID=56153779
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610040259.8A Expired - Fee Related CN105721199B (zh) | 2016-01-18 | 2016-01-18 | 一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105721199B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106506254B (zh) * | 2016-09-20 | 2019-04-16 | 北京理工大学 | 一种大规模流式数据处理系统的瓶颈节点检测方法 |
CN109359138A (zh) * | 2018-10-19 | 2019-02-19 | 济南浪潮高新科技投资发展有限公司 | 一种基于核密度估计的异常检测方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103716180A (zh) * | 2013-12-04 | 2014-04-09 | 国网上海市电力公司 | 基于网络流量实际预测的网络异常预警方法 |
CN103839225A (zh) * | 2012-11-20 | 2014-06-04 | 广东工业大学 | 基于模糊密度权的支持向量场景图像去噪算法 |
CN104536435A (zh) * | 2014-12-18 | 2015-04-22 | 中国科学院电工研究所 | 一种线控系统网络在线诊断方法 |
CN104700374A (zh) * | 2015-03-26 | 2015-06-10 | 东莞职业技术学院 | 基于Type-2模糊逻辑系统的场景图像去噪方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7640160B2 (en) * | 2005-08-05 | 2009-12-29 | Voicebox Technologies, Inc. | Systems and methods for responding to natural language speech utterance |
CN103580934B (zh) * | 2012-07-18 | 2018-09-04 | 深圳市腾讯计算机系统有限公司 | 一种云业务监测方法和装置 |
-
2016
- 2016-01-18 CN CN201610040259.8A patent/CN105721199B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103839225A (zh) * | 2012-11-20 | 2014-06-04 | 广东工业大学 | 基于模糊密度权的支持向量场景图像去噪算法 |
CN103716180A (zh) * | 2013-12-04 | 2014-04-09 | 国网上海市电力公司 | 基于网络流量实际预测的网络异常预警方法 |
CN104536435A (zh) * | 2014-12-18 | 2015-04-22 | 中国科学院电工研究所 | 一种线控系统网络在线诊断方法 |
CN104700374A (zh) * | 2015-03-26 | 2015-06-10 | 东莞职业技术学院 | 基于Type-2模糊逻辑系统的场景图像去噪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105721199A (zh) | 2016-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104408518B (zh) | 基于粒子群优化算法的神经网络学习优化方法 | |
CN106502871B (zh) | 监管系统的告警阈值动态配置系统及方法 | |
CN107368891A (zh) | 一种深度学习模型的压缩方法和装置 | |
CN104407688A (zh) | 基于树回归的虚拟化云平台能耗测量方法及系统 | |
CN103970851A (zh) | 海量凭证数据直接出具大型企业集团总部财务报表的方法 | |
CN109389518A (zh) | 关联分析方法及装置 | |
CN108984972B (zh) | 一种基于大数据和并行计算的水质数学模型优化方法 | |
CN111198808A (zh) | 预测性能指标的方法、装置、存储介质及电子设备 | |
CN109298959A (zh) | 一种内存异常检测方法及设备 | |
CN115954933A (zh) | 电网数字孪生系统构建方法、装置、电子设备和存储介质 | |
CN105721199B (zh) | 一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法 | |
CN117764290B (zh) | 一种水利工程施工用bim模型数据管理方法 | |
CN117291444B (zh) | 一种数字乡村业务管理方法及系统 | |
CN116384594A (zh) | 基于大数据分析的作物虫害预警方法、系统、终端及介质 | |
CN105490836B (zh) | 一种复杂网络可靠度的蒙特卡罗评估方法 | |
CN110493072A (zh) | 基于深度学习的带宽滤波方法、装置、服务器及存储介质 | |
CN116602286B (zh) | 一种植保无人机喷洒作业控制系统和方法 | |
CN114757448B (zh) | 一种基于数据空间模型的制造环节间最优价值链构建方法 | |
CN109889366B (zh) | 网络流量增量统计、分析方法及系统 | |
CN117149410A (zh) | 一种基于ai智能模型训练调度指挥监控系统 | |
CN113111588B (zh) | 一种燃气轮机nox排放浓度预测方法及装置 | |
CN110275895A (zh) | 一种缺失交通数据的填充设备、装置及方法 | |
CN110826904B (zh) | 风机的数据处理方法、装置、处理设备及可读存储介质 | |
CN109583117A (zh) | 供电可靠性的确定方法、装置及电子设备 | |
CN109032565A (zh) | 一种应用于模拟数据中的带区间权重的二叉树随机数生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190607 |
|
CF01 | Termination of patent right due to non-payment of annual fee |