CN105721199B - 一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法 - Google Patents

一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法 Download PDF

Info

Publication number
CN105721199B
CN105721199B CN201610040259.8A CN201610040259A CN105721199B CN 105721199 B CN105721199 B CN 105721199B CN 201610040259 A CN201610040259 A CN 201610040259A CN 105721199 B CN105721199 B CN 105721199B
Authority
CN
China
Prior art keywords
cloud service
real
time
fuzzy inference
inference system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610040259.8A
Other languages
English (en)
Other versions
CN105721199A (zh
Inventor
张卫山
段鹏程
宫文娟
卢清华
李忠伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN201610040259.8A priority Critical patent/CN105721199B/zh
Publication of CN105721199A publication Critical patent/CN105721199A/zh
Application granted granted Critical
Publication of CN105721199B publication Critical patent/CN105721199B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H04L43/55—Testing of service level quality, e.g. simulating service usage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Feedback Control In General (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出了一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法，包括以下步骤：步骤1、启动实时云环境，运行云服务；步骤2、启动实时云服务状态参数获取组件；步骤3、获取某一段时间内集群正常运行环境下的云服务状态参数，采用核密度估计模型对其进行建模，同时开启模糊推理系统；步骤4、新获得的状态参数输入到该模糊推理系统中，计算出瓶颈指数；步骤5、设置阈值，观察每一个云服务瓶颈指数的历史规律，如果在某一时间段内一直超过阈值，则启动预警机制。本发明的方法能够实时获取云集群中每一个服务的运行状态，存入数据仓库；实现对每一个实时云服务的瓶颈检测；当实时云服务的瓶颈指数长时间超过某一阈值，启动预警机制。

Description

一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测 方法
技术领域
本发明涉及云计算大数据计算、实时服务计算和异常检测领域，具体涉及到一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法。
背景技术
对云计算环境下实时服务的异常检测是极为困难的。
首先是云服务状态参数获取与选择上的困难，实时云环境中的云服务分布在各个集群节点中，有的云服务还运行在同一节点不同虚拟机上面，这就造成了对云服务运行的状态难以获取。
其次是实时云服务的运行模式不可预测，一个云服务的空闲、繁忙等状态没有一个规定的标准加以定义，这就造成了一个云服务的瓶颈也难以定义。加之，集群规模不可控，当一个云计算集群中的节点个数的规模很大时，这对集群内部的网络产生障碍，而获取云服务状态本身就会消耗资源，这也造成了针对云服务的瓶颈检测算法必须要求资源消耗少等特点；同时数量庞大的云服务也要求检测算法必须为非监督，不然会消耗大量的人工操作，后者显然是不可行的。
发明内容
为解决现有技术的不足，本发明提出一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法。
本发明的技术方案是这样实现的：
一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法，包括以下步骤：
步骤1、启动实时云环境，运行云服务；
步骤2、启动实时云服务状态参数获取组件；
步骤3、获取某一段时间内集群正常运行环境下的云服务状态参数，采用核密度估计模型对其进行建模，同时开启模糊推理系统；
步骤4、新获得的状态参数输入到该模糊推理系统中，计算出瓶颈指数；
步骤5、设置阈值，观察每一个云服务瓶颈指数的历史规律，如果在某一时间段内一直超过阈值，则启动预警机制。
可选地，所述核密度估计模型首先根据每一个服务的属性日志建立关于“确认数”与“吞吐量”之间的二维概率密度模型，以及“延迟”与“CPU使用率”之间的二维概率密度模型；当模型建立完成，新的日志接收到以后，将云服务的日志输入到建立好的两个概率密度模型，输出相对应的概率；最后将两个概率密度模型的两个输出作为模糊推理系统的输入。
可选地，所述模糊推理系统的算法具体如下：
算法开始：
输入变量：
延迟-CPU：实数；
确认数-吞吐量：实数；
输出变量：
瓶颈：实数；
模糊化：延迟-CPU
术语 低：＝(0，1)(0.2，0)；
术语 中：＝高斯0.5 0.12；
术语 高：＝(0.75，0)(1，1)；
模糊化：确认数-吞吐量
术语 低：＝(0，1)(0.2，0)；
术语 中：＝高斯0.5 0.12；
术语 高：＝(0.75，0)(1，1)；
去模糊化：瓶颈
术语 低：＝(0，1)(0.2，0)；
术语 中：＝高斯0.5 0.12；
术语 高：＝(0.75，0)(1，1)；
默认：＝0；
规则定制：
规则1：如果延迟-CPU是低，并且确认数-吞吐量是低，那么瓶颈是高；
规则2：如果延迟-CPU是高，或者确认数-吞吐量是高，那么瓶颈是低；
规则3：如果延迟-CPU是中，并且确认数-吞吐量是中，那么瓶颈是中；
算法结束。
本发明的有益效果是：
(1)具有很高的鲁棒性，并且所消耗的计算资源也相对较少，而且具有非监督的算法特点；
(2)同时该方法的输入也具有动态性，一个实时云服务状态的描述具有多维性，可以有多个状态参数组成一个对云服务的描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法的流程图；
图2为本发明一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法的概率密度模型示意图；
图3为本发明一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法的模糊推理系统示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出了一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法，如图1所示，包括以下步骤：
步骤1、启动实时云环境，运行云服务；
步骤2、启动实时云服务状态参数获取组件；
步骤3、获取某一段时间内集群正常运行环境下的云服务状态参数，采用核密度估计模型对其进行建模，同时开启模糊推理系统；
步骤4、新获得的状态参数输入到该模糊推理系统中，计算出瓶颈指数；
步骤5、设置阈值，观察每一个云服务瓶颈指数的历史规律，如果在某一时间段内一直超过阈值，则启动预警机制。
本发明的基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法，能够实时地、自动地监控实时云服务的运行状态，并给与每一个云服务对应的瓶颈指数。本发明的方法具有资源消耗小、非监督以及误差小等优点。
本发明的核密度估计模型首先根据每一个服务的属性日志(包括CPU使用情况、内存使用情况、吞吐量、延迟等)建立如图2所示的关于“确认数”与“吞吐量”之间的二维概率密度模型，以及“延迟”与“CPU使用率”之间的二维概率密度模型；当模型建立完成，新的日志接收到以后，将云服务的日志输入到建立好的两个概率密度模型，输出相对应的概率；最后将两个概率密度模型的两个输出作为模糊推理系统的输入，如图3所示。
上述模糊推理系统的算法具体如下：
算法开始：
输入变量：
延迟-CPU：实数；
确认数-吞吐量：实数；
输出变量：
瓶颈：实数；
模糊化：延迟-CPU
术语 低：＝(0，1)(0.2，0)；
术语 中：＝高斯0.5 0.12；
术语 高：＝(0.75，0)(1，1)；
模糊化：确认数-吞吐量
术语 低：＝(0，1)(0.2，0)；
术语 中：＝高斯0.5 0.12；
术语 高：＝(0.75，0)(1，1)；
去模糊化：瓶颈
术语 低：＝(0，1)(0.2，0)；
术语 中：＝高斯0.5 0.12；
术语 高：＝(0.75，0)(1，1)；
默认：＝0；
规则定制：
规则1：如果延迟-CPU是低，并且确认数-吞吐量是低，那么瓶颈是高；
规则2：如果延迟-CPU是高，或者确认数-吞吐量是高，那么瓶颈是低；
规则3：如果延迟-CPU是中，并且确认数-吞吐量是中，那么瓶颈是中；
算法结束。
本发明的基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法，能够实时获取云集群中每一个服务的运行状态，存入数据仓库；实现对每一个实时云服务的瓶颈检测；当实时云服务的瓶颈指数长时间超过某一阈值，启动预警机制。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法，其特征在于，包括以下步骤：
步骤1、启动实时云环境，运行云服务；
步骤2、启动实时云服务状态参数获取组件；
步骤3、获取某一段时间内集群正常运行环境下的云服务状态参数，采用核密度估计模型对其进行建模，同时开启模糊推理系统；
步骤4、新获得的状态参数输入到该模糊推理系统中，计算出瓶颈指数；
步骤5、设置阈值，观察每一个云服务瓶颈指数的历史规律，如果在某一时间段内一直超过阈值，则启动预警机制；
所述核密度估计模型首先根据每一个服务的属性日志建立关于“确认数”与“吞吐量”之间的二维概率密度模型，以及“延迟”与“CPU使用率”之间的二维概率密度模型；当模型建立完成，新的日志接收到以后，将云服务的日志输入到建立好的两个概率密度模型，输出相对应的概率；最后将两个概率密度模型的两个输出作为模糊推理系统的输入。
CN201610040259.8A 2016-01-18 2016-01-18 一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法 Expired - Fee Related CN105721199B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610040259.8A CN105721199B (zh) 2016-01-18 2016-01-18 一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610040259.8A CN105721199B (zh) 2016-01-18 2016-01-18 一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法

Publications (2)

Publication Number Publication Date
CN105721199A CN105721199A (zh) 2016-06-29
CN105721199B true CN105721199B (zh) 2019-06-07

Family

ID=56153779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610040259.8A Expired - Fee Related CN105721199B (zh) 2016-01-18 2016-01-18 一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法

Country Status (1)

Country Link
CN (1) CN105721199B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106506254B (zh) * 2016-09-20 2019-04-16 北京理工大学 一种大规模流式数据处理系统的瓶颈节点检测方法
CN109359138A (zh) * 2018-10-19 2019-02-19 济南浪潮高新科技投资发展有限公司 一种基于核密度估计的异常检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103716180A (zh) * 2013-12-04 2014-04-09 国网上海市电力公司 基于网络流量实际预测的网络异常预警方法
CN103839225A (zh) * 2012-11-20 2014-06-04 广东工业大学 基于模糊密度权的支持向量场景图像去噪算法
CN104536435A (zh) * 2014-12-18 2015-04-22 中国科学院电工研究所 一种线控系统网络在线诊断方法
CN104700374A (zh) * 2015-03-26 2015-06-10 东莞职业技术学院 基于Type-2模糊逻辑系统的场景图像去噪方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7640160B2 (en) * 2005-08-05 2009-12-29 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
CN103580934B (zh) * 2012-07-18 2018-09-04 深圳市腾讯计算机系统有限公司 一种云业务监测方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839225A (zh) * 2012-11-20 2014-06-04 广东工业大学 基于模糊密度权的支持向量场景图像去噪算法
CN103716180A (zh) * 2013-12-04 2014-04-09 国网上海市电力公司 基于网络流量实际预测的网络异常预警方法
CN104536435A (zh) * 2014-12-18 2015-04-22 中国科学院电工研究所 一种线控系统网络在线诊断方法
CN104700374A (zh) * 2015-03-26 2015-06-10 东莞职业技术学院 基于Type-2模糊逻辑系统的场景图像去噪方法

Also Published As

Publication number Publication date
CN105721199A (zh) 2016-06-29

Similar Documents

Publication Publication Date Title
CN104408518B (zh) 基于粒子群优化算法的神经网络学习优化方法
CN106502871B (zh) 监管系统的告警阈值动态配置系统及方法
CN107368891A (zh) 一种深度学习模型的压缩方法和装置
CN104407688A (zh) 基于树回归的虚拟化云平台能耗测量方法及系统
CN103970851A (zh) 海量凭证数据直接出具大型企业集团总部财务报表的方法
CN109389518A (zh) 关联分析方法及装置
CN108984972B (zh) 一种基于大数据和并行计算的水质数学模型优化方法
CN109298959A (zh) 一种内存异常检测方法及设备
CN115954933A (zh) 电网数字孪生系统构建方法、装置、电子设备和存储介质
CN105721199B (zh) 一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法
CN117291444B (zh) 一种数字乡村业务管理方法及系统
CN109685255A (zh) 一种预测用户流失的方法和装置
CN115085202A (zh) 电网多区域智能功率协同优化方法、装置、设备及介质
CN110309955B (zh) 一种云环境应用系统非停机升级时的负载预测方法及装置
CN117764290B (zh) 一种水利工程施工用bim模型数据管理方法
CN116384594A (zh) 基于大数据分析的作物虫害预警方法、系统、终端及介质
CN103442087B (zh) 一种基于响应时间趋势分析的Web服务系统访问量控制装置和方法
CN116602286B (zh) 一种植保无人机喷洒作业控制系统和方法
CN114757448B (zh) 一种基于数据空间模型的制造环节间最优价值链构建方法
CN117149410A (zh) 一种基于ai智能模型训练调度指挥监控系统
CN114760341B (zh) 一种工业互联网设备智能管控远程运维平台及方法
CN113111588B (zh) 一种燃气轮机nox排放浓度预测方法及装置
CN110275895A (zh) 一种缺失交通数据的填充设备、装置及方法
CN110826904B (zh) 风机的数据处理方法、装置、处理设备及可读存储介质
CN109032565A (zh) 一种应用于模拟数据中的带区间权重的二叉树随机数生成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190607

CF01 Termination of patent right due to non-payment of annual fee