CN109547230A - 一种基于权重的互联网缓存资源服务质量评价方法及系统 - Google Patents
一种基于权重的互联网缓存资源服务质量评价方法及系统 Download PDFInfo
- Publication number
- CN109547230A CN109547230A CN201710864846.3A CN201710864846A CN109547230A CN 109547230 A CN109547230 A CN 109547230A CN 201710864846 A CN201710864846 A CN 201710864846A CN 109547230 A CN109547230 A CN 109547230A
- Authority
- CN
- China
- Prior art keywords
- cache resources
- weight
- service quality
- index
- indices
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/50—Testing arrangements
- H04L43/55—Testing of service level quality, e.g. simulating service usage
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于权重的互联网缓存资源服务质量评价方法及系统,所述方法包括:S1、实时获取缓存资源服务质量的各项指标;S2、通过层次分析法和熵权法处理所述各项指标,获取所述各项指标的权重值;S3、基于所述各项指标及权重,对缓存资源服务质量进行评分。采用权重算法层次分析法和熵权法,既能保留专家和决策者主观意见的同时,又能利用原始指标数据信息来确定权重,独立于人的偏好与经验之外,即兼顾主客观两个方面,建立一套完善科学的评价体系,实时计算各缓存资源的服务质量综合评分,并判断是否处于告警状态,对处于告警临界值下的缓存资源予以告警,并下发至缓存厂家处理,及时解决问题,提升用户体验。
Description
技术领域
本发明涉及互联网通信技术领域,更具体地,涉及一种基于权重的互联网缓存资源服务质量评价方法及系统。
背景技术
CDN的全称是Content Delivery Network,即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节,使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络,CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容,解决Internet网络拥挤的状况,提高用户访问网站的响应速度。
缓存CACHE系统是将用户访问或下载的热点内容在存储设备中保存一个副本,当内容再次被用户访问或下载时,不必连接到驻留(源)网站,而是由Cache中保留的副本直接提供,以达到加速访问或下载,降低网间带宽和依赖的目的,实现一次外网访问,多次内网服务。
随着用户量级的增加,引入网站的扩展,内容资源的形式多样化演进,单纯的业务及能力叠加已经满足不了服务质量需求,运营商需要一种更精确的评估方法,用于提升缓存及CDN访问效率,达到资源利用最优化。
目前在评估互联网缓存资源质量时都是看各个指标的值,没有统一的标准,对于异常的指标值或指标值排名后几位的缓存资源才会提取出来查找原因,解决问题,这样会导致不能全量全面的评估缓存资源的质量;需消耗大量人力;并且只看异常或排名后几位,涉及到的缓存资源不全面,可能会把部分有问题的缓存资源遗漏掉,没有统一的标准,评估的质量和效率低;且人工的方式,实时性不强,不能及时发现有问题的缓存资源。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的一种基于权重的互联网缓存资源服务质量评价方法及系统,解决了现有技术评价方法中缓存资源易遗漏、标准不统一、评估质量和效率低、实时性不强的问题。
根据本发明的一个方面,提供一种互联网缓存资源服务质量评价方法,包括:
S1、实时获取缓存资源服务质量的各项指标;
S2、通过层次分析法和熵权法处理所述各项指标,获取所述各项指标的权重值;
S3、基于所述各项指标及权重,对缓存资源服务质量进行评分。
作为优选的,所述步骤S1具体包括:
将CDN及缓存日志数据抽取到集群服务器;
以域名为维度对缓存资源进行清洗,得到域名及域名下的反应缓存资源服务质量的各个指标。
作为优选的,所述步骤S2具体包括:
通过层次分析法得获得先验权重,通过熵权法获得的后验权重;
将先验权重和后验权重组合,得到所述各项指标的组合权重值。
作为优选的,所述步骤S2中,通过层次分析法得获得先验权重具体包括:
将缓存资源服务质量指标作为要素,建立两层多因素的结构模型;
以缓存资源服务质量为准则对要素进行两两比较,根据评定尺度相对重要程度,建立判断矩阵,求解判断矩阵的最大特征根以及对应的特征向量;
基于判断矩阵最大特征根以外的其余特征根的负平均值,对判断矩阵偏离一致性进行检验,若判断矩阵的一致性符合标准,则确定所求特征向量为权重值。
作为优选的,所述步骤S2中,在层次分析法过程中,还包括:
通过判断矩阵的一致性指标和同阶平均随机一致性指标对判断矩阵的一致性进行判定;若判断矩阵的一致性指标和同阶平均随机一致性指标之比小于设定阈值,则判断矩阵的一致性符合标准。
作为优选的,所述步骤S2中,通过熵权法获得的后验权重具体包括:
获取缓存资源服务质量的多组指标数据,并进行归一化处理;
通过熵权法对多组指标进行分析,利用信息熵计算出各指标的熵权,并通过熵权对各指标的权重进行修正,得到各个指标的权重值。
作为优选的,所述组合权重值为:
式中,W'i为第i个指标的组合权重值,Wi为先验权重值,Wei为后验权重值。
作为优选的,所述步骤S3中,通过Hadoop集群实时对各缓存资源服务质量的评分进行计算,依据告警阈值判断各缓存资源是否处于告警状态,对于处于告警状态的资源,下发至缓存厂家处理。
作为优选的,所述步骤S3中,通过对历史数据聚类分组,得到服务质量高、中、低以及告警四类,对告警类中的各个指标数据进行分布函数拟合,得到分布函数,并根据分布函数得到告警类各指标的区间,并依据分布函数计算资源服务质量告警阈值。
一种根据上述方法进行缓存资源服务质量评价的系统,包括:
采集模块,用于实时获取缓存资源服务质量的各项指标;
清洗模块,用于以域名为维度对缓存资源进行清洗,得到域名及域名下的反应缓存资源服务质量的各个指标,并对指标数据进行标准化处理;
计算模块,用于通过层次分析法和熵权法得到各项指标的权重值,并基于各项指标值及权重值对缓存资源服务质量进行评分。
本发明提出一种基于权重的互联网缓存资源服务质量评价方法及系统,通过对数据进行标准化,消除量纲影响;采用权重算法层次分析法和熵权法,既能保留专家和决策者主观意见的同时,又能利用原始指标数据信息来确定权重,独立于人的偏好与经验之外,即兼顾主客观两个方面,建立一套完善科学的评价体系,通过开源软件Hadoop集群组件集群,实时计算各缓存资源的服务质量综合评分,并判断是否处于告警状态,对处于告警临界值下的缓存资源予以告警,并下发至缓存厂家处理,及时解决问题,提升用户体验。
附图说明
图1为根据本发明实施例的缓存资源服务质量评价方法流程框图;
图2为根据本发明实施例的缓存资源服务质量评价方法具体流程示意图;
图3为根据本发明实施例的层次分析法确认权重流程示意图;
图4为根据本发明实施例的熵权法确认权重流程示意图;
图5为根据本发明实施例缓存资源服务质量评价系统应用示意图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
如图1和图2所示所示,图中示出了一种互联网缓存资源服务质量评价方法,包括:
S1、实时获取缓存资源服务质量的各项指标;
S2、通过层次分析法和熵权法处理所述各项指标,获取所述各项指标的权重值;
S3、基于所述各项指标及权重,对缓存资源服务质量进行评分。
在本实施例中,所述步骤S1具体包括:
将CDN及缓存日志数据通过Sqoop抽取到集群服务器,利用MapReduce对缓存资源以域名为维度对缓存资源进行清洗,得到域名及域名下的反应缓存资源服务质量的各个指标,并对指标数据进行标准化处理。
在指标数据采集过程中,从CDN及缓存日志中获取的指标包括:缓存域名的请求成功率、请求命中率、流量命中率、回源成功率、缓存增益比等数据;以请求成功率、请求命中率、流量命中率、回源成功率、缓存增益比等指标为一组样本数据,连续采集缓存资源的多组样本数据;并对样本数据进行删除离群点、噪声、缺失值插补等处理。
由于反映资源服务质量的指标量纲很多是不一样的,采用百分制的评分标准,有些指标的数值本身很大(如缓存资源指标里的缓存增益比,数值可能大于100),这样根据权重算法计算得到的评分可能超过100,不利于评分比较,因此在本实施例中,采用标准化处理,通过极差变换法变换后,指标值均在0~1之间,这样得到的评分在0-100之间,利于查看比较。
在本实施例中,所述步骤S2具体包括:
分别通过层次分析法和熵权法获取各项指标的权重值;
以层次分析法得获得权重值为先验权重、熵权法获得的权重值为后验权重,组合得到各项指标的组合权重值。
层次分析法(Analytic Hierarchy Process,AHP)由T.L.Saaty等在1970’s提出的一种可以做出有效评价的使用方法。该方法是一种把定量和定性相结合的、系统化、结构化的分析方法。其基本思想是把复杂的问题分解成若干层次和因素,在同层次各要素间简单地进行比较、判断和计算,以获得不同要素和不同备选方案的权重,这一方法的特点是在对复杂决策问题的本质、影响因素以及内在关系等进行深入分析后构建的一个层次模型,然后利用减少的定量信息,把决策的思维过程数学化,从而为求解多目标,多准则或无结构行的复杂决策问题,提供一种简便的决策方法。
在本实施例中,如图3所示,通过层次分析法得到各项指标的权重具体包括:
基于缓存资源服务质量指标为要素建立两层多因素的结构模型;
以缓存资源服务质量为准则对要素进行两两比较,根据评定尺度相对重要程度,建立判断矩阵,求解判断矩阵的最大特征根以及对应的特征向量;
基于判断矩阵最大特征根以外的其余特征根的负平均值,对判断矩阵偏离一致性进行检验,若判断矩阵的一致性符合标准,则确定所求特征向量为权重值。
进一步的,在层次分析法过程中,还包括:
通过判断矩阵的一致性指标和同阶平均随机一致性指标对判断矩阵的一致性进行判定;若判断矩阵的一致性指标和同阶平均随机一致性指标之比小于设定阈值,则判断矩阵的一致性符合标准。
具体的,在本实施例中,层次分析法确认权重流程具体包括:
建立多级递阶的结构模型;在缓存资源服务评价体系中,评价体系下有请求成功率、请求命中率、流量命中率、回源成功率、缓存增益比等指标,建立两层多因素的结构模型。
建立判断矩阵;对同一层次的要素以上一级的要素为准则进行两两比较,根据评定尺度确定其相对重要程度,并据此建立判断矩阵。
对于缓存资源服务质量,有多个要素(请求成功率、请求命中率、流量命中率、回源成功率、缓存增益比等),以缓存资源服务质量为准则进行两两比较,根据评定尺度确定相对重要程度,建立判断矩阵。
上述比较是两两因素之间进行的比较,比较时取1-9的尺度。用aij表示第i个因素相对于第j个因素的比较结果,则aij=1/aij。
如表1所示,为比较尺度,即1-9尺度的含义:
则判断矩阵为:
根据aij=1/aij,有:
aij>0
aii=1
则称A矩阵为正反矩阵,若对于任意的i、j、k均有aij×ajk=aik,则正反矩阵A为一致矩阵。
计算权重向量;层次单排序就是指根据判断矩阵计算对于上一层某因素而言本层次与之有联系的的因素重要性次序的权值,可归结为,求解矩阵的最大特征根和对应特征的特征向量,即对判断矩阵A,计算满足AW=τmax W的特征根和特征向量。
式中τmax为A的最大特征根,W为对应于τmax的正规化特征向量,W的分量Wi即是相应要素单排序的权值。
在层次分析法中,最根本的计算任务是求解判断矩阵A的最大特征根以及与之对应的特征向量,而判断矩阵A的最大特征根以及与之对应的特征向量的计算并不需要追求太高的精度。这是因为判断矩阵本身就是将定性的问题定量化的结果,允许存在一定的误差范围,因此,我们常常使用近似算法求解判断矩阵A的最大特征根以及与之对应的特征向量,常用的近似算法有幂法、和积法、方根法。
在本实施例中,采用方根法求解判断矩阵A的最大特征根以及与之对应的特征向量;具体的,对于判断矩阵A,有:
计算判断矩阵每一行的元素的乘积Mi:
计算Mi的n次方根
对向量正规化,即归一化处理;
则W=[W1,W1,...,Wn]T即为所求的特征向量,也即权重。
计算判断矩阵的最大特征根:
式中,(AW)i表示向量AW的第i个向量。
判断矩阵的一致性,是指专家在判断指标的重要性时,各判断之间协调一致,不致出现相互矛盾的结果,这样得出的特征向量是可以接受的,否则需要根据判断尺度重新得到判断矩阵出现不一致在多阶判断的条件下,极容易发生,只不过是在不同条件下不一致的程度上有所差别而已。
根据矩阵理论可知,如果τ满足:Ax=τx,即τ为A的特征值,并且对于所有aii=1,有:
显然,当矩阵具有完全一致性时,τ1=τmax=n,其余特征根均为0,而当矩阵不具有完全一致性时,则有τ1=τmax>n,其余特征根τ1,τ2,...,τn有如下关系:
当矩阵不能保证具有完全一致性时,相应判断矩阵的特征根也将发生变化,这样就可以用判断矩阵特征根的变化来检验判断矩阵的一致性程度。
因此,在AHP中引入判断矩阵最大特征根以外的其余特征根的负平均值,作为度量判断矩阵偏离一致性的指标,即用:检验判断矩阵的一致性。
CI值越大表明判断矩阵偏离完全一致性程度越大,CI值越小(接近于0),表明判断矩阵的一致性越好。当判断矩阵具有完全一致性时,CI=0。当判断矩阵具有满意一致性时,需引入判断矩阵的平均随机一致性指标RI值。对于1-9阶判断矩阵,RI值如下表所示:
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |
0.00 | 0.00 | 0.58 | 0.96 | 1.12 | 1.24 | 1.32 | 1.41 | 1.45 |
上表中,当阶数大于2时,判断矩阵的一致性指标CI与同阶平均随机一致性指标RI之比称为随机一致性比率CR:
当CR小于0.1,可以认为判断矩阵具有满意的一致性,否则需要调整判断矩阵。
由此,这里可以按照上面方法对之前计算出的比较矩阵进行相容性验证,从而确定计算出的比较权重是否可以接收。
在本实施例中,熵权法获取各项指标的权重值具体包括:
获取缓存资源服务质量的多组指标数据,并进行归一化处理;
通过熵权法对多组指标进行分析,利用信息熵计算出各指标的熵权,并通过熵权对各指标的权重进行修正,得到各个指标的权重值。
具体的,如图4所示,在本实施例中,熵权法实现流程包括:
原始数据标准化;设n个评价指标m个被评价对象的原始数据矩阵为B=(bij)m×n:
对其进行归一化得到R=(rij)m×n,对大者为优的指标而言,归一化公式为:
而小者为优的指标而言,归一化公式为:
原始数据矩阵归一化后为R=(rij)m×n:
其中,rij为第i个样本在第j个指标上的值。
计算熵,在有n个评价指标,m个被评价对象的评估问题中,第j个指标的熵为:
式中,其中,k=1/lnm。
从信息熵的公式可看出:
如果某个指标的熵值hi越小,说明该指标值的变异程度越大,提供的信息量越多,在综合评价中该指标的起作用越大,其权重应该越大。
相反,如果某个指标的熵值hi越大,说明该指标值的变异程度越小,提供的信息量越少,在综合评价中该指标的起作用越小,其权重应该越小。
定义了第j个指标的熵后,可得到第j指标的熵权:
在获得先验权重和后验权重后,进行组合,得到组合权重值为:
式中,W'i为第i个指标的组合权重值,Wi为先验权重值,Wei为后验权重值。
层次分析法是一种把定量和定性相结合的、系统化、结构化的分析方法。其基本思想是把复杂的问题分解成若干层次和因素,在同层次各要素间简单地进行比较、判断和计算,以获得不同要素和不同备选方案的权重,层析分析法模仿人的决策思维过程,具有量化主观选择起相当大作用的各因素的重要性;熵权法是一种客观赋权法,特点是完全利用原始指标数据信息来确定权重,独立于人的偏好与经验之外,客观性较强。为保留专家和决策者主观意见的基础上使权重更为客观,即兼顾主客观两个方面,将熵权法和层次分析法相结合。熵权是对层次分析法确定的先验主观权重的一种修正,取层次分析法的权重为先验权重,熵权的权重为后验权重,得到指标的组合权重即为最终的权重值,这样得到的权重能更好的反映各指标在缓存资源服务质量评分中的作用,且能建立一套完善科学评价体系。
利用权重算法层次分析法和熵权法(即主观判断和客观计算结合)得到缓存资源服务质量各个指标的组合权重值,并根据权重值利用各指标值计算每个缓存资源的服务质量评分,建立统一的判断标准,而不是根据异常值或排名后几位来定位服务质量差的缓存资源,避免遗漏可能存在问题的缓存资源。
在本实施例中,所述步骤S3中,通过Hadoop集群实时对各缓存资源服务质量的评分进行计算。采用开源免费的Hadoop集群技术,
Hadoop集群是一种专门为存储和分析海量数据而设计的特定类型的集群,Hadoop采用将数据拆分为片,分配到不同节点同时处理,适合处理大量数据;集群具有灵活的可扩展性,通过增加节点服务器可以有效的扩展集群;Hadoop集群成本低,本身Hadoop是开源软件,免费,Hadoop集群支持商用硬件,不必购买服务器级的硬件控制了成本;具有故障容错能力,当一个数据分片分发到一个节点上运行时,在其他节点上会有数据副本,即使一个节点出现故障,数据仍然可以分析处理。通过Hadoop集群,能够有效解决传统分析方法中无法全面评估缓存整体资源质量的问题,并且解决传统分析方法中将消耗大量人力资源的问题,提高了分析效率。
此种缓存评价算法同样适用于评价CDN业务分发效果和OTT,使用算法对反映CDN分发效果的指标内容注入成功率、视频播放成功率、回源成功率、文件下载成功率、CDN出流能力等指标进行分析同样可以得到反映CDN业务分发效果的评价体系,同理适用于OTT。
在本实施例中,还包括:
S4、将各缓存资源服务质量评分进行可视化展示;
判断每个缓存资源服务质量的评分是否低于告警临界值,并对低于临界值的缓存资源发出告警。对于评分低于临界值的缓存资源发出告警并下发至厂家处理,处理完成后厂家反馈,页面正常显示。
根据历史缓存数据,得到告警资源的阈值,并依据分布函数计算资源服务质量告警阈值(即告警临界值),而不是根据异常值或排名查找质差资源。
在本实施例中,通过对历史缓存数据各指标聚类分组,得到服务质量高、中、低以及告警四类,对告警类中的各个指标数据进行分布函数拟合,得到分布函数,并根据分布函数得到告警类各指标的区间,得到告警类各指标告警阈值,并依据分布函数计算资源服务质量告警阈值。
在本实施例中,本发明的评价方法还可以与全流程业务运营管理平台结合的方式,通过平台质量可视化页面对缓存资源质量评分进行展示,可以是管理者直观的了解各资源的质量情况以及告警资源异常指标值,对缓存资源质量得分低于阈值的发出告警,并下发至缓存厂家处理,及时解决问题,优化服务质量,提升用户体验。
在本实施例的基础上,还可增加以下应用功能:
质量可视化:展示缓存资源质量评分以及各域名的指标趋势图。
性能可视化:展示各地市服务器运行情况以及服务器性能数据。
可缓存分析:根据XDR话单、DNS日志进行利用历史可缓存数据,对可缓存数据进行分类算法建模并实时判断新增域名的可缓存性,并生成域名级可缓存名单。
业务分发/域名下发:与CDN、缓存、DNS等多系统打通接口交互,以实现CDN业务,可缓存域名自动下发、取消缓存、删除等操作,根据可缓存分析结果生成现有缓存系统支持缓存的域名清单,并自动下发至缓存系统,且能实现手动自动的功能切换与缓存策略批量下发与修改。
域名安全管理:与域名防劫持系统对接,实现下发域名实时监控,重要域名不能一键下发至缓存系统,需经管理员审核通过后才能下发至缓存系统,并能实现重要域名的增加和删除。
健康度评估:与各日志分析及拨测系统对接,选择合适的质量评估算法,并利用大数据集群技术,对缓存进行质量评估。
流量计费:对接CDN系统,用户业务开通后,对用户所开通业务整体流量情况进行实时记录跟踪,提供按时服务,对于业务流量已使用完的的用户,能够关闭业务通道,以实现流量的实时监控与计费。
业务开通:与ESOP系统对接,建立工单流转、督办、报结等功能,能够将工单发至受理人,并设置受理完成期限,对未在受理完成期限内完成的工单予以警告,受理人完成工单处理后,系统提示已完成工单处理。
本实施例中还提供了一种根据上述方法进行缓存资源服务质量评价的系统,包括:
采集模块,用于实时获取缓存资源服务质量的各项指标;
清洗模块,用于以域名为维度对缓存资源进行清洗,得到域名及域名下的反应缓存资源服务质量的各个指标,并对指标数据进行标准化处理;
计算模块,用于通过层次分析法和熵权法得到各项指标的权重值,并基于各项指标值及权重值对缓存资源服务质量进行评分。
本发明实施例中的系统还可以通过与全流程业务运营管理平台结合的方式,如图5所示,对由Hadoop集群计算得到的各缓存资源质量评分,由平台质量可视化页面展示,对低于告警阈值的缓存资源,通过平台下发至厂家处理,及时解决问题,优化资源利用率,提示用户体验,具体的,该平台包括才基层、清洗层、算法层和功能层,功能层可实现的功能包括:
首页:展示实现内容网络整体情况、自动化部署、CDN服务四大市场整体情况、分发域名、热点域名、流量结算、内容网络健康度/质量分析等数据。
质量可视化:展示缓存资源质量评分以及各域名的指标趋势图。
性能可视化:展示各地市服务器运行情况以及服务器性能数据。
可缓存分析:根据XDR话单、DNS日志进行利用历史可缓存数据,对可缓存数据进行分类算法建模并实时判断新增域名的可缓存性,并生成域名级可缓存名单。
业务分发/域名下发模块:与CDN、缓存、DNS等多系统打通接口交互,以实现CDN业务,可缓存域名自动下发、取消缓存、删除等操作,根据可缓存分析结果生成现有缓存系统支持缓存的域名清单,并自动下发至缓存系统,且能实现手动自动的功能切换与缓存策略批量下发与修改。
域名安全模块:与域名防劫持系统对接,实现下发域名实时监控,重要域名不能一键下发至缓存系统,需经管理员审核通过后才能下发至缓存系统,并能实现重要域名的增加和删除。
健康度评估模块:与各日志分析及拨测系统对接,选择合适的质量评估算法,并利用大数据集群技术,对缓存进行质量评估。
流量计费模块:对接CDN系统,用户业务开通后,对用户所开通业务整体流量情况进行实时记录跟踪,提供按时服务,对于业务流量已使用完的的用户,能够关闭业务通道,以实现流量的实时监控与计费。
业务开通模块:与ESOP系统对接,建立工单流转、督办、报结等功能,能够将工单发至受理人,并设置受理完成期限,对未在受理完成期限内完成的工单予以警告,受理人完成工单处理后,系统提示已完成工单处理。
综上所述,本发明提出一种基于权重的互联网缓存资源服务质量评价方法及系统,通过对数据进行标准化,消除量纲影响;采用权重算法层次分析法和熵权法,既能保留专家和决策者主观意见的同时,又能利用原始指标数据信息来确定权重,独立于人的偏好与经验之外,即兼顾主客观两个方面,建立一套完善科学的评价体系,通过开源软件Hadoop集群组件集群,实时计算各缓存资源的服务质量综合评分,并判断是否处于告警状态,对处于告警临界值下的缓存资源予以告警,并下发至缓存厂家处理,及时解决问题,提升用户体验。
最后,本发明的方法仅为较佳的实施方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种互联网缓存资源服务质量评价方法,其特征在于,包括:
S1、实时获取缓存资源服务质量的各项指标;
S2、通过层次分析法和熵权法处理所述各项指标,获取所述各项指标的权重值;
S3、基于所述各项指标及权重,对缓存资源服务质量进行评分。
2.根据权利要求1所述的互联网缓存资源服务质量评价方法,其特征在于,所述步骤S1具体包括:
将CDN及缓存日志数据抽取到集群服务器;
以域名为维度对缓存资源进行清洗,得到域名及域名下的反应缓存资源服务质量的各个指标。
3.根据权利要求1所述的互联网缓存资源服务质量评价方法,其特征在于,所述步骤S2具体包括:
通过层次分析法得获得先验权重,通过熵权法获得的后验权重;
将先验权重和后验权重组合,得到所述各项指标的组合权重值。
4.根据权利要求3所述的互联网缓存资源服务质量评价方法,其特征在于,所述步骤S2中,通过层次分析法得获得先验权重具体包括:
将缓存资源服务质量指标作为要素,建立两层多因素的结构模型;
以缓存资源服务质量为准则对要素进行两两比较,根据评定尺度相对重要程度,建立判断矩阵,求解判断矩阵的最大特征根以及对应的特征向量;
基于判断矩阵最大特征根以外的其余特征根的负平均值,对判断矩阵偏离一致性进行检验,若判断矩阵的一致性符合标准,则确定所求特征向量为权重值。
5.根据权利要求4所述的互联网缓存资源服务质量评价方法,其特征在于,所述步骤S2中,在层次分析法过程中,还包括:
通过判断矩阵的一致性指标和同阶平均随机一致性指标对判断矩阵的一致性进行判定;若判断矩阵的一致性指标和同阶平均随机一致性指标之比小于设定阈值,则判断矩阵的一致性符合标准。
6.根据权利要求3所述的互联网缓存资源服务质量评价方法,其特征在于,所述步骤S2中,通过熵权法获得的后验权重具体包括:
获取缓存资源服务质量的多组指标数据,并进行归一化处理;
通过熵权法对多组指标进行分析,利用信息熵计算出各指标的熵权,并通过熵权对各指标的权重进行修正,得到各个指标的权重值。
7.根据权利要求3所述的互联网缓存资源服务质量评价方法,其特征在于,所述组合权重值为:
式中,W'i为第i个指标的组合权重值,Wi为先验权重值,Wei为后验权重值。
8.根据权利要求1所述的互联网缓存资源服务质量评价方法,其特征在于,所述步骤S3中,通过Hadoop集群实时对各缓存资源服务质量的评分进行计算,依据告警阈值判断各缓存资源是否处于告警状态,对于处于告警状态的资源,下发至缓存厂家处理。
9.根据权利要求1所述的互联网缓存资源服务质量评价方法,其特征在于,所述步骤S3中,通过对历史数据聚类分组,得到服务质量高、中、低以及告警四类,对告警类中的各个指标数据进行分布函数拟合,得到分布函数,并根据分布函数得到告警类各指标的区间,并依据分布函数计算资源服务质量告警阈值。
10.一种根据权利要求1至9任一所述方法进行缓存资源服务质量评价的系统,其特征在于,包括:
采集模块,用于实时获取缓存资源服务质量的各项指标;
清洗模块,用于以域名为维度对缓存资源进行清洗,得到域名及域名下的反应缓存资源服务质量的各个指标,并对指标数据进行标准化处理;
计算模块,用于通过层次分析法和熵权法得到各项指标的权重值,并基于各项指标值及权重值对缓存资源服务质量进行评分。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710864846.3A CN109547230A (zh) | 2017-09-22 | 2017-09-22 | 一种基于权重的互联网缓存资源服务质量评价方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710864846.3A CN109547230A (zh) | 2017-09-22 | 2017-09-22 | 一种基于权重的互联网缓存资源服务质量评价方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109547230A true CN109547230A (zh) | 2019-03-29 |
Family
ID=65828267
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710864846.3A Pending CN109547230A (zh) | 2017-09-22 | 2017-09-22 | 一种基于权重的互联网缓存资源服务质量评价方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109547230A (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110058942A (zh) * | 2019-04-10 | 2019-07-26 | 西安电子科技大学 | 基于层次分析法的资源分配系统及方法 |
CN110135603A (zh) * | 2019-05-21 | 2019-08-16 | 国网河南省电力公司信息通信公司 | 一种基于改进熵权法的电力网络告警空间特征分析方法 |
CN110855497A (zh) * | 2019-11-19 | 2020-02-28 | 杭州安恒信息技术股份有限公司 | 一种基于大数据环境的告警排序方法及装置 |
CN111898887A (zh) * | 2020-07-16 | 2020-11-06 | 北京网聘咨询有限公司 | 流量质量评价方法 |
CN112163783A (zh) * | 2020-10-19 | 2021-01-01 | 中国移动通信集团黑龙江有限公司 | 缓存资源服务质量评估的方法、装置及设备 |
CN112633611A (zh) * | 2021-01-07 | 2021-04-09 | 中海石油(中国)有限公司 | 基于大数据分析的海底电缆状态检修策略优化方法及系统 |
CN113010270A (zh) * | 2021-04-08 | 2021-06-22 | 桂林电子科技大学 | 基于Kubernetes平台资源动态负载均衡调度方法及系统 |
CN113570238A (zh) * | 2021-07-26 | 2021-10-29 | 北京浩瀚深度信息技术股份有限公司 | 一种互联网质量指标评估方法以及质量优化方法及系统 |
CN114567903A (zh) * | 2022-03-23 | 2022-05-31 | 中国联合网络通信集团有限公司 | 一种网络评价方法、装置及计算机可读存储介质 |
CN115277708A (zh) * | 2022-07-18 | 2022-11-01 | 齐鲁工业大学 | 一种流媒体服务器负载动态分配方法 |
CN115658675A (zh) * | 2022-12-06 | 2023-01-31 | 遵义钟钟网络科技有限公司 | 应用于数据处理的噪声优化方法及ai系统 |
CN115796638A (zh) * | 2022-10-25 | 2023-03-14 | 华能江苏综合能源服务有限公司 | 基于AHP和CRITIC-Entropy的楼宇屋顶光伏电能质量评估方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102289590A (zh) * | 2011-08-18 | 2011-12-21 | 沈阳工业大学 | Sf6高压断路器运行状态评估方法及智能系统 |
CN104951886A (zh) * | 2015-06-19 | 2015-09-30 | 深圳供电局有限公司 | 一种配电网运行状态综合评价的方法及系统 |
CN105912857A (zh) * | 2016-04-11 | 2016-08-31 | 中国电力科学研究院 | 一种配电设备状态监测传感器的选配方法 |
US20170126538A1 (en) * | 2015-10-28 | 2017-05-04 | Fastly, Inc. | Testing in a content delivery network |
-
2017
- 2017-09-22 CN CN201710864846.3A patent/CN109547230A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102289590A (zh) * | 2011-08-18 | 2011-12-21 | 沈阳工业大学 | Sf6高压断路器运行状态评估方法及智能系统 |
CN104951886A (zh) * | 2015-06-19 | 2015-09-30 | 深圳供电局有限公司 | 一种配电网运行状态综合评价的方法及系统 |
US20170126538A1 (en) * | 2015-10-28 | 2017-05-04 | Fastly, Inc. | Testing in a content delivery network |
CN105912857A (zh) * | 2016-04-11 | 2016-08-31 | 中国电力科学研究院 | 一种配电设备状态监测传感器的选配方法 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110058942A (zh) * | 2019-04-10 | 2019-07-26 | 西安电子科技大学 | 基于层次分析法的资源分配系统及方法 |
CN110058942B (zh) * | 2019-04-10 | 2022-10-04 | 西安电子科技大学 | 基于层次分析法的资源分配系统及方法 |
CN110135603A (zh) * | 2019-05-21 | 2019-08-16 | 国网河南省电力公司信息通信公司 | 一种基于改进熵权法的电力网络告警空间特征分析方法 |
CN110135603B (zh) * | 2019-05-21 | 2022-11-11 | 国网河南省电力公司信息通信公司 | 一种基于改进熵权法的电力网络告警空间特征分析方法 |
CN110855497B (zh) * | 2019-11-19 | 2022-09-27 | 杭州安恒信息技术股份有限公司 | 一种基于大数据环境的告警排序方法及装置 |
CN110855497A (zh) * | 2019-11-19 | 2020-02-28 | 杭州安恒信息技术股份有限公司 | 一种基于大数据环境的告警排序方法及装置 |
CN111898887A (zh) * | 2020-07-16 | 2020-11-06 | 北京网聘咨询有限公司 | 流量质量评价方法 |
CN112163783A (zh) * | 2020-10-19 | 2021-01-01 | 中国移动通信集团黑龙江有限公司 | 缓存资源服务质量评估的方法、装置及设备 |
CN112633611A (zh) * | 2021-01-07 | 2021-04-09 | 中海石油(中国)有限公司 | 基于大数据分析的海底电缆状态检修策略优化方法及系统 |
CN113010270A (zh) * | 2021-04-08 | 2021-06-22 | 桂林电子科技大学 | 基于Kubernetes平台资源动态负载均衡调度方法及系统 |
CN113570238A (zh) * | 2021-07-26 | 2021-10-29 | 北京浩瀚深度信息技术股份有限公司 | 一种互联网质量指标评估方法以及质量优化方法及系统 |
CN114567903A (zh) * | 2022-03-23 | 2022-05-31 | 中国联合网络通信集团有限公司 | 一种网络评价方法、装置及计算机可读存储介质 |
CN114567903B (zh) * | 2022-03-23 | 2023-06-16 | 中国联合网络通信集团有限公司 | 一种网络评价方法、装置及计算机可读存储介质 |
CN115277708A (zh) * | 2022-07-18 | 2022-11-01 | 齐鲁工业大学 | 一种流媒体服务器负载动态分配方法 |
CN115277708B (zh) * | 2022-07-18 | 2023-10-24 | 齐鲁工业大学 | 一种流媒体服务器负载动态分配方法 |
CN115796638A (zh) * | 2022-10-25 | 2023-03-14 | 华能江苏综合能源服务有限公司 | 基于AHP和CRITIC-Entropy的楼宇屋顶光伏电能质量评估方法 |
CN115658675A (zh) * | 2022-12-06 | 2023-01-31 | 遵义钟钟网络科技有限公司 | 应用于数据处理的噪声优化方法及ai系统 |
CN115658675B (zh) * | 2022-12-06 | 2023-11-14 | 湖南风云通达信息科技有限公司 | 应用于数据处理的噪声优化方法及ai系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109547230A (zh) | 一种基于权重的互联网缓存资源服务质量评价方法及系统 | |
US11256555B2 (en) | Automatically scalable system for serverless hyperparameter tuning | |
CN106453495B (zh) | 一种基于内容流行度预测的信息中心网络缓存方法 | |
WO2020135535A1 (zh) | 一种推荐模型训练方法及相关装置 | |
US20080189163A1 (en) | Information management system | |
US7840576B1 (en) | Flexible rule-based infrastructure for discussion board maintenance | |
DE102011016866A1 (de) | One-to-one metching in a contact center | |
WO2011047474A1 (en) | Systems and methods for social graph data analytics to determine connectivity within a community | |
DE102011016862A1 (de) | Warteschlangenlose Hochleistungskontaktzentrale | |
DE102011016865A1 (de) | View and metrics for a queueless contact center | |
CN107103100A (zh) | 一种投入驱动的容错的基于数据图谱、信息图谱和知识图谱架构的智能语义搜索方法 | |
CN108805694A (zh) | 信贷咨询服务方法、装置、设备及计算机可读存储介质 | |
Fan et al. | A novel two‐stage model for cloud service trustworthiness evaluation | |
CN106095575B (zh) | 一种日志审计的装置、系统和方法 | |
CN106528683A (zh) | 一种基于索引分片均衡的大数据云搜索平台及其方法 | |
CN109635206A (zh) | 融合隐式反馈和用户社会地位的个性化推荐方法及系统 | |
CN107832421A (zh) | 一种自适应的组合数据挖掘模型系统及方法 | |
CN111275391A (zh) | 在线式资产智能分发系统和方法 | |
CN114548118A (zh) | 一种服务对话检测方法及系统 | |
CN111222769A (zh) | 一种年报数据质量评价方法、装置、电子设备及存储介质 | |
CN114781717A (zh) | 网点设备推荐方法、装置、设备和存储介质 | |
CN111369084A (zh) | 内容网络中资源质量评分方法 | |
DE102011016859A1 (de) | Bitmaps für Kontaktzentrale der nächsten Generation | |
CN105491167B (zh) | 一种实时感知浏览器终端用户操作体验的实现方法 | |
CN109271371B (zh) | 一种基于Spark的分布式多层大数据分析处理模型 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190329 |