CN108075921B - 一种大数据系统服务性能的监测方法、装置及服务器 - Google Patents

一种大数据系统服务性能的监测方法、装置及服务器 Download PDF

Info

Publication number
CN108075921B
CN108075921B CN201611028696.4A CN201611028696A CN108075921B CN 108075921 B CN108075921 B CN 108075921B CN 201611028696 A CN201611028696 A CN 201611028696A CN 108075921 B CN108075921 B CN 108075921B
Authority
CN
China
Prior art keywords
value
measured values
service performance
value interval
performance parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611028696.4A
Other languages
English (en)
Other versions
CN108075921A (zh
Inventor
林江彬
王勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201611028696.4A priority Critical patent/CN108075921B/zh
Publication of CN108075921A publication Critical patent/CN108075921A/zh
Application granted granted Critical
Publication of CN108075921B publication Critical patent/CN108075921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/50Testing arrangements
    • H04L43/55Testing of service level quality, e.g. simulating service usage

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

一种大数据系统服务性能的监测方法、装置及服务器,监测装置接收系统中服务器发送的服务性能参数测量值的分桶信息,分桶信息包括在设定时间段落入各个取值区间内的测量值的数量,各个取值区间是对服务性能参数的取值范围划分得到的;监测装置分别统计各个取值区间内的测量值的合计数,按照各个取值区间在取值范围内的排列顺序对各个取值区间内的测量值的合计数进行依次累计,确定累计数达到目标数时累计到的取值区间;从累计到的取值区间中选一个值作为服务性能参数的监测值。本申请可以节约网络资源,运算量小。

Description

一种大数据系统服务性能的监测方法、装置及服务器
技术领域
本发明涉及大数据技术,更具体地,涉及一种大数据系统服务性能的监测方法、监测装置及服务器。
背景技术
服务等级协议(SLA:Service-Level Agreement的缩写)是国际通行的客户/服务评估标准,是网络服务供应商和客户之间签署的一份法律文件。该文件承诺只要用户向服务供应商支付相应服务费用,就应享受到服务供应商提供的相应服务。服务提供者可能是一个国内的IT组织、一个应用程序服务提供者、一个网络服务提供者或者任何其他类型的服务提供者。
随着更多的商业应用在Internet的广泛开展,越来越需要SLA对性能作出保障。SLA的保障是以一系列的服务等级目标(SLO)的形式定义的。服务等级目标是一个或多个有限定的服务组件的测量的组合。SLO被实现是指那些有限定的组件的测量值在限定范围里。例如,SLA中,服务提供者保证它提供的服务在一定百分比(如99.9%)的时间内是可用的,则因特网服务提供者需要保证网络连通率一年内不低于99.9%,每月不联通时间少于44分钟。而如果支持99.99%或99.999%有效工作时间,意味着更高的服务品质。SLA需要具有“可监测性”并提供“监测方法”。尤其是在大数据量的情况下,如何对服务性能参数进行监测,是SLA的重要内容。
在管理的服务器数量很多,业务请求量很大的情况下,对系统的对服务性能参数进行监测是一件很有挑战的事情。
系统中服务器对业务请求的处理延迟(latency)是体现其服务品质的重要参数。以对大数据系统业务请求的处理延迟的监测为例,假定在某一时间段系统中的服务器一共处理了10000次业务请求,这些业务请求的处理延迟分别是1ms,2ms,3ms,4ms,……,9999ms,10000ms,此时需要基于这10000次业务请求的处理延迟统计业务请求的处理延迟的监测值,来评估系统对业务请求的处理延迟的水平。其中的一种方法是基于SLA约定的服务等级标准来计算,假定SLA约定的服务等级标准为99.99%,则业务请求的延迟时间的监测值为9999ms,也就是说,系统对99.99%的业务请求的处理延迟小于等于该监测值,如果SLA中进一步约定了在99.99%的服务等级标准下系统对业务请求的处理延迟为9999ms,则说明达到SLA的要求,如果约定的系统对业务请求的处理延迟为9990ms,则说明没有达到SLA的要求。
当然,实际系统中业务请求的处理延迟不可能是均布的,为了监测系统对业务请求的处理延迟,相关技术中,系统中的服务器需要将测量的所有业务请求的处理延迟发送到系统中设置的监测装置,监测装置需要将所有的数据汇总后进行统计,如将所有业务请求的处理延迟从小到大排序(或从大到小排序)后,将序列中的第9999个(或第2个)处理延迟作为系统对业务请求的处理延迟的监测值。这种监测方法非常浪费带宽和计算能力。按照大数据系统中有30万台服务器提供查询服务的情况,每台服务器每秒查询率(qps)为1000次/s(即每秒接受1000次查询)计算,则30万台服务器总共需要发送3亿次对查询请求的处理延迟,而监测装置需要对3亿次查询的处理延迟进行排序,不光难度大,浪费资源,还容易出现溢出的问题。
发明内容
有鉴于此,本发明实施例提供了一种大数据系统服务性能的监测方法,应用于监测装置,包括:
接收系统中服务器发送的服务性能参数测量值的分桶信息,所述分桶信息包括在设定时间段落入各个取值区间内的测量值的数量,所述各个取值区间是对所述服务性能参数的取值范围划分得到的;
分别统计所述各个取值区间内的测量值的合计数,按照所述各个取值区间在所述取值范围内的排列顺序对所述各个取值区间内的测量值的合计数进行依次累计,确定累计数达到目标数时累计到的取值区间;
从所述累计到的取值区间中选一个值作为所述服务性能参数的监测值。
本发明实施例还提供了一种服务性能的监测方法,应用于大数据系统中的服务器,包括:
获取服务性能参数的测量值;
统计在设定时间段落入各个取值区间内的测量值的数量,所述各个取值区间是对所述服务性能参数的取值范围划分得到的;
将所述设定时间段落入各个取值区间内的测量值的数量发送至所述系统的监测装置。
本发明实施例还提供了一种大数据系统服务性能的监测装置,包括:
接收模块,设置为:接收系统中服务器发送的服务性能参数测量值的分桶信息,所述分桶信息包括在设定时间段落入各个取值区间的测量值的数量,所述各个取值区间是对所述服务性能参数的取值范围划分得到的;
计算模块,设置为:分别统计所述各个取值区间内的测量值的合计数,按照所述各个取值区间在所述取值范围内的排列顺序依次累计所述各个取值区间内的测量值的合计数,确定累计数达到目标数时累计到的取值区间;
确定模块,设置为:将所述累计到的取值区间中的一个值确定为所述服务性能参数的监测值。
本发明实施例还提供了一种大数据系统服务性能的监测装置,包括处理器和存储器,其中:
所述存储器设置为:存储程序代码;
所述处理器设置为:读取所述存储器存储的程序代码以执行以下处理:
接收系统中服务器发送的服务性能参数测量值的分桶信息,所述分桶信息包括在设定时间段落入各个取值区间内的测量值的数量,所述各个取值区间是对所述服务性能参数的取值范围划分得到的;
分别统计所述各个取值区间内的测量值的合计数,按照所述各个取值区间在所述取值范围内的排列顺序对所述各个取值区间内的测量值的合计数进行依次累计,确定累计数达到目标数时累计到的取值区间;
将所述累计到的取值区间中的一个值作为所述服务性能参数的监测值。
本发明实施例还提供了一种大数据系统中的服务器,包括性能监测模块,其中,所述性能监测模块包括:
获取单元,设置为:获取服务性能参数的测量值;
统计单元,设置为:统计在设定时间段落入各个取值区间内的测量值的数量,所述各个取值区间是对所述服务性能参数的取值范围划分得到的;
发送单元,设置为:将所述设定时间段落入各个取值区间内的测量值的数量发送至所述系统的监测装置。
本发明实施例还提供了一种大数据系统中的服务器,包括处理器和存储器,其中:
所述存储器设置为:存储程序代码;
所述处理器设置为:读取所述存储器存储的程序代码以执行以下处理:
获取服务性能参数的测量值;
统计在设定时间段落入各个取值区间内的测量值的数量,所述各个取值区间是对所述服务性能参数的取值范围划分得到的;
将所述设定时间段落入各个取值区间内的测量值的数量,发送至所述系统的监测装置。
上述方案服务器只需要发送少量取值区间内测量值的数量,无需发送大量的测量值,可以节约网络资源,而监测装置也只需要对少量的取值区间排序后得到测量值,处理的数据量大大减少,因而运算量小,不会出现溢出等问题。
附图说明
图1是本发明实施例一监测装置侧的服务性能监测方法的流程图;
图2是本发明实施例一监测装置的模块图;
图3是本发明实施例二监服务器侧的服务性能监测方法的流程图;
图4是本发明实施例二服务器中性能监测模块的单元图;
图5是本发明应用示例服务性能监测方法的流程图;
图6是本发明应用示例取值区间划分及排列的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
实施例一
本实施例涉及一种大数据系统服务性能的监测方法。本实施例的大数据系统包括各种云计算系统或者其他基于分布式架构提供对外服务的系统。大数据系统中包括对外提供服务的多台服务器和服务性能的监测装置,监测装置在实体上可以独立设置,也可以与其他功能模块设置在同一服务器上。
本实施例的服务性能参数包括但不限于服务器对业务请求的处理延迟,业务请求可以包括用户查询请求、访问请求等各种请求。以查询请求为例,对大数据系统中的服务器来説,每秒查询率(qps)很高,这也意味着如果服务器直接上报所有查询请求的处理延迟的值,则数据量很大而且后续的运算量也必然很大。因而本实施例将服务性能参数的取值范围划分为多个取值区间,监测装置针对服务器发送的落入各个取值区间内的测量值的数量即测量值的分桶信息进行统计,就可以大大减少需要发送的数据量和后续的运算量。这些取值区间也可以称为“桶”,本实施例方法也可以称为一种分桶方法,但与传统的分桶方法在具体处理上并不相同。
本实施例监测方法应用于系统中的监测装置,如图1所示,包括:
步骤110,接收系统中服务器发送的服务性能参数测量值的分桶信息,所述分桶信息包括在设定时间段落入各个取值区间内的测量值的数量,所述各个取值区间是对所述服务性能参数的取值范围划分得到的;
本实施例以查询请求的处理延迟为例,该处理延迟是服务器计算的收到查询请求的时刻到向用户返回查询结果的时刻经过的时长。该处理延迟的取值范围假定为[0s,10s],根据历史数据分析可以发现,在该取值范围内,有些区域是测量值密集分布的区域如[50ms,200ms],绝大多数的测量值会落入该密集分布区域,其他区域几乎没有测量值落入。按照对测量值排序来确定服务性能参数的监测值时,得到的监测值通常会落在该密集分布区域。为了提高测量精度,本实施例划分的各个取值区间的大小不同。在监测值落入概率越大的区域,划分的取值区间越小,其中,监测值的落入概率可以根据历史数据计算出来。例如,在[50ms,200ms]区域,每1ms划分1个取值区间,而在其他区域,如[0ms,50ms]区域,每10ms划分1个取值区间,在[1s,10s]区域,每1s划分1个取值区间。
本实施例中,所述设定时间段可以是5分钟,10分钟,1个小时,1天等等。设定时间段的大小可以是固定的,也可以是变化的。例如,在白天工作时间设定较小的时间段,而在晚上休息时间设定较大的时间段。这些设定时间段可以是连续的如每1小时统计一次落入各个取值区间内的测量值的数量,也可以是断续的如只在上班时间的8个小时内按1个小时的时长进行统计。本发明对此不做局限。
本实施例中,对服务性能的监测可以针对系统总体的服务性能,也可以针对系统中为指定用户提供的服务性能。如果针对整个系统总体的服务性能,服务器上报的分桶信息是所有用户服务性能参数测量值的分桶信息。如果针对为指定用户提供的服务性能,服务器上报的分桶信息是指定用户(可以是一个用户或一个用户组)服务性能参数测量值的分桶信息。
步骤120,分别统计所述各个取值区间内的测量值的合计数,按照所述各个取值区间在所述取值范围内的排列顺序对所述各个取值区间内的测量值的合计数进行依次累计,确定累计数达到目标数时累计到的取值区间;
对服务性能参数的取值范围划分得到的各个取值区间是按照各自在所述取值范围内的位置而顺序排列的。例如,将[1,100]划分为10个大小相等的取值区间,则这10个取值区间的排列顺序分别为[1,10),[10,20),[20,30),……,[90,100]或者相反。
本实施例中,所述目标数按照以下方式计算:将所有取值区间内的测量值的合计数相加,得到的和再与一比例系数相乘,得到的积为所述目标数;其中,所述比例系数根据服务等级协议SLA约定的服务等级标准确定。SLA约定的服务等级标准如为99.9%,99.99%等。
这里,假定按序排列的10个取值区间及各个取值区间内的测量值的合计数如下:
Figure BDA0001156596460000071
所有合计数相加等于10000,SLA的服务等级标准为99.9%,则目标数为9990。从[1,30)对应的合计数开始累计,累计到[60,65)对应的合计数5500如累计值为9991,达到了目标数,因而累计到的取值区间为[60,65)。如果服务等级标准为99.99%,则目标数为9999,合计数累计到目标数时,累计到的取值区间为[75,85)。
在另一实施例中,不是基于服务等级标准进行服务性能参数的监测,此时在计算目标数时,比例系数可以由另行设定。而在其他实施例中,目标数可以由监测人员直接设定,不再采用比例系数计算。
步骤130,从所述累计到的取值区间中选一个值作为所述服务性能参数的监测值。
根据上例,服务等级标准为99.9%,累计到的取值区间为[60,65),可以从该区间中选一个值如65(其他值也可以)作为服务性能参数的监测值。假定测量的服务性能参数为业务请求的处理延迟,而取值的单位为ms,该监测值表示的是有99.9%的业务请求的处理延迟小于等于65ms。如果服务等级标准为99.99%,累计到的取值区间为[75,85),可以选取如85(其他值也可以)作为监测值,该监测值表示有99.99%的业务请求的处理迟时小于等于85ms。如果在SLA中约定了服务等级标准下的最大处理延迟值,通过本实施例监测方法得到的监测值就可以用于与SLA中约定的最大处理延迟值比较,判断是否达到了SLA的要求。
因为累计是以取值区间为跨度的,因而根据取值区间得到的测量值的精度与按实际测量值计算会降低,但是通过对划分的取值区间的个数,以及通过在监测值落入概率越大的区域划分越小的取值区间,可以将该误差缩减到很小,而在运算上,本实施例的算法远远小于基于实际测量值的算法。
除了对业务请求的处理延时进行监测外,本发明还可以对其他服务性能参数进行监测。对多种服务性能参数进行监测时,多个服务性能参数测量值的分桶信息需要服务器分别统计,发送给监测装置。监测装置也可以设置多个,每个监测装置用于对一种服务性能参数进行监测。
本实施例还提供了一种大数据系统服务性能的监测装置,如图2所示,包括:
接收模块10,设置为:接收系统中服务器发送的服务性能参数测量值的分桶信息,所述分桶信息包括在设定时间段落入各个取值区间的测量值的数量,所述各个取值区间是对所述服务性能参数的取值范围划分得到的;
计算模块20,设置为:分别统计所述各个取值区间内的测量值的合计数,按照所述各个取值区间在所述取值范围内的排列顺序依次累计所述各个取值区间内的测量值的合计数,确定累计数达到目标数时累计到的取值区间;
确定模块30,设置为:将所述累计到的取值区间中的一个值确定为所述服务性能参数的监测值。
本实施例中,
所述计算模块按照以下方式计算所述目标数:将所有取值区间内的测量值的合计数相加,得到的和再与一比例系数相乘,得到的积为所述目标数;其中,所述比例系数根据服务等级协议SLA约定的服务等级标准确定。
本实施例中,
所述服务性能参数包括服务器对业务请求的处理延迟。
上述模块功能的其他方面见本实施例方法中的相应内容。
本实施例还提供了一种大数据系统服务性能的监测装置,包括处理器和存储器,其中:
所述存储器设置为:存储程序代码;
所述处理器设置为:读取所述存储器存储的程序代码以执行以下处理:
接收系统中服务器发送的服务性能参数测量值的分桶信息,所述分桶信息包括在设定时间段落入各个取值区间内的测量值的数量,所述各个取值区间是对所述服务性能参数的取值范围划分得到的;
分别统计所述各个取值区间内的测量值的合计数,按照所述各个取值区间在所述取值范围内的排列顺序对所述各个取值区间内的测量值的合计数进行依次累计,确定累计数达到目标数时累计到的取值区间;
将所述累计到的取值区间中的一个值作为所述服务性能参数的监测值。
本实施例中,
所述处理器按照以下方式计算所述目标数:将所有取值区间内的测量值的合计数相加,得到的和再与一比例系数相乘,得到的积为所述目标数;其中,所述比例系数根据服务等级协议SLA约定的服务等级标准确定。
本实施例中,
所述服务性能参数包括服务器对业务请求的处理延迟。
上述方案监测装置也只需要对少量的取值区间排序后得到测量值,处理的数据量大大减少,因而运算量小,不会出现溢出等问题。
实施例二
本实施例涉及的服务性能的监测方法应用于大数据系统中的服务器,如图3所示,包括:
步骤210,获取服务性能参数的测量值;
本实施例中,获取服务性能参数的测量值时,可以获取所有用户的服务性能参数的测量值,也可以只获取指定用户的服务性能参数的测量值。获取所有用户的服务性能参数的测量值时,可以用于监测系统总体的服务性能,获取指定用户的服务性能参数的测量值时,可以用于监测为指定用户提供的服务性能。
本实施例中,所述服务性能参数包括服务器对业务请求的处理延迟,但本发明不局限于此。
本实施例中,所述设定时间段可以是5分钟,10分钟,1个小时,1天等等。设定时间段的大小可以是固定的,也可以是变化的。例如,在白天工作时间设定较小的时间段,而在晚上休息时间设定较大的时间段。这些设定时间段可以是连续的,也可以是断续的。本发明对此不做局限。
步骤220,统计在设定时间段落入各个取值区间内的测量值的数量,所述各个取值区间是对所述服务性能参数的取值范围划分得到的;
本实施例中,所述各个取值区间的大小不同,在所述取值范围内,所述监测值落入概率越大的区域划分的取值区间越小。监测值落入概率可以根据历史数据分析确定。
步骤230,将所述设定时间段落入各个取值区间内的测量值的数量发送至所述系统的监测装置。
向监测装置发送所述设定时间段落入各个取值区间内的测量值的数量,可以采用周期性上报的方式,或者事件触发上报的方式,或者根据监测装置的请求上报。对于每一个取值区间,可以上报该取值区间的标识+测量值数量。对于测量值的数量为0的取值区间,可以不上报,监测装置对于没有上报测量值数量的取值区间默认其测量值数量为0。因为各个取值区间的排列方式可以是默认的,也可以将所有取值区间内的测量值的数量(包括0)放入一个有序的数据结构中上报,不需要添加取值区间的标识。
本实施例还提供了一种大数据系统中的服务器,包括性能监测模块,如图4所示,所述性能监测模块包括:
获取单元50,设置为:获取服务性能参数的测量值;
统计单元60,设置为:统计在设定时间段落入各个取值区间内的测量值的数量,所述各个取值区间是对所述服务性能参数的取值范围划分得到的;
发送单元70,设置为:将所述设定时间段落入各个取值区间内的测量值的数量发送至所述系统的监测装置。
本实施例中,
所述获取单元获取服务性能参数的测量值,包括:获取对所有用户或指定用户的服务性能参数的测量值。
本实施例中,
所述服务性能参数包括服务器对业务请求的处理延迟。
本实施例中,
所述各个取值区间的大小不同,在所述取值范围内,所述监测值落入概率越大的区域划分的取值区间越小。
本实施例还提供了一种大数据系统中的服务器,包括处理器和存储器,其中:
所述存储器设置为:存储程序代码;
所述处理器设置为:读取所述存储器存储的程序代码以执行以下处理:
获取服务性能参数的测量值;
统计在设定时间段落入各个取值区间内的测量值的数量,所述各个取值区间是对所述服务性能参数的取值范围划分得到的;
将所述设定时间段落入各个取值区间内的测量值的数量,发送至所述系统的监测装置。
本实施例中,
所述处理器获取单元获取服务性能参数的测量值,包括:获取对所有用户或指定用户的服务性能参数的测量值。
本实施例中,
所述服务性能参数包括服务器对业务请求的处理延迟。
本实施例中,
所述各个取值区间的大小不同,在所述取值范围内,所述监测值落入概率越大的区域划分的取值区间越小。
上述方案服务器只需要发送少量取值区间内测量值的数量,无需发送大量的测量值,可以节约网络资源。
下面再用一个应用中的示例进行说明。
本示例涉及的是云计算系统,该系统中的服务器需要处理用户的查询请求,要监测的服务性能参数是查询请求的处理延迟(latency)。该系统存在SLA,在SLA中约定的服务等级标准是99.9%。需要计算的监测值是系统中99.9%的业务请求的处理延迟小于等于的一个值。
如图5所示,本示例监测方法包括以下处理:
S01,获取系统中服务器对查询请求的处理延时(latency)的分布情况;
假定latency的取值范围是1ms~10s,绝大多数的latency都落在了50ms~200ms之间,50ms~200ms区域的监测值落入概率最大。
S02,将latency取值范围划分为多个取值区间,文中也将取值区间称为桶,将latency取值范围划分为多个取值区间也即分桶;
请参见图6,本示例分桶规则如下:
1ms~50ms区域每10ms划分一个桶,一共5个桶,桶的边界点分别为10ms,20ms,30ms,40ms,50ms;
50ms~200ms区域每1ms划分一个桶,一共150个桶,桶的边界点分别为50ms,51ms,52ms,53ms,…,200ms;
200ms~1s区域每100ms划分一个桶,一共8个桶,桶的边界点分别为200ms,300ms,400ms,500ms,600ms,700ms,800ms,900ms,1s;
1s~10s区域每1s划分一个桶,一共9个桶,桶的边界点分别为1s,2s,3s,……,9s,10s。
可以看出,在不同区域分桶的大小是不同的,其中在分桶时特别加大了在50ms~200ms桶的密度,在累计时累计到的桶的大小1ms,也就是说,求出的监测值的误差最多不会相差1ms。
S03,系统中的每台服务器按照设定时间段(比如5分钟)统计落入各个桶内的查询请求处理延迟测量值的数量,作为分桶信息上报到系统的监测装置;
S04,监测装置根据接收到的所有分桶信息,分别统计每个桶内的测量值的合计数;
S05,监测装置按照所述各个桶在所述取值范围内的排列顺序对所述各个桶内的测量值的合计数依次累计,确定累计数达到目标数时累计到的桶;
在本示例,每个桶是按在1ms~10ms这一取值范围内的位置来排列。请参照图6,每一个桶的桶是1ms到10ms区间,第二个桶的桶是10ms到20ms区间,依次类推,最后一个桶的桶是9s到10s区间。
本示例的服务等级标准为99.9%,将所有桶的合计数之和乘以99.9%的积即目标数。
S06,从所述累计到的桶中选一个值作为系统查询请求处理延迟的监测值。
假定累计到目标数时累计到的桶的取值区间是150ms到151ms,则可以将151ms作为系统查询请求处理延迟的监测值。也即系统有99.9%的查询请求的处理延迟小于等于151ms。这可以用于评估系统的服务性能是否达到SLA的要求。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (15)

1.一种大数据系统服务性能的监测方法,应用于监测装置,包括:
接收系统中服务器发送的服务性能参数测量值的分桶信息,所述分桶信息包括在设定时间段落入各个取值区间内的测量值的数量,所述各个取值区间是对所述服务性能参数的取值范围划分得到的;
分别统计所述各个取值区间内的测量值的合计数,按照所述各个取值区间在所述取值范围内的排列顺序对所述各个取值区间内的测量值的合计数进行依次累计,确定累计数达到目标数时累计到的取值区间;
从所述累计到的取值区间中选一个值作为所述服务性能参数的监测值。
2.如权利要求1所述的监测方法,其特征在于:
所述目标数按照以下方式计算:将所有取值区间内的测量值的合计数相加,得到的和再与一比例系数相乘,得到的积为所述目标数;其中,所述比例系数根据服务等级协议SLA约定的服务等级标准确定。
3.如权利要求1或2所述的监测方法,其特征在于:
所述各个取值区间的大小不同,在所述取值范围内,所述监测值落入概率越大的区域划分的取值区间越小。
4.所如权利要求1或2所述的监测方法,其特征在于:
所述服务性能参数包括服务器对业务请求的处理延迟。
5.一种服务性能的监测方法,应用于大数据系统中的服务器,包括:
获取服务性能参数的测量值;
统计在设定时间段落入各个取值区间内的测量值的数量,所述各个取值区间是对所述服务性能参数的取值范围划分得到的;
将所述设定时间段落入各个取值区间内的测量值的数量发送至所述系统的监测装置;
其中,所述设定时间段落入各个取值区间内的测量值的数量是供所述监测装置分别统计所述各个取值区间内的测量值的合计数,按照所述各个取值区间在所述取值范围内的排列顺序对所述各个取值区间内的测量值的合计数进行依次累计,确定累计数达到目标数时累计到的取值区间;从所述累计到的取值区间中选一个值作为所述服务性能参数的监测值的。
6.如权利要求5所述的监测方法,其特征在于:
所述获取服务性能参数的测量值,包括:获取所有用户或指定用户的服务性能参数的测量值;
所述服务性能参数包括服务器对业务请求的处理延迟。
7.如权利要求5或6所述的监测方法,其特征在于:
所述各个取值区间的大小不同,在所述取值范围内,所述监测值落入概率越大的区域划分的取值区间越小。
8.一种大数据系统服务性能的监测装置,其特征在于,包括:
接收模块,设置为:接收系统中服务器发送的服务性能参数测量值的分桶信息,所述分桶信息包括在设定时间段落入各个取值区间的测量值的数量,所述各个取值区间是对所述服务性能参数的取值范围划分得到的;
计算模块,设置为:分别统计所述各个取值区间内的测量值的合计数,按照所述各个取值区间在所述取值范围内的排列顺序依次累计所述各个取值区间内的测量值的合计数,确定累计数达到目标数时累计到的取值区间;
确定模块,设置为:将所述累计到的取值区间中的一个值确定为所述服务性能参数的监测值。
9.如权利要求8所述的监测装置,其特征在于:
所述计算模块按照以下方式计算所述目标数:将所有取值区间内的测量值的合计数相加,得到的和再与一比例系数相乘,得到的积为所述目标数;其中,所述比例系数根据服务等级协议SLA约定的服务等级标准确定。
10.如权利要求8或9所述的监测装置,其特征在于:
所述服务性能参数包括服务器对业务请求的处理延迟。
11.一种大数据系统服务性能的监测装置,包括处理器和存储器,其特征在于:
所述存储器设置为:存储程序代码;
所述处理器设置为:读取所述存储器存储的程序代码以执行以下处理:
接收系统中服务器发送的服务性能参数测量值的分桶信息,所述分桶信息包括在设定时间段落入各个取值区间内的测量值的数量,所述各个取值区间是对所述服务性能参数的取值范围划分得到的;
分别统计所述各个取值区间内的测量值的合计数,按照所述各个取值区间在所述取值范围内的排列顺序对所述各个取值区间内的测量值的合计数进行依次累计,确定累计数达到目标数时累计到的取值区间;
将所述累计到的取值区间中的一个值作为所述服务性能参数的监测值。
12.一种大数据系统中的服务器,包括性能监测模块,其特征在于,所述性能监测模块包括:
获取单元,设置为:获取服务性能参数的测量值;
统计单元,设置为:统计在设定时间段落入各个取值区间内的测量值的数量,所述各个取值区间是对所述服务性能参数的取值范围划分得到的;
发送单元,设置为:将所述设定时间段落入各个取值区间内的测量值的数量发送至所述系统的监测装置;
其中,所述设定时间段落入各个取值区间内的测量值的数量是供所述监测装置分别统计所述各个取值区间内的测量值的合计数,按照所述各个取值区间在所述取值范围内的排列顺序对所述各个取值区间内的测量值的合计数进行依次累计,确定累计数达到目标数时累计到的取值区间;从所述累计到的取值区间中选一个值作为所述服务性能参数的监测值的。
13.如权利要求12所述的服务器,其特征在于:
所述获取单元获取服务性能参数的测量值,包括:获取对所有用户或指定用户的服务性能参数的测量值;
所述服务性能参数包括服务器对业务请求的处理延迟。
14.一种大数据系统中的服务器,包括处理器和存储器,其特征在于:
所述存储器设置为:存储程序代码;
所述处理器设置为:读取所述存储器存储的程序代码以执行以下处理:
获取服务性能参数的测量值;
统计在设定时间段落入各个取值区间内的测量值的数量,所述各个取值区间是对所述服务性能参数的取值范围划分得到的;
将所述设定时间段落入各个取值区间内的测量值的数量,发送至所述系统的监测装置;
其中,所述设定时间段落入各个取值区间内的测量值的数量是供所述监测装置分别统计所述各个取值区间内的测量值的合计数,按照所述各个取值区间在所述取值范围内的排列顺序对所述各个取值区间内的测量值的合计数进行依次累计,确定累计数达到目标数时累计到的取值区间;从所述累计到的取值区间中选一个值作为所述服务性能参数的监测值的。
15.如权利要求14所述的服务器,其特征在于:
所述服务性能参数包括服务器对业务请求的处理延迟。
CN201611028696.4A 2016-11-18 2016-11-18 一种大数据系统服务性能的监测方法、装置及服务器 Active CN108075921B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611028696.4A CN108075921B (zh) 2016-11-18 2016-11-18 一种大数据系统服务性能的监测方法、装置及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611028696.4A CN108075921B (zh) 2016-11-18 2016-11-18 一种大数据系统服务性能的监测方法、装置及服务器

Publications (2)

Publication Number Publication Date
CN108075921A CN108075921A (zh) 2018-05-25
CN108075921B true CN108075921B (zh) 2021-04-23

Family

ID=62161228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611028696.4A Active CN108075921B (zh) 2016-11-18 2016-11-18 一种大数据系统服务性能的监测方法、装置及服务器

Country Status (1)

Country Link
CN (1) CN108075921B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109542725B (zh) * 2018-11-15 2022-04-05 北京金山云网络技术有限公司 一种分布式系统的服务质量监控方法、装置及监控服务器
CN111291291B (zh) * 2018-12-07 2023-05-02 阿里巴巴集团控股有限公司 页面加载时间的处理方法和装置、系统
CN110378144B (zh) * 2019-06-04 2021-09-07 中国科学院信息工程研究所 数据即服务模式下支持范围查询的隐私保护方法和系统
CN112148765B (zh) * 2019-06-28 2024-04-09 北京百度网讯科技有限公司 业务数据的处理方法、装置及存储介质
CN112817965B (zh) * 2019-11-18 2023-10-17 百度在线网络技术(北京)有限公司 一种数据拼接方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101431758A (zh) * 2008-12-09 2009-05-13 华为技术有限公司 一种预测用户位置分布的方法和装置
CN104506609A (zh) * 2014-12-22 2015-04-08 合一网络技术(北京)有限公司 自动监测服务器状态并自适应调整服务的方法及其装置
CN105718748A (zh) * 2016-01-28 2016-06-29 许继集团有限公司 一种在线监测数据处理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7280476B2 (en) * 2002-06-04 2007-10-09 Lucent Technologies Inc. Traffic control at a network node

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101431758A (zh) * 2008-12-09 2009-05-13 华为技术有限公司 一种预测用户位置分布的方法和装置
CN104506609A (zh) * 2014-12-22 2015-04-08 合一网络技术(北京)有限公司 自动监测服务器状态并自适应调整服务的方法及其装置
CN105718748A (zh) * 2016-01-28 2016-06-29 许继集团有限公司 一种在线监测数据处理方法

Also Published As

Publication number Publication date
CN108075921A (zh) 2018-05-25

Similar Documents

Publication Publication Date Title
CN108075921B (zh) 一种大数据系统服务性能的监测方法、装置及服务器
CN110008257B (zh) 数据处理方法、装置、系统、计算机设备和存储介质
CN108683720B (zh) 一种容器集群服务配置方法及装置
US7502844B2 (en) Abnormality indicator of a desired group of resource elements
US20130254294A1 (en) Method and Arrangement For Ranking Users
KR20140135244A (ko) 통계 정보 생성 시스템 및 통계 정보 생성 방법
CN110839069B (zh) 一种节点数据部署方法、部署节点、系统及介质
CN111148018B (zh) 基于通信数据识别定位区域价值的方法和装置
CN111160793A (zh) 一种服务网点自助设备数量的配置方法、装置及设备
JP6145067B2 (ja) 通信トラヒック予測装置及び方法及びプログラム
CN101951623B (zh) 一种基于用户事件的用户行为统计方法及装置
CN107093092B (zh) 数据分析方法和装置
CN109547931B (zh) 确定移动终端所在地的服务器
CN113609389A (zh) 一种社区平台信息推送方法及系统
WO2023045434A1 (zh) 访问检测方法、系统及装置
EP3869736A1 (en) Method and device for identifying bandwidth demand burst
CN108090089B (zh) 探测网站中热点数据的方法、装置和系统
CN107453946B (zh) 字段管理方法及装置和电子设备
CN112669091A (zh) 数据处理方法、装置及存储介质
CN111600774A (zh) 消费延迟确定方法、系统、装置、设备及可读存储介质
EP2693376A1 (en) Information processing device and method for estimating number of terminals
CN113517990A (zh) 一种网络净推荐值nps的预测方法及装置
EP3270617B1 (en) A method and system for outbound/inbound roaming market share estimation
CN110456986A (zh) 存储区域网络设备的性能数据存储方法及系统
CN113676347B (zh) 服务器的负载预测方法和装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1255827

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant