CN107872329B - 一种预估qps的方法和设备 - Google Patents

一种预估qps的方法和设备 Download PDF

Info

Publication number
CN107872329B
CN107872329B CN201610842301.8A CN201610842301A CN107872329B CN 107872329 B CN107872329 B CN 107872329B CN 201610842301 A CN201610842301 A CN 201610842301A CN 107872329 B CN107872329 B CN 107872329B
Authority
CN
China
Prior art keywords
application
determining
browsing
set time
webpage browsing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610842301.8A
Other languages
English (en)
Other versions
CN107872329A (zh
Inventor
王亚飞
李伟杰
张荣华
胡君园
吕飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba East China Co ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610842301.8A priority Critical patent/CN107872329B/zh
Publication of CN107872329A publication Critical patent/CN107872329A/zh
Application granted granted Critical
Publication of CN107872329B publication Critical patent/CN107872329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/147Network analysis or design for predicting network behaviour

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本申请实施例涉及互联网技术领域,特别涉及一种预估QPS的方法和设备,用以解决现有技术中存在的预估QPS的准确率比较低的问题。本申请实施例通过所述网站的全站流量确定应用对应的PV信息和流量信息,并根据PV信息确定设定时长内所述应用的PV占比,以及根据流量信息确定所述应用的PV调用量,根据所述应用的PV占比和PV调用量,确定设定时长内所述应用的QPS。由于能够根据由所述网站的全站流量确定的PV信息和流量信息确定设定时长内所述应用的QPS,相比现有人工预估QPS的方式,提高了QPS预估的准确率。

Description

一种预估QPS的方法和设备
技术领域
本申请涉及互联网技术领域,特别涉及一种预估QPS(每秒查询数量)的方法和设备。
背景技术
因特网上,域名系统服务器的机器的性能经常用每秒查询数量来衡量,QPS就是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。
网站维护人员都是通过预估网站的QPS,来决定是否需要对网站的服务器进行调整,比如增加网站的服务器、减少网站的服务器、调整网站的服务器的性能等。
比如一些大型电商网站在进行大型促销活动开始极短的时间内,整个网站会增加数倍甚至数十倍的访问量,在这之前就需要网站维护人员对网站的QPS进行预估,从而知道需要增加多少台网站的服务器。
目前在对网站的QPS进行预估时都是简单的按照经验进行预估的,由于网站流量的增加不一定是线性的,这样的预估方式准确比较低,从而造成资源的浪费、扩容不足的情况发生。
综上所述,目前预估QPS的准确率比较低。
发明内容
本申请提供一种预估QPS的方法和设备,用以解决现有技术中存在的预估QPS的准确率比较低的问题。
本申请实施例提供一种预估每秒查询数量QPS的方法,该方法包括:
针对网站中的任意一个应用,确定所述应用对应的PV信息和流量信息,其中所述应用对应的PV信息和流量信息是通过所述网站的全站流量确定的;
根据PV信息确定设定时长内所述应用的PV占比,以及根据流量信息确定所述应用的PV调用量;
根据所述应用的PV占比和PV调用量,确定设定时长内所述应用的QPS。
本申请实施例提供一种预估每秒查询数量QPS的设备,该设备包括:
信息确定模块,用于针对网站中的任意一个应用,确定所述应用对应的PV信息和流量信息,其中所述应用对应的PV信息和流量信息是通过所述网站的全站流量确定的;
用量确定模块,用于根据PV信息确定设定时长内所述应用的PV占比,以及根据流量信息确定所述应用的PV调用量;
预估模块,用于根据所述应用的PV占比和PV调用量,确定设定时长内所述应用的QPS。
本申请实施例通过所述网站的全站流量确定应用对应的PV信息和流量信息,并根据PV信息确定设定时长内所述应用的PV占比,以及根据流量信息确定所述应用的PV调用量,根据所述应用的PV占比和PV调用量,确定设定时长内所述应用的QPS。由于能够根据由所述网站的全站流量确定的PV信息和流量信息确定设定时长内所述应用的QPS,相比现有人工预估QPS的方式,提高了QPS预估的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例应用于电子商务网站的层次示意图;
图2为本申请实施例预估QPS的方法流程图;
图3为本申请实施例的结构示意图;
图4为本申请实施例峰值QPS和均值QPS的对比图;
图5为本申请实施例预估QPS的完整方法流程图;
图6为本申请实施例预估QPS的设备结构示意图。
具体实施方式
本申请实施例在网站的系统中增加一个流量代理层,用于采集网站的流量,并根据采集的流量生成每个应用对应的PV信息和流量信息;根据PV信息和流量信息预估设定时长内所述应用的QPS。
PV:用户访问网站的一个页面为一次PV(page view,网页浏览)。
流量信息,即Query(系统调用数):针对网站的系统的一次请求为一个系统调用数。
本申请实施例设定时长内所述应用的QPS包括下列中的部分或全部:
设定时长内应用的峰值QPS;设定时长内应用的平均QPS。
这里的PV信息可以包括多个PV日志,每个PV日志记录单位时间内的PV数;
这里的流量信息可以包括多个PV日志,每个流量日志记录单位时间内的PV数。
单位时间可以根据需要进行设置,比如12小时、一天、一周等。
本申请实施例可以应用于任何需要进行预估的网站,比如商品交易网站、门户网站等。
本申请实施例的设定时长为需要进行预估的时长。以商品交易网站为例,由于商品交易网站会有促销活动,比如双11、双12等。设定时长可以是活动的总时长,也可以将活动分成多个时间段,每个时长为一个时间段。比如活动的总时长是3天,设定时长可以是3天;也可以以天为单位,分别预估每天的QPS。比如活动的总时长是1天,设定时长可以是1天;也可以以小时等为单位,分别预估每小时的QPS。
在活动期间用户量激增,预估QPS可以提前增加服务器数量。如果预估QPS不准确,比如预估峰值QPS比较大,增加的服务器数量会比较多,会造成资源浪费;预估峰值QPS比较小,增加的服务器数量会比较少,会造成网站出现拥挤,用户无法登录等情况发生。所以准确预估QPS对于网站的正常运行非常重要。
下面以本申请实施例应用于电子商务网站为例,对本申请实施例的层次进行说明。
如图1所示,由于全球范围内的用户都可以登录网站,所以网站在维度上可以分为地域维度和站点维度。
地域维度是指不同区域,比如网站中有针对美国的站点,有针对俄罗斯的站点,有针对西班牙的站点,有针对巴西的站点等。
站点维度是指网站中不同语言的站点,比如英文站、俄文站、西班牙文站等。
在获取网站的流量时,这些维度的站点的流量都需要获取。流量的来源主要包括关键词投放、门户投放、联盟、搜索引擎优化、直接流量和邮件营销等。
这里的联盟即联盟广告商,例如网站做广告和推广,会找市场的联盟商负责给网站做广告、引来流量。
其中,关键词投放和门户投放对应的流量类型为PPC(Pay Per Click,购买的搜索引擎流量,为每次点击付费)。
联盟对应的流量类型为affiliate(联盟,标记联盟商引来的流量)。
搜索引擎优化对应的流量类型为SEO(Search Engine Optimization,搜索引擎优化。例如优化关键词,有助于用户能在搜索引擎搜索到)。
直接流量对应的流量类型为direct(直接,意思是直接输入网站网址来访问的流量)。
邮件营销对应的流量类型为EDM(Email Direct Marketing,邮件营销)。
还有一些其他的流量类型。
这些流量构成了网站总的流量,这些总的流量中包括每个应用以及应用下每个服务(也可以称为应用)对应的流量。
本申请实施例根据这些流量就可以确定每个应用对应的PV信息和流量信息,从而可以根据这些信息预估应用的QPS。
在实施时,可以在全站流量分配时,都让流量通过流量监控应用,该应用可以运行在具有高性能的HTTP(Hyper Text Transport Protocol,超级文本传送协议)和具有反向代理服务的服务器中,比如部署在nginx服务器中。
在得到PV信息和流量信息后可以将这些信息存储到大数据存储系统(HDFS)中。
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,显然,所描述的实施例仅仅是本申请一部份实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
如图2所示,本申请实施例预估QPS的方法包括:
步骤200、针对网站中的任意一个应用,确定所述应用对应的PV信息和流量信息,其中所述应用对应的PV信息和流量信息是通过所述网站的全站流量确定的;
步骤201、根据PV信息确定设定时长内所述应用的PV占比,以及根据流量信息确定所述应用的PV调用量;
步骤202、根据所述应用的PV占比和PV调用量,确定设定时长内所述应用的QPS。
本申请实施例通过所述网站的全站流量确定应用对应的PV信息和流量信息,并根据PV信息确定设定时长内所述应用的PV占比,以及根据流量信息确定所述应用的PV调用量,根据所述应用的PV占比和PV调用量,确定设定时长内所述应用的QPS。由于能够根据由所述网站的全站流量确定的PV信息和流量信息确定设定时长内所述应用的QPS,相比现有人工预估QPS的方式,提高了QPS预估的准确率。
本申请实施例实时获取网站的流量并进行分析,从中提取出每个应用的流量,并根据每个应用的流量就可以确定每个应用的PV信息和流量信息。
其中,PV信息中是应用对应的PV数,流量信息中是应用对应的请求数。
在实施时,可以以单位时间设置日志,比如单位时间是一天,则一个应用一天对应两个日志,一个是PV日志,一个是流量日志。PV日志中包括对应时长内应用的PV数,流量日志中包括对应时长内应用的请求数。这样应用对应的PV信息中就包括多个PV日志,应用对应的流量信息中就包括多个流量日志。
下面以图3为例介绍下本申请实施例的架构。
如图3所示,业务打点系统识别全网站的流量,将识别出的各个应用的PV数发送给分布式文件系统;
系统流量检测集群识别全网站的流量,将识别出的各个应用的请求数发送给分布式文件系统;
分布式文件系统生成针对每个应用的PV日志和流量日志,并将收到的各个应用的PV数和请求数发送给分布式计算系统;
分布式计算系统根据PV数和请求数更新每个应用的PV日志和流量日志。
下面以应用于商品交易网站为例说明下PV日志和流量日志。
在实施中,按照时间和应用维度分析网站的流量。以application1为例,PV日志参见表1:
Figure BDA0001118680030000061
Figure BDA0001118680030000071
表1
以application1为例,流量日志参见表2:
Figure BDA0001118680030000072
表2
从表1可以看出,每一天(这里单位时长为天)对应一个PV日志,每个PV日志中记录对应一天内的PV数;
从表2可以看出,每一天(这里单位时长为天)对应一个流量日志,每个流量日志中记录对应一天内的请求数。
可选的,所述根据流量信息确定所述应用的PV调用量时,根据所述流量信息确定单位时长内所述应用的请求数;
根据确定的所述请求数和由所述PV信息确定的单位时长内的PV数,确定所述应用的业务PV调用量。
一般单位时长可以是一天,即确定每天应用的PV数和请求数。当然根据需要也可以以其他时长作为单位时长,比如一个小时等。
在实施中,可以将单位时长内所述应用的请求数除以单位时长内所述应用的PV数,就得到确定所述应用的业务PV调用量。
由于根据全站流量可以知道设定时长内全站总的PV数,根据应用对应的PV信息可以知道设定时长内所述应用的PV数,将设定时长内所述应用的PV数除以设定时长内全站总的PV数就可以得到设定时长内所述应用的PV占比。
可选的,根据所述应用的PV占比和PV调用量,确定设定时长内所述应用的QPS时,可以确定历史设定时长内所述网站的总业务PV数;
根据所述总业务PV数、所述应用的PV占比和PV调用量,确定设定时长内所述应用的QPS。
历史设定时长内为之前的设定时长,比如设定时长为2016年11月11日,则历史设定时长内可以是2015年11月11日、2014年11月11日…..中的部分或全部。
以本申请实施例应用于商品相互网站为例:
根据历史设定时长内的交易总额(交易总额是一个经验值,是根据历史数据由人工配置的)和一个PV的价值(PV的价值是一个经验值,是根据历史数据由人工配置的),就可以确定历史设定时长内所述网站的总业务PV数。
比如将交易总额除以一个PV的价值就可以得到历史设定时长内所述网站的总业务PV数。
在实施中,根据所述总业务PV数、所述应用的PV占比和PV调用量,确定设定时长内所述应用的QPS时,可以根据下列公式确定设定时长内所述应用的QPS:
x=(Z*n%*M)/Y*N
其中,x是设定时长内应用的QPS;
Z是总业务PV数;
n%是应用的PV占比;
M是PV调用量;
Y是设定时长内秒的总数,比如设定时长是24小时,则Y是24(小时)*60(分钟)*60(秒)。
N是应用的峰值QPS和均值QPS的比值,其中N是人工根据历史数据配置的,比如图4所示,应用的日常访问曲线的均值QPS和峰值QPS之间的关系。
由于技术在不断发展,应用的功能也不是一成不变的,有可能一个应用的功能在不断增加,这样该应用就会承担更多的流量,如果非设定时长内检测到应用的PV占比发生变化,可以对设定时长内的应用的PV占比进行调整。
具体的,所述根据所述总PV数、所述应用的业务PV占比和业务PV调用量,确定设定时长内所述应用的QPS之前,根据所述PV信息确定非设定时长内所述应用的PV占比;
根据确定的所述非设定时长内所述应用的PV占比,确定PV占比调整量;
在根据所述总业务PV数、所述应用的PV占比和PV调用量,确定设定时长内所述应用的QPS时,根据PV占比调整量对所述应用的PV占比进行调整;
根据所述总业务PV数、调整后的所述应用的PV占比和PV调用量,确定设定时长内所述应用的QPS。
在实施中,根据所述总业务PV数、调整后的所述应用的PV占比和PV调用量,确定设定时长内所述应用的QPS时,可以根据下列公式确定设定时长内所述应用的QPS:
x=(Z*(n+n1)%*M)/Y*N。
其中,x是设定时长内应用的QPS;
Z是总业务PV数;
n%是应用的PV占比;
n1%是PV占比调整量;
M是PV调用量;
Y是设定时长内秒的总数,比如设定时长是24小时,则Y是24(小时)*60(分钟)*60(秒)。
由于网站的PV数除了业务PV数,还有非业务PV数,比如爬虫PV。所以在确定设定时长内的QPS时,还需要根据非业务PV数进行调整。
具体的,根据所述总PV数、所述应用的业务PV占比和业务PV调用量,确定设定时长内所述应用的QPS之前
根据所述PV信息确定非设定时长内所述网站的非业务PV数;
在所述根据所述总业务PV数、所述应用的PV占比和业务PV调用量,确定设定时长内所述应用的QPS时,将所述非业务PV数和所述总业务PV数之和作为总PV数;
根据所述总PV数、所述应用的业务PV占比和业务PV调用量,确定设定时长内所述应用的QPS。
在实施中,根据总PV数、所述应用的业务PV占比和业务PV调用量,确定设定时长内所述应用的QPS时,可以根据下列公式确定设定时长内所述应用的QPS:
x=((Z+S)*n%*M)/Y*N。
其中,x是设定时长内应用的QPS;
Z是总业务PV数;
n%是应用的PV占比;
S是非业务PV数;
M是PV调用量;
Y是设定时长内秒的总数,比如设定时长是24小时,则Y是24(小时)*60(分钟)*60(秒)。
在实施中,如果PV数和PV占比都需要调整,则根据所述总业务PV数、所述应用的PV占比和PV调用量,确定设定时长内所述应用的QPS时,根据所述总PV数、调整后的所述应用的PV占比和PV调用量,确定设定时长内所述应用的QPS。
在实施中,可以根据下列公式确定设定时长内所述应用的QPS:
x=((Z+S)*(n+n1)%*M)/Y*N。
在得到每个应用的QPS后,根据每个应用的QPS就可以得到整个系统的QPS。
如图5所示,本申请实施例预估QPS的完整方法包括:
步骤500、实时获取网站的全站流量。
步骤501、根据网站的全站流量,生成每个应用对应的PV日志和流量日志。
步骤502、针对网站中的任意一个应用,确定所述应用对应的PV日志和流量日志。
步骤503、根据所述流量信息确定单位时长内所述应用的请求数,根据确定的所述请求数和由所述PV日志确定的单位时长内的PV数,确定所述应用的业务PV调用量。
步骤504、根据PV日志确定设定时长内所述应用的PV占比。
其中,步骤503和步骤504之间没有必然的时序关系,可以先执行步骤503,再执行步骤504;也可以先执行步骤504,再执行步骤503;还可以同时执行步骤503和步骤504。
步骤505、根据所述PV信息确定非设定时长内所述应用的PV占比,根据确定的所述非设定时长内所述应用的PV占比,确定PV占比调整量。
步骤506、根据所述PV信息确定非设定时长内所述网站的非业务PV数。
其中,步骤505和步骤506之间没有必然的时序关系,可以先执行步骤503,再执行步骤506;也可以先执行步骤506,再执行步骤505;还可以同时执行步骤505和步骤506。
步骤507、根据PV占比调整量对所述应用的PV占比进行调整,并将所述非业务PV数和所述总业务PV数之和作为总PV数。
步骤508、根据所述总PV数、调整后的所述应用的PV占比和业务PV调用量,确定设定时长内所述应用的QPS。
基于同一发明构思,本申请实施例中还提供了一种预估QPS的设备,由于该设备解决问题的原理与本申请实施例预估QPS的方法相似,因此该设备的实施可以参见方法的实施,重复之处不再赘述。
如图6所示,本申请实施例预估QPS的设备包括:
信息确定模块600,用于针对网站中的任意一个应用,确定所述应用对应的PV信息和流量信息,其中所述应用对应的PV信息和流量信息是通过所述网站的全站流量确定的;
用量确定模块601,用于根据PV信息确定设定时长内所述应用的PV占比,以及根据流量信息确定所述应用的PV调用量;
预估模块602,用于根据所述应用的PV占比和PV调用量,确定设定时长内所述应用的QPS。
本申请实施例通过所述网站的全站流量确定应用对应的PV信息和流量信息,并根据PV信息确定设定时长内所述应用的PV占比,以及根据流量信息确定所述应用的PV调用量,根据所述应用的PV占比和PV调用量,确定设定时长内所述应用的QPS。由于能够根据由所述网站的全站流量确定的PV信息和流量信息确定设定时长内所述应用的QPS,相比现有人工预估QPS的方式,提高了QPS预估的准确率。
本申请实施例实时获取网站的流量并进行分析,从中提取出每个应用的流量,并根据每个应用的流量就可以确定每个应用的PV信息和流量信息。
其中,PV信息中是应用对应的PV数,流量信息中是应用对应的请求数。
在实施时,可以以单位时间设置日志,比如单位时间是一天,则一个应用一天对应两个日志,一个是PV日志,一个是流量日志。PV日志中包括对应时长内应用的PV数,流量日志中包括对应时长内应用的请求数。这样应用对应的PV信息中就包括多个PV日志,应用对应的流量信息中就包括多个流量日志。
可选的,所述用量确定模块601具体用于:
根据所述流量信息确定单位时长内所述应用的请求数;
根据确定的所述请求数和由所述PV信息确定的单位时长内的PV数,确定所述应用的业务PV调用量。
一般单位时长可以是一天,即确定每天应用的PV数和请求数。当然根据需要也可以以其他时长作为单位时长,比如一个小时等。
在实施中,可以将单位时长内所述应用的请求数除以单位时长内所述应用的PV数,就得到确定所述应用的业务PV调用量。
由于根据全站流量可以知道设定时长内全站总的PV数,根据应用对应的PV信息可以知道设定时长内所述应用的PV数,将设定时长内所述应用的PV数除以设定时长内全站总的PV数就可以得到设定时长内所述应用的PV占比。
可选的,所述预估模块602具体用于:
确定历史设定时长内所述网站的总业务PV数;
根据所述总业务PV数、所述应用的PV占比和PV调用量,确定设定时长内所述应用的QPS。
历史设定时长内为之前的设定时长,比如设定时长为2016年11月11日,则历史设定时长内可以是2015年11月11日、2014年11月11日…..中的部分或全部。
以本申请实施例应用于商品相互网站为例:
根据历史设定时长内的交易总额(交易总额是一个经验值,是根据历史数据由人工配置的)和一个PV的价值(PV的价值是一个经验值,是根据历史数据由人工配置的),就可以确定历史设定时长内所述网站的总业务PV数。
比如将交易总额除以一个PV的价值就可以得到历史设定时长内所述网站的总业务PV数。
在实施中,根据所述总业务PV数、所述应用的PV占比和PV调用量,确定设定时长内所述应用的QPS时,可以根据下列公式确定设定时长内所述应用的QPS:
x=(Z*n%*M)/Y*N。
其中,x是设定时长内应用的QPS;
Z是总业务PV数;
n%是应用的PV占比;
M是PV调用量;
Y是设定时长内秒的总数,比如设定时长是24小时,则Y是24(小时)*60(分钟)*60(秒)。
N是应用的峰值QPS和均值QPS的比值,其中N是人工根据历史数据配置的,比如图4所示,应用的日常访问曲线的均值QPS和峰值QPS之间的关系。
由于技术在不断发展,应用的功能也不是一成不变的,有可能一个应用的功能在不断增加,这样该应用就会承担更多的流量,如果非设定时长内检测到应用的PV占比发生变化,可以对设定时长内的应用的PV占比进行调整。
具体的,所述用量确定模块601还用于:
根据所述PV信息确定非设定时长内所述应用的PV占比;
根据确定的所述非设定时长内所述应用的PV占比,确定PV占比调整量;
所述预估模块602具体用于:
根据PV占比调整量对所述应用的PV占比进行调整;
根据所述总业务PV数、调整后的所述应用的PV占比和PV调用量,确定设定时长内所述应用的QPS。
在实施中,根据所述总业务PV数、调整后的所述应用的PV占比和PV调用量,确定设定时长内所述应用的QPS时,可以根据下列公式确定设定时长内所述应用的QPS:
x=(Z*(n+n1)%*M)/Y*N。
其中,x是设定时长内应用的QPS;
Z是总业务PV数;
n%是应用的PV占比;
n1%是PV占比调整量;
M是PV调用量;
Y是设定时长内秒的总数,比如设定时长是24小时,则Y是24(小时)*60(分钟)*60(秒)。
由于网站的PV数除了业务PV数,还有非业务PV数,比如爬虫PV。所以在确定设定时长内的QPS时,还需要根据非业务PV数进行调整。
具体的,所述用量确定模块601还用于:
根据所述PV信息确定非设定时长内所述网站的非业务PV数;
所述预估模块602具体用于:
将所述非业务PV数和所述总业务PV数之和作为总PV数;
根据所述总PV数、所述应用的业务PV占比和业务PV调用量,确定设定时长内所述应用的QPS。
在实施中,根据总PV数、所述应用的业务PV占比和业务PV调用量,确定设定时长内所述应用的QPS时,可以根据下列公式确定设定时长内所述应用的QPS:
x=((Z+S)*n%*M)/Y*N。
其中,x是设定时长内应用的QPS;
Z是总业务PV数;
n%是应用的PV占比;
S是非业务PV数;
M是PV调用量;
Y是设定时长内秒的总数,比如设定时长是24小时,则Y是24(小时)*60(分钟)*60(秒)。
在实施中,如果PV数和PV占比都需要调整,则根据所述总业务PV数、所述应用的PV占比和PV调用量,确定设定时长内所述应用的QPS时,根据所述总PV数、调整后的所述应用的PV占比和PV调用量,确定设定时长内所述应用的QPS。
在实施中,可以根据下列公式确定设定时长内所述应用的QPS:
x=((Z+S)*(n+n1)%*M)/Y*N。
在得到每个应用的QPS后,根据每个应用的QPS就可以得到整个系统的QPS。
在实施中,本申请实施例预估QPS的设备中的模块可以分散在多个设备和/或系统中实现,也可以合成在一个设备中实现。
以上参照示出根据本申请实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本申请。应理解,可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置,以产生机器,使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。
相应地,还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本申请。更进一步地,本申请可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式,其具有在介质中实现的计算机可使用或计算机可读程序代码,以由指令执行系统来使用或结合指令执行系统而使用。在本申请上下文中,计算机可使用或计算机可读介质可以是任意介质,其可以包含、存储、通信、传输、或传送程序,以由指令执行系统、装置或设备使用,或结合指令执行系统、装置或设备使用。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (6)

1.一种预估每秒查询数量的方法,其特征在于,该方法包括:
针对网站中的任意一个应用,确定所述应用对应的网页浏览信息和流量信息,其中所述应用对应的网页浏览信息和流量信息是通过所述网站的全站流量确定的;
根据网页浏览信息确定设定时长内所述应用的网页浏览占比,以及根据流量信息确定所述应用的网页浏览调用量;
根据所述应用的网页浏览占比和网页浏览调用量,确定设定时长内所述应用的每秒查询数量;
所述根据所述应用的网页浏览占比和网页浏览调用量,确定设定时长内所述应用的每秒查询数量,包括:
确定历史设定时长内所述网站的总业务网页浏览数;
根据所述总业务网页浏览数、所述应用的网页浏览占比和网页浏览调用量,确定设定时长内所述应用的每秒查询数量;
所述根据所述总业务网页浏览数、所述应用的网页浏览占比和网页浏览调用量,确定设定时长内所述应用的每秒查询数量之前,还包括:
根据所述网页浏览信息确定非设定时长内所述应用的网页浏览占比;
根据确定的所述非设定时长内所述应用的网页浏览占比,确定网页浏览占比调整量;
所述根据所述总业务网页浏览数、所述应用的网页浏览占比和网页浏览调用量,确定设定时长内所述应用的每秒查询数量,包括:
根据网页浏览占比调整量对所述应用的网页浏览占比进行调整;
根据所述总业务网页浏览数、调整后的所述应用的网页浏览占比和网页浏览调用量,确定设定时长内所述应用的每秒查询数量。
2.如权利要求1所述的方法,其特征在于,所述根据流量信息确定所述应用的网页浏览调用量,包括:
根据所述流量信息确定单位时长内所述应用的请求数;
根据确定的所述请求数和由所述网页浏览信息确定的单位时长内的网页浏览数,确定所述应用的业务网页浏览调用量。
3.如权利要求1所述的方法,其特征在于,所述根据所述总业务网页浏览数、调整后的所述应用的网页浏览占比和网页浏览调用量,确定设定时长内所述应用的每秒查询数量之前,还包括:
根据所述网页浏览信息确定非设定时长内所述网站的非业务网页浏览数;
所述根据所述总业务网页浏览数、调整后的所述应用的网页浏览占比和网页浏览调用量,确定设定时长内所述应用的每秒查询数量,包括:
将所述非业务网页浏览数和所述总业务网页浏览数之和作为总网页浏览数;
根据所述总网页浏览数、调整后的所述应用的网页浏览占比和网页浏览调用量,确定设定时长内所述应用的每秒查询数量。
4.一种预估每秒查询数量的设备,其特征在于,该设备包括:
信息确定模块,用于针对网站中的任意一个应用,确定所述应用对应的网页浏览信息和流量信息,其中所述应用对应的网页浏览信息和流量信息是通过所述网站的全站流量确定的;
用量确定模块,用于根据网页浏览信息确定设定时长内所述应用的网页浏览占比,以及根据流量信息确定所述应用的网页浏览调用量;
预估模块,用于根据所述应用的网页浏览占比和网页浏览调用量,确定设定时长内所述应用的每秒查询数量;
所述预估模块具体用于:
确定历史设定时长内所述网站的总业务网页浏览数;
根据所述总业务网页浏览数、所述应用的网页浏览占比和网页浏览调用量,确定设定时长内所述应用的每秒查询数量;
所述用量确定模块还用于:
根据所述网页浏览信息确定非设定时长内所述应用的网页浏览占比;
根据确定的所述非设定时长内所述应用的网页浏览占比,确定网页浏览占比调整量;
所述预估模块具体用于:
根据网页浏览占比调整量对所述应用的网页浏览占比进行调整;
根据所述总业务网页浏览数、调整后的所述应用的网页浏览占比和网页浏览调用量,确定设定时长内所述应用的每秒查询数量。
5.如权利要求4所述的设备,其特征在于,所述用量确定模块具体用于:
根据所述流量信息确定单位时长内所述应用的请求数;
根据确定的所述请求数和由所述网页浏览信息确定的单位时长内的网页浏览数,确定所述应用的业务网页浏览调用量。
6.如权利要求4所述的设备,其特征在于,所述用量确定模块还用于:
根据所述网页浏览信息确定非设定时长内所述网站的非业务网页浏览数;
所述预估模块具体用于:
将所述非业务网页浏览数和所述总业务网页浏览数之和作为总网页浏览数;
根据所述总网页浏览数、调整后的所述应用的网页浏览占比和网页浏览调用量,确定设定时长内所述应用的每秒查询数量。
CN201610842301.8A 2016-09-22 2016-09-22 一种预估qps的方法和设备 Active CN107872329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610842301.8A CN107872329B (zh) 2016-09-22 2016-09-22 一种预估qps的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610842301.8A CN107872329B (zh) 2016-09-22 2016-09-22 一种预估qps的方法和设备

Publications (2)

Publication Number Publication Date
CN107872329A CN107872329A (zh) 2018-04-03
CN107872329B true CN107872329B (zh) 2020-10-16

Family

ID=61751133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610842301.8A Active CN107872329B (zh) 2016-09-22 2016-09-22 一种预估qps的方法和设备

Country Status (1)

Country Link
CN (1) CN107872329B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110262959B (zh) * 2019-05-09 2022-11-11 五八有限公司 底层服务压力测试方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102135985A (zh) * 2011-01-28 2011-07-27 百度在线网络技术(北京)有限公司 调用第三方搜索引擎搜索结果的搜索方法和搜索系统
CN102811154A (zh) * 2011-05-31 2012-12-05 阿里巴巴集团控股有限公司 资源获取方法与网络服务器系统
CN105162643A (zh) * 2015-06-30 2015-12-16 天津车之家科技有限公司 流量预估的方法、装置及计算设备
CN105224445A (zh) * 2015-10-28 2016-01-06 北京汇商融通信息技术有限公司 分布式跟踪系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9460308B2 (en) * 2014-05-09 2016-10-04 Facebook, Inc. Multi-level privacy evaluation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102135985A (zh) * 2011-01-28 2011-07-27 百度在线网络技术(北京)有限公司 调用第三方搜索引擎搜索结果的搜索方法和搜索系统
CN102811154A (zh) * 2011-05-31 2012-12-05 阿里巴巴集团控股有限公司 资源获取方法与网络服务器系统
CN105162643A (zh) * 2015-06-30 2015-12-16 天津车之家科技有限公司 流量预估的方法、装置及计算设备
CN105224445A (zh) * 2015-10-28 2016-01-06 北京汇商融通信息技术有限公司 分布式跟踪系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QPS、RT、PV、UV之间的关系;LightEggPlant;《https://blog.csdn.net/》;20150725;全文 *

Also Published As

Publication number Publication date
CN107872329A (zh) 2018-04-03

Similar Documents

Publication Publication Date Title
US10324960B1 (en) Determining a number of unique viewers of a content item
US10134058B2 (en) Methods and apparatus for identifying unique users for on-line advertising
US8898290B2 (en) Personally identifiable information independent utilization of analytics data
US9015128B2 (en) Method and system for measuring social influence and receptivity of users
US10282745B2 (en) System and method for isolated simulations for accurate predictions of counterfactual events
US9691074B2 (en) Performance evaluation of an information resource in a computer network environment
WO2015127864A1 (en) Method and apparatus for controlling media data to be placed at constant speed
US20180315060A1 (en) Methods and apparatus to estimate media impression frequency distributions
US11887132B2 (en) Processor systems to estimate audience sizes and impression counts for different frequency intervals
US20170364931A1 (en) Distributed model optimizer for content consumption
CN110300084B (zh) 基于ip地址的画像方法和装置,电子设备,可读介质
JP5986082B2 (ja) 全アカウントの検索キーワードの推定値の返信
CN104035926A (zh) 一种互联网信息的投放和系统
CN111242661A (zh) 优惠券发放方法和装置以及计算机系统和介质
US11410062B2 (en) Method and system for reducing risk values discrepancies between categories
US20180204248A1 (en) Web page viewership prediction
CN113450162A (zh) 用户分群方法、装置及存储介质
CN111651524B (zh) 利用机器学习模型进行线上预测的辅助实现方法及装置
CN103412932A (zh) 推送信息推送效果的监测方法和装置
US8954567B1 (en) Predicting mediaplan traffic
CN107872329B (zh) 一种预估qps的方法和设备
CN110928594A (zh) 服务开发方法和平台
US9065859B1 (en) Server side disambiguation of ambiguous statistics
Azoev et al. Site Base Conversion and Impact of Advertising Traffic Source on Conversion Rate
JP6750248B2 (ja) 制御装置及び制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221115

Address after: Floor 8, building 2, Xincheng science and technology park complex, No. 8, Bailongjiang East Street, Jianye District, Nanjing, Jiangsu Province

Patentee after: Alibaba East China Co.,Ltd.

Address before: Box four, 847, capital building, Grand Cayman Island capital, Cayman Islands, UK

Patentee before: ALIBABA GROUP HOLDING Ltd.