CN106657399A - 基于中间件实现的后台服务器选择方法及装置 - Google Patents

基于中间件实现的后台服务器选择方法及装置 Download PDF

Info

Publication number
CN106657399A
CN106657399A CN201710090932.3A CN201710090932A CN106657399A CN 106657399 A CN106657399 A CN 106657399A CN 201710090932 A CN201710090932 A CN 201710090932A CN 106657399 A CN106657399 A CN 106657399A
Authority
CN
China
Prior art keywords
server
time period
response time
random number
preset time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710090932.3A
Other languages
English (en)
Other versions
CN106657399B (zh
Inventor
邓怡豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201710090932.3A priority Critical patent/CN106657399B/zh
Publication of CN106657399A publication Critical patent/CN106657399A/zh
Application granted granted Critical
Publication of CN106657399B publication Critical patent/CN106657399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1012Server selection for load balancing based on compliance of requirements or conditions with available server resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1019Random or heuristic server selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/562Brokering proxy services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/566Grouping or aggregating service requests, e.g. for unified processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于中间件实现的后台服务器选择方法及装置,所述方法包括:接收客户端发送的业务请求;在预设数值范围内生成第一随机数,所述预设数值范围包含第一数值范围;若第一随机数落入第一数值范围内,根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器;将所述业务请求转发给所选取的服务器。采用本方案,通过利用各个服务器最近的预设时间段内的响应时间来选择服务器,可以实现服务器系统的负载均衡,提高系统稳定性;又由于只有当第一随机数落入第一数值范围内,才需计算各个服务器最近的预设时间段内的响应时间,所以在一定程度上降低了系统的运算量及运算资源占有率,提高服务器系统处理任务的效率。

Description

基于中间件实现的后台服务器选择方法及装置
技术领域
本发明涉及计算机网络技术领域,具体涉及一种基于中间件实现的后台服务器选择方法及装置。
背景技术
中间件位于数据管理层和用户界面层之间,它可以为处于操作系统和应用程序之间的通信平台,也可以是应用平台与后台数据库之间的数据通信媒介等。其中,中间件也可位于客户端和服务器之间,可以完成对事物的管理与协调等任务。
中间件在接收到客户端发送的新的请求后常采用轮询的方式将请求发送至服务器,或者通过统计当前服务器与客户端的连接数将新的请求发送至当前连接数最少的服务器。但是,采用轮询的方法常会出现部分服务器过载甚至宕机的现象,而与客户端连接数的多少并未能有效反映服务器处理任务的能力,也会造成严重的负载失衡,降低系统处理事物的效率及资源利用率,并降低了系统的稳定性。而且,当以某一性能参数表征服务器处理任务能力,常采用穷举的方法,即计算所有服务器的性能参数,来寻求较优的服务器。此种方法会增加整个系统的运算量,额外占用系统较多的运算资源,降低系统处理事物的效率。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于中间件实现的后台服务器选择方法及装置。
根据本发明的一个方面,提供了一种基于中间件实现的后台服务器选择方法,其包括:
接收客户端发送的业务请求;
在预设数值范围内生成一第一随机数,所述预设数值范围包含第一数值范围;
若所述第一随机数落入第一数值范围内,根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器;
将所述业务请求转发给所选取的服务器。
可选的,所述预设数值范围包含第二数值范围,所述方法还包括:
若所述第一随机数落入第二数值范围内,在服务器列表中随机或顺次选取一服务器。
可选的,所述预设数值范围为[0,1],所述第二数值范围为[0,ε],所述第一数值范围为(ε,1],其中ε为根据之前服务器的选择情况预先设置的值。
可选的,所述在服务器列表中顺次选取一服务器进一步包括:
查询上一次第一随机数落入第二数值范围时所选取的服务器;
在服务器列表中选取排序紧邻在上一次第一随机数落入第一数值范围时所选取的服务器之后的服务器。
可选的,所述根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器进一步包括:
计算各个服务器在最近的预设时间段内的响应时间参数;
选取所述各个服务器在最近的预设时间段内的响应时间参数最小的服务器。
可选的,所述根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器进一步包括:
计算各个服务器在最近的预设时间段内的响应时间参数;
对各个服务器在最近的预设时间段内的响应时间参数进行归一化处理,得到归一化处理后的响应时间参数T1,T2,…,Ti,…,Tn,其中Ti为在服务器列表中排在第i位的服务器的归一化处理后的响应时间参数;
根据归一化的数值范围,生成一第二随机数;
从k=1开始,按照如下公式计算Sumk,直至Sumk大于或等于第二随机数结束,选取在服务器列表中排在第k位的服务器;
可选的,所述根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器进一步包括:
计算各个服务器在最近的预设时间段内的响应时间参数;
选取所述各个服务器在最近的预设时间段内的响应时间参数小于预设阈值的一服务器。
可选的,所述预设时间段包含多个子时间段;
所述计算各个服务器在最近的预设时间段内的响应时间参数进一步包括:根据各个服务器在每个子时间段内的响应时间和响应次数计算各个服务器在最近的预设时间段内的响应时间参数。
可选的,所述根据各个服务器在每个子时间段内的响应时间和响应次数计算各个服务器在最近的预设时间段内的响应时间参数进一步包括:
根据各个服务器在每个子时间段内的响应时间和响应次数计算各个服务器每个子时间段的平均响应时间;
计算各个服务器各个子时间段的平均响应时间与子时间段序号的乘积之和作为各个服务器在最近的预设时间段内的响应时间参数,其中子时间段序号根据子时间段距离当前时间由远及近依次递增。
根据本发明的另一方面,提供了一种基于中间件实现的后台服务器选择装置,其包括:
接收模块,适于接收客户端发送的业务请求;
生成模块,适于在预设数值范围内生成一第一随机数,所述预设数值范围包含第一数值范围;
第一选取模块,适于若所述第一随机数落入第一数值范围内,根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器;
发送模块,适于将所述业务请求转发给所选取的服务器。
可选的,所述预设数值范围包含第二数值范围,所述装置还包括:
第二选取模块,适于若所述第一随机数落入第二数值范围内,在服务器列表中随机或顺次选取一服务器。
可选的,所述预设数值范围为[0,1],所述第二数值范围为[0,ε],所述第一数值范围为(ε,1],其中ε为根据之前服务器的选择情况预先设置的值。
可选的,所述装置还包括:
查询模块,适于查询上一次第一随机数落入第二数值范围时所选取的服务器;
所述第二选取模块进一步适于:在服务器列表中选取排序在上一次第一随机数落入第一数值范围时所选取的服务器之后的服务器。
可选的,所述装置还包括:
计算模块,适于计算各个服务器在最近的预设时间段内的响应时间参数;
所述第一选取模块进一步适于:选取所述各个服务器在最近的预设时间段内的响应时间参数最小的服务器。
可选的,所述装置还包括:
计算模块,适于计算各个服务器在最近的预设时间段内的响应时间参数;
所述第一选取模块进一步适于:对各个服务器在最近的预设时间段内的响应时间参数进行归一化处理,得到归一化处理后的响应时间参数T1,T2,…,Ti,…Tn,其中Ti为在服务器列表中排在第i位的服务器的归一化处理后的响应时间参数;
所述生成模块还适于:根据归一化的数值范围,生成一第二随机数;
所述第一选取模块进一步适于:从k=1开始,按照如下公式计算Sumk,直至Sumk大于或等于第二随机数结束,选取在服务器列表中排在第k位的服务器;
可选的,所述装置还包括:
计算模块,适于计算各个服务器在最近的预设时间段内的响应时间参数;
所述第一选取模块进一步适于:选取所述各个服务器在最近的预设时间段内的响应时间参数小于预设阈值的一服务器。
可选的,所述预设时间段包含多个子时间段;
所述计算模块进一步适于:根据各个服务器在每个子时间段内的响应时间和响应次数计算各个服务器在最近的预设时间段内的响应时间参数。
可选的,所述计算模块进一步包括:
第一计算单元。适于根据各个服务器在每个子时间段内的响应时间和响应次数计算各个服务器每个子时间段的平均响应时间;
第二计算单元,适于计算各个服务器各个子时间段的平均响应时间与子时间段序号的乘积之和作为各个服务器在最近的预设时间段内的响应时间参数,其中子时间段序号根据子时间段距离当前时间由远及近依次递增。
根据本发明提供的基于中间件实现的后台服务器选择方法及装置,可以接收客户端发送的业务请求;在预设数值范围内生成一第一随机数,其中,预设数值范围包含第一数值范围;若第一随机数落入第一数值范围内,则根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器;最终将业务请求转发给所选取的服务器。采用本方案,通过利用各个服务器最近的预设时间段内的响应时间来选择服务器,可以实现服务器系统的负载均衡,提高系统稳定性;又由于只有当第一随机数落入第一数值范围内,才需计算各个服务器最近的预设时间段内的响应时间,所以在一定程度上降低了系统的运算量及运算资源占有率,提高服务器系统处理任务的效率。
根据本发明的上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例提供的基于中间件实现的后台服务器选择方法的流程示意图;
图2示出了根据本发明另一个实施例提供的基于中间件实现的后台服务器选择方法的流程示意图;
图3示出了根据本发明又一个实施例提供的基于中间件实现的后台服务器选择方法的流程示意图;
图4示出了根据本发明一个实施例提供的基于中间件实现的后台服务器选择装置的功能结构示意图;
图5示出了根据本发明另一个实施例提供的基于中间件实现的后台服务器选择装置的功能结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例提供的基于中间件实现的后台服务器选择方法的流程示意图。如图1所示,该方法包括以下步骤:
步骤101,接收客户端发送的业务请求。
接收客户端发送的业务请求。例如,可通过构造监听端口的ServerSocket,,建立Socket套接字并将其绑定到端口,通过监听Socket套接字来判断客户端是否有业务请求,若有,则将此客户端的请求列入ServerSocket队列,若无,则继续监听。
可选的,判断客户端的业务请求中是否包含处理该项业务请求所需的资格条件,如判断客户端发送的业务请求中是否包含客户端数字证书或者判断客户端数字证书是否在有效期内,若否,则向客户端返回相应的提示信息;若是,则将此客户端的业务请求列入ServerSocket队列。
可选的,可对客户端发送的业务请求进行相应的标记,如设置客户端发送的业务请求所需服务的优先级,以保证优先级别高的业务请求先得到处理。
步骤102,在预设数值范围内生成一第一随机数,该预设数值范围包含第一数值范围。
在预设数值范围内生成一第一随机数,如在预设数值范围[0,1]内生成一第一随机数。该预设数值范围包含第一数值范围,如预设范围为[0,1],第一数值范围可以为[0,0.2]。可选的,第一数值范围的设定是根据之前服务器的选择情况预先设置的值。在前期过程中,可设定一起始数值范围,并预设数值范围内生成一第一随机数,若第一随机数落入该数值范围内,则根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器(对应步骤103);若否,则随机选择一服务器,并最终判断系统的负载失衡程度。根据系统的负载失衡程度,以一定权重扩大或缩小该数值范围,而后再采用上述方法选择服务器,判断选择的数值范围下系统的负载失衡程度。最终,将系统负载失衡程度最小时对应的选取的数值范围作为第一数值范围。
步骤103,若第一随机数落入第一数值范围内,则根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器。
根据步骤102中在预设数值范围内生成的第一随机数,判断第一随机数的范围。若第一随机数落入第一数值范围内,则根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器。
可选的,可记录各个服务器在最近的预设时间段内的响应时间,根据服务器列表中各个服务器最近的预设时间段内的响应时间,可获知当前各个服务器处理任务的能力。例如,服务器在最近的预设时间段内的响应时间越短,则表明该服务器当前处理任务的压力较小,则可选取此服务器。
步骤104,将业务请求转发给所选取的服务器。
将业务请求转发给所选取的服务器,以供服务器对客户端的业务请求进行处理。
根据本发明提供的基于中间件实现的后台服务器选择方法,可以根据接收客户端发送的业务请求;在预设数值范围内生成一第一随机数,预设数值范围包含第一数值范围;若第一随机数落入第一数值范围内,根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器;将所述业务请求转发给所选取的服务器。采用本方案,通过利用各个服务器最近的预设时间段内的响应时间来选择服务器,可以实现服务器系统的负载均衡,提高系统稳定性;又由于只有当第一随机数落入第一数值范围内,才需计算各个服务器最近的预设时间段内的响应时间,所以在一定程度上降低了系统的运算量及运算资源占有率,提高服务器系统处理任务的效率。
图2示出了根据本发明另一个实施例提供的基于中间件实现的后台服务器选择方法的流程示意图。如图2所示,该方法包括以下步骤:
步骤201,接收客户端发送的业务请求。
接收客户端发送的业务请求。例如,可通过构造监听端口的ServerSocket,,建立Socket套接字并将其绑定到端口,通过监听Socket套接字来判断客户端是否有业务请求,若有,则将此客户端的请求列入ServerSocket队列,若无,则继续监听。
可选的,判断客户端的业务请求中是否包含处理该项业务请求所需的资格条件,如判断客户端发送的业务请求中是否包含客户端数字证书或者判断客户端数字证书是否在有效期内,若否,则向客户端返回相应的提示信息;若是,则将此客户端的业务请求列入ServerSocket队列。
可选的,可对客户端发送的业务请求进行相应的标记,如设置客户端发送的业务请求所需服务的优先级,以保证优先级别高的业务请求先得到处理。
步骤202,在预设数值范围内生成一第一随机数。
可选地,预设数值范围为[0,1]。该预设数值范围包含第一数值范围及第二数值范围。其中,第一数值范围为(ε,1],第二数值范围为[0,ε],ε为根据之前服务器的选择情况预先设置的值。
具体地,ε为在(0,1)之间的实数,是根据之前服务器的选择情况而设置的。在设定ε前,可先设定一起始数值ε0,并在预设数值范围[0,1]内生成一随机数,若该随机数落入[0,ε0),则随机选择一服务器;若该随机数落入(ε0,1],则根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器。并最终判断系统的负载失衡程度。根据系统的负载失衡程度,以一定权重增大或减小ε0获得ε1,并采用上述方法选择服务器,判断ε1对应的系统的负载失衡程度。以此类推,直至获得εn-1对应的系统的负载失衡程度,其中n为预设的获取ε的探索次数。最终,将系统负载失衡程度最小时对应的εi作为ε。
可选的,当系统冷启动时,即在系统刚运行后,未保存有之前服务器的选择情况的相关信息时,可随机选择一服务器,在获得一定容量的服务器的选择情况的相关信息后再根据上述方法设置ε。
进一步可选的,在设定ε,执行完后续步骤203至步骤207后,可以一定权重降低ε,并记录系统的负载均衡程度,当系统的负载均衡程度趋于稳定时,可保持ε不变。
步骤203,判断第一随机数的范围,若第一随机数落入第二数值范围内,则执行步骤204;若第一随机数落入第一数值范围内,则执行步骤205。
判断第一随机数的范围,若第一随机数落入第二数值范围内,即第一随机数处于[0,ε],则执行步骤204;若第一随机数落入第一数值范围内(ε,1],则执行步骤205。
步骤204,在服务器列表中随机或顺次选取一服务器。
若步骤203中判断的第一随机数落入第二数值范围内,则在服务器列表中随机或顺次选取一服务器。
具体地,若步骤203中判断的第一随机数落入第二数值范围内,可在服务器列表中随机选取一服务器。例如,可采用Random_rand函数随机获取服务器列表中一服务器编号,并选取该编号对应的服务器。
若步骤203中判断的第一随机数落入第二数值范围内,可在服务器列表中顺次选取一服务器。具体地,查询上一次第一随机数落入第二数值范围时所选取的服务器;在服务器列表中选取排序紧邻在上一次第一随机数落入第一数值范围时所选取的服务器之后的服务器。例如,上一次第一随机数落入第二数值范围时选取了编号为“0021”的服务器,则若本次第一随机数仍落入第二数值范围内,则选取排序紧邻“0021”后的编号为“0022”的服务器。
步骤205,计算各个服务器在最近的预设时间段内的响应时间参数。
其中,预设时间段包含多个子时间段。可选的,可以将预设时间段均等地分为多个子时间段,根据时间先后顺序,各个子时间段起止时间点依次相接,例如。预设时间段为[t-10,t),其中,t为当前时间,t-10为距离当前时间的前十分钟,在预设时间段[t-10,t)内包含n个子时间段,该n个子时间段根据时间先后顺序,起止时间点依次相接。如,n=5,则预设时间段[t-10,t)的子时间段分别为[t-10,t-8)、[t-8,t-6)、[t-6,t-4)、[t-4,t-2)、[t-2,t)。
根据各个服务器在每个子时间段内的响应时间和响应次数计算各个服务器在最近的预设时间段内的响应时间参数。例如,可将各个服务器每个子时间段内的响应时间和响应次数记录于一列表中,随着时间的变化,列表中的各个服务器每个子时间段内的响应时间和响应次数也会相应地更新。
具体地,可根据各个服务器每个子时间段内的响应时间和响应次数,计算各个服务器每个子时间段内的平均响应时间。举例来说,预设时间段内包含n个子时间段,则根据response[i]/count[i]计算第i个时间段内的平均响应时间tavg[i],其中response[i]为第i个子时间段的响应时间,count[i]为第i个子时间段的响应次数。例如,在第i个子时间段内,编号为“012”的服务器响应次数count[i]为2次,2次响应的响应时间分别为Q1、Q2,则编号为“012”的服务器response[i]=Q2+Q1,在第i个子时间段内平均响应时间tavg[i]=(Q2+Q1)/2。
计算各个服务器各个子时间段的平均响应时间与子时间段序号的乘积之和作为各个服务器在最近的预设时间段内的响应时间参数,其中子时间段序号根据子时间段距离当前时间由远及近依次递增。即,可采用公式(2-1),计算各个服务器在最近的预设时间段内的响应时间参数。
其中,T为服务器在最近的预设时间段内的响应时间参数;i为在最近的预设时间段内子时间段序号;tavg[i]为第i个子时间段内的平均响应时间。公式(2-1)中子时间段序号i可作为该子时间段的平均响应时间的权重系数,距离当前时间越近的子时间段权重系数越高。
可选的,也可通过其他方法计算各个服务器在最近的预设时间段内的响应时间参数。如公式(2-2)所示:
其中,T为服务器在最近的预设时间段内的响应时间参数;i为在最近的预设时间段内子时间段序号;tavg[i]为第i个子时间段内的平均响应时间;f(i)为与最近的预设时间段内子时间段序号i有关的函数,其可以为线性函数,如f(i)=5i+2,或者为可以表征子时间段权重的其他函数。
步骤206,选取各个服务器在最近的预设时间段内的响应时间参数最小的服务器。
根据步骤205中计算的各个服务器在最近的预设时间段内的响应时间参数,可获知各个服务器当前处理任务的能力大小,服务器在最近的预设时间段内的响应时间参数越小时,表明该服务器当前处理任务的压力较小,则可选取各个服务器在最近的预设时间段内的响应时间参数最小的服务器。
步骤207,将业务请求转发给所选取的服务器。
将业务请求转发给所选取的服务器,以供服务器对客户端的业务请求进行处理。
根据本发明提供的基于中间件实现的后台服务器选择方法,可以根据接收客户端发送的业务请求;在预设数值范围内生成一第一随机数,预设数值范围包含第一数值范围及第二数值范围;若第一随机数落入第一数值范围内,则通过计算各个服务器在最近的预设时间段内的响应时间参数选取一服务器;若第一随机数落入第二数值范围内,则顺次或随机选取一服务器;最终将业务请求转发给所选取的服务器。采用本方案,通过选取各个服务器在最近的预设时间段内的响应时间参数最小的服务器,可以实现服务器系统的负载均衡,提高系统稳定性;又由于只有当第一随机数落入第一数值范围内,才需计算各个服务器最近的预设时间段内的响应时间,所以在一定程度上降低了系统的运算量及运算资源占有率,提高服务器系统处理任务的效率。
图3示出了根据本发明又一个实施例提供的基于中间件实现的后台服务器选择方法的流程示意图。如图3所示,该方法包括以下步骤:
步骤301,接收客户端发送的业务请求。
接收客户端发送的业务请求,具体地,可参照图2所示实施例中的步骤201所述的方法。
步骤302,在预设数值范围内生成一第一随机数。
可选地,预设数值范围为[0,1]。该预设数值范围包含第一数值范围及第二数值范围。其中,第一数值范围为(ε,1],第二数值范围为[0,ε],ε为根据之前服务器的选择情况预先设置的值。
具体地,可参照图2所示实施例中的步骤202所述的方法在预设数值范围内生成一第一随机数。
步骤303,判断第一随机数的范围,若第一随机数落入第二数值范围内,则执行步骤304;若第一随机数落入第一数值范围内,则执行步骤305。
判断第一随机数的范围,若第一随机数落入第二数值范围内,即第一随机数处于[0,ε],则执行步骤304;若第一随机数落入第一数值范围内(ε,1],则执行步骤305。
步骤304,在服务器列表中随机或顺次选取一服务器。
若步骤303中判断的第一随机数落入第二数值范围内,则在服务器列表中随机或顺次选取一服务器。
具体地,可参照图2所示实施例中的步骤204所述的方法在服务器列表中随机或顺次选取一服务器。
步骤305,计算各个服务器在最近的预设时间段内的响应时间参数。
其中,预设时间段包含多个子时间段。具体地,可参照图2所示实施例中的步骤205所述的方法计算各个服务器在最近的预设时间段内的响应时间参数。
步骤306,对各个服务器在最近的预设时间段内的响应时间参数进行归一化处理,根据归一化的数值范围,生成一第二随机数。
根据步骤305中计算的各个服务器在最近的预设时间段内的响应时间参数,可以进一步根据该响应时间参数选取一服务器。
具体地,对各个服务器在最近的预设时间段内的响应时间参数进行归一化处理,得到归一化处理后的响应时间参数T1,T2,…,Ti,…,Tn,其中Ti为在服务器列表中排在第i位的服务器的归一化处理后的响应时间参数。
可选的,可利用公式(3-1)对各个服务器在最近的预设时间段内的响应时间参数进行归一化处理:
其中,Ti为在服务器列表中排在第i位的服务器的归一化处理后的响应时间参数;Ti'为在服务器列表中排在第i位的服务器的归一化处理前的响应时间参数;T'max为在服务器列表中各个服务器归一化处理前的响应时间参数中的最大值;T'min为在服务器列表中各个服务器归一化处理前的响应时间参数中的最小值。本发明对具体的各个服务器在最近的预设时间段内的响应时间参数的归一化处理方法不做限定,本领域人员可根据具体情形自行选择。
在对各个服务器在最近的预设时间段内的响应时间参数进行归一化处理后,根据归一化的数值范围,生成一第二随机数。
具体地,将各个服务器在最近的预设时间段内的归一化后的响应时间参数的最大值和最小值分别作为第二随机数生成范围的最大值和最小值。如,利用公式(3-1)处理后的各个服务器在最近的预设时间段内的归一化后的响应时间参数最大值和最小值分别为1和0,则第二随机数生成范围为[0,1]。可通过随机种子与函数结合法在[0,1]生成一第二随机数。
步骤307,从k=1开始,计算Sumk,直至Sumk大于或等于第二随机数结束,选取在服务器列表中排在第k位的服务器。
具体地,从k=1开始,按照公式(3-2)计算Sumk,直至Sumk大于或等于第二随机数结束,选取在服务器列表中排在第k位的服务器。
其中,Ti为在服务器列表中排在第i位的服务器的响应时间参数。
步骤308,将业务请求转发给所选取的服务器。
将业务请求转发给所选取的服务器,以供服务器对客户端的业务请求进行处理。
根据本发明提供的基于中间件实现的后台服务器选择方法,可以根据接收客户端发送的业务请求;在预设数值范围内生成一第一随机数,预设数值范围包含第一数值范围及第二数值范围;若第一随机数落入第一数值范围内,则通过计算各个服务器在最近的预设时间段内的响应时间参数选取一服务器;若第一随机数落入第二数值范围内,则顺次或随机选取一服务器;最终将业务请求转发给所选取的服务器。采用本方案,利用各个服务器在最近的预设时间段内的响应时间参数选取一服务器,可以实现服务器系统的负载均衡,提高系统稳定性;又由于只有当第一随机数落入第一数值范围内,才需计算各个服务器最近的预设时间段内的响应时间,所以在一定程度上降低了系统的运算量及运算资源占有率,提高服务器系统处理任务的效率。
可选的,在又一个实施例中,可根据计算的各个服务器在最近的预设时间段内的响应时间参数,选取各个服务器在最近的预设时间段内的响应时间参数小于预设阈值的一服务器。进一步可选的,若各个服务器在最近的预设时间段内的响应时间参数小于预设阈值的服务器的个数大于1个,则在最近的预设时间段内的响应时间参数小于预设阈值的多个服务器中随机选取一个。
图4示出了根据本发明一个实施例提供的基于中间件实现的后台服务器选择装置的功能结构示意图。如图4所示,该装置包括:接收模块41、生成模块42、第一选取模块43、发送模块44。
接收模块41,适于接收客户端发送的业务请求。
接收客户端发送的业务请求。例如,可通过构造监听端口的ServerSocket,,建立Socket套接字并将其绑定到端口,通过监听Socket套接字来判断客户端是否有业务请求,若有,则将此客户端的请求列入ServerSocket队列,若无,则继续监听。
可选的,判断客户端的业务请求中是否包含处理该项业务请求所需的资格条件,如判断客户端发送的业务请求中是否包含客户端数字证书或者判断客户端数字证书是否在有效期内,若否,则向客户端返回相应的提示信息;若是,则将此客户端的业务请求列入ServerSocket队列。
可选的,可对客户端发送的业务请求进行相应的标记,如设置客户端发送的业务请求所需服务的优先级,以保证优先级别高的业务请求先得到处理。
生成模块42,适于在预设数值范围内生成一第一随机数,该预设数值范围包含第一数值范围。
在预设数值范围内生成一第一随机数,如在预设数值范围[0,1]内生成一第一随机数。该预设数值范围包含第一数值范围,如预设范围为[0,1],第一数值范围可以为[0,0.2]。可选的,第一数值范围的设定是根据之前服务器的选择情况预先设置的值。在前期过程中,可设定一起始数值范围,并预设数值范围内生成一第一随机数,若第一随机数落入该数值范围内,则根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器;若否,则随机选择一服务器,并最终判断系统的负载失衡程度。根据系统的负载失衡程度,以一定权重扩大或缩小该数值范围,而后再采用上述方法选择服务器,判断选择的数值范围下系统的负载失衡程度。最终,将系统负载失衡程度最小时对应的选取的数值范围作为第一数值范围。
第一选取模块43,适于若第一随机数落入第一数值范围内,根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器。
根据生成模块42中在预设数值范围内生成的第一随机数,判断第一随机数的范围,若第一随机数落入第一数值范围内,则根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器。
可选的,可记录各个服务器在最近的预设时间段内的响应时间,根据服务器列表中各个服务器最近的预设时间段内的响应时间,可获知当前各个服务器处理任务的能力。例如,服务器在最近的预设时间段内的响应时间越短,则表明该服务器当前处理任务的压力较小,则可选取此服务器,将业务请求转发给此服务器。
发送模块44,适于将业务请求转发给所选取的服务器。
将业务请求转发给所选取的服务器,以供服务器对客户端的业务请求进行处理。
根据本发明提供的基于中间件实现的后台服务器选择装置,可以通过接收模块接收客户端发送的业务请求;并通过生成模块在预设数值范围内生成一第一随机数,预设数值范围包含第一数值范围;若第一随机数落入第一数值范围内,通过第一选择模块根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器;最终通过发送模块将业务请求转发给所选取的服务器。采用本方案,通过利用各个服务器最近的预设时间段内的响应时间来选择服务器,可以实现服务器系统的负载均衡,提高系统稳定性;又由于只有当第一随机数落入第一数值范围内,才需计算各个服务器最近的预设时间段内的响应时间,所以在一定程度上降低了系统的运算量及运算资源占有率,提高服务器系统处理任务的效率。
图5示出了根据本发明另一个实施例提供的基于中间件实现的后台服务器选择装置的功能结构示意图。如图5所示,在图4所示装置的基础上,该基于中间件实现的后台服务器选择装置还包括:第二选取模块51、查询模块52、计算模块53。
预设数值范围还包含第二数值范围。预设数值范围为[0,1],第二数值范围为[0,ε],第一数值范围为(ε,1],其中ε为根据之前服务器的选择情况预先设置的值。
具体地,ε为在(0,1)之间的实数,是根据之前服务器的选择情况而设置的。在设定ε前,可先设定一起始数值ε0,并在预设数值范围[0,1]内生成一随机数,若该随机数落入[0,ε0),则随机选择一服务器;若该随机数落入(ε0,1],则根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器。并记录系统的负载失衡程度。根据负载失衡程度以一定权重增大或减小ε0获得ε1,并采用上述方法选择服务器,判断ε1对应的系统的负载失衡程度。以此类推,直至获得εn-1对应的系统的负载失衡程度,其中n为预设的获取ε的探索次数。最终,将系统负载失衡程度最小时对应的εi作为ε。
可选的,当系统冷启动时,即在系统刚运行后,未保存有之前服务器的选择情况的相关信息,可随机选择一服务器,在获得一定容量的服务器的选择情况的相关信息后再根据上述方法设置ε。
进一步可选的,在设定ε后,在装置运行过程中,记录系统的负载均衡状态,根据负载均衡状态可以以一定权重降低ε,当系统的负载均衡状态趋于稳定时,可保持ε不变。
第二选取模块51,适于若第一随机数落入第二数值范围内,在服务器列表中随机或顺次选取一服务器。
具体地,若第一随机数落入第二数值范围内,可在服务器列表中随机选取一服务器。例如,可采用Random_rand函数随机获取服务器列表中一服务器编号,并选取该编号对应的服务器。若第一随机数落入第二数值范围内,也可在服务器列表中顺次选取一服务器。
查询模块52,适于查询上一次第一随机数落入第二数值范围时所选取的服务器。
具体地,若第一随机数落入第二数值范围内,查询上一次第一随机数落入第二数值范围时所选取的服务器。例如,查询到上一次第一随机数落入第二数值范围时选取了编号为“0021”的服务器。
第二选取模块51进一步适于:在服务器列表中选取排序在上一次第一随机数落入第一数值范围时所选取的服务器之后的服务器。
当查询模块52查询到上一次第一随机数落入第二数值范围时所选取的服务器后,在服务器列表中选取排序紧邻在上一次第一随机数落入第一数值范围时所选取的服务器之后的服务器。例如,查询模块52查询到上一次第一随机数落入第二数值范围时选取了编号为“0021”的服务器,则若本次第一随机数仍落入第二数值范围内,则选取排序紧邻“0021”后的编号为“0022”的服务器。
计算模块53,适于计算各个服务器在最近的预设时间段内的响应时间参数。
其中,预设时间段包含多个子时间段,其中,预设时间段包含多个子时间段。可选的,可以将预设时间段均等为多个子时间,根据时间先后顺序,各个子时间段起止时间点依次相接,例如。预设时间段为[t-10,t),其中,t为当前时间,t-10为当前时间前十分钟,在预设时间段[t-10,t)内包含n个子时间段,该n个子时间段根据时间先后顺序,起止时间点依次相接。如,n=5,则预设时间段[t-10,t)的子时间段分别为[t-10,t-8)、[t-8,t-6)、[t-6,t-4)、[t-4,t-2)、[t-2,t)。计算模块43可计算各个服务器在最近的预设时间段内的响应时间参数。
计算模块53进一步适于:根据各个服务器在每个子时间段内的响应时间和响应次数计算各个服务器在最近的预设时间段内的响应时间参数。
根据各个服务器在每个子时间段内的响应时间和响应次数计算各个服务器在最近的预设时间段内的响应时间参数。例如,可将各个服务器每个子时间段内的响应时间和响应次数记录于列表中,随着时间的变化,记录中的各个服务器每个子时间段内的响应时间和响应次数也会相应地更新。可根据各个服务器在每个子时间段内的响应时间和响应次数计算各个服务器在最近的预设时间段内的响应时间参数。
计算模块53进一步包括:第一计算单元54、第二计算单元55。
第一计算单元54,适于根据各个服务器在每个子时间段内的响应时间和响应次数计算各个服务器每个子时间段的平均响应时间。
具体地,可根据各个服务器每个子时间段内的响应时间和响应次数,计算各个服务器每个子时间段内的平均响应时间。举例来说,预设时间段内包含n个子时间段,则根据response[i]/count[i]计算第i个时间段内的平均响应时间tavg[i],其中response[i]为第i个子时间段的响应时间,count[i]为第i个子时间段的响应次数。例如,在第i个子时间段内,编号为“012”的服务器响应次数count[i]为2次,2次响应的响应时间分别为Q1、Q2,则号为“012”的服务器response[i]=Q2+Q1,在第i个子时间段内平均响应时间tavg[i]=(Q2+Q1)/2。
第二计算单元55,适于计算各个服务器各个子时间段的平均响应时间与子时间段序号的乘积之和作为各个服务器在最近的预设时间段内的响应时间参数,其中子时间段序号根据子时间段距离当前时间由远及近依次递增。
具体地,计算各个服务器各个子时间段的平均响应时间与子时间段序号的乘积之和作为各个服务器在最近的预设时间段内的响应时间参数,其中,子时间段序号根据子时间段距离当前时间由远及近依次递增。可采用公式(2-1),计算各个服务器在最近的预设时间段内的响应时间参数。
可选的,也可通过其他方法计算各个服务器在最近的预设时间段内的响应时间参数,如公式(2-2)。
第一选取模块43进一步适于:选取各个服务器在最近的预设时间段内的响应时间参数最小的服务器。
根据计算模块53中计算的各个服务器在最近的预设时间段内的响应时间参数,可获知各个服务器当前处理任务的能力大小,服务器在最近的预设时间段内的响应时间参数越小时,表明该服务器当前处理任务的压力较小,则可选取各个服务器在最近的预设时间段内的响应时间参数最小的服务器。
第一选取模块43进一步适于:选取各个服务器在最近的预设时间段内的响应时间参数小于预设阈值的服务器。
根据计算模块53计算的各个服务器在最近的预设时间段内的响应时间参数,可选取各个服务器在最近的预设时间段内的响应时间参数小于预设阈值的服务器。可选的,若各个服务器在最近的预设时间段内的响应时间参数小于预设阈值的服务器的个数大于1个,则在最近的预设时间段内的响应时间参数小于预设阈值的多个服务器中随机选取一个。
第一选取模块43进一步适于:对各个服务器在最近的预设时间段内的响应时间参数进行归一化处理,得到归一化处理后的响应时间参数T1,T2,…,Ti,…,Tn,其中Ti为在服务器列表中排在第i位的服务器的归一化处理后的响应时间参数。
根据计算模块53中计算的各个服务器在最近的预设时间段内的响应时间参数,对各个服务器在最近的预设时间段内的响应时间参数进行归一化处理,得到归一化处理后的响应时间参数T1,T2,…,Ti,…,Tn,其中Ti为在服务器列表中排在第i位的服务器的归一化处理后的响应时间参数。
可选的,可利用公式(3-1)对各个服务器在最近的预设时间段内的响应时间参数进行归一化处理。但本发明不仅限于此种归一化处理方法,本发明对各个服务器在最近的预设时间段内的响应时间参数的归一化处理方法不做限定。
生成模块42还适于:根据归一化的数值范围,生成一第二随机数。
在第一选取模块43对各个服务器在最近的预设时间段内的响应时间参数进行归一化处理后,根据归一化的数值范围,生成一第二随机数。具体地,将各个服务器在最近的预设时间段内的归一化后的响应时间参数的最大值和最小值分别作为第二随机数生成范围的最大值和最小值。如,利用公式(3-1)处理后的各个服务器在最近的预设时间段内的归一化后的响应时间参数最大值和最小值分别为1和0,则第二随机数生成范围为[0,1]。可通过随机种子与函数结合法在[0,1]生成一第二随机数。
第一选取模块43进一步适于:从k=1开始,计算Sumk,直至Sumk大于或等于第二随机数结束,选取在服务器列表中排在第k位的服务器。
具体地,从k=1开始,按照公式(3-2)计算Sumk,直至Sumk大于或等于第二随机数结束,选取在服务器列表中排在第k位的服务器。其中,公式(3-2)中Ti为在服务器列表中排在第i位的服务器的响应时间参数。
根据本发明提供的基于中间件实现的后台服务器选择装置,通过生成模块在预设数值范围内生成一第一随机数,预设数值范围包含第一数值范围及第二数值范围;若第一随机数落入第一数值范围内,则通过计算模块计算各个服务器在最近的预设时间段内的响应时间参数,并通过第一选取模块选取一服务器;若第一随机数落入第二数值范围内,则通过第二选取模块顺次或随机选取一服务器;最终将业务请求转发给所选取的服务器。采用本方案,通过根据各个服务器在最近的预设时间段内的响应时间参数选取服务器,可以实现服务器系统的负载均衡,提高系统稳定性;又由于只有当第一随机数落入第一数值范围内,才需计算各个服务器最近的预设时间段内的响应时间,所以在一定程度上降低了系统的运算量及运算资源占有率,提高服务器系统处理任务的效率。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于中间件实现的后台服务器选择装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了:A1、一种基于中间件实现的后台服务器选择方法,包括:
接收客户端发送的业务请求;
在预设数值范围内生成一第一随机数,所述预设数值范围包含第一数值范围;
若所述第一随机数落入第一数值范围内,根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器;
将所述业务请求转发给所选取的服务器。
A2、根据A1所述的方法,其中,所述预设数值范围包含第二数值范围,所述方法还包括:
若所述第一随机数落入第二数值范围内,在服务器列表中随机或顺次选取一服务器。
A3、根据A2所述的方法,其中,所述预设数值范围为[0,1],所述第二数值范围为[0,ε],所述第一数值范围为(ε,1],其中ε为根据之前服务器的选择情况预先设置的值。
A4、根据A2所述的方法,其中,所述在服务器列表中顺次选取一服务器进一步包括:
查询上一次第一随机数落入第二数值范围时所选取的服务器;
在服务器列表中选取排序紧邻在上一次第一随机数落入第一数值范围时所选取的服务器之后的服务器。
A5、根据A1-A3中任一项所述的方法,其中,所述根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器进一步包括:
计算各个服务器在最近的预设时间段内的响应时间参数;
选取所述各个服务器在最近的预设时间段内的响应时间参数最小的服务器。
A6、根据A1-A3中任一项所述的方法,其中,所述根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器进一步包括:
计算各个服务器在最近的预设时间段内的响应时间参数;
对各个服务器在最近的预设时间段内的响应时间参数进行归一化处理,得到归一化处理后的响应时间参数T1,T2…,Ti,…,Tn,其中Ti为在服务器列表中排在第i位的服务器的归一化处理后的响应时间参数;
根据归一化的数值范围,生成一第二随机数;
从k=1开始,按照如下公式计算Sumk,直至Sumk大于或等于第二随机数结束,选取在服务器列表中排在第k位的服务器;
A7、根据A1-A3中任一项所述的方法,其中,所述根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器进一步包括:
计算各个服务器在最近的预设时间段内的响应时间参数;
选取所述各个服务器在最近的预设时间段内的响应时间参数小于预设阈值的一服务器。
A8、根据A5-A7任一项所述的方法,其中,所述预设时间段包含多个子时间段;
所述计算各个服务器在最近的预设时间段内的响应时间参数进一步包括:根据各个服务器在每个子时间段内的响应时间和响应次数计算各个服务器在最近的预设时间段内的响应时间参数。
A9、根据A8所述的方法,其中,所述根据各个服务器在每个子时间段内的响应时间和响应次数计算各个服务器在最近的预设时间段内的响应时间参数进一步包括:
根据各个服务器在每个子时间段内的响应时间和响应次数计算各个服务器每个子时间段的平均响应时间;
计算各个服务器各个子时间段的平均响应时间与子时间段序号的乘积之和作为各个服务器在最近的预设时间段内的响应时间参数,其中子时间段序号根据子时间段距离当前时间由远及近依次递增。
本发明还公开了:B10、一种基于中间件实现的后台服务器选择装置,其包括:
接收模块,适于接收客户端发送的业务请求;
生成模块,适于在预设数值范围内生成一第一随机数,所述预设数值范围包含第一数值范围;
第一选取模块,适于若所述第一随机数落入第一数值范围内,根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器;
发送模块,适于将所述业务请求转发给所选取的服务器。
B11、根据B10所述的装置,其中,所述预设数值范围包含第二数值范围,所述装置还包括:
第二选取模块,适于若所述第一随机数落入第二数值范围内,在服务器列表中随机或顺次选取一服务器。
B12、根据B11所述的装置,其中,所述预设数值范围为[0,1],所述第二数值范围为[0,ε],所述第一数值范围为(ε,1],其中ε为根据之前服务器的选择情况预先设置的值。
B13、根据B11所述的装置,其中,所述装置还包括:
查询模块,适于查询上一次第一随机数落入第二数值范围时所选取的服务器;
所述第二选取模块进一步适于:在服务器列表中选取排序在上一次第一随机数落入第一数值范围时所选取的服务器之后的服务器。
B14、根据B10-B12中任一项所述的装置,其中,所述装置还包括:
计算模块,适于计算各个服务器在最近的预设时间段内的响应时间参数;
所述第一选取模块进一步适于:选取所述各个服务器在最近的预设时间段内的响应时间参数最小的服务器。
B15、根据权利要求B10-B12中任一项所述的装置,其中,所述装置还包括:
计算模块,适于计算各个服务器在最近的预设时间段内的响应时间参数;
所述第一选取模块进一步适于:对各个服务器在最近的预设时间段内的响应时间参数进行归一化处理,得到归一化处理后的响应时间参数T1,T2,…,Ti,…,Tn,其中Ti为在服务器列表中排在第i位的服务器的归一化处理后的响应时间参数;
所述生成模块还适于:根据归一化的数值范围,生成一第二随机数;
所述第一选取模块进一步适于:从k=1开始,按照如下公式计算Sumk,直至Sumk大于或等于第二随机数结束,选取在服务器列表中排在第k位的服务器;
B16、根据B10-B12中任一项所述的装置,其中,所述装置还包括:
计算模块,适于计算各个服务器在最近的预设时间段内的响应时间参数;
所述第一选取模块进一步适于:选取所述各个服务器在最近的预设时间段内的响应时间参数小于预设阈值的一服务器。
B17、根据B14-B16任一项所述的装置,其中,所述预设时间段包含多个子时间段;
所述计算模块进一步适于:根据各个服务器在每个子时间段内的响应时间和响应次数计算各个服务器在最近的预设时间段内的响应时间参数。
B18、根据B17所述的装置,其中,所述计算模块进一步包括:
第一计算单元。适于根据各个服务器在每个子时间段内的响应时间和响应次数计算各个服务器每个子时间段的平均响应时间;
第二计算单元,适于计算各个服务器各个子时间段的平均响应时间与子时间段序号的乘积之和作为各个服务器在最近的预设时间段内的响应时间参数,其中子时间段序号根据子时间段距离当前时间由远及近依次递增。

Claims (10)

1.一种基于中间件实现的后台服务器选择方法,包括:
接收客户端发送的业务请求;
在预设数值范围内生成一第一随机数,所述预设数值范围包含第一数值范围;
若所述第一随机数落入第一数值范围内,根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器;
将所述业务请求转发给所选取的服务器。
2.根据权利要求1所述的方法,其中,所述预设数值范围包含第二数值范围,所述方法还包括:
若所述第一随机数落入第二数值范围内,在服务器列表中随机或顺次选取一服务器。
3.根据权利要求2所述的方法,其中,所述预设数值范围为[0,1],所述第二数值范围为[0,ε],所述第一数值范围为(ε,1],其中ε为根据之前服务器的选择情况预先设置的值。
4.根据权利要求2所述的方法,其中,所述在服务器列表中顺次选取一服务器进一步包括:
查询上一次第一随机数落入第二数值范围时所选取的服务器;
在服务器列表中选取排序紧邻在上一次第一随机数落入第一数值范围时所选取的服务器之后的服务器。
5.根据权利要求1-3中任一项所述的方法,其中,所述根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器进一步包括:
计算各个服务器在最近的预设时间段内的响应时间参数;
选取所述各个服务器在最近的预设时间段内的响应时间参数最小的服务器。
6.根据权利要求1-3中任一项所述的方法,其中,所述根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器进一步包括:
计算各个服务器在最近的预设时间段内的响应时间参数;
对各个服务器在最近的预设时间段内的响应时间参数进行归一化处理,得到归一化处理后的响应时间参数T1,T2…,Ti,…,Tn,其中Ti为在服务器列表中排在第i位的服务器的归一化处理后的响应时间参数;
根据归一化的数值范围,生成一第二随机数;
从k=1开始,按照如下公式计算Sumk,直至Sumk大于或等于第二随机数结束,选取在服务器列表中排在第k位的服务器;
Sum k = Σ i = 1 k T i Σ i = 1 n T i .
7.根据权利要求1-3中任一项所述的方法,其中,所述根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器进一步包括:
计算各个服务器在最近的预设时间段内的响应时间参数;
选取所述各个服务器在最近的预设时间段内的响应时间参数小于预设阈值的一服务器。
8.根据权利要求5-7任一项所述的方法,其中,所述预设时间段包含多个子时间段;
所述计算各个服务器在最近的预设时间段内的响应时间参数进一步包括:根据各个服务器在每个子时间段内的响应时间和响应次数计算各个服务器在最近的预设时间段内的响应时间参数。
9.根据权利要求8所述的方法,其中,所述根据各个服务器在每个子时间段内的响应时间和响应次数计算各个服务器在最近的预设时间段内的响应时间参数进一步包括:
根据各个服务器在每个子时间段内的响应时间和响应次数计算各个服务器每个子时间段的平均响应时间;
计算各个服务器各个子时间段的平均响应时间与子时间段序号的乘积之和作为各个服务器在最近的预设时间段内的响应时间参数,其中子时间段序号根据子时间段距离当前时间由远及近依次递增。
10.一种基于中间件实现的后台服务器选择装置,其包括:
接收模块,适于接收客户端发送的业务请求;
生成模块,适于在预设数值范围内生成一第一随机数,所述预设数值范围包含第一数值范围;
第一选取模块,适于若所述第一随机数落入第一数值范围内,根据服务器列表中各个服务器最近的预设时间段内的响应时间选取一服务器;
发送模块,适于将所述业务请求转发给所选取的服务器。
CN201710090932.3A 2017-02-20 2017-02-20 基于中间件实现的后台服务器选择方法及装置 Active CN106657399B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710090932.3A CN106657399B (zh) 2017-02-20 2017-02-20 基于中间件实现的后台服务器选择方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710090932.3A CN106657399B (zh) 2017-02-20 2017-02-20 基于中间件实现的后台服务器选择方法及装置

Publications (2)

Publication Number Publication Date
CN106657399A true CN106657399A (zh) 2017-05-10
CN106657399B CN106657399B (zh) 2020-08-18

Family

ID=58845200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710090932.3A Active CN106657399B (zh) 2017-02-20 2017-02-20 基于中间件实现的后台服务器选择方法及装置

Country Status (1)

Country Link
CN (1) CN106657399B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681484A (zh) * 2018-04-04 2018-10-19 阿里巴巴集团控股有限公司 一种任务的分配方法、装置及设备
CN110892697A (zh) * 2017-06-20 2020-03-17 奈飞公司 协助api调用处理的加速系统
CN113411268A (zh) * 2021-05-24 2021-09-17 深圳市元征未来汽车技术有限公司 一种数据传输方法、数据传输装置及电子设备
CN113596822A (zh) * 2021-07-21 2021-11-02 深圳市力博得科技有限公司 数据传输加密的数据处理方法、装置、电子设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101074991A (zh) * 2007-06-29 2007-11-21 中国网络通信集团公司 地理位置信息处理方法、系统及地理信息系统中间件装置
CN101124565A (zh) * 2005-01-06 2008-02-13 思科技术公司 基于应用层消息的数据流量负载平衡
CN101677289A (zh) * 2008-09-17 2010-03-24 华为技术有限公司 一种优化路由的方法和装置
CN102624922A (zh) * 2012-04-11 2012-08-01 武汉大学 一种网络gis异构集群服务器负载均衡方法
US8266316B2 (en) * 2006-03-08 2012-09-11 Samsung Electronics Co., Ltd. Client apparatus and method of streaming content, and computer readable recording medium storing program for performing the method
CN104283963A (zh) * 2014-10-21 2015-01-14 无锡云捷科技有限公司 一种分布合作式的cdn负载均衡方法
CN104580435A (zh) * 2014-12-27 2015-04-29 北京奇虎科技有限公司 一种网络连接的缓存方法和装置
CN104601522A (zh) * 2013-10-30 2015-05-06 中国移动通信集团北京有限公司 移动客户端与业务系统交互的实现方法、装置及系统
CN105812218A (zh) * 2014-12-31 2016-07-27 中国电信股份有限公司 用于实现应用多vpn协议接入的方法、中间件和移动终端
CN106161661A (zh) * 2016-10-09 2016-11-23 郑州云海信息技术有限公司 一种分布式负载均衡调度的方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101124565A (zh) * 2005-01-06 2008-02-13 思科技术公司 基于应用层消息的数据流量负载平衡
US8266316B2 (en) * 2006-03-08 2012-09-11 Samsung Electronics Co., Ltd. Client apparatus and method of streaming content, and computer readable recording medium storing program for performing the method
CN101074991A (zh) * 2007-06-29 2007-11-21 中国网络通信集团公司 地理位置信息处理方法、系统及地理信息系统中间件装置
CN101677289A (zh) * 2008-09-17 2010-03-24 华为技术有限公司 一种优化路由的方法和装置
CN102624922A (zh) * 2012-04-11 2012-08-01 武汉大学 一种网络gis异构集群服务器负载均衡方法
CN104601522A (zh) * 2013-10-30 2015-05-06 中国移动通信集团北京有限公司 移动客户端与业务系统交互的实现方法、装置及系统
CN104283963A (zh) * 2014-10-21 2015-01-14 无锡云捷科技有限公司 一种分布合作式的cdn负载均衡方法
CN104580435A (zh) * 2014-12-27 2015-04-29 北京奇虎科技有限公司 一种网络连接的缓存方法和装置
CN105812218A (zh) * 2014-12-31 2016-07-27 中国电信股份有限公司 用于实现应用多vpn协议接入的方法、中间件和移动终端
CN106161661A (zh) * 2016-10-09 2016-11-23 郑州云海信息技术有限公司 一种分布式负载均衡调度的方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110892697A (zh) * 2017-06-20 2020-03-17 奈飞公司 协助api调用处理的加速系统
CN110892697B (zh) * 2017-06-20 2022-09-27 奈飞公司 协助api调用处理的加速系统
US11640368B2 (en) 2017-06-20 2023-05-02 Netflix, Inc. Acceleration system for facilitating processing of API calls
CN108681484A (zh) * 2018-04-04 2018-10-19 阿里巴巴集团控股有限公司 一种任务的分配方法、装置及设备
CN113411268A (zh) * 2021-05-24 2021-09-17 深圳市元征未来汽车技术有限公司 一种数据传输方法、数据传输装置及电子设备
CN113596822A (zh) * 2021-07-21 2021-11-02 深圳市力博得科技有限公司 数据传输加密的数据处理方法、装置、电子设备及介质
CN113596822B (zh) * 2021-07-21 2023-09-19 东莞市力博得电子科技有限公司 数据传输加密的数据处理方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN106657399B (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN106657399A (zh) 基于中间件实现的后台服务器选择方法及装置
CN104243405B (zh) 一种请求处理方法、装置及系统
CN107888716A (zh) 一种域名解析服务器的排序方法、终端设备及存储介质
CN104580451A (zh) 实现多平台间账号同步的方法和系统、及电子设备
CN103607424B (zh) 一种服务器连接方法及服务器系统
CN107748696A (zh) 一种任务调度的方法及终端设备
CN103780676B (zh) 一种文件传输方法、设备和系统
CN106257893A (zh) 存储服务器任务响应方法、客户端、服务器及系统
CN107612727A (zh) 分布式健康检查方法、计算设备及计算机存储介质
CN108469725A (zh) 时钟校时方法及终端设备
CN107247629A (zh) 云计算系统及用于控制服务器的云计算方法和装置
CN107341081A (zh) 测试系统及方法
CN108737534A (zh) 一种基于区块链的数据传输方法、装置、区块链系统
CN108933695A (zh) 用于处理信息的方法和装置
CN107643983A (zh) 一种测试数据处理方法及系统
CN107741859A (zh) 基于国产cpu和os的软件包管理方法、装置及系统
CN107329834A (zh) 用于执行计算任务的方法和装置
CN107608795A (zh) 云计算方法和装置
CN109981702A (zh) 一种文件存储方法及系统
CN109240802A (zh) 请求处理方法和装置
CN106227597A (zh) 任务优先级处理方法和装置
CN110083506A (zh) 集群资源量优化的方法及装置
CN110225082A (zh) 任务处理方法、装置、电子设备和计算机可读介质
CN106534247B (zh) 表单下载的方法和装置
CN105988949A (zh) 终端设备、数据交互处理的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant