CN105847377A - 集群网络的请求拥塞过载处理方法及系统 - Google Patents
集群网络的请求拥塞过载处理方法及系统 Download PDFInfo
- Publication number
- CN105847377A CN105847377A CN201610223958.6A CN201610223958A CN105847377A CN 105847377 A CN105847377 A CN 105847377A CN 201610223958 A CN201610223958 A CN 201610223958A CN 105847377 A CN105847377 A CN 105847377A
- Authority
- CN
- China
- Prior art keywords
- request
- cluster network
- client
- load threshold
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本公开实施例提供一种集群网络的请求拥塞过载处理方法，包括：比较客户端请求的数量与根据集群网络中的调度节点的处理能力确定的预定数量阈值的大小，若客户端请求的数量达到或超过预定数量阈值，则随机拒绝客户端的请求；若客户端请求的数量低于预定数量阈值，则进一步比较集群网络的当前负载状态值与预定负载阈值的大小，其中预定负载阈值小于所述网络设备的最大负载能力值，若当前负载状态值达到或超过预定负载阈值，则降低集群网络响应于请求的服务能力。本公开实施例还提供了一种相应的集群网络的请求拥塞过载处理系统。本公开通过为调度节点设置了多层过载保护，保障了集群网络的正常运行。
Description
技术领域
本公开实施例涉及通信技术领域，尤其涉及一种集群网络的请求拥塞过载处理方法。
背景技术
群集服务器由通过输入/输出系统互联的若干服务器构成。这些服务器连接到存储介质中，由分布资源管理软件(DRM)进行管理。服务器群集技术最主要的应用即在于网络负载平衡的功能。网络负载平衡使用两台或更多台一起工作的主机计算机组成的群集，为服务器提供了高可用性和高伸缩性。
内容分发网络其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到客户端的距离和响应时间等综合信息将客户端的请求重新导向离客户端最近的服务节点上。其目的是让客户端可就近取得所需内容，解决Internet网络拥挤的状况，提高客户端访问网站的响应速度。
图1为现有技术中一种集群网络的请求拥塞过载处理方法流程图，当接收到客户端服务请求时，如果客户端的请求的数量达到或超过了调度系统的自身的处理能力了，则调度系统处理超时使网络的局部甚至全部处于死锁状态,最终导致网络有效吞吐量接近为零。
发明内容
针对现有技术存在的问题，本公开实施例一方面提供一种集群网络的请求拥塞过载处理方法，包括：
本公开实施例提供一种集群网络的请求拥塞过载处理方法，包括：比较客户端请求的数量与根据集群网络中的调度节点的处理能力确定的预定数量阈值的大小，若客户端请求的数量达到或超过预定数量阈值，则随机拒绝客户端的请求以确保集群网络中的调度节点在预定数量阈值的范围内处理客户端的请求；若客户端请求的数量低于预定数量阈值，则进一步比较集群网络的当前负载状态值与预定负载阈值的大小，其中预定负载阈值小于所述网络设备的最大负载能力值，若当前负载状态值达到或超过预定负载阈值，则降低集群网络响应于请求的服务能力。
本公开实施例另一方面提供一种集群网络的请求拥塞过载处理系统，包括：第一比较单元，用于比较客户端请求的数量与根据集群网络中的调度节点的处理能力确定的预定数量阈值的大小；第一响应单元，用于当客户端请求的数量达到或超过所述预定数量阈值，则随机拒绝客户端的请求以确保集群网络中的调度节点在预定数量阈值的范围内处理客户端的请求；第二比较单元，用于当客户端请求的数量低于预定数量阈值，则进一步比较集群网络的当前负载状态值与预定负载阈值的大小，其中预定负载阈值小于网络设备的最大负载能力值；第二响应单元，用于当当前负载状态值达到或超过预定负载阈值，则降低集群网络响应于请求的服务能力。
本公开通过为调度节点设置了多层过载保护，对集群网络的正常运行起到了有效的保障作用。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中一种集群网络的请求拥塞过载处理方法流程图；
图2为本公开一种集群网络的请求拥塞过载处理方法实施例流程图；
图3为本公开一种集群网络的请求拥塞过载处理系统实施例结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
如图2所示，一种集群网络的请求拥塞过载处理方法，包括：
比较客户端请求的数量与根据集群网络中的调度节点的处理能力确定的预定数量阈值的大小，若客户端请求的数量达到或超过预定数量阈值，则随机拒绝客户端的请求以确保集群网络中的调度节点在预定数量阈值的范围内处理客户端的请求；
若客户端请求的数量低于预定数量阈值，则进一步比较集群网络的当前负载状态值与预定负载阈值的大小，其中预定负载阈值小于所述网络设备的最大负载能力值，若当前负载状态值达到或超过预定负载阈值，则降低集群网络响应于请求的服务能力。
通常情况下，对集群网络的请求拥塞过载保护时，既要对集群网络中各服务节点进行拥塞过载保护，又要对调度系统进行拥塞过载保护；
对调度系统进行拥塞过载保护时，由于调度系统侧重点是业务方面，而对过载保护方面并不擅长，所以在调度系统的前面设置一个防过载系统专门用于保护调度系统，需要设置数量阈值。
这里假设，预定数量阈值设为8000个/秒，客户端请求的数量为10000个/秒，则调度系统拒绝客户端请求，以确保集群网络中的调度系统在预定数量阈值的范围内处理客户端的请求，这里的拒绝服务是为了保护调度系统。
当调度系统能够在预定数量阈值的范围内处理客户端的请求的前提下，再对集群网络中各服务节点进行拥塞过载保护，这里还要再设定负载阈值，用于进一步比较集群网络的当前负载状态值与预定负载阈值的大小，其中预定负载阈值小于所述网络设备的最大负载能力值，若当前负载状态值达到或超过预定负载阈值，则降低集群网络响应于请求的服务能力。
一般情况下，机房保护也可以纳入到集群网络的过载保护范围中，这里先假定机房1采购10G的带宽，虽然全网带宽没有达到10G，但是调度系统能够直接调度该机房1，从而实现对IDC机房的保护。
客户端请求的数量来自于对客户端的原始请求流量清洗后的请求数量。
对原始请求流量清洗，主要针对DOS/DDOS等黑客式攻击进行有效的防护，及时发现包括DOS攻击在内的异常流量。在不影响正常业务的前提下，清洗掉异常流量，实现对集群网络的有效防护。
集群网络的预定负载阈值根据集群网络中的各服务节点的额定工作参数确定。其中额定工作参数至少包括：带宽和/或内存。
预定负载阀值可以由配置文件确定，例如，本机或交换机带宽的预定负载阈值可以按照当前带宽的90％或80％的比例来配置；同样内存也是按比例来配置预定负载阈值的。
一般情况下，数据采集值会有抖动的情况，例如，宽带可能由原来的1.5G的采集值抖动成1.3G的采集值，这种情况下，当前负载状态值＝上次测量值*X+本次测量值*(1-X)，X大于0.5，优选的，X＝0.8。
如图2所示，预定负载阈值包括第一负载阈值和大于第一负载阈值的第二负载阈值，其中，当当前负载状态值达到或超过第一负载阈值且小于第二负载阈值时，则降低集群网络中各服务节点响应于请求的服务质量；当当前负载状态值达到或超过第二负载阈值时，则随机拒绝客户端的请求以降低集群网络响应于所述请求的数量。
当确保集群网络中的调度节点能够在预定数量阈值的范围内处理客户端的请求时，调度系统内还需设立防过载系统实现双重保护，防过载系统内一般可以多设几个负载阈值，在这里先假定设有两个阈值，即第一负载阈值和第二负载阈值，其中第二负载阈值大于第一负载阈值；
如果当前负载状态值达到或超过第二负载阈值时，则随机拒绝客户端的请求以降低集群网络响应于所述请求的数量，这时保护了集群网络；
如果当前负载状态值达到或超过第负载一负载阈值且小于第二负载阈值时，则降低集群网络中各服务节点响应于请求的服务质量；
当客户端请求为基于第一码流的视频访问请求时，降低集群网络中各服务节点响应于请求的服务质量包括：集群网络中的各服务节点基于第二码流向客户端提供视频服务，其中，第二码流低于所述第一码流。
例如，客户端请求5Mb/s的视频访问请求，则集群网络中的各服务节点基于3Mb/s向客户端提供视频服务。
如图3所示，一种集群网络的请求拥塞过载处理系统，包括：
第一比较单元，用于比较客户端请求的数量与根据集群网络中的调度节点的处理能力确定的预定数量阈值的大小；
第一响应单元，用于当客户端请求的数量达到或超过所述预定数量阈值，则随机拒绝客户端的请求以确保集群网络中的调度节点在预定数量阈值的范围内处理客户端的请求；
第二比较单元，用于当客户端请求的数量低于预定数量阈值，则进一步比较集群网络的当前负载状态值与预定负载阈值的大小，其中预定负载阈值小于网络设备的最大负载能力值；
第二响应单元，用于当当前负载状态值达到或超过预定负载阈值，则降低集群网络响应于请求的服务能力。
所述客户端请求的数量来自于对客户端的原始请求流量清洗后的请求数量。
集群网络的预定负载阈值根据所述集群网络中的各服务节点的额定工作参数确定。额定工作参数至少包括:带宽和/或内存。
预定负载阈值包括第一负载阈值和大于所述第一负载阈值的第二负载阈值，其中，
当当前负载状态值达到或超过第一负载阈值且小于所述第二负载阈值时，则降低集群网络中各服务节点响应于请求的服务质量；
当当前负载状态值达到或超过第二负载阈值时，则随机拒绝客户端的请求以降低集群网络响应于请求的数量。
当客户端请求为基于第一码流的视频访问请求时，降低集群网络中各服务节点响应于请求的服务质量包括：集群网络中的各服务节点基于第二码流向客户端提供视频服务，其中，第二码流低于所述第一码流。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。
Claims (10)
1.一种集群网络的请求拥塞过载处理方法，包括：
比较客户端请求的数量与根据集群网络中的调度节点的处理能力确定的预定数量阈值的大小，
若客户端请求的数量达到或超过所述预定数量阈值，则随机拒绝客户端的请求以确保集群网络中的调度节点在预定数量阈值的范围内处理客户端的请求；
若客户端请求的数量低于所述预定数量阈值，则进一步比较集群网络的当前负载状态值与预定负载阈值的大小，其中所述预定负载阈值小于所述网络设备的最大负载能力值，
若所述当前负载状态值达到或超过所述预定负载阈值，则降低集群网络响应于所述请求的服务能力。
2.根据权利要求1所述的方法，其中，所述客户端请求的数量来自于对客户端的原始请求流量清洗后的请求数量。
3.根据权利要求1所述的方法，其中，所述集群网络的预定负载阈值根据所述集群网络中的各服务节点的额定工作参数确定，所述额定工作参数至少包括:带宽和/或内存。
4.根据权利要求1-3中任一项所述的方法，其中，所述预定负载阈值包括第一负载阈值和大于所述第一负载阈值的第二负载阈值，其中，
当所述当前负载状态值达到或超过所述第一负载阈值且小于所述第二负载阈值时，则降低集群网络中各服务节点响应于所述请求的服务质量；
当所述当前负载状态值达到或超过所述第二负载阈值时，则随机拒绝客户端的请求以降低集群网络响应于所述请求的数量。
5.根据权利要求4所述的方法，其中，当所述客户端请求为基于第一码流的视频访问请求时，所述降低集群网络中各服务节点响应于所述请求的服务质量包括：所述集群网络中的各服务节点基于第二码流向客户端提供视频服务，其中，所述第二码流低于所述第一码流。
6.一种集群网络的请求拥塞过载处理系统，包括：
第一比较单元，用于比较客户端请求的数量与根据集群网络中的调度节点的处理能力确定的预定数量阈值的大小；
第一响应单元，用于当客户端请求的数量达到或超过所述预定数量阈值，则随机拒绝客户端的请求以确保集群网络中的调度节点在预定数量阈值的范围内处理客户端的请求；
第二比较单元，用于当客户端请求的数量低于所述预定数量阈值，则进一步比较集群网络的当前负载状态值与预定负载阈值的大小，其中所述预定负载阈值小于所述网络设备的最大负载能力值；
第二响应单元，用于当所述当前负载状态值达到或超过所述预定负载阈值，则降低集群网络响应于所述请求的服务能力。
7.根据权利要求6所述的系统，其中，所述客户端请求的数量来自于对客户端的原始请求流量清洗后的请求数量。
8.根据权利要求6所述的系统，其中，所述集群网络的预定负载阈值根据所述集群网络中的各服务节点的额定工作参数确定，所述额定工作参数至少包括:带宽和/或内存。
9.根据权利要求6-8中任一项所述的系统，其中，所述预定负载阈值包括第一负载阈值和大于所述第一负载阈值的第二负载阈值，其中，
当所述当前负载状态值达到或超过所述第一负载阈值且小于所述第二负载阈值时，则降低集群网络中各服务节点响应于所述请求的服务质量；
当所述当前负载状态值达到或超过所述第二负载阈值时，则随机拒绝客户端的请求以降低集群网络响应于所述请求的数量。
10.根据权利要求9所述的系统，其中，当所述客户端请求为基于第一码流的视频访问请求时，所述降低集群网络中各服务节点响应于所述请求的服务质量包括：所述集群网络中的各服务节点基于第二码流向客户端提供视频服务，其中，所述第二码流低于所述第一码流。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610223958.6A CN105847377A (zh) | 2016-04-12 | 2016-04-12 | 集群网络的请求拥塞过载处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610223958.6A CN105847377A (zh) | 2016-04-12 | 2016-04-12 | 集群网络的请求拥塞过载处理方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105847377A true CN105847377A (zh) | 2016-08-10 |
Family
ID=56597943
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610223958.6A Pending CN105847377A (zh) | 2016-04-12 | 2016-04-12 | 集群网络的请求拥塞过载处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105847377A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109032790A (zh) * | 2018-06-29 | 2018-12-18 | 优刻得科技股份有限公司 | 过载保护方法、过载保护装置、介质和设备 |
| CN109274547A (zh) * | 2018-08-17 | 2019-01-25 | 中国平安人寿保险股份有限公司 | 基于网络安全的服务熔断方法、装置、设备及存储介质 |
| CN110235106A (zh) * | 2017-02-03 | 2019-09-13 | 微软技术许可有限责任公司 | 完成侧客户端节流 |
| CN110719306A (zh) * | 2018-07-11 | 2020-01-21 | 阿里巴巴集团控股有限公司 | 一种网络请求限制方法、计算机设备、存储介质 |
| CN110768912A (zh) * | 2019-10-21 | 2020-02-07 | 中国民航信息网络股份有限公司 | Api网关限流方法及装置 |
| CN110933122A (zh) * | 2018-09-20 | 2020-03-27 | 北京默契破冰科技有限公司 | 管理服务器的方法、设备和计算机存储介质 |
| CN113923216A (zh) * | 2021-09-29 | 2022-01-11 | 阿里巴巴（中国）有限公司 | 一种分布式集群限流系统及方法和分布式集群节点 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102170400A (zh) * | 2010-07-22 | 2011-08-31 | 杨喆 | 一种防止Web网站访问拥塞的方法 |
| CN103369601A (zh) * | 2013-07-15 | 2013-10-23 | 厦门卓讯信息技术有限公司 | 为手机客户端提供大并发处理及流量控制的方法 |
| CN104023357A (zh) * | 2014-05-06 | 2014-09-03 | 京信通信系统（中国）有限公司 | 集中式无线局域网的负载均衡方法及接入控制器 |
-
2016
- 2016-04-12 CN CN201610223958.6A patent/CN105847377A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102170400A (zh) * | 2010-07-22 | 2011-08-31 | 杨喆 | 一种防止Web网站访问拥塞的方法 |
| CN103369601A (zh) * | 2013-07-15 | 2013-10-23 | 厦门卓讯信息技术有限公司 | 为手机客户端提供大并发处理及流量控制的方法 |
| CN104023357A (zh) * | 2014-05-06 | 2014-09-03 | 京信通信系统（中国）有限公司 | 集中式无线局域网的负载均衡方法及接入控制器 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110235106A (zh) * | 2017-02-03 | 2019-09-13 | 微软技术许可有限责任公司 | 完成侧客户端节流 |
| CN110235106B (zh) * | 2017-02-03 | 2023-09-15 | 微软技术许可有限责任公司 | 完成侧客户端节流 |
| CN109032790A (zh) * | 2018-06-29 | 2018-12-18 | 优刻得科技股份有限公司 | 过载保护方法、过载保护装置、介质和设备 |
| CN109032790B (zh) * | 2018-06-29 | 2020-09-01 | 优刻得科技股份有限公司 | 过载保护方法、过载保护装置、介质和设备 |
| CN110719306A (zh) * | 2018-07-11 | 2020-01-21 | 阿里巴巴集团控股有限公司 | 一种网络请求限制方法、计算机设备、存储介质 |
| CN109274547A (zh) * | 2018-08-17 | 2019-01-25 | 中国平安人寿保险股份有限公司 | 基于网络安全的服务熔断方法、装置、设备及存储介质 |
| CN110933122A (zh) * | 2018-09-20 | 2020-03-27 | 北京默契破冰科技有限公司 | 管理服务器的方法、设备和计算机存储介质 |
| CN110768912A (zh) * | 2019-10-21 | 2020-02-07 | 中国民航信息网络股份有限公司 | Api网关限流方法及装置 |
| CN113923216A (zh) * | 2021-09-29 | 2022-01-11 | 阿里巴巴（中国）有限公司 | 一种分布式集群限流系统及方法和分布式集群节点 |
| CN113923216B (zh) * | 2021-09-29 | 2023-12-15 | 阿里巴巴（中国）有限公司 | 一种分布式集群限流系统及方法和分布式集群节点 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105847377A (zh) | 集群网络的请求拥塞过载处理方法及系统 | |
| US11570262B2 (en) | Methods, systems, and computer readable media for rank processing for network function selection | |
| US11284126B2 (en) | Method and system for streaming media live broadcast | |
| US8977886B2 (en) | Method and apparatus for rapid disaster recovery preparation in a cloud network | |
| US9148381B2 (en) | Cloud computing enhanced gateway for communication networks | |
| US8706864B1 (en) | Behavior monitoring and compliance for multi-tenant resources | |
| CN111478857B (zh) | 一种接口限流控制方法、装置以及电子设备 | |
| CN107872402A (zh) | 全局流量调度的方法、装置及电子设备 | |
| CN106972985B (zh) | 加速dpi设备数据处理与转发的方法和dpi设备 | |
| CN103369601A (zh) | 为手机客户端提供大并发处理及流量控制的方法 | |
| CN106657191B (zh) | 一种负载均衡方法及相关装置、系统 | |
| CN109787915B (zh) | 网络访问的流量控制方法、装置、电子设备及存储介质 | |
| CN112703774B (zh) | 管理电信网络中的处理资源的方法和电信网络及存储介质 | |
| CN109787827B (zh) | 一种cdn网络监控的方法及装置 | |
| CN108183950A (zh) | 一种网络设备建立连接的方法及装置 | |
| CN111988234A (zh) | 过载保护方法、装置、服务器及存储介质 | |
| WO2017112324A1 (en) | Ranking system | |
| CN110858986A (zh) | 带宽调整方法、装置、通信设备及计算机可读存储介质 | |
| CN111385328B (zh) | 业务请求的处理方法、系统及电子设备 | |
| CN110868323A (zh) | 一种带宽控制方法、装置、设备及介质 | |
| KR20230073315A (ko) | 리소스 스케줄링 방법 및 시스템, 전자 디바이스, 그리고 컴퓨터 판독 가능 저장 매체 | |
| CN106201711B (zh) | 一种任务处理方法及服务器 | |
| WO2018188405A1 (zh) | 云应用资源的配置方法及装置 | |
| CN114296869A (zh) | 一种基于tcp长连接的服务器节点服役方法及装置 | |
| CN108243112B (zh) | 聊天群组网络流量控制方法及装置、存储介质及计算设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160810 |