CN102404224B - 一种自适应的负载均衡分流设备和方法 - Google Patents

一种自适应的负载均衡分流设备和方法 Download PDF

Info

Publication number
CN102404224B
CN102404224B CN201110384058.7A CN201110384058A CN102404224B CN 102404224 B CN102404224 B CN 102404224B CN 201110384058 A CN201110384058 A CN 201110384058A CN 102404224 B CN102404224 B CN 102404224B
Authority
CN
China
Prior art keywords
server
packet loss
shunting
module
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110384058.7A
Other languages
English (en)
Other versions
CN102404224A (zh
Inventor
刘灿
刘朝辉
窦晓光
白宗元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dawning Information Industry Beijing Co Ltd
Dawning Information Industry Co Ltd
Original Assignee
Dawning Information Industry Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dawning Information Industry Beijing Co Ltd filed Critical Dawning Information Industry Beijing Co Ltd
Priority to CN201110384058.7A priority Critical patent/CN102404224B/zh
Publication of CN102404224A publication Critical patent/CN102404224A/zh
Application granted granted Critical
Publication of CN102404224B publication Critical patent/CN102404224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种自适应的负载均衡分流设备，基于服务器进行工作，所述分流设备设置有分流单元，所述分流单元包括初始化分流模块，与所述初始化分流模块连接的流量判断模块、以及调整分流比例模块和优先分流模块；还提供了一种自适应的负载均衡分流方法，在正常流量下，保持初始配置的分流策略，但在流量较大而导致一些服务器丢包时，可以通过设置一定的阈值，利用hash分流或者按各个服务器的负载情况进行空闲服务器分流。本发明提供的一种自适应的负载均衡分流设备和方法，可以动态调整服务器的分流策略。

Description

一种自适应的负载均衡分流设备和方法
技术领域
本发明属于网络数据处理领域，具体讲涉及一种自适应的负载均衡分流设备和方法。
背景技术
随着网络技术的高速发展，网络数据流量的迅速增长，为了实时处理这些网络数据流量，出现了一些专注于分流和数据处理的设备，它负责汇聚外网的数据，然后按照某种分流策略，把数据包转发到它的输出端，输出端和后端的数据处理服务器相连。其中的传统分流策略如：轮流分流，按服务器的空闲分流，hash分流。但是，不管哪一种分流策略，它在系统初始化或启动之后进行一次配置，之后不能进行任何更改，且不能动态的调整分流策略适应外网环境的变化，也不能适应后端服务器的增删和负载大小的变化。
外网输入的实时的流量不同，有其高峰期和其低谷期；和分流设备输出相连后端服务器处理能力和不同时间承担的任务不同，尤其是后端服务器的增加和删除后，分流模块不能动态的调整分流策略，导致服务器间不能分担任务，如增加的服务器和空闲的服务器不能分担死机、关闭的服务器或任务忙的服务器。
现有技术的缺点是：它是一种静态的分流方法，不能根据时候的网络流量情况做动态的调整，所以，也不能动态的适应后端处理节点服务器负载及增删的变化。
发明内容
为克服上述缺陷，本发明提供了一种自适应的负载均衡分流设备和方法，可以动态调整服务器的分流策略。
为实现上述目的，本发明提供一种自适应的负载均衡分流设备，所述分流设备基于服务器进行工作，设有包括初始化分流模块的分流单元，其改进之处在于，所述分流设备包括：流量判断模块、调整分流比例模块和优先分流模块；所述流量判断模块与所述初始化分流模块连接且所述流量判断模分别与所述调整分流比例模块和所述优先分流模块连接。
本发明提供的优选技术方案中，所述初始化分流模块在流量正常且处理数据的服务器没有丢包时，采用初始分流策略对数据进行分流；所述初始分流策略根据服务器的在线台数和hash值对数据进行均匀分流。
本发明提供的第二优选技术方案中，所述流量判断模块，根据数据的流量大小，将数据发送到所述调整分流比例模块和所述优先分流模块。
本发明提供的第三优选技术方案中，所述调整分流比例模块调整分流比例，使丢包服务器数小于预设阈值。
本发明提供的第四优选技术方案中，所述预设阈值为总服务器数量的20％；按保持总的数据量不变，丢包服务器下调一个粒度，而性能好的服务器上调一个粒度的原则调整所述整分流比例模块；其中，所述一个粒度是指十分之一服务器个数。
本发明提供的第五优选技术方案中，在流量较大导致较多服务器丢包时，所述优先分流模块用空闲服务器分流发送方式；其中，流量较大表现为丢包服务器大于总服务器的20％。
本发明提供的第六优选技术方案中，所述分流发送方式，是指在流量很大时，优先把数据分给负载小的服务器，再分给负载大的服务器；其中，流量很大表现为丢包服务器大于总服务器的60％。
本发明提供的第七优选技术方案中，提供一种分流方法，其改进之处在于，所述分流方法包括如下步骤：
1).在流量正常且处理数据的服务器没有丢包时，采用初始分流策略对数据进行分流；
2).在数据流量较大导致部分服务器开始丢包时，如果丢包服务器数大于预设的阈值，则调整分流比例，直到没有丢包的服务器或者丢包服务器数小于预设的阈值；
3).在流量很大导致较多服务器丢包时，采用空闲服务器分流发送方式，即优先把数据分给负载小的服务器，再分给负载大的服务器；
4).当流量恢复到正常流量时，采用初始分流策略对数据进行分流；其中，数据流量较大表现为丢包服务器大于总服务器的20％；数据流量很大表现为丢包服务器大于总服务器的60％。
本发明提供的第八优选技术方案中，在所述步骤2中，预设的阈值为总服务器数量的20％；所述整分流比例模块的调整的原则是:保持总的数据量不变，丢包服务器下调一个粒度，而性能好的服务器上调一个粒度；其中，所述一个粒度是指十分之一服务器个数。
与现有技术比，本发明提供的一种自适应的负载均衡分流设备和方法，采用动态的自适应分流方法，可在不同外网环境下，即不同的输入流量采取不同的分流策略，且在服务器调整时也可以动态的调整分流策略，而且可以应对后端服务器的增删和负载大小的变化；在正常流量下，保持初始配置的分流策略，但在流量较大而导致一些服务器丢包时，可以通过设置一定的阈值，利用hash分流或者按各个服务器的负载情况进行空闲服务器分流，实现了对服务器的动态分流调整。
附图说明
图1为自适应的负载均衡分流方法的示意图。
具体实施方式
一种自适应的负载均衡分流设备，基于服务器进行工作，所述分流设备设置有分流单元，所述分流单元包括初始化分流模块，流量判断模块、以及调整分流比例模块和优先分流模块；所述流量判断模块与所述初始化分流模块连接且所述调整分流比例模块和所述优先分流模块分别与所述流量判断模块连接。
所述初始化分流模块在流量正常且处理数据的服务器没有丢包时，采用初始分流策略对数据进行分流；所述初始分流策略根据服务器的在线台数和hash值对数据进行均匀分流。
所述流量判断模块，根据数据的流量大小，将数据发送到所述调整分流比例模块和所述优先分流模块。
所述调整分流比例模块，在数据流量较大导致部分服务器开始丢包时，如果丢包服务器数少于预设的阈值，则调整分流比例，直到丢包服务器数大于预设的阈值。其中，预设的阈值为总服务器数量的20％；所述整分流比例模块的调整的原则是:保持总的数据量不变，丢包服务器下调一个粒度，而性能好的服务器上调一个粒度；其中，所述一个粒度是指十分之一服务器个数。
所述优先分流模块，在流量很大导致较多服务器丢包时，采用空闲服务器分流发送方式，即优先把数据分给负载小的服务器，再分给负载大的服务器。
其中，流量较大表现为丢包服务器大于总服务器的20％；流量很大表现为丢包服务器大于总服务器的60％。
如图1所示，一种自适应的负载均衡分流方法，包括如下步骤：
1.在小于或等于正常流量时，处理数据的服务器没有丢包，采用初始化配置的分流策略；初始分配策略根据后端服务器在线台数和hash值对数据进行均匀分流。
2.当流量较大时，有性能较差的服务器负载增大导致丢包，而性能较好的服务器负载较少仍然还有处理更多数据的能力，且丢包服务器数大于预设的阈值(如总服务器的20％)，这时调整分流比例，调整的原则是丢包服务器下调一个粒度(如1/10/服务器数)，而性能好的服务器上调一个粒度，保持总额不变，这种调整可以进行多次，直到丢包服务器数小于预设的阈值。即空闲的服务器适当多分些数据，负载大的服务器适当少分一些数据；
3.当流量很大时，比较多的服务器丢包时，采用空闲服务器分流发，即优先把数据分给负载小的服务器，再分给负载大的服务器；
4.保存初始配置的分流策略，当流量恢复到正常或小于正常流量时，即丢包服务器数小于每个阈值(如5％)，分流策略恢复初始化配置；
其中，数据流量较大表现为丢包服务器大于总服务器的20％；数据流量很大表现为丢包服务器大于总服务器的60％。
需要声明的是，本发明内容及具体实施方式意在证明本发明所提供技术方案的实际应用，不应解释为对本发明保护范围的限定。本领域技术人员在本发明的精神和原理启发下，可作各种修改、等同替换、或改进。但这些变更或修改均在申请待批的保护范围内。

Claims (3)

1.一种自适应的负载均衡分流设备，所述分流设备基于服务器进行工作，设有包括初始化分流模块的分流单元，其特征在于，所述分流设备包括：流量判断模块、调整分流比例模块和优先分流模块；所述流量判断模块与所述初始化分流模块连接且所述流量判断模块分别与所述调整分流比例模块和所述优先分流模块连接；
所述初始化分流模块在流量正常且处理数据的服务器没有丢包时，采用初始分流策略对数据进行分流；所述初始分流策略根据服务器的在线台数和hash值对数据进行均匀分流；
所述流量判断模块，根据数据的流量大小，将数据发送到所述调整分流比例模块和所述优先分流模块；
所述调整分流比例模块调整分流比例，使丢包服务器数小于预设阈值；
所述预设阈值为总服务器数量的20％；按保持总的数据量不变，丢包服务器下调一个粒度，而性能好的服务器上调一个粒度的原则调整所述调整分流比例模块；其中，所述一个粒度是指十分之一服务器个数；
在流量较大导致较多服务器丢包时，所述优先分流模块用空闲服务器分流发送方式；其中，流量较大表现为丢包服务器大于总服务器的20％；
所述分流发送方式，是指在流量很大时，优先把数据分给负载小的服务器，再分给负载大的服务器；其中，流量很大表现为丢包服务器大于总服务器的60％。
2.一种自适应的负载均衡分流设备的分流方法，所述自适应的负载均衡分流设备为权利要求1所述的分流设备，其特征在于，所述分流方法包括如下步骤：
1).在流量正常且处理数据的服务器没有丢包时，采用初始分流策略对数据进行分流；
2).在数据流量较大导致部分服务器开始丢包时，如果丢包服务器数大于预设的阈值，则调整分流比例，直到丢包服务器数小于预设的阈值；
3).在流量很大导致较多服务器丢包时，采用空闲服务器分流发送方式，即优先把数据分给负载小的服务器，再分给负载大的服务器；
4).当流量恢复到正常流量时，采用初始分流策略对数据进行分流；其中，数据流量较大表现为丢包服务器大于总服务器的20％；数据流量很大表现为丢包服务器大于总服务器的60％。
3.根据权利要求2所述的自适应的负载均衡分流设备的分流方法，其特征在于，在所述步骤2中，预设的阈值为总服务器数量的20％；所述调整分流比例模块的调整的原则是:保持总的数据量不变，丢包服务器下调一个粒度，而性能好的服务器上调一个粒度；其中，所述一个粒度是指十分之一服务器个数。
CN201110384058.7A 2011-11-28 2011-11-28 一种自适应的负载均衡分流设备和方法 Active CN102404224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110384058.7A CN102404224B (zh) 2011-11-28 2011-11-28 一种自适应的负载均衡分流设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110384058.7A CN102404224B (zh) 2011-11-28 2011-11-28 一种自适应的负载均衡分流设备和方法

Publications (2)

Publication Number Publication Date
CN102404224A CN102404224A (zh) 2012-04-04
CN102404224B true CN102404224B (zh) 2014-12-31

Family

ID=45886027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110384058.7A Active CN102404224B (zh) 2011-11-28 2011-11-28 一种自适应的负载均衡分流设备和方法

Country Status (1)

Country Link
CN (1) CN102404224B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102711184B (zh) * 2012-06-18 2015-06-10 西安邮电学院 异构无线网络的分流系统
CN103581257A (zh) * 2012-08-03 2014-02-12 华为技术有限公司 基于互联网协议的数据分流方法及装置
CN104427554A (zh) * 2013-08-29 2015-03-18 中兴通讯股份有限公司 一种协作多流传输数据的方法及基站
CN103607357A (zh) * 2013-11-19 2014-02-26 曙光信息产业(北京)有限公司 系统中报文的分配方法和装置
CN103987088B (zh) * 2014-04-28 2020-03-20 北京邮电大学 基于异构网络融合的动态上行和下行流量卸载方法及系统
CN105577958B (zh) * 2014-10-15 2019-09-17 阿里巴巴集团控股有限公司 用于调整分流策略和分流用户请求的方法、装置及系统
CN107291003B (zh) * 2017-05-10 2020-01-31 上海空间电源研究所 一种空间用电源管理微系统架构
CN108173698B (zh) * 2018-01-17 2021-03-30 创新先进技术有限公司 网络服务管理方法、装置、服务器及存储介质
CN112532743B (zh) * 2020-12-18 2021-11-30 上海安畅网络科技股份有限公司 一种智能负载均衡方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127632A (zh) * 2006-08-15 2008-02-20 腾讯科技（深圳）有限公司 一种服务器流量控制方法、系统以及重定向器
CN101217491A (zh) * 2008-01-04 2008-07-09 杭州华三通信技术有限公司 一种调整流处理单元负载分担的方法及装置
CN102035737A (zh) * 2010-12-08 2011-04-27 北京交通大学 一种基于认知网络的自适应负载均衡方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070143460A1 (en) * 2005-12-19 2007-06-21 International Business Machines Corporation Load-balancing metrics for adaptive dispatching of long asynchronous network requests

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127632A (zh) * 2006-08-15 2008-02-20 腾讯科技（深圳）有限公司 一种服务器流量控制方法、系统以及重定向器
CN101217491A (zh) * 2008-01-04 2008-07-09 杭州华三通信技术有限公司 一种调整流处理单元负载分担的方法及装置
CN102035737A (zh) * 2010-12-08 2011-04-27 北京交通大学 一种基于认知网络的自适应负载均衡方法和装置

Also Published As

Publication number Publication date
CN102404224A (zh) 2012-04-04

Similar Documents

Publication Publication Date Title
CN102404224B (zh) 一种自适应的负载均衡分流设备和方法
CN101924683B (zh) 一种动态调整抖动缓存的方法、装置和电子设备
CN101394362B (zh) 基于流分片的对多核网络处理器进行负载均衡的方法
CN103401801A (zh) 动态负载均衡的实现方法及装置
CN103607358B (zh) 基于链路利用率平均和的动态ecmp 方法及系统
CN103701710A (zh) 一种数据传输方法、核心转发设备以及端点转发设备
CN102209077B (zh) 基于改进tfmcc协议的通信方法
CN103139093A (zh) 基于fpga的高速网络数据流负载均衡调度方法
CN107566299A (zh) 一种动态链路聚合实现方法和装置
CN102348235B (zh) 一种对cpu利用率进行控制的方法及基站收发台
CN103210680B (zh) 带宽调整方法、发送芯片及系统
CN103441945B (zh) 一种控制链路负载的方法、设备及数据转发设备
CN105072053A (zh) 一种以太网交换机流量控制方法
CN103428104A (zh) 一种基于内容中心网络的拥塞控制方法
CN101753977A (zh) 一种调节网络数字视频播放速度的方法及装置
CN101945037A (zh) 一种流量控制的方法、系统及交换机和路由器
CN101539871B (zh) 均衡处理负荷的装置、数据处理系统和方法、主控板
CN104821895B (zh) 一种节能方法及装置
CN102065022A (zh) 一种聚合口流量平衡的方法、装置、聚合口及网络设备
CN102196498A (zh) 一种高速载波负载调配方法
CN103391580B (zh) 基于业务量的用户状态转换方法及系统
Zhu A novel energy-aware design to build green broadband cable access networks
CN105282199A (zh) 云服务资源优化方法、云平台及云用户客户端
CN103078766B (zh) 网络流量的审计方法、装置及网络设备
CN105376178B (zh) 一种数据传输的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151112

Address after: 100084 Beijing Haidian District City Mill Street No. 64

Patentee after: Dawning Information Industry (Beijing) Co.,Ltd.

Patentee after: WUXI CITY CLOUD COMPUTING CENTER CO.,LTD.

Address before: 100084 Beijing Haidian District City Mill Street No. 64

Patentee before: Dawning Information Industry (Beijing) Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220107

Address after: 100193 Shuguang building, Zhongguancun Software Park, 8 Dongbeiwang West Road, Haidian District, Beijing

Patentee after: Dawning Information Industry (Beijing) Co.,Ltd.

Address before: 100084 Beijing Haidian District City Mill Street No. 64

Patentee before: Dawning Information Industry (Beijing) Co.,Ltd.

Patentee before: WUXI CITY CLOUD COMPUTING CENTER CO.,LTD.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220802

Address after: 100193 No. 36 Building, No. 8 Hospital, Wangxi Road, Haidian District, Beijing

Patentee after: Dawning Information Industry (Beijing) Co.,Ltd.

Patentee after: DAWNING INFORMATION INDUSTRY Co.,Ltd.

Address before: 100193 Shuguang building, Zhongguancun Software Park, 8 Dongbeiwang West Road, Haidian District, Beijing

Patentee before: Dawning Information Industry (Beijing) Co.,Ltd.