CN102387219B - 一种多网卡负载均衡系统和方法 - Google Patents

一种多网卡负载均衡系统和方法 Download PDF

Info

Publication number
CN102387219B
CN102387219B CN201110413597.9A CN201110413597A CN102387219B CN 102387219 B CN102387219 B CN 102387219B CN 201110413597 A CN201110413597 A CN 201110413597A CN 102387219 B CN102387219 B CN 102387219B
Authority
CN
China
Prior art keywords
network interface
interface card
flow
shunting
order
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110413597.9A
Other languages
English (en)
Other versions
CN102387219A (zh
Inventor
窦晓光
刘朝辉
刘兴彬
万伟
邵宗有
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dawning Information Industry Beijing Co Ltd
Dawning Information Industry Co Ltd
Original Assignee
Dawning Information Industry Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dawning Information Industry Beijing Co Ltd filed Critical Dawning Information Industry Beijing Co Ltd
Priority to CN201110413597.9A priority Critical patent/CN102387219B/zh
Publication of CN102387219A publication Critical patent/CN102387219A/zh
Application granted granted Critical
Publication of CN102387219B publication Critical patent/CN102387219B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供一种采用多块网卡级联协同工作实现流量汇聚和负载均衡分流的系统和方法，所述系统包括多级网卡，其中上一级处理机的网卡按照配置的比例进行进行同源同宿分流，一部分流量上传本机处理，其他流量按照比例通过网卡的发送端口转发到下一级网卡中。本发明提供的采用多块网卡级联协同工作实现流量汇聚和负载均衡分流的系统和方法，可以完全去掉专用分流设备，网卡既作为流量接入设备，也作为流量汇聚和分流设备，将极大降低用户投入的成本；而且该多网卡级联方式可扩展性好，可以扩展到三级甚至更多级，直到满足单机的处理能力。

Description

一种多网卡负载均衡系统和方法
技术领域
本发明属于计算机网络通信领域，具体涉及一种多网卡负载均衡系统和方法。
背景技术
在互联网内容审计技术方面，一般来说需要将属于同一对IP的报文放在一起处理，但是网络环境中往往会出现同一对IP的双向流量分布在不同的网线上，因此需要将多条网线上的流量进行汇聚。当汇聚的流量超过单台处理机的处理能力时，还需要按照源目IP地址进行同源同宿的分流，使得同一对IP的报文分到一台处理机上处理。
专利号CN200910083155.5(一种IP报文的硬件分流方法)公开了一种IP报文的硬件分流方法，本方案利用网卡硬件对接收到的IP报文进行分流，网卡在接受IP报文的同时，抽取IP报文头中的源、目的地址，利用Hash算法计算出该IP报文所属的线程，然后DMA通道调度模块根据线程号启动DMA引擎将报文送到该线程所属的主存缓冲区中，为了支持IP报文的硬件分流策略，上层软件使得每个线程拥有一个专用的主存缓冲区，网卡启动多个接收IP包的线程与主机处理IP包的线程一一对应，主机处理IP包的线程直接从内存缓冲区获取数据进行处理，这中间的数据传输不需要CPU参与，可以降低CPU负载。本发明可支持高达1024甚至4096、8192个硬件线程，最佳配置为每个CPU核对应一个线程，这样每个线程独立工作，互不干扰，系统资源的共享竞争最少，达到最好性能。
专利号CN200310119408.2(基于智能网卡的计算机间用户级并行通信的方法)公开了一种计算机间用户级并行通信的方法，使用多套支持智能网卡的高性能网络进行计算机间的互连，在实现用户级通信协议的操作系统核心空间设备驱动程序和用户空间通信库中加入支持并行通信的器件，传输过程中数据自动在多套互连网络间进行拆分和拼接。该方法能够实现计算机间并行、无拷贝、保序的消息传递，使用户能够获得多套互连网络硬件提供的聚合性能。该方法使得并行通信过程对上层用户和底层通信网络透明，避免增加用户负担和对特定网络的修改与依赖。该方法适用于单套互连网络不能满足对计算机间通信性能需求的系统。
现有技术中，上述的流量汇聚和分流工作都是采用专用设备实现，该设备一般采用ATCA机箱实现，可以处理的流量非常大，同时造价也非常高，往往在百万元级别，对于一些流量不是非常大的应用场景，这种设备过于昂贵，且利用率很低。
发明内容
本发明克服现有技术存在的不足，涉及网络流量处理负载均衡技术。
本发明提供了一种采用多块网卡级联协同工作实现流量汇聚和负载均衡分流的系统，其包括多级网卡，其中上一级处理机的网卡按照配置的比例进行进行同源同宿分流，一部分流量上传本机处理，其他流量按照比例通过网卡的发送端口转发到下一级网卡中。
本发明提供的采用多块网卡级联协同工作实现流量汇聚和负载均衡分流的系统，处理机配置向上一级网卡配置本机处理流量以及各个端口转发流量的比例，当流量不超过本机的处理能力时，无需从发送端口转发至下一级网卡。
本发明提供的采用多块网卡级联协同工作实现流量汇聚和负载均衡分流的系统，一个上一级网卡对应多个下一级网卡。
本发明提供的采用多块网卡级联协同工作实现流量汇聚和负载均衡分流的系统，上一级网卡探测输出端口是否连接其他下一级网卡，对于没有连接网卡的输出端口不分配转发流量。
本发明提供的采用多块网卡级联协同工作实现流量汇聚和负载均衡分流的系统，上一级网卡探测所连接的网卡是否出现故障，并动态调整转发比例。
本发明提供的采用多块网卡级联协同工作实现流量汇聚和负载均衡分流的系统，第一级处理机的网卡包括多个端口并将流量接入。
本发明提供的采用多块网卡级联协同工作实现流量汇聚和负载均衡分流的系统，第一级处理机的网卡流量接入带宽最大可达40Gbps。
本发明提供的采用多块网卡级联协同工作实现流量汇聚和负载均衡分流的系统，各级网卡采用hash算法计算源目IP的hash值。
本发明还提供了一种采用多块网卡级联协同工作实现流量汇聚和负载均衡分流的方法，其步骤如下：
1)首先，第一级处理机A的网卡A将流量接入进行汇聚，并采用hash算法计算源目IP的hash值；
2)处理机配置向网卡A配置本机处理流量以及各个端口时转发流量的比例，当流量不超过本机的处理能力时，无需从发送端口转发；
3)网卡A按照配置的比例进行进行同源同宿分流，一部分流量上传本机处理，其他流量按照比例通过网卡的发送端口转发到下一级网卡B(B1，B2，…Bn)中。
4)下一级网卡B(B1，B2，…Bn)处理流程同第一网卡A一样。
本发明提供的采用多块网卡级联协同工作实现流量汇聚和负载均衡分流的方法，网卡A可以探测输出端口是否连接其他网卡以及所连接的网卡是否出现故障，并动态调整转发比例，对于没有连接网卡的输出端口不分配转发流量。
本发明提供的采用多块网卡级联协同工作实现流量汇聚和负载均衡分流的方法，网卡A包括多个输入输出端口。
本发明提供的采用多块网卡级联协同工作实现流量汇聚和负载均衡分流的方法，流量接入带宽最大可达40Gbps。
与现有技术相比，本发明的有益效果在于：
1)可以完全去掉专用分流设备，网卡既作为流量接入设备，也作为流量汇聚和分流设备，将极大降低用户投入的成本。
2)该多网卡级联方式可扩展性好，可以扩展到三级甚至更多级，直到满足单机的处理能力。
附图说明
图1是本发明的流程示意图。
具体实施方式
图1是本发明的流程示意图，本发明提出一种采用多块网卡级联协同工作实现流量汇聚和负载均衡分流的方法。该方法工作流程如下：
1)首先，第一级处理机A的网卡A(多个端口)将流量接入(流量接入带宽最大可达40Gbps)进行汇聚，并采用hash算法计算源目IP的hash值。
2)处理机配置向网卡A配置本机处理流量以及各个端口时转发流量的比例，当流量不超过本机的处理能力时，无需从发送端口转发。
优选的，网卡A可以探测输出端口是否连接其他网卡以及所连接的网卡是否出现故障，并动态调整转发比例，对于没有连接网卡的输出端口不分配转发流量。
3)网卡A按照配置的比例进行进行同源同宿分流，一部分流量上传本机处理，其他流量按照比例通过网卡的发送端口转发到下一级网卡B(B1，B2，…Bn)中。
4)下一级网卡B(B1，B2，…Bn)可处理流程同第一网卡A一样。
本发明避过使用专用分流设备，将网卡作为流量接入设备同时，也作为流量汇聚和分流设备，可以极大降低用户投入的成本。同时，该多网卡级联方式可扩展性好，可以扩展到三级甚至更多级，直到满足单机的处理能力
以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所述领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者同等替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种采用多块网卡级联协同工作实现流量汇聚和负载均衡分流的系统，其特征在于：所述系统包括多级网卡，其中上一级网卡按照配置的比例进行同源同宿分流，一部分流量上传本机处理，其他流量按照比例通过网卡的发送端口转发到下一级网卡中；
上一级网卡所属的处理机向上一级网卡配置本机处理流量以及各个端口转发流量的比例，当流量不超过本机的处理能力时，无需从发送端口转发至下一级网卡；
一个上一级网卡对应多个下一级网卡；
上一级网卡探测输出端口是否连接其他下一级网卡，对于没有连接网卡的输出端口不分配转发流量；
上一级网卡探测所连接的网卡是否出现故障，并动态调整转发比例；
第一级处理机的网卡包括多个端口并将流量接入。
2.如权利要求1所述的系统，其特征在于，第一级处理机的网卡流量接入带宽最大可达40Gbps。
3.如权利要求2所述的系统，其特征在于，各级网卡采用hash算法计算源目IP的hash值。
4.一种采用多块网卡级联协同工作实现流量汇聚和负载均衡分流的方法，其特征在于：所述方法包括如下步骤：
1）首先，第一级网卡A将流量接入进行汇聚，并采用hash算法计算源目IP的hash值；
2）第一级网卡A所属的处理机向第一级网卡A配置本机处理流量以及各个端口转发流量的比例，当流量不超过本机的处理能力时，无需从发送端口转发；
3）第一级网卡A按照配置的比例进行同源同宿分流，一部分流量上传本机处理，其他流量按照比例通过网卡的发送端口转发到下一级网卡B（B1，B2，…Bn）中；
4）下一级网卡B（B1，B2，…Bn）处理流程同第一级网卡A一样。
5.如权利要求4所述的方法，其特征在于，第一级网卡A可以探测输出端口是否连接其他网卡以及所连接的网卡是否出现故障，并动态调整转发比例，对于没有连接网卡的输出端口不分配转发流量。
6.如权利要求5所述的方法，其特征在于，第一级网卡A包括多个输入输出端口。
7.如权利要求6所述的方法，其特征在于，流量接入带宽最大可达40Gbps。
CN201110413597.9A 2011-12-13 2011-12-13 一种多网卡负载均衡系统和方法 Active CN102387219B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110413597.9A CN102387219B (zh) 2011-12-13 2011-12-13 一种多网卡负载均衡系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110413597.9A CN102387219B (zh) 2011-12-13 2011-12-13 一种多网卡负载均衡系统和方法

Publications (2)

Publication Number Publication Date
CN102387219A CN102387219A (zh) 2012-03-21
CN102387219B true CN102387219B (zh) 2014-05-28

Family

ID=45826179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110413597.9A Active CN102387219B (zh) 2011-12-13 2011-12-13 一种多网卡负载均衡系统和方法

Country Status (1)

Country Link
CN (1) CN102387219B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105245826A (zh) * 2015-08-27 2016-01-13 浙江宇视科技有限公司 一种控制监控视频流传输的方法及装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102904729B (zh) * 2012-10-26 2018-05-01 曙光信息产业(北京)有限公司 根据协议、端口分流支持多应用的智能加速网卡
CN105763617B (zh) * 2016-03-31 2019-08-02 北京百卓网络技术有限公司 一种负载均衡方法和系统
CN108683598B (zh) * 2018-04-20 2020-04-10 武汉绿色网络信息服务有限责任公司 一种非对称网络流量处理方法和处理装置
CN113296718B (zh) * 2021-07-27 2022-01-04 阿里云计算有限公司 数据处理方法以及装置
CN116094840B (zh) * 2023-04-07 2023-06-16 珠海星云智联科技有限公司 一种智能网卡和汇聚分流系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6567377B1 (en) * 1999-03-18 2003-05-20 3Com Corporation High performance load balancing of outbound internet protocol traffic over multiple network interface cards
CN1578267A (zh) * 2003-07-02 2005-02-09 英特尔公司 处理分组以在主机系统的网络上传送的方法、系统及程序
CN1719806A (zh) * 2005-07-15 2006-01-11 中国人民解放军国防科学技术大学 基于cache的网络处理器的动态负载分配方法及其装置
CN101039282A (zh) * 2007-05-14 2007-09-19 中兴通讯股份有限公司 一种对流入cpu系统的报文的流量管理方法
CN102004673A (zh) * 2010-11-29 2011-04-06 中兴通讯股份有限公司 多核处理器负载均衡的处理方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6567377B1 (en) * 1999-03-18 2003-05-20 3Com Corporation High performance load balancing of outbound internet protocol traffic over multiple network interface cards
CN1578267A (zh) * 2003-07-02 2005-02-09 英特尔公司 处理分组以在主机系统的网络上传送的方法、系统及程序
CN1719806A (zh) * 2005-07-15 2006-01-11 中国人民解放军国防科学技术大学 基于cache的网络处理器的动态负载分配方法及其装置
CN101039282A (zh) * 2007-05-14 2007-09-19 中兴通讯股份有限公司 一种对流入cpu系统的报文的流量管理方法
CN102004673A (zh) * 2010-11-29 2011-04-06 中兴通讯股份有限公司 多核处理器负载均衡的处理方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105245826A (zh) * 2015-08-27 2016-01-13 浙江宇视科技有限公司 一种控制监控视频流传输的方法及装置
CN105245826B (zh) * 2015-08-27 2019-04-30 浙江宇视科技有限公司 一种控制监控视频流传输的方法及装置

Also Published As

Publication number Publication date
CN102387219A (zh) 2012-03-21

Similar Documents

Publication Publication Date Title
CN102387219B (zh) 一种多网卡负载均衡系统和方法
CN104348740B (zh) 数据包处理方法和系统
CN106533967B (zh) 一种可自定义负载均衡策略的数据传输方法
US10554554B2 (en) Hybrid network processing load distribution in computing systems
CN101227402B (zh) 聚合链路流量分担方法及装置
US20160196073A1 (en) Memory Module Access Method and Apparatus
EP2540047A2 (en) An add-on module and methods thereof
CN101494697B (zh) 一种采用双刀片服务器的负载均衡方法和装置
CN102004673A (zh) 多核处理器负载均衡的处理方法及系统
CN102752219B (zh) 用于实现vd互连的方法和交换设备
CN106506701A (zh) 一种服务器负载均衡方法及负载均衡器
CN101127623A (zh) 数据处理方法、装置及系统
CN107579925A (zh) 报文转发方法及装置
CN103634224A (zh) 网络中数据传输的方法和系统
CN103095568A (zh) 机架式交换设备实现堆叠的系统及方法
CN104579948A (zh) 一种报文分片处理方法及装置
US8248937B2 (en) Packet forwarding device and load balance method thereof
CN103067359A (zh) 一种基于连接复用的提高服务器并发处理能力的系统及方法
CN110120897A (zh) 链路探测方法、装置、电子设备及机器可读存储介质
CN114006863A (zh) 一种多核负载均衡协同处理方法、装置及存储介质
CN107317759A (zh) 一种网卡的线程级动态均衡调度方法
US20180157514A1 (en) Network traffic management in computing systems
CN102916898A (zh) 一种多链路出口的应用保持方法及装置
CN113986811B (zh) 一种高性能内核态网络数据包加速方法
CN104618157A (zh) 网络管理方法、设备及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151112

Address after: 100084 Beijing Haidian District City Mill Street No. 64

Patentee after: Dawning Information Industry (Beijing) Co.,Ltd.

Patentee after: WUXI CITY CLOUD COMPUTING CENTER CO.,LTD.

Address before: 100084 Beijing Haidian District City Mill Street No. 64

Patentee before: Dawning Information Industry (Beijing) Co.,Ltd.

TR01 Transfer of patent right

Effective date of registration: 20220118

Address after: 100193 Shuguang building, Zhongguancun Software Park, 8 Dongbeiwang West Road, Haidian District, Beijing

Patentee after: Dawning Information Industry (Beijing) Co.,Ltd.

Address before: 100084 Beijing Haidian District City Mill Street No. 64

Patentee before: Dawning Information Industry (Beijing) Co.,Ltd.

Patentee before: WUXI CITY CLOUD COMPUTING CENTER CO.,LTD.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220729

Address after: 100193 No. 36 Building, No. 8 Hospital, Wangxi Road, Haidian District, Beijing

Patentee after: Dawning Information Industry (Beijing) Co.,Ltd.

Patentee after: DAWNING INFORMATION INDUSTRY Co.,Ltd.

Address before: 100193 Shuguang building, Zhongguancun Software Park, 8 Dongbeiwang West Road, Haidian District, Beijing

Patentee before: Dawning Information Industry (Beijing) Co.,Ltd.

TR01 Transfer of patent right