CN101494697B - 一种采用双刀片服务器的负载均衡方法和装置 - Google Patents
一种采用双刀片服务器的负载均衡方法和装置 Download PDFInfo
- Publication number
- CN101494697B CN101494697B CN2008100027846A CN200810002784A CN101494697B CN 101494697 B CN101494697 B CN 101494697B CN 2008100027846 A CN2008100027846 A CN 2008100027846A CN 200810002784 A CN200810002784 A CN 200810002784A CN 101494697 B CN101494697 B CN 101494697B
- Authority
- CN
- China
- Prior art keywords
- blade server
- blade
- iop module
- cpu
- blade servers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Abstract
本发明公开了一种采用双刀片服务器的负载均衡方法和装置，其方法包括：对ATCA刀片服务器系统中的每个刀片服务器内部设置一个输入输出处理IOP模块；每个刀片服务器的PE桥与IOP模块相连接，IOP模块通过PE桥把输入输出IO数据写入内存供该刀片服务器的中央处理单元CPU进行处理，并从该刀片服务器的内存读出CPU处理好的数据通过IO设备向背板进行传输；对系统中相邻的两个刀片服务器通过各自的PE桥的NT端口提供通道经过背板与对方的PE桥相连，两个刀片服务器通过上述相连彼此共享资源，并将两个刀片服务器IOP模块经过背板相连，IOP模块为刀片服务器提供统一的虚拟IP地址。本发明提高了刀片服务器的工作效率。
Description
技术领域
本发明涉及计算机领域，具体的说，涉及ATCA(Advanced Telecom Computing Architecture，先进通信计算架构)的刀片服务器系统应用中的负载均衡方法和装置。
背景技术
ATCA(Advanced Telecom Computing Architecture，先进通信计算架构)刀片服务器系统是采用ATCA规范构建的框式高性能刀片式服务器系统，由交换节点板和高性能刀片节点板构成。ATCA刀片服务器系统在每框最多可以提供12块刀片，可以提供很好的系统处理性能。这里所述系统包括：刀片服务器、ATCA机框。
然而，针对某些不提供负载均衡节点板的ATCA刀片服务器系统，如何更加合理的利用ATCA刀片服务器系统来实现负载均衡的目的，便成为亟待解决的问题。
发明内容
本发明所解决的技术问题在于提供一种采用双刀片服务器的负载均衡方法和装置，以解决在某些不提供负载均衡节点板的ATCA刀片服务器系统中，如何实现负载均衡的问题。
为了解决上述问题，本发明提供了一种采用双刀片服务器的负载均衡方法，应用于先进通信计算架构ATCA刀片服务器系统中，其特征在于，包括以下步骤：
对所述系统中的每个刀片服务器内部设置一个输入输出处理IOP模块；所述每个刀片服务器的高速串行周边器件互连总线规范PE桥与该刀片服务器内部设置的所述IOP模块相连接，所述IOP模块通过PE桥把输入输出IO数据写入内存供该刀片服务器的中央处理单元CPU进行处理，同时也从该刀片服务器的内存读出CPU处理好的数据通过IO设备向背板进行传输；
所述ATCA刀片服务器系统中相邻的两个刀片服务器通过各自的PE桥的非透明传输模式NT端口提供通道经过背板与对方的PE桥相连，所述相邻的两个刀片服务器通过上述相连彼此共享资源，同时将所述相邻的两个刀片服务器的IOP模块经过背板相连，所述相邻的两个刀片服务器的IOP模块为两个刀片服务器提供统一的虚拟IP地址。
本发明所述的方法，其中，所述通道，为更新通路UC高速互联通道。
本发明所述的方法，其中，所述相邻的两个刀片服务器的IOP模块经过背板相连后，进一步包括分别在所述相邻的两个刀片服务器各自的内存中建立一个CPU资源的利用率报文表，所述IOP模块之间通过该利用率报文表来动态地调整所述相邻的两个刀片服务器的CPU处理的业务数据流量。
其中，进一步包括：所述IOP模块监视其所属的刀片服务器的CPU的运行状态，一旦发现其所属刀片服务器的CPU出现了故障，所述IOP模块自动把业务数据切换到相邻两个刀片服务器中的另一刀片服务器的CPU上进行处理，并且记录下故障CPU的状态日志，供后期系统调试分析。
本发明所述的方法，其中，所述相邻的两个刀片服务器的IOP模块经过背板相连后，进一步包括所述相邻的两个刀片服务器的IOP模块互为主备的工作模式，一旦其中某一刀片服务器的IOP模块出现故障，通过业务调度由另一刀片服务器的IOP模块自动接管。
为了解决上述问题，本发明还提供了一种采用双刀片服务器的负载均衡装置，应用于先进通信计算架构ATCA刀片服务器系统中，其特征在于，由两个刀片服务器组成，其中，对每个刀片服务器内部设置一个输入输出处理IOP模块，所述每个刀片服务器的高速串行周边器件互连总线规范PE桥 与该刀片服务器内部设置的所述IOP模块相连接，所述IOP模块用于通过PE桥把输入输出IO数据写入内存供该刀片服务器的中央处理单元CPU进行处理，同时也从该刀片服务器的内存读出CPU处理好的数据通过IO设备向背板进行传输；
所述两个刀片服务器通过各自的PE桥的非透明传输模式NT端口提供通道与对方的PE桥相连，所述两个刀片服务器通过上述相连彼此共享资源，同时将所述两个刀片服务器的IOP模块经过背板相连，所述两个刀片服务器的IOP模块还用于为两个刀片服务器提供统一的虚拟IP地址。
本发明所述的装置，其中，所述通道，为更新通路UC高速互联通道。
本发明所述的装置，其中，所述两个刀片服务器的IOP模块经过背板相连后，进一步包括分别在所述两个刀片服务器各自的内存中建立一个CPU资源的利用率报文表，所述IOP模块之间通过该利用率报文表来动态地调整两个刀片服务器的CPU处理的业务数据流量。
其中，所述IOP模块进一步用于监视其所属的刀片服务器的CPU的运行状态，一旦发现其所属刀片服务器的CPU出现了故障，所述IOP模块自动把业务数据切换到相连的另一刀片服务器的CPU上进行处理，并且记录下故障CPU的状态日志，供后期系统调试分析。
本发明所述的装置，其中，所述两个刀片服务器的IOP模块经过背板相连后，进一步包括所述两个刀片服务器的IOP模块互为主备的工作模式，一旦其中某一刀片服务器的IOP模块出现故障，通过业务调度由另一刀片服务器的IOP模块自动接管。
采用本发明所述方法及其装置，相对于现有某些不提供负载均衡节点板的系统，其有益效果如下：
(1)在没有负载均节点板的系统中实现了一个低成本的刀片服务器负载均衡的方案，同时大大的提高了刀片服务器的工作效率。
(2)通过IOP模块对两片刀片服务器进行调度和健康检测，既可以充分发挥刀片服务器集群的运算能力又方便系统对刀片服务器的管理，此外可以在IOP模块上集成防火墙功能，从而提高整个刀片服务器系统的安全性。
(3)在某一片刀片服务器的处理器出现故障的情况下，另一片刀片服务器通过PE桥的NT端口功能可以接管故障刀片服务器的IO资源，从而提高整个刀片服务器的可靠性。
附图说明
图1是本发明实施例所述的双刀片服务器的负载均衡装置之间的连接结构框图；
图2是本发明实施例所述的由ATCA刀片服务器构成的系统结构图。
具体实施方式
本发明在这里提供了一种采用双刀片服务器的负载均衡方法和装置，以解决在某些不提供负载均衡节点板的ATCA刀片服务器系统中，如何实现负载均衡的问题。以下对具体实施方式进行详细描述，但不作为对本发明的限定。
本发明的主要技术思想是，在ATCA服务器系统中的中刀片服务器改造成双刀片服务器，工作在负荷分担的方式下。在每个刀片服务器单板上插入一个IOP(Input and Output Processor)模块，该IOP模块通过虚拟IP技术对外提供统一的单个或多个VIP(Virtual IP，虚拟IP)地址。所有的外部数据通过IOP模块进行拆分，分配到双刀片服务器上进行处理。
其中，双刀片服务器都提供了PE(PCI Express，高速串行周边器件互连总线规范)桥芯片，通过PE桥的NT(None Transparent，非透明传输模式)端口的功能，实现双刀片服务器都可以访问对方的IO(输入输出数据)和内存资源。
上述双刀片服务器的PE桥的NT端口之间的连接，是通过UC(UpdateChannel，更新通路)高速互联通道进行数据的传输。
上述通过IOP模块为双刀片服务器提供统一的单个或多个VIP，实现对各个刀片服务器的管理和调度，从而实现双刀片服务器负载均衡。
如图1所示，给出了双刀片服务器的负载均衡装置之间的连接结构框图。
刀片服务器包括：CPU(Center Processor Unit，中央处理单元)、RootComplex(根联合体)、PE(PCI Express，高速串行周边器件互连总线规范)桥、IOP模块以及连接到背板的IO通道和UC互联通道。
如图1所示，所述双刀片服务器的工作原理如下：
(1)刀片服务器的CPU负责业务处理和外围资源配置，Root Complex(根联合体)连接内存，两者构成了刀片服务器的业务处理部分。
(2)刀片服务器的PE(PCI Express，高速串行周边器件互连总线规范)桥提供了Root Complex(根联合体)和IOP模块的连接，IOP模块通过PE桥可以把IO数据写入内存供CPU进行处理，相反方向IOP模块也可以从内存读出CPU处理好的数据经过IO设备进行传输。
(3)刀片服务器A的PE桥的NT端口提供UC通道，通过背板连接到刀片服务器B的PE桥，从而实现了刀片服务器A把刀片服务器B的内存、IO资源直接映射到刀片服务器A的寻址空间内，相反的刀片服务器B也可以通过PE桥的NT端口访问到刀片服务器A的内存、IO资源。从而使得双刀片服务器共享彼此的资源。
(4)双刀片服务器分别在内存中建立一个CPU等资源的利用率报文表，IOP模块通过该报文表来动态的调整双刀片服务器CPU处理的业务数据流量。
(5)所述IOP模块也可监视着其所在的刀片服务器的CPU的运行状态，一旦发现某一刀片服务器的CPU出现了故障，该IOP模块自动把业务数据切换到另外一刀片服务器的CPU处理，并且记录下故障该刀片服务器的CPU的状态日志，供后期系统调试分析。
(6)通过虚拟IP技术，双刀片服务器的IOP模块通过交换机对外提供统一的IP地址。
(7)双刀片服务器的IOP模块互为主备的工作模式，一旦某一刀片服务器的IOP模块出现故障，双刀片服务器的业务调度由另一刀片服务器的IOP模块自动接管。
如图2所示，给出了由ATCA刀片服务器构造的系统的结构框图，ATCA刀片服务器每框最多可以提供12块刀片服务器，每两片相邻的刀片服务器构成一个可以进行负载均衡的双刀片服务器，而6对双刀片服务器通过系统的两片互为主备的二层交换节点板连接到系统外部。
为了实现系统的高可靠性，消除单点故障，各模块所应具备的功能：
(1)二层交换节点板工作在主备模式。
(2)两块交换节点板支持二层以太网交换和RSTP(Rapid SpanningTree Protocol，快速生成树协议)，在消除和三层交换机之间交叉连接带来的以太网环路同时实现了冗余。
(3)框内各刀片和本框交换节点板通过GE进行交叉连接，采用双网卡绑定同一个IP技术，网口驱动采用物理链路连接健康检测和ARP健康检测方式对网卡进行检测，如有异常则进行主备切换，网卡切换后，向外发送ARP通告。
如图2所示，整个ATCA刀片服务器系统的数据处理流程如下：
ATCA刀片服务器系统对外提供6对可以进行简单的负载均衡功能的双刀片服务器组，用户软件决定了这6对刀片服务器组的选择和使用。外部用户接入负载均衡IOP模块提供的VIP，数据流经过三层交换机交换到刀片服务器内IOP模块。该IOP模块依据配置的不同负载均衡功能，检测包内容，并根据当前双刀片服务器的负载情况、健康状况以及所能提供的服务，依据一定的调度策略，在四层或应用层对数据包进行调度，将外部连接请求均匀地转发到双刀片服务器上，从而达到负载均衡的目的，对于来自服务器的响应，采用同样方式转发到核心交换机，此外该节点还需支持会话保持功能，以保证刀片服务器对相关联会话处理的一致性。刀片服务器中的IOP模块还定期对双刀片服务器进行健康性检测，将故障刀片服务器关闭。
通过上述叙述，本发明可实施的典型应用场合：ATCA服务器多框系统中，通过本发明实现ATCA服务器系统的简单的双刀片服务器负载均衡。从而保证了服务器高可靠性和易扩展性。
采用本发明上述实施例所述的方法及其装置，相对于现有某些不提供 负载均衡节点板的系统，其有益效果如下：
(1)在没有负载均节点板的系统中实现了一个低成本的刀片服务器负载均衡的方案，同时大大的提高了刀片服务器的工作效率。
(2)通过IOP模块对两片刀片服务器进行调度和健康检测，既可以充分发挥刀片服务器集群的运算能力又方便系统对刀片服务器的管理，此外可以在IOP模块上集成防火墙功能，从而提高整个刀片服务器系统的安全性。
(3)在某一刀片服务器的处理器出现故障的情况下，另一片刀片服务器通过PE桥的NT端口功能可以接管故障刀片服务器的IO资源，从而提高整个刀片服务器的可靠性。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (10)
1.一种采用双刀片服务器的负载均衡方法，应用于先进通信计算架构ATCA刀片服务器系统中，其特征在于，包括以下步骤：
对所述系统中的每个刀片服务器内部设置一个输入输出处理IOP模块；所述每个刀片服务器的高速串行周边器件互连总线规范PE桥与该刀片服务器内部设置的所述IOP模块相连接，所述IOP模块通过PE桥把输入输出IO数据写入内存供该刀片服务器的中央处理单元CPU进行处理，同时也从该刀片服务器的内存读出CPU处理好的数据通过IO设备向背板进行传输；
所述ATCA刀片服务器系统中相邻的两个刀片服务器通过各自的PE桥的非透明传输模式NT端口提供通道经过背板与对方的PE桥相连，所述相邻的两个刀片服务器通过上述相连彼此共享资源，同时将所述相邻的两个刀片服务器的IOP模块经过背板相连，所述相邻的两个刀片服务器的IOP模块为两个刀片服务器提供统一的虚拟IP地址。
2.如权利要求1所述的方法，其特征在于，所述通道，为更新通路UC高速互联通道。
3.如权利要求1所述的方法，其特征在于，所述相邻的两个刀片服务器的IOP模块经过背板相连后，进一步包括分别在所述相邻的两个刀片服务器各自的内存中建立一个CPU资源的利用率报文表，所述IOP模块之间通过该利用率报文表来动态地调整所述相邻的两个刀片服务器的CPU处理的业务数据流量。
4.如权利要求3所述的方法，其特征在于，进一步包括：所述IOP模块监视其所属的刀片服务器的CPU的运行状态，一旦发现其所属刀片服务器的CPU出现了故障，所述IOP模块自动把业务数据切换到相邻两个刀片服务器中的另一刀片服务器的CPU上进行处理，并且记录下故障CPU的状态日志，供后期系统调试分析。
5.如权利要1所述的方法，其特征在于，所述相邻的两个刀片服务器的IOP模块经过背板相连后，进一步包括所述相邻的两个刀片服务器的IOP模块互为主备的工作模式，一旦其中某一刀片服务器的IOP模块出现故障，通过业务调度由另一刀片服务器的IOP模块自动接管。
6.一种采用双刀片服务器的负载均衡装置，应用于先进通信计算架构ATCA刀片服务器系统中，其特征在于，由两个刀片服务器组成，其中，对每个刀片服务器内部设置一个输入输出处理IOP模块，所述每个刀片服务器的高速串行周边器件互连总线规范PE桥与该刀片服务器内部设置的所述IOP模块相连接，所述IOP模块用于通过PE桥把输入输出IO数据写入内存供该刀片服务器的中央处理单元CPU进行处理，同时也从该刀片服务器的内存读出CPU处理好的数据通过IO设备向背板进行传输；
所述两个刀片服务器通过各自的PE桥的非透明传输模式NT端口提供通道与对方的PE桥相连，所述两个刀片服务器通过上述相连彼此共享资源，同时将所述两个刀片服务器的IOP模块经过背板相连，所述两个刀片服务器的IOP模块为两个刀片服务器提供统一的虚拟IP地址。
7.如权利要求6所述的装置，其特征在于，所述通道，为更新通路UC高速互联通道。
8.如权利要求6所述的装置，其特征在于，所述两个刀片服务器的IOP模块经过背板相连后，进一步包括分别在所述两个刀片服务器各自的内存中建立一个CPU资源的利用率报文表，所述IOP模块之间通过该利用率报文表来动态地调整两个刀片服务器的CPU处理的业务数据流量。
9.如权利要求8所述的装置，其特征在于，所述IOP模块进一步用于监视其所属的刀片服务器的CPU的运行状态，一旦发现其所属刀片服务器的CPU出现了故障，所述IOP模块自动把业务数据切换到相连的另一刀片服务器的CPU上进行处理，并且记录下故障CPU的状态日志，供后期系统调试分析。
10.如权利要求6所述的装置，其特征在于，所述两个刀片服务器的IOP模块经过背板相连后，进一步包括所述两个刀片服务器的IOP模块互为主备的工作模式，一旦其中某一刀片服务器的IOP模块出现故障，通过业务调度由另一刀片服务器的IOP模块自动接管。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2008100027846A CN101494697B (zh) | 2008-01-21 | 2008-01-21 | 一种采用双刀片服务器的负载均衡方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2008100027846A CN101494697B (zh) | 2008-01-21 | 2008-01-21 | 一种采用双刀片服务器的负载均衡方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101494697A CN101494697A (zh) | 2009-07-29 |
| CN101494697B true CN101494697B (zh) | 2011-11-30 |
Family
ID=40925090
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2008100027846A Expired - Fee Related CN101494697B (zh) | 2008-01-21 | 2008-01-21 | 一种采用双刀片服务器的负载均衡方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101494697B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102033581B (zh) * | 2009-12-18 | 2012-05-30 | 中国科学院声学研究所 | 一种基于多核网络处理器的高可扩展性atca板 |
| CN101980180A (zh) * | 2010-10-12 | 2011-02-23 | 浪潮电子信息产业股份有限公司 | 一种刀片服务器bmc的ipmb地址的确定方法 |
| CN101969465A (zh) * | 2010-10-13 | 2011-02-09 | 北京神州融信信息技术股份有限公司 | 集群读写方法、装置、系统及控制器 |
| CN102662437A (zh) * | 2012-03-30 | 2012-09-12 | 浪潮电子信息产业股份有限公司 | 一种在1u高度内集成计算节点和负载均衡器方法 |
| CN102983989B (zh) * | 2012-11-07 | 2015-07-08 | 华为技术有限公司 | 一种服务器虚拟地址的迁移方法、装置和设备 |
| CN103023973A (zh) * | 2012-11-19 | 2013-04-03 | 浪潮电子信息产业股份有限公司 | 一种基于cpci结构的集群服务器设计方法 |
| CN103106126A (zh) * | 2013-01-16 | 2013-05-15 | 浪潮电子信息产业股份有限公司 | 一种基于虚拟化的高可用计算机系统 |
| CN103440023A (zh) * | 2013-08-29 | 2013-12-11 | 深圳市邦彦信息技术有限公司 | 基于atca的业务板扩展方法及系统 |
| CN104539558B (zh) * | 2014-12-31 | 2018-09-25 | 林坚 | 可扩容ip电话交换机刀片机系统及自动扩容方法 |
| CN107360088A (zh) * | 2017-08-28 | 2017-11-17 | 郑州云海信息技术有限公司 | 一种联通异种互联介质的网关结构及配置方法 |
| CN108363461A (zh) * | 2018-01-03 | 2018-08-03 | 郑州云海信息技术有限公司 | 一种利用非透明桥进行刀片服务器io共享及扩展的方法 |
| CN112753018B (zh) * | 2020-03-04 | 2022-06-10 | 深圳市大疆创新科技有限公司 | 自适应负载均衡的方法、系统及存储介质 |
| CN111769983A (zh) * | 2020-06-22 | 2020-10-13 | 北京紫玉伟业电子科技有限公司 | 信号处理任务备份动态迁移容灾系统及备份动态迁移方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1909462A (zh) * | 2006-07-03 | 2007-02-07 | 华为技术有限公司 | 一种服务器 |
-
2008
- 2008-01-21 CN CN2008100027846A patent/CN101494697B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1909462A (zh) * | 2006-07-03 | 2007-02-07 | 华为技术有限公司 | 一种服务器 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101494697A (zh) | 2009-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101494697B (zh) | 一种采用双刀片服务器的负载均衡方法和装置 | |
| AU2016382945B2 (en) | Multi-path transport design | |
| US8677023B2 (en) | High availability and I/O aggregation for server environments | |
| Caulfield et al. | A cloud-scale acceleration architecture | |
| CN104025063B (zh) | 用于共享网络接口控制器的方法和装置 | |
| TWI534629B (zh) | 資料傳輸方法及資料傳輸系統 | |
| US10554554B2 (en) | Hybrid network processing load distribution in computing systems | |
| EP1950666B1 (en) | Method and apparatus for shared I/O in a load/store fabric | |
| DE112011103123B4 (de) | Performance und leistungsoptimierte Computersystemarchitekturen und -verfahren, die eine leistungsoptimierte Tree-Fabric-Verdrahtung wirksam einsetzen | |
| US7046668B2 (en) | Method and apparatus for shared I/O in a load/store fabric | |
| CN101150413B (zh) | 一种atca刀片服务器多机框级联系统及方法 | |
| US8489718B1 (en) | Torroidal backbone connections for network deployment | |
| US20080168190A1 (en) | Input/Output Tracing in a Protocol Offload System | |
| CN105763488B (zh) | 数据中心汇聚核心交换机及其背板 | |
| Nooruzzaman et al. | Hyperscale data center networks with transparent HyperX architecture | |
| Mohamed et al. | On the energy efficiency of MapReduce shuffling operations in data centers | |
| CN110309031B (zh) | 一种负载均衡微计算集群架构 | |
| CN105743819B (zh) | 计算装置 | |
| CN102624567A (zh) | 一种硬件型网络安全控制服务器热备份装置 | |
| JP2003196254A (ja) | システム内の１つまたは複数のドメインの管理 | |
| CN109558245A (zh) | 一种基于微服务器架构的业务处理方法、装置及服务器 | |
| CN107122268A (zh) | 一种基于numa多物理层分区处理系统 | |
| CN104980371A (zh) | 微服务器 | |
| TWI587675B (zh) | 微伺服器及其交換裝置 | |
| CN116346521A (zh) | 网络系统及数据传输方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20111130 Termination date: 20180121 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |