CN102075556B - 一种具备大规模负载能力的服务架构设计方法 - Google Patents

一种具备大规模负载能力的服务架构设计方法 Download PDF

Info

Publication number
CN102075556B
CN102075556B CN201010122299.XA CN201010122299A CN102075556B CN 102075556 B CN102075556 B CN 102075556B CN 201010122299 A CN201010122299 A CN 201010122299A CN 102075556 B CN102075556 B CN 102075556B
Authority
CN
China
Prior art keywords
server
servers
address
client
master
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201010122299.XA
Other languages
English (en)
Other versions
CN102075556A (zh
Inventor
李志涛
喻波
王志海
顾飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mingchaowanda Technology Co., Ltd.
Original Assignee
Beijing Wondersoft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wondersoft Technology Co Ltd filed Critical Beijing Wondersoft Technology Co Ltd
Priority to CN201010122299.XA priority Critical patent/CN102075556B/zh
Publication of CN102075556A publication Critical patent/CN102075556A/zh
Application granted granted Critical
Publication of CN102075556B publication Critical patent/CN102075556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明采用多台服务器同时运行,在大量并发访问或数据流量过大的情况下,解决无法承载信息流的状况,防止系统崩溃、数据流失等危险。本发明具备大规模负载能力的服务器架构设计以已有的网络结构为基础,采用IP负载均衡技术和数据请求分配技术,来扩展网络接入设备和服务器的数据吞吐量,在主服务器发生故障或脱机的情况下,将网络通行重新指定给其他工作服务器,多台服务器可以同时提供服务,系统自动完成选择服务器的过程,提供自动检测服务器数据流,判断服务器承载量以便迅速指派有效的替补服务器,提高了接入系统网关的灵活性和可伸缩性。

Description

一种具备大规模负载能力的服务架构设计方法
技术领域
负载均衡服务架构支持网络服务器在大量并发访问时的数据流分配扩展工作。本发明主要使用在计算机领域。
背景技术
随着计算机产业的快速发展,网络服务器成为各大网络公司的运作核心,网络服务器在并发访问量或数据流量过大的情况下会出现无法承载信息流的状况,从而导致网络服务器系统崩溃、数据流失等危险,对网络公司造成巨大的经济损失,怎样解决网络服务器超负重运载时的服务器安全运作成为各大公司关注焦点。
近年,越来越多的路由器、交换机、服务器等网络设备采用了负载均衡技术。目前负载均衡技术按照不同的需求可分类为:软/硬件负载均衡、本地/全局负载均衡、更高网络层负载均衡,以及链路聚合技术。
软/硬件负载均衡是指在一台或多台服务器相应的操作系统上安装软件或专门的设备来实现负载均衡,软件负载均衡的优点是基于特定环境、配置简单、使用灵活、成本低廉,可以满足一般的负载均衡需求,硬件负载设备由于专门的设备完成专门的任务,独立于操作系统,整体性能得到大量提高,加上多样化的负载均衡策略,智能化的流量管理,可达到最佳的负载均衡需求,不过成本昂贵。
本地/全局负载均衡技术在其应用的地理结构上,分为本地负载均衡和全局负载均衡。本地负载均衡是指对本地的服务器群做负载均衡,全局负载均衡是指在不同地理位置、有不同网络结构的服务器群间做负载均衡。本地负载均衡能有效地解决数据流量过大、网络负荷过重的问题,并且不需花费昂贵开支购置性能卓越的服务器,可充分利用现有设备,避免服务器单点故障造成数据流量的损失。有灵活多样的均衡策略,可把数据流量合理地分配给服务器群内的服务器,来共同负担。即使是再给现有服务器扩充升级,也只是简单地增加一个新的服务器到服务群中,而不需改变现有网络结构、停止现有的服务。全局负载均衡,主要用于在一个多区域拥有自己服务器的站点,为了使全球用户只以一个IP地址或域名就能访问到离自己最近的服务器,从而获得最快的访问速度,也可用于子公司分散站点分布广的大公司通过Intranet(企业内部互联网)来达到资源统一合理分配的目的。
更高网络层负载均衡,通常操作于网络的第四层或第七层。第四层负载均衡将一个Internet上合法注册的IP地址,映射为多个内部服务器的IP地址,对每次TCP连接请求动态使用其中一个内部IP地址,达到负载均衡的目的。第七层负载均衡控制应用层服务的内容,提供了一种对访问流量的高层控制方式,适合对HTTP服务器群的应用。第七层负载均衡技术通过检查流经的HTTP报头,根据报头内的信息来执行负载均衡任务。
以上负载均衡技术从很大程度上解决了服务器负载均衡的问题,但是,技术上仍旧存在一些瓶颈,大多数网络设备厂商所采用的方案是多个内网用户同时访问外网资源时,网络设备可对多条出去的线路流量均衡分配,使多用户同时通畅的访问外网。然而,对于另一种与此相对的情形,即多个外网用户通过互联网同时访问一个内网服务器或网关时,由于接入用户过多的并行访问,很可能会导致此服务器或网关与互联网之间的带宽矛盾,出现多用户延迟、无法访问服务器甚至服务器或网关系统崩溃的现象。
鉴于以上问题,本发明提出一套在网络服务器或网关大规模部署过程中多台服务器同时提供服务的设备。该方案实现外部用户访问服务器或网关时,在主服务器发生故障或脱机的情况下,将网络通行重新指定给其他工作服务器,多台服务器可以同时提供服务,任何一台服务器故障不影响整个系统的运行,客户端自动选择负载小的服务器进行整个平台系统的运行工作,选择过程系统的自动完成提高了接入系统网关的灵活性和可伸缩性,保证整个系统能够不间断,无阻碍的运行。
专利发明内容
本发明具备大规模负载能力的服务器架构设计以已有的网络结构为基础,采用IP负载均衡技术和数据请求分配技术,来扩展网络接入设备和服务器的数据吞吐量,在主服务器发生故障或脱机的情况下,将网络通行重新指定给其他工作服务器,多台服务器可以同时提供服务,选择过程系统自动完成提高了接入系统网关的灵活性和可伸缩性。本发明所提到的负载均衡具有有两方面的含义:首先,大量的并发访问或数据流量分担到多台节点设备上分别处理,减少用户等待响应的时间;其次,单个重负载的运算分担到多台节点设备上做并行处理,每个节点设备处理结束后,将结果汇总,返回给用户,系统处理能力得到大幅度提高。负载服务构架原理图见附图1。
本发明一种具备大规模负载能力的服务架构设计方法的核心技术是网络负载平衡技术。该技术允许传入的请求传播到最多达32台的服务器,即可以使用最多32台服务器共同分担对外的网络请求服务。网络负载平衡技术保证即使是在负载很重的情况下它们也能作出快速响应。网络负载平衡对外只须提供一个IP地址(或域名),如果网络负载平衡中的一台或几台服务器不可用时,服务不会中断。网络负载平衡自动检测到服务器不可用时,能够迅速在剩余的服务器中重新指派客户机通讯。此保护措施能够帮助系统为关键的业务程序提供不中断的服务。可以根据网络访问量的增多来增加网络负载平衡服务器的数量。网络负载平衡可在普通的计算机上实现。同时,网络负载平衡有助于改善服务器性能和可伸缩性,以满足不断增长的基于Internet客户端的需求,保证整个系统能够不间断,无阻碍的运行。网络负载平衡可以让客户端用一个逻辑Internet名称和虚拟IP地址(又称群集IP地址)访问群集,同时保留每台计算机各自的名称。
本发明的详细设计内容如下,负载均衡系统工作流程图见附图2:
(一)服务器数据同步
1、服务器数据划分:
1)各服务器独立的参数(唯一标识、网卡地址),各个服务器私有;
2)各服务器共用的服务参数,主服务器上设定,各个服务器同步;
3)各服务器不同的服务参数,包括地址设定,地址池,端口等,主服务器上设定,各个服务器同步;
4)客户端基本信息数据,包括客户信息,各个服务器的同步时间。主服务器修改,各个服务器同步;
5)客户端实时信息数据,包括在线情况,地址,操作时间,从服务器通知主服务器修改,无须同步;
6)服务器操作日志,各个服务器私有,如果有审计服务器则发送到审计服务器上;
7)客户端审计日志,各个服务器私有,如果有审计服务器则发送到审计服务器上。
2、服务器数据同步
从服务器保持和主服务器之间的网络常连接,从服务器主动创建到主服务器的连接,连接成功之后,主服务器将内容直接发送到从服务器,循环进行如下操作:
1)扫描客户端基本信息,发现有更新则发送给从服务器,发送成功后,记录更新时间,避免多次发送;
2)扫描前述客户端内容,发现有修改则发送到从服务器;
3)查询从服务器的情况,包括负载情况,并推送其他服务器负载情况(替代心跳包);
4)发送管理员的其他实时命令;
5)从服务器需要修改客户端实时信息的时候,将需要修改的信息,通过UDP包发送给主服务器,主服务器收到后修改状态到实时数据库中。
(二)客户端连接机制及负载原理
1、认证部分
客户端第一次认证连接前,设定连接服务器的地址和认证端口,地址和端口是任意一个服务器对外服务地址和端口即可。
客户端后继认证前,优先选择上次成功连接的服务器地址和端口进行认证,不成功则随机选择一个服务器和认证端口进行认证。
客户端认证成功后,获取到各个服务器对外服务地址和端口号码,供下次连接使用。并且此时获取到各个服务器的负载情况(客户端数量)。
2、创建通道部分
客户端根据认证包得到的负载情况,对服务器地址和通道端口进行排序,然后依次进行通道创建。通道由于异常情况断开后,将重试3次,如果还不成功,换下一个通道进行尝试。总计尝试次数不超过10次,如果超过则断开连接,需要重新认证。
3、服务器异常处理
服务器将如下情况,视为异常,并通过可选手段通知管理员处理或者自行处理。
1)负载服务器发现主服务器无法连接,尝试一定次数后(可设定);
2)主服务器发现注册的某台负载服务器没有连接,尝试一定次数后(可设定);
3)服务器自身守护程序发现异常情况,如磁盘空间不足,内存不足,CPU长时间占用过高。
发现这些异常情况后,可选手段包括:守护程序自行重启服务程序;守护程序自动重启计算机;守护程序向目标计算机发送特殊网络包,使其硬件重启;通过声音报警;通过控制台报警。
本发明一种具备大规模能力的服务架构设计方法的负载维护工作如下。
1、服务器数据备份
连接任意一个服务器,可以选择备份所有数据到一组文件,供恢复使用。备份出来的数据包括所有服务器设定和客户端信息数据,不包括各种日志数据。若客户端数量较多,文件将会比较大。
2、从服务器数据灾备
当某个从服务器遇到问题需要恢复数据或者更换,遵循如下流程:
1)重新制作服务器,恢复出厂状态;
2)根据前述流程,设定服务器唯一标识(和需要替换的服务器一致)和各网卡地址;
3)设置服务器为从服务器,并指定正确的主服务器地址;
4)放置到网络中,将自动从主服务器同步数据后,开始工作。
3、主服务器数据灾备
当主服务器遇到问题需要恢复数据或者更换,遵循如下流程:
1)重新制作服务器,恢复出厂状态;
2)根据前述流程,设定服务器唯一标识(和需要替换的服务器一致)和各网卡地址;
3)设置服务器为主服务器;
4)从任意一个正常工作的从服务器中备份数据;
5)从上一步备份的数据中,恢复数据;
6)放置到网络中,开始正常工作。
附图说明
图1大规模负载能力服务架构原理图;
图2负载均衡系统工作流程图。
具体实施方式
1、服务器出厂设定和唯一标识
服务器出厂默认均是独立工作服务器,每个服务器默认有一个唯一标识号码(与硬件相关,每个服务器都不一样)和默认的内网地址。
服务器一般具有四个网卡,分别作用如下:
eth0:内网网卡,连接内部网络(必选)
eth1:外网网卡,连接外部网络(必选)
eth2:审计网卡,连接审计服务器(可选)
eth3:心跳网卡,连接主从服务器(可选)
在使用前,需要设定服务器的唯一标识供实施参考,并且作为服务器在实施项目中的唯一标识,供后继备份、恢复、管理数据使用。
2、主服务器设定
使用管理工具连接服务器的默认内网地址,设置如下参数:
1)服务器类型:主服务器;
2)各个网口是否启用以及相关的ip地址
3、从服务器设定
使用管理工具连接服务器的默认内网地址,设置如下参数:
1)服务器类型:从服务器
2)主服务器地址:填写主服务器的ip地址(四个地址中任意一个,但是应保证能访问,如果有条件,选择顺序为:心跳网卡、审计网卡、内网网卡、外网网卡)
3)各个网口是否启用以及相关的ip地址
4、客户端系统服务设定
连接主服务器控制台,设定服务的关键参数,包括:
1)各个服务器的地址池(每个服务器需要不同的地址池,应该为B类网段)
2)各个服务器的内部服务端口,默认都是50021,在此基础上,TCP认证端口是50021,UDP认证端口是50021+1,UDP通道端口是50021。
3)各个服务器的外部服务地址和端口,需要和对外防火墙设定是一致的。
4)各个服务器的连接权重(默认为相同的权重,如果有特殊需求,可以设定)

Claims (6)

1.一种具备大规模负载能力的服务架构设计方法,其特征在于:当主服务器发生故障或脱机的情况下,将网络负载重新指定给其他从服务器,所述主服务器和从服务器具有同时提供服务的特性,根据网络访问量的增多来增加所述从服务器的数量,所有主从服务器对外只提供一个IP地址;
所述从服务器保持和主服务器之间的网络常连接,所述从服务器主动创建到所述主服务器的连接,连接成功后,所述主服务器将内容直接发送到所述从服务器,循环扫描客户端、所述从服务器,并将更新信息和修改信息发送给其他从所述服务器,以保证所述主、从服务器之间的数据同步;
所述客户端在连接所述服务器之前需要进行认证,在第一次连接所述服务器之前,需要设定连接所述服务器的地址和认证端口,所述客户端在后续认证时,优先选择上次成功连接的所述服务器地址和认证端口进行认证,不成功则随机选择一个所述服务器和认证端口进行认证,所述客户端认证成功后,获取到各个所述服务器对外服务地址和端口号码,供下次连接使用,此时获取到各个所述服务器的负载情况,所述服务器包括所述主服务器和从服务器。
2.如权利要求1所述的一种具备大规模负载能力的服务架构设计方法,其特征在于:该服务架构设计方法的核心技术是网络负载平衡技术,即自动检测到所述主服务器不可用时,迅速在剩余的所述服务器中重新指派有效替补通讯的所述从服务器。
3.如权利要求1所述的一种具备大规模负载能力的服务架构设计方法,其特征在于:所述客户端根据认证包得到的负载情况,对服务器地址和通道端口进行排序,然后依次进行通道创建。
4.如权利要求1或2所述的一种具备大规模负载能力的服务架构设计方法,其特征在于:所述主从服务器同步数据,所述主服务器上设定参数,设定的参数包括:各所述服务器独立的参数,各所述服务器共用的服务参数,各所述服务器不同的服务参数,所述客户端基本信息数据,所述客户端实时信息数据,所述服务器操作日志,所述客户端审计日志。
5.如权利要求1所述的一种具备大规模负载能力的服务架构设计方法,其特征在于:所述服务器可进行异常处理,将以下情况视为异常:
所述从服务器在尝试一定次数后发现所述主服务器无法连接;
所述主服务器在尝试一定次数后发现注册的某台从服务器没有连接;
所述服务器自身守护程序发现异常情况。
6.如权利要求5所述的一种具备大规模负载能力的服务架构设计方法,其特征在于:当所述服务器发现异常情况后,采取以下手段之一进行异常处理:
所述自身守护程序自行重启服务程序;
所述自身守护程序自行重启计算机;
所述自身守护程序向目标计算机发送特殊网络包;
硬件重启;
通过声音或控制台报警。
CN201010122299.XA 2009-11-19 2010-03-11 一种具备大规模负载能力的服务架构设计方法 Active CN102075556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010122299.XA CN102075556B (zh) 2009-11-19 2010-03-11 一种具备大规模负载能力的服务架构设计方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN200910223908.8 2009-11-19
CN200910223908 2009-11-19
CN201010122299.XA CN102075556B (zh) 2009-11-19 2010-03-11 一种具备大规模负载能力的服务架构设计方法

Publications (2)

Publication Number Publication Date
CN102075556A CN102075556A (zh) 2011-05-25
CN102075556B true CN102075556B (zh) 2014-11-26

Family

ID=44033899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010122299.XA Active CN102075556B (zh) 2009-11-19 2010-03-11 一种具备大规模负载能力的服务架构设计方法

Country Status (1)

Country Link
CN (1) CN102075556B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103312784B (zh) * 2013-05-17 2017-10-31 北京九五智驾信息技术股份有限公司 一种灾备服务的终端自适应系统和方法
CN103248702B (zh) * 2013-05-17 2017-10-31 北京九五智驾信息技术股份有限公司 一种灾备服务的服务器自适应系统及方法
CN103763368B (zh) * 2014-01-20 2016-07-06 浪潮电子信息产业股份有限公司 一种跨数据中心的数据同步方法
CN105897781B (zh) * 2016-06-30 2019-05-31 北京奇虎科技有限公司 移动终端与服务器之间数据传输的控制方法及装置
CN106789116B (zh) * 2017-03-28 2019-10-18 西安邮电大学 一种nb-iot网络中的节能调度方法
CN106953769A (zh) * 2017-04-18 2017-07-14 广东浪潮大数据研究有限公司 一种多活服务器系统升级方法及平台
CN107040417A (zh) * 2017-04-18 2017-08-11 广东浪潮大数据研究有限公司 一种多活服务器系统升级方法及平台
CN107038048A (zh) * 2017-04-18 2017-08-11 广东浪潮大数据研究有限公司 一种双活服务器系统升级方法及平台
CN107066299A (zh) * 2017-04-18 2017-08-18 广东浪潮大数据研究有限公司 一种多活服务器系统升级方法及平台
CN107423082A (zh) * 2017-04-18 2017-12-01 广东浪潮大数据研究有限公司 一种多活服务器系统升级方法及平台
CN107707611B (zh) * 2017-08-09 2020-11-03 南方电网科学研究院有限责任公司 电力数据云处理方法、装置及系统
CN107806906A (zh) * 2017-12-04 2018-03-16 广州市吉华勘测股份有限公司 一种高大模板支撑系统的监测系统和方法
CN108989430B (zh) * 2018-07-19 2022-01-25 北京百度网讯科技有限公司 负载均衡方法、装置及存储介质
CN109040237A (zh) * 2018-08-01 2018-12-18 平安科技(深圳)有限公司 一种数据访问方法及系统
CN109788062A (zh) * 2019-01-24 2019-05-21 王晨明 输电系统服务器负载均衡方法
CN113596512B (zh) * 2021-07-28 2023-10-17 珠海迈科智能科技股份有限公司 一种高效经济的视频流分发方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1507235A (zh) * 2002-12-10 2004-06-23 ������������ʽ���� 访问中继装置
CN1798105A (zh) * 2004-12-30 2006-07-05 诺基亚公司 具有状态同步的集群的虚拟组播路由
CN1980376A (zh) * 2005-11-29 2007-06-13 中兴通讯股份有限公司 一种动态直播中继的实现方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1507235A (zh) * 2002-12-10 2004-06-23 ������������ʽ���� 访问中继装置
CN1798105A (zh) * 2004-12-30 2006-07-05 诺基亚公司 具有状态同步的集群的虚拟组播路由
CN1980376A (zh) * 2005-11-29 2007-06-13 中兴通讯股份有限公司 一种动态直播中继的实现方法

Also Published As

Publication number Publication date
CN102075556A (zh) 2011-05-25

Similar Documents

Publication Publication Date Title
CN102075556B (zh) 一种具备大规模负载能力的服务架构设计方法
CN112671882B (zh) 一种基于微服务的同城双活系统和方法
CN107465721B (zh) 基于双活架构的全局负载均衡方法和系统及调度服务器
CN104272708B (zh) 带有到服务器群组的无状态第一级分组分布和到群组内某个服务器的有状态第二级分组分布的二级分组分布
US10523748B2 (en) Managing health status of network devices in a distributed global server load balancing system
US7844851B2 (en) System and method for protecting against failure through geo-redundancy in a SIP server
US20150334696A1 (en) Resource provisioning method
CN104954182B (zh) 一种用于配置虚拟服务器集群的方法和装置
US9075660B2 (en) Apparatus and method for providing service availability to a user via selection of data centers for the user
AU2016387475A1 (en) Virtual network, hot swapping, hot scaling, and disaster recovery for containers
US20130007253A1 (en) Method, system and corresponding device for load balancing
WO2006040327A1 (en) Method, system and program product for automated topology formation in dynamic distributed environments
CN102223365A (zh) 基于ssl vpn网关集群的用户接入方法及其装置
CN103078880A (zh) 基于多个内容分发网络的内容信息处理方法、系统和设备
EP4068725B1 (en) Topology-based load balancing for task allocation
CN105357090A (zh) 外连总线服务系统的负载均衡方法及设备
CN105704042A (zh) 报文处理方法、bng及bng集群系统
CN112994937A (zh) 智融标识网络中虚拟cdn的部署与迁移系统
CN107171971A (zh) 利用一致性哈希策略实现网络流量负载均衡的方法
CN114338670B (zh) 一种边缘云平台和具有其的网联交通三级云控平台
WO2012053243A1 (ja) 仮想サーバ管理装置
WO2019149166A1 (zh) 网络访问方法、客户端、网络交互方法及调度、网络系统
CN116781564B (zh) 一种容器云平台的网络检测方法、系统、介质和电子设备
JP2006235837A (ja) 負荷分散システム、負荷分散装置管理サーバ、負荷分散装置の切り替え方法及びプログラム
CN109981437B (zh) 一种基于vpc的多数据中心互通方法及相关设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
DD01 Delivery of document by public notice

Addressee: Zhou Yuxiu

Document name: Notification of Passing Examination on Formalities

C56 Change in the name or address of the patentee
CP03 Change of name, title or address

Address after: 100097 Beijing city Haidian District landianchang Road No. 25 North International Building Jiayou two layer

Patentee after: Beijing Mingchaowanda Technology Co., Ltd.

Address before: 100085 Beijing city Haidian District anningzhuang West Road No. 9 Building 10 Jintai Fortune Institute

Patentee before: Beijing Wonder-soft Co., Ltd.