CN102611758B - 一种利用负载均衡器同步集群数据的方法 - Google Patents
一种利用负载均衡器同步集群数据的方法 Download PDFInfo
- Publication number
- CN102611758B CN102611758B CN201210088777.9A CN201210088777A CN102611758B CN 102611758 B CN102611758 B CN 102611758B CN 201210088777 A CN201210088777 A CN 201210088777A CN 102611758 B CN102611758 B CN 102611758B
- Authority
- CN
- China
- Prior art keywords
- server
- load equalizer
- data
- file
- synchronized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 15
- 230000005540 biological transmission Effects 0.000 claims abstract description 12
- 230000008859 change Effects 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 abstract description 4
- 230000004044 response Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000013065 commercial product Substances 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提供一种利用负载均衡器同步集群数据的方法，在用户数据和应用程序变化的情况下，通过负载均衡器将数据变化同步到集群各个服务器，提高了对数据的处理，加快了对用户的响应，具体步骤如下：在负载均衡器上开启daemon模式作为服务器端，此时其873端口打开，等待同步端服务器连接；当连接时，daemon服务器端会检查密码是否相符，通过验证则进行文件传输，第一次连接时，会把指定路径下的文件全部进行传输，下一次就只传输此路径下文件有修改的部分；通过将同步软件、定时软件等进行整合，使得负载均衡器系统内嵌基于WEB的配置管理工具，用来完成整个操作过程，解决了原有同步方式存在的效率、易用性和可管理性方面的问题。
Description
技术领域
本发明涉及一种计算机领域, 具体地说是一种利用负载均衡器同步集群数据的方法。
背景技术
随着网络的各个核心部分随着业务量的提高、访问量和数据流量的快速增长，其处理能力和计算强度也相应增大，使得单一设备根本无法承担。在此情况下，如果扔掉现有设备去做大量的硬件升级，这样将造成现有资源的浪费，而且如果再面临下一次业务量的提升，这又将导致再一次硬件升级的高额成本投入，甚至性能再卓越的设备也不能满足当前业务量的需求。因此负载均衡集群在越来越多的投入使用。
负载均衡（Load Balance）建立在现有网络结构之上，它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。
其中服务器是网络应用中最主要的组成部分。不管是企业的web网站、电子邮件、数据库服务器，还是文件、打印服务器都是决定企业业务能否正常运行的核心组件。在维护这些服务器的过程中，经常碰到要进行服务器之间的数据同步的问题。
当然，通过网络进行数据同步的最简单的方法就是使用ftp工具，但是使用ftp方式每次都需要将目标服务器中的所有数据都传输一遍，没有考虑哪些文件是已经同步过的，哪些文件是最近创建或更新、修改过的。因此效率是比较低的。当需要同步的数据量很大的时候，这种数据同步传输方式就显得比较原始，将占用大量网络资源，自然也不太经济实用。
虽然有商业化的数据同步产品供我们选择，但商用产品的价格昂贵，动辄几万、几十万的商业软件投入对于一般的企业不是一个容易决定的事情。
发明内容
本发明的目的是提供一种利用负载均衡器同步集群数据的方法。
本发明的目的是按以下方式实现的，在用户数据和应用程序变化的情况下，通过负载均衡器将此变化同步到集群各个服务器，以减轻应用服务器之间自身同步数据的负担，提高了对数据的处理，加快了对用户的响应，具体步骤如下：在负载均衡器上开启daemon模式作为服务器端，此时其873端口打开，等待同步端服务器连接；当连接时，daemon服务器端会检查密码是否相符，通过验证则进行文件传输，第一次连接时，会把指定路径下的文件全部进行传输，下一次就只传输此路径下文件有修改的部分；
在负载均衡集群中，前端负载均衡器接入，以daemon模式运行rsync，另外的业务服务器则以客户端的身份运行rsync，由于业务服务器配置及内容相同，故在部署的时候只需在一台服务器里部署完毕，其余的服务器只要运行rsync进行同步即可，更新维护数据的时候同样如此方便；
通过负载均衡器的管理页面手动建立rsync服务器，由一个以上的模块结构组成，一个模块对应需要备份的一个目录树，有两个以上目录树需要备份，需要定义两个以上的模块，分别对应各自的目录树，而且各个模块要建立对应的用户并授权，数据同步的时候就是通过授权用户去同步模块指定的文件夹或者文件；
文件配置完毕以后，就需要启动rsyncd服务，在确定服务器端正确配置并开启服务后，执行同步指令让服务器使用客户端来同步数据；
所述同步数据的功能，数据是用户数据或是应用程序数据，当有数据修改变更时，系统将修改变更的数据同步到集群中所有应用服务器。
本发明的有益效果如下：
rsync是一个优秀的数据同步工具，支持大多数的操作系统，无论是Linux、Solaris、BSD还是Windows xp、Windows server都能良好的运行，甚至可以跨平台操作，它的特性如下：
可以镜像保存整个目录树和文件系统，可以很容易做到保持原来文件的权限、时间、软硬链接等等，无须特殊权限即可安装优化的流程，文件传输效率高，可以使用ssh、socket等方式来传输文件，支持匿名传输，以方便进行网站镜象；
rsync使用的算法使其可以高速的传输文件，它在传输的时候，可以比对本地与远端主机欲同步的文件内容，仅复制有差异的部分，因此传输时间相对降低很多。
rsync的使用方式有三种，一种是在本主机内部传输文件，相当于复制拷贝；一种是使用ssh通道在不同主机间进行文件传输；一种是直接通过rsync提供的daemon服务来传输文件，此时主机启动873端口。
在负载均衡集群中，由于服务器都在一起，而且每台服务器的配置和内容都一样，因此我们将同步软件放入负载均衡器中，如此一来此种方法有如下优势：
1. 保持了与业务服务器的无关性；
2. 减轻业务服务器同步数据的负载，从而提高业务的效率；
3. 支持跨平台作业；
4. 高效的增量数据同步。
附图说明
图1是系统的结构示意图。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
在负载均衡器上开启daemon模式作为服务器端，此时其873端口打开，等待同步端服务器连接；当连接时，daemon服务器端会检查密码是否相符（如果匿名则无需检查），如果通过验证则进行文件传输。第一次连接时，会把指定路径下的文件全部进行传输，下一次就只传输此路径下文件有修改的部分。
在负载均衡集群中，前端负载均衡器接入，以daemon模式运行rsync，另外的业务服务器则以客户端的身份运行rsync，由于业务服务器配置及内容相同，故在部署的时候只需在一台服务器里部署完毕，其余的服务器只要运行rsync进行同步即可，更新维护数据的时候同样如此方便。
通过负载均衡器的管理页面手动建立rsync服务器，可以是由一个或多个模块结构组成。一个模块其实就对应需要备份的一个目录树，比方说在我们的实例环境中，有两个个目录树需要备份：/var/log和/home/www目录，那么就需要定义两个模块，分别对应两个目录树。而且两个模块要建立对应的用户并授权。数据同步的时候就是通过授权用户去同步模块指定的文件夹或者文件。
以上文件配置完毕以后，就需要启动rsyncd服务，在确定服务器端正确配置并开启服务后就可以执行同步指令让服务器使用客户端来同步数据了。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。
Claims (1)
1.一种利用负载均衡器同步集群数据的方法，其特征在于，在用户数据和应用程序变化的情况下，通过负载均衡器将用户数据和应用程序的变化同步到集群各个服务器，以减轻应用服务器之间自身同步数据的负担，具体步骤如下：在负载均衡器上开启daemon模式作为服务器端，此时其873端口打开，等待同步端服务器连接；当连接时，daemon服务器端会检查密码是否相符，通过验证则进行文件传输，第一次连接时，会把指定路径下的文件全部进行传输，下一次就只传输此路径下文件有修改的部分；
在负载均衡集群中，前端负载均衡器接入，以daemon模式运行rsync，另外的业务服务器则以客户端的身份运行rsync，由于业务服务器配置及内容相同，故在部署的时候只需在一台服务器里部署完毕，其余的服务器只要运行rsync进行同步即可；
通过负载均衡器的管理页面手动建立rsync服务器，由一个以上的模块结构组成，一个模块对应需要备份的一个目录树，有两个以上目录树需要备份，需要定义两个以上的模块，分别对应各自的目录树，而且各个模块要建立对应的用户并授权，数据同步的时候就是通过授权用户去同步模块指定的文件夹或者文件；
文件配置完毕以后，就需要启动rsyncd服务，在确定服务器端正确配置并开启服务后，执行同步指令让服务器使用客户端来同步数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210088777.9A CN102611758B (zh) | 2012-03-30 | 2012-03-30 | 一种利用负载均衡器同步集群数据的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210088777.9A CN102611758B (zh) | 2012-03-30 | 2012-03-30 | 一种利用负载均衡器同步集群数据的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102611758A CN102611758A (zh) | 2012-07-25 |
| CN102611758B true CN102611758B (zh) | 2016-08-17 |
Family
ID=46528908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210088777.9A Active CN102611758B (zh) | 2012-03-30 | 2012-03-30 | 一种利用负载均衡器同步集群数据的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102611758B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102916974A (zh) * | 2012-11-07 | 2013-02-06 | 曙光信息产业股份有限公司 | 集群配置更新方法 |
| CN105391737B (zh) * | 2015-12-14 | 2016-11-23 | 福建六壬网安股份有限公司 | 一种负载均衡主机群文件同步处理方法 |
| CN109587062B (zh) * | 2018-12-07 | 2021-05-25 | 北京金山云网络技术有限公司 | 负载均衡信息同步的方法、装置和处理设备 |
| CN115277679B (zh) * | 2022-07-29 | 2024-04-12 | 山石网科通信技术股份有限公司 | 文件同步方法和系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1599351A (zh) * | 2003-12-17 | 2005-03-23 | 浪潮电子信息产业股份有限公司 | 构建高性价比机群网络负载均衡转发器的方法 |
| CN101207550A (zh) * | 2007-03-16 | 2008-06-25 | 中国科学技术大学 | 负载均衡系统及多种业务实现负载均衡的方法 |
| CN101631143A (zh) * | 2009-08-27 | 2010-01-20 | 中兴通讯股份有限公司 | 负载均衡环境中多服务器系统及其文件传输方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE60131900T2 (de) * | 2000-10-26 | 2008-12-04 | Flood, James C. jun., Portland | Verfahren und system zur verwaltung von verteilten inhalten und verwandten metadaten |
-
2012
- 2012-03-30 CN CN201210088777.9A patent/CN102611758B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1599351A (zh) * | 2003-12-17 | 2005-03-23 | 浪潮电子信息产业股份有限公司 | 构建高性价比机群网络负载均衡转发器的方法 |
| CN101207550A (zh) * | 2007-03-16 | 2008-06-25 | 中国科学技术大学 | 负载均衡系统及多种业务实现负载均衡的方法 |
| CN101631143A (zh) * | 2009-08-27 | 2010-01-20 | 中兴通讯股份有限公司 | 负载均衡环境中多服务器系统及其文件传输方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102611758A (zh) | 2012-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103403707B (zh) | 用于数据库代理请求交换的系统和方法 | |
| CN102724189B (zh) | 一种控制用户url访问的方法及装置 | |
| CN110009201B (zh) | 一种基于区块链技术的电力数据链接系统及方法 | |
| Yang et al. | Blockchain-based secure distributed control for software defined optical networking | |
| CN102611758B (zh) | 一种利用负载均衡器同步集群数据的方法 | |
| CN103475726A (zh) | 一种虚拟桌面管理方法、服务器和客户端 | |
| US20080162690A1 (en) | Application Management System | |
| CN105991361A (zh) | 一种云计算平台中云服务器的监控方法和监控系统 | |
| CN103238308A (zh) | 使用上下文映射和植入值的通过应用层的身份传播 | |
| WO2017071337A1 (zh) | 管理数据库表数据的方法、装置及系统 | |
| CN105553999A (zh) | 应用程序用户行为分析和安全控制方法及其相应的装置 | |
| CN103929477B (zh) | 基于Http协议的系统间无耦合集成模拟方法及系统 | |
| CN103927167A (zh) | 一种功能粒度的高度定制化的系统集成方法 | |
| CN104580081A (zh) | 一种集成式单点登录系统 | |
| CN104363306A (zh) | 一种企业私有云管理控制方法 | |
| Andreetto et al. | Merging OpenStack-based private clouds: the case of CloudVeneto. it | |
| CN105376347A (zh) | 一种ip地址分配方法及系统 | |
| CN102594798A (zh) | 一种连接数据库的代理方法及系统 | |
| CN106779481A (zh) | 一种基于互联网的企业商务管理信息综合服务系统 | |
| CN105391737B (zh) | 一种负载均衡主机群文件同步处理方法 | |
| CN105100068A (zh) | 一种实现单点登录的系统及方法 | |
| CN106230925A (zh) | 一种访问控制方法及装置 | |
| CN103546504B (zh) | 基于应用层隔离的负载均衡设备虚拟化系统及方法 | |
| CN103379148A (zh) | 一种云计算器及其处理文件的方法 | |
| CN114244548B (zh) | 一种面向云ide的动态调度和用户认证方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |