CN105554138B - 分布式数据同步系统及方法 - Google Patents

Abstract

本发明涉及数据库应用技术领域，公开了一种分布式数据同步系统及方法。本发明中，分布式数据同步系统包含服务器总站与若干服务器子站；所有服务器子站分别与服务器总站通信连接；服务器总站为数据发送端，服务器子站为数据接收端；或者，服务器总站为数据接收端，服务器子站为数据发送端；分布式数据同步方法包含以下步骤：数据发送端实时地将所有待同步的数据按照预先配置的数据格式发送至数据接收端；其中，所有待同步的数据包含若干数据项；数据接收端实时地接收来自数据发送端的数据，并将接收的数据覆盖掉待同步的原有数据。这样，数据更新及时，且实现了压力均衡，降低了对服务器的要求，减少了对服务器的成本投入。

Description

分布式数据同步系统及方法

技术领域

本发明涉及数据库应用技术领域，特别涉及一种分布式数据同步系统及方法。

背景技术

大型企业的不同分支机构分布在不同的地区，而现代企业都要求信息化统一管理。基于此要求，目前通常有两种实现方案。一为单数据库方式，即总公司和分支机构都使用同一数据库；二为多数据库方式，即每个分支机构都使用自己独立的数据库，再将分支机构数据库里的数据与总公司数据库里的数据同步。

其中，单数据库方式的优点是数据及时，但缺点是一旦公网出现问题，将导致系统无法正常使用，并且所有的性能压力全部集中在总公司方。多数据库方式的优点是不受公网情况影响，并且性能压力分散在各个分支机构，缺点是总公司不能实时了解分支机构的数据，并且总公司与分支机构的数据在公网同步面临数据泄漏风险。

发明内容

本发明解决的问题在于提供一种分布式数据同步系统及方法，数据更新及时，且实现了压力均衡，降低了对服务器的要求，减少了对服务器的成本投入。

为解决上述技术问题，本发明的实施方式提供了一种分布式数据同步方法，应用于分布式数据同步系统，所述分布式数据同步系统包含服务器总站与若干服务器子站；所有所述服务器子站分别与所述服务器总站通信连接；所述服务器总站为数据发送端，所述服务器子站为数据接收端；或者，所述服务器总站为数据接收端，所述服务器子站为数据发送端；

所述分布式数据同步方法包含以下步骤：

数据发送端实时地将所有待同步的数据按照预先配置的数据格式发送至数据接收端；其中，所有待同步的数据包含若干数据项；

所述数据接收端实时地接收来自所述数据发送端的数据，并将接收的数据覆盖掉待同步的原有数据。

本发明的实施方式还提供了一种分布式数据同步系统，所述分布式数据同步系统包含服务器总站与若干服务器子站；所有所述服务器子站分别与所述服务器总站通信连接；所述服务器总站为数据发送端，所述服务器子站为数据接收端；或者，所述服务器总站为数据接收端，所述服务器子站为数据发送端；

所述数据发送端，实时地将所有待同步的数据按照预先配置的数据格式发送至数据接收端；其中，所有待同步的数据包含若干数据项；

所述数据接收端，实时地接收来自所述数据发送端的数据，并将接收的数据覆盖掉待同步的原有数据。

本发明实施方式相对于现有技术而言，由于服务器总站可以实时地向服务器子站发送数据，服务器子站也可以实时地向服务器总站发送数据，这样，无论服务器总站还是服务器子站数据更新都很及时，而且，由于服务器总站与各个服务器子站均保存所有同步数据，所以，即使服务器总站与各个服务器子站之间出现通信中断，服务器总站与各个服务器子站将各自分摊一部分压力，实现了压力均衡，降低了对服务器的要求，减少了对服务器的成本投入。

进一步地，在所述数据发送端实时地将所有待同步的数据按照预先配置的数据格式发送至数据接收端的步骤之前，包含以下步骤：所述数据接收端读取预先设置的配置信息，并根据所述配置信息获取待同步的数据项；所述数据接收端根据所述待同步的数据项生成数据请求包，并通过所述数据发送端的数据服务发送至所述数据发送端；所述数据发送端接收所述数据请求包，并解析所述数据请求包，得到所述待同步的数据项；在所述数据发送端将所有待同步的数据按照预先配置的数据格式发送至数据接收端的步骤中，所述数据发送端将所有所述待同步的数据项按照预先配置的数据格式逐一发送至所述数据接收端。通过分包单独传输，降低了服务器子站对通信的速度和稳定性要求，减少了对通信的成本投入。

进一步地，在所述数据发送端将所有所述待同步的数据项按照预先配置的数据格式逐一发送至所述数据接收端的步骤中，所述数据发送端将所有所述待同步的数据项分别进行加密后发送至所述数据接收端；在所述数据接收端接收来自所述数据发送端的数据，并将接收的数据覆盖掉待同步的原有数据的步骤中，包含以下子步骤：所述数据接收端对接收的数据包进行解密，得到所述待同步的数据项；所述数据接收端读取所述待同步的数据项；所述数据接收端清除所述待同步的原有数据，并将所述读取的所述待同步的数据项写入所述待同步的原有数据的存储位置。通过对发送的待同步数据进行加密，可以确保发送的待同步数据通过公网的传输安全性，因此节省了搭建VPN(虚拟专用网络)所需设备的成本投入。

进一步地，在所述数据发送端将所有所述待同步的数据项按照预先配置的数据格式逐一发送至所述数据接收端的步骤中，还包含以下步骤：将加密后的所述待同步的数据项压缩成数据包，并发送至所述数据接收端；在所述数据接收端对接收的数据包进行解密的步骤之前，包含以下步骤：所述数据接收端对接收的数据包进行解压缩。对发送的数据进行压缩后再进行传输，可以降低传输的负担，降低服务器子站对通信的速度和稳定性要求。

进一步地，在所述数据接收端实时地接收来自所述数据发送端的数据的步骤中，包含以下步骤：记录接收的数据包信息；其中，所述数据包信息包含接收端的数据请求标识(ID)、数据包数量、已接收的数据包序号；如果在所述数据接收端接收来自所述数据发送端的数据时发生数据传输中断的情况，则所述数据接收端保存已接收的数据，并在恢复数据传输后根据记录的数据包信息继续接收未接收的数据。在接收数据时，实时保存接收的数据，并记录接收的数据包信息，以避免发生数据传输中断，并在恢复数据传输后根据记录的数据包信息继续接收未接收的数据，即实现了断点续传功能，这样，可以避免数据漏传数据以及数据重复传输。

附图说明

图1是根据本发明第一实施方式中的分布式数据同步系统结构框图；

图2是根据本发明第一实施方式的分布式数据同步方法流程图；

图3是根据本发明第二实施方式的分布式数据同步方法流程图；

图4是根据本发明第三实施方式的分布式数据同步系统结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

本发明的第一实施方式涉及一种分布式数据同步方法，应用于分布式数据同步系统。在本实施方式中，分布式数据同步系统，具体如图1所示，包含服务器总站与若干服务器子站；所有服务器子站分别与服务器总站通信连接。比如，服务器总站可以用于管理总公司的数据，各个服务器子站可以分别还用于管理总公司下属的子公司的数据。而且，服务器总站可以为数据发送端，服务器子站为数据接收端，或者，服务器总站可以为数据接收端，服务器子站为数据发送端。即，服务器总站可以向服务器子站发送数据，服务器子站也可以向服务器总站发送数据。

在本实施方式中，服务器总站与所有服务器子站始终保持所有数据同步，具体地，数据发送端将所有待同步的数据按配置的数据格式一次性全部发送给数据接收端，并覆盖掉数据接收端的原有数据，保证数据接收端与数据发送端数据一致。其中，所有待同步的数据包含若干数据项。本实施方式中的分布式数据同步方法，适用于数据量小并且变动少的数据表。

本实施方式的分布式数据同步方法，具体流程如图2所示，包含以下步骤：

步骤201，数据接收端读取预先设置的配置信息，并根据配置信息获取待同步的数据项。其中，配置信息是通过配置工具预先设置的，且配置信息包含待同步的数据项信息以及待同步的数据项对应的数据格式信息。

步骤202，数据接收端根据待同步的数据项生成数据请求包，并通过数据发送端的数据服务发送至数据发送端。其中，数据请求包中包含待同步的数据项信息。

步骤203，数据发送端接收数据请求包。

步骤204，数据发送端解析数据请求包，得到待同步的数据项。具体地，数据发送端在得到待同步的数据项后，可以将所有待同步的数据项按照预设的顺序保存到传输队列中。

另外，在本步骤中，还得到待同步的数据项的数据格式。

步骤205，数据发送端根据待发送的当前数据项，读取配置信息，获取该数据项的数据格式。具体地说，数据发送端按照预设的顺序每次仅发送一个待同步的数据项。当一个数据项位于传输队列的最顶端时，该数据项为待发送的当前数据项，数据发送端读取配置信息，获取该数据项的数据格式。

步骤206，数据发送端读取待发送的数据项。

步骤207，数据发送端将待发送的数据项进行加密后发送至数据接收端。在本步骤中，数据发送端采用对称加密算法对待同步的数据项进行加密。经过加密的数据，在通过公网传输时，安全性高。

步骤208，数据接收端实时地接收来自数据发送端的数据，并记录接收的数据包信息。其中，数据包信息包含接收端的数据请求ID、数据包数量、已接收的数据包序号。

如果在数据接收端接收来自数据发送端的数据时发生数据传输中断的情况，则数据接收端保存已接收的数据，并在恢复数据传输后根据记录的数据包信息继续接收未接收的数据。在接收数据时，实时保存接收的数据，并记录接收的数据包信息，以避免发生数据传输中断，并在恢复数据传输后根据记录的数据包信息继续接收未接收的数据，即实现了断点续传功能，这样，可以避免数据漏传数据以及数据重复传输。

步骤209，数据接收端对接收的数据包进行解密，得到待同步的数据项。在本步骤中，数据接收端采用对称加密算法的逆算法对接收的数据包进行解密。

步骤210，数据接收端读取待同步的数据项。

步骤211，数据接收端清除待同步的原有数据，并将读取的待同步的数据项写入待同步的原有数据的存储位置。也就是，用读取的待同步的数据项覆盖掉清除的待同步的原有数据。

在本实施方式中，通过分包单独传输，降低了服务器子站对通信的速度和稳定性要求，减少了对通信的成本投入。

步骤212，判断数据发送端的待同步的数据项是否发送完毕。若是，则结束本流程，否则，执行步骤213，直至数据发送端的所有待同步的数据项发送完毕。

步骤213，数据发送端读取待发送的下一个数据项。具体而言，数据发送端读取位于传输队列中的下一个数据项。

在本实施方式中，数据发送端将所有待同步的数据发送至数据接收端，以覆盖掉所有待同步的原有数据，从而，保持数据发送端与数据接收端的数据同步。由于数据发送端既可以是服务器总站，也可以是服务器子站，所以服务器总站与所有服务器子站可以始终保持所有数据同步。本实施方式中的分布式数据同步方法，适用于数据量小并且变动少的数据表。

与现有技术相比，由于服务器总站可以实时地向服务器子站发送数据，服务器子站也可以实时地向服务器总站发送数据，这样，无论服务器总站还是服务器子站数据更新都很及时，而且，由于服务器总站与各个服务器子站均保存所有同步数据，所以，即使服务器总站与各个服务器子站之间出现通信中断，服务器总站与各个服务器子站将各自分摊一部分压力，实现了压力均衡，降低了对服务器的要求，减少了对服务器的成本投入。

本发明的第二实施方式涉及一种分布式数据同步系统及方法。第二实施方式与第一实施方式大致相同，主要区别之处在于：在第一实施方式中，对待同步的数据进行了加密，可以确保数据传输的安全性。而在本发明第二实施方式中，还对待同步的数据进行压缩后进行传输，这样，可以降低传输的负担，降低服务器子站对通信的速度和稳定性要求。

本实施方式中的分布式数据同步系统及方法，如图3所示，包含步骤301～315，其中，步骤301～306、309、312～315分别与第一实施方式中的步骤201～206、208、210～213相似，在此不再赘述。下面仅介绍不同之处：

步骤307，数据发送端将待发送的数据项进行加密。在本步骤中，数据发送端可以采用AES(高级加密标准)加密算法对待发送的数据项进行加密。

步骤308，将加密后的待同步的数据项压缩成数据包，并发送至数据接收端。对发送的数据进行压缩后再进行传输，可以降低传输的负担，降低服务器子站对通信的速度和稳定性要求。

在本步骤中，具体可以采用ZIP压缩算法对待同步的数据项进行压缩。

步骤310，数据接收端对接收的数据包进行解压缩。在本步骤中，数据接收端采用压缩算法的逆算法对接收的数据包进行解压缩。

步骤311，数据接收端对解压缩的数据包进行解密，得到待同步的数据项。

总之，在本实施方式中，在数据发送端将待同步的数据项发送至数据接收端之前，依次进行加密、压缩，在传输时采用分包单传，并采用断点续传技术，这样，既确保数据在公网的传输安全性，节省了搭建VPN所需设备的成本投入，还降低了服务器子站对接入公网的速度和稳定性要求，减少了对接入公网的成本投入。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第三实施方式涉及一种分布式数据同步系统，如图1所示，该分布式数据同步系统包含服务器总站与若干服务器子站；所有服务器子站分别与服务器总站通信连接；服务器总站为数据发送端，服务器子站为数据接收端；或者，服务器总站为数据接收端，服务器子站为数据发送端。

数据发送端，实时地将所有待同步的数据按照预先配置的数据格式发送至数据接收端；其中，所有待同步的数据包含若干数据项。

数据接收端，实时地接收来自数据发送端的数据，并将接收的数据覆盖掉待同步的原有数据。

其中，数据发送端包含第一接收模块、解析模块、数据服务模块与第一发送模块；数据接收端包含配置模块、获取模块、转换模块、第二发送模块与第二接收模块。

配置模块，用于预先设置配置信息。

获取模块，用于读取配置模块中预先设置的配置信息，并根据配置信息获取待同步的数据项。

转换模块，用于根据待同步的数据项生成数据请求包。

第二发送模块，用于通过数据服务模块将数据请求包发送至第一接收模块。

第一接收模块，用于接收来自第二发送模块的数据请求包。

解析模块，用于解析第一接收模块接收的数据请求包，得到待同步的数据项。

第一发送模块，用于将所有待同步的数据项按照预先配置的数据格式逐一发送至第二接收模块。

而且，数据发送端还包含加密模块；数据接收端包含解密模块、清除模块与写模块。

加密模块，用于将所有待同步的数据项分别进行加密后经第一发送模块发送至第二接收模块。

第二接收模块，用于将接收的数据发送至解密模块进行解密，得到待同步的数据项。

获取模块，用于读取待同步的数据项。

清除模块，用于清除待同步的原有数据。

写模块，用于将所述获取模块读取的待同步的数据项写入待同步的原有数据的存储位置。

在实际应用时，分布式数据同步系统，如图4所示，可以包含：服务器总站与若干服务器子站。服务器子站与服务器总站通信连接。服务器总站可以为总公司的服务器，服务器子站可以为总公司下属的子公司的服务器。

其中，服务器总站包含配置工具、数据库模块、应用程序模块以及数据服务模块；数据库模块与配置工具、应用程序、数据服务模块均相连。

配置工具，用于配置待同步数据的配置信息。

数据库模块，用于储存数据表。

应用程序模块，用于加密、解密、压缩、解压缩数据包。

服务器子站包含：数据库模块、应用程序模块与传输组件。数据库模块与应用程序、传输组件分别相连。

数据库模块，用于储存数据表。

应用程序模块，用于加密、解密、压缩、解压缩数据包。

传输组件，用于实时传输数据包。

不难发现，本实施方式为与第一实施方式相对应的系统实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本发明第四实施方式涉及一种分布式数据同步系统。第四实施方式与第三实施方式大致相同，主要区别之处在于：在第三实施方式中，分布式数据同步系统包含加密模块，用于对待同步的数据进行了加密，可以确保数据传输的安全性。而在本发明第四实施方式中，还包含压缩模块，用于对待同步的数据进行压缩后进行传输，这样，可以降低传输的负担，降低服务器子站对通信的速度和稳定性要求。

具体地说，数据发送端还包含压缩模块；数据接收端还包含解压缩模块。

压缩模块，用于对加密模块加密后的数据进行压缩后经第一发送模块发送至第二接收模块。

解压缩模块，用于对第二接收模块接收的数据进行解压缩后发送至解密模块。

由于第二实施方式与本实施方式相互对应，因此本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，在第二实施方式中所能达到的技术效果在本实施方式中也同样可以实现，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (8)

1.一种分布式数据同步方法，应用于分布式数据同步系统，其特征在于，所述分布式数据同步系统包含服务器总站与若干服务器子站；所有所述服务器子站分别与所述服务器总站通信连接；所述服务器总站为数据发送端，所述服务器子站为数据接收端；或者，所述服务器总站为数据接收端，所述服务器子站为数据发送端；

所述分布式数据同步方法包含以下步骤：

所述数据接收端读取预先设置的配置信息，并根据所述配置信息获取待同步的数据项；

所述数据接收端根据所述待同步的数据项生成数据请求包，并通过所述数据发送端的数据服务发送至所述数据发送端；

所述数据发送端接收所述数据请求包，并解析所述数据请求包，得到所述待同步的数据项；

数据发送端实时地将所有待同步的数据按照预先配置的数据格式发送至数据接收端；其中，所有待同步的数据包含若干数据项；

所述数据接收端实时地接收来自所述数据发送端的数据，并将接收的数据覆盖掉待同步的原有数据；

其中，在所述数据发送端将所有待同步的数据按照预先配置的数据格式发送至数据接收端的步骤中，

所述数据发送端将所有所述待同步的数据项按照预先配置的数据格式逐一发送至所述数据接收端。

2.根据权利要求1所述的分布式数据同步方法，其特征在于，在所述数据发送端将所有所述待同步的数据项按照预先配置的数据格式逐一发送至所述数据接收端的步骤中，

所述数据发送端将所有所述待同步的数据项分别进行加密后发送至所述数据接收端；

在所述数据接收端接收来自所述数据发送端的数据，并将接收的数据覆盖掉待同步的原有数据的步骤中，包含以下子步骤：

所述数据接收端对接收的数据包进行解密，得到所述待同步的数据项；

所述数据接收端读取所述待同步的数据项；

所述数据接收端清除所述待同步的原有数据，并将所述读取的所述待同步的数据项写入所述待同步的原有数据的存储位置。

3.根据权利要求2所述的分布式数据同步方法，其特征在于，在所述数据发送端对所述待同步的数据项进行加密的步骤中，

所述数据发送端采用对称加密算法对所述待同步的数据项进行加密；

在所述数据接收端对接收的数据包进行解密的步骤中，

所述数据接收端采用所述对称加密算法的逆算法对接收的数据包进行解密。

4.根据权利要求2所述的分布式数据同步方法，其特征在于，在所述数据发送端将所有所述待同步的数据项按照预先配置的数据格式逐一发送至所述数据接收端的步骤中，还包含以下步骤：

将加密后的所述待同步的数据项压缩成数据包，并发送至所述数据接收端；

在所述数据接收端对接收的数据包进行解密的步骤之前，包含以下步骤：

所述数据接收端对接收的数据包进行解压缩。

5.根据权利要求1所述的分布式数据同步方法，其特征在于，在所述数据接收端实时地接收来自所述数据发送端的数据的步骤中，包含以下步骤：

记录接收的数据包信息；其中，所述数据包信息包含接收端的数据请求标识ID、数据包数量、已接收的数据包序号；

如果在所述数据接收端接收来自所述数据发送端的数据时发生数据传输中断的情况，则所述数据接收端保存已接收的数据，并在恢复数据传输后根据记录的数据包信息继续接收未接收的数据。

6.一种分布式数据同步系统，其特征在于，所述分布式数据同步系统包含服务器总站与若干服务器子站；所有所述服务器子站分别与所述服务器总站通信连接；所述服务器总站为数据发送端，所述服务器子站为数据接收端；或者，所述服务器总站为数据接收端，所述服务器子站为数据发送端；

所述数据发送端，实时地将所有待同步的数据按照预先配置的数据格式发送至数据接收端；其中，所有待同步的数据包含若干数据项；

所述数据接收端，实时地接收来自所述数据发送端的数据，并将接收的数据覆盖掉待同步的原有数据；

其中，所述数据发送端包含第一接收模块、解析模块、数据服务模块与第一发送模块；所述数据接收端包含配置模块、获取模块、转换模块、第二发送模块与第二接收模块；

所述配置模块，用于预先设置配置信息；

所述获取模块，用于读取所述配置模块中预先设置的配置信息，并根据所述配置信息获取待同步的数据项；

所述转换模块，用于根据所述待同步的数据项生成数据请求包；

所述第二发送模块，用于通过所述数据服务模块将所述数据请求包发送至所述第一接收模块；

所述第一接收模块，用于接收来自所述第二发送模块的数据请求包；

所述解析模块，用于解析所述第一接收模块接收的所述数据请求包，得到所述待同步的数据项；

所述第一发送模块，用于将所有所述待同步的数据项按照预先配置的数据格式逐一发送至所述第二接收模块。

7.根据权利要求6所述的分布式数据同步系统，其特征在于，所述数据发送端还包含加密模块；所述数据接收端包含解密模块、清除模块与写模块；

所述加密模块，用于将所有所述待同步的数据项分别进行加密后经所述第一发送模块发送至所述第二接收模块；

所述第二接收模块，用于将接收的数据发送至所述解密模块进行解密，得到所述待同步的数据项；

所述获取模块，用于读取所述待同步的数据项；

所述清除模块，用于清除所述待同步的原有数据；

所述写模块，用于将所述所述获取模块读取的所述待同步的数据项写入所述待同步的原有数据的存储位置。

8.根据权利要求7所述的分布式数据同步系统，其特征在于，所述数据发送端还包含压缩模块；所述数据接收端还包含解压缩模块；

所述压缩模块，用于对所述加密模块加密后的数据进行压缩后经所述第一发送模块发送至所述第二接收模块；

所述解压缩模块，用于对所述第二接收模块接收的数据进行解压缩后发送至所述解密模块。