CN103491137A - 数据同步系统和数据同步方法 - Google Patents

Abstract

本发明提供了一种数据同步系统，主服务器包括：数据获取单元，用于从数据源获取更新数据或事务；数据分发单元，用于将所述更新数据或事务分发至所有连接至所述主服务器的数据服务器；每个所述数据服务器包括：数据存储单元，用于存储所述主服务器分发的所述更新数据或事务；每个客户端包括：数据同步单元，用于自行向相连的数据服务器获取所述更新数据或事务，以维护每个所述客户端自身的数据同步状态。本发明还提出了一种数据同步方法。通过本发明的技术方案，可以通过由每个客户端维护自身的数据同步状态，从而不需要服务器端的集中协调和管理，有助于简化系统结构和管理复杂度，提高了系统的可用性和可靠性。

Description

数据同步系统和数据同步方法

技术领域

本发明涉及数据同步技术领域，具体而言，涉及一种数据同步系统和一种数据同步方法。

背景技术

在企业的IT环境中，通常需要多个系统的数据集成，某个系统中数据和变化需要及时同步到其他系统，例如，企业销售系统的业务数据，需要接近实时地同步到ERP、BI/DW、CRM和搜索引擎等系统中。

现有的数据同步技术主要分2类。1类是关系数据库系统（RDBMS）提供的数据复制，其数据复制用于数据库系统之间数据复制，适用的应用场景很有限；另1类是定制开发的数据同步软件，其通常使用集中的服务器来管理和维护客户端（目标端）的状态，增加了系统的复杂度，也限制了系统的可伸缩性。

因此，如何提供一种适用于各种场景、简单可靠的数据同步技术，成为目前亟待解决的技术问题。

发明内容

本发明正是基于上述问题，提出了一种新的数据同步技术，可以通过由每个客户端维护自身的数据同步状态，从而不需要服务器端的集中协调和管理，有助于简化系统结构和管理复杂度，提高了系统的可用性和可靠性。

有鉴于此，本发明提出了一种数据同步系统，包括主服务器、连接至所述主服务器的一个或多个数据服务器，且每个所述数据服务器与一个或多个客户端相连，其中，所述主服务器包括：数据获取单元，用于从数据源获取更新数据或事务；数据分发单元，用于将所述更新数据或事务分发至所有连接至所述主服务器的数据服务器；每个所述数据服务器包括：数据存储单元，用于存储所述主服务器分发的所述更新数据或事务；每个所述客户端包括：数据同步单元，用于自行向相连的数据服务器获取所述更新数据或事务，以维护每个所述客户端自身的数据同步状态。

在该技术方案中，通过由客户端自行维护自身的数据同步状态，使得数据服务器仅需要执行更新数据的存储，而主服务器也仅需执行更新数据的获取和向数据服务器的分发操作，无需由数据服务器或主服务器或其他单独的服务器来对客户端的数据同步操作进行管理，有助于简化系统结构和管理结构，也使得整个系统结构更容易实现伸缩，提高了系统的运行可靠性。

在上述技术方案中，优选地，每个所述客户端的所述数据同步单元周期性地、和/或在无法顺利完成预设的操作时，向相连的数据服务器发出数据更新请求，以获取所述数据服务器存储的更新数据或事务。

在该技术方案中，客户端可以默认设置或由用户自定义数据同步周期，比如24小时，则客户端可以自动查询和下载更新数据，及时完成数据同步操作，具体地，可以将数据同步的时刻设置为凌晨等，从而用户在使用客户端时，总是能够顺利使用，无需等待实时的数据更新。或者，基于用户的实际需求，可以仅在客户端依靠已有数据无法完全具体的操作时，才向数据服务器提请数据同步，由于数据更新可能并不经常发生，因而可以显著地降低过多的查询给客户端和数据服务器造成额外的压力。

在上述任一技术方案中，优选地，每个所述客户端的所述数据同步单元根据向相连的数据服务器发出的数据更新请求，从所述相连的数据服务器获取全量数据或增量数据。

在该技术方案中，通过下载全量数据，可以避免补丁数据与原有数据之间可能存在的不兼容等问题；而通过下载增量数据，可以有助于减少数据交互量，提高数据同步效率。

在上述任一技术方案中，优选地，所述主服务器还包括：标识设置单元，用于按照预设顺序，为每次从所述数据源获取的所述更新数据或事务设置对应的数据标识，以供每个所述数据服务器的所述数据存储单元将所述更新数据或事务与所述数据标识进行关联存储；每个所述客户端还包括：结果判断单元，用于根据本次数据同步和上次数据同步时分别获取的数据标识是否按所述预设顺序进行排列，从而判断数据同步是否成功。

在该技术方案中，通过设置数据标识，使得依次生成的更新数据的数据标识之间按照预设顺序进行排列，从而客户端可以据此检查获取的更新数据是否发生了遗漏或重复，避免使用错误的更新数据而导致更新失败。

在上述任一技术方案中，优选地，所述数据同步单元还用于：将相应的客户端在上次数据同步时获取的数据标识发送至相连的数据服务器，以供所述相连的数据服务器确定是否存在新的更新数据或事务。

在该技术方案中，客户端还可以直接将数据标识发送给数据服务器，由数据服务器基于该数据标识，与最新的更新数据进行比较，即可了解客户端是否需要执行数据更新，从而有助于减少数据交互次数，提升交互效率。

根据本发明的又一方面，还提出了一种数据同步方法，包括：步骤202，主服务器将从数据源获取的更新数据或事务分发至所有连接至所述主服务器的数据服务器，以供每个所述数据服务器分别进行存储；步骤204，每个所述数据服务器与一个或多个客户端相连，且每个所述客户端自行向相连的数据服务器获取所述更新数据或事务，以维护自身的数据同步状态。

在该技术方案中，通过由客户端自行维护自身的数据同步状态，使得数据服务器仅需要执行更新数据的存储，而主服务器也仅需执行更新数据的获取和向数据服务器的分发操作，无需由数据服务器或主服务器或其他单独的服务器来对客户端的数据同步操作进行管理，有助于简化系统结构和管理结构，也使得整个系统结构更容易实现伸缩，提高了系统的运行可靠性。

在上述技术方案中，优选地，所述每个所述客户端自行维护自身的数据同步状态的过程包括：每个所述客户端周期性地、和/或在无法顺利完成预设的操作时，向相连的数据服务器发出数据更新请求，以获取所述数据服务器存储的更新数据或事务。

在该技术方案中，客户端可以默认设置或由用户自定义数据同步周期，比如24小时，则客户端可以自动查询和下载更新数据，及时完成数据同步操作，具体地，可以将数据同步的时刻设置为凌晨等，从而用户在使用客户端时，总是能够顺利使用，无需等待实时的数据更新。或者，基于用户的实际需求，可以仅在客户端依靠已有数据无法完全具体的操作时，才向数据服务器提请数据同步，由于数据更新可能并不经常发生，因而可以显著地降低过多的查询给客户端和数据服务器造成额外的压力。

在上述任一技术方案中，优选地，还包括：每个所述客户端根据向相连的数据服务器发出的数据更新请求，从所述相连的数据服务器获取全量数据或增量数据。

在该技术方案中，通过下载全量数据，可以避免补丁数据与原有数据之间可能存在的不兼容等问题；而通过下载增量数据，可以有助于减少数据交互量，提高数据同步效率。

在上述任一技术方案中，优选地，还包括：所述主服务器按照预设顺序，为每次从所述数据源获取的所述更新数据或事务设置对应的数据标识，以供每个所述数据服务器将所述更新数据或事务与所述数据标识进行关联存储；每个所述客户端根据本次数据同步和上次数据同步时分别获取的数据标识是否按所述预设顺序进行排列，从而判断数据同步是否成功。

在该技术方案中，通过设置数据标识，使得依次生成的更新数据的数据标识之间按照预设顺序进行排列，从而客户端可以据此检查获取的更新数据是否发生了遗漏或重复，避免使用错误的更新数据而导致更新失败。

在上述任一技术方案中，优选地，还包括：每个所述客户端将上次数据同步时获取的数据标识发送至相连的数据服务器，以供所述相连的数据服务器确定是否存在新的更新数据或事务。

在该技术方案中，客户端还可以直接将数据标识发送给数据服务器，由数据服务器基于该数据标识，与最新的更新数据进行比较，即可了解客户端是否需要执行数据更新，从而有助于减少数据交互次数，提升交互效率。

通过以上技术方案，可以通过由每个客户端维护自身的数据同步状态，从而不需要服务器端的集中协调和管理，有助于简化系统结构和管理复杂度，提高了系统的可用性和可靠性。

附图说明

图1A示出了根据本发明的实施例的数据同步系统的结构示意图；

图1B示出了根据本发明的实施例的数据同步系统的示意框图；

图2示出了根据本发明的实施例的数据同步方法的流程示意图；

图3示出了根据本发明的实施例的数据同步方法的具体流程示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

图1A示出了根据本发明的实施例的数据同步系统的结构示意图。

如图1A所示，根据本发明的实施例的数据同步系统100，包括：主服务器102、数据服务器104和客户端106，其中，主服务器102与一个或多个数据服务器104相连，且每个数据服务器104与一个或多个客户端106相连，从而构成了图1所示的数据同步系统100。

图1B示出了根据本发明的实施例的数据同步系统的示意框图。

如图1B所示，根据本发明的实施例的数据同步系统100中，所述主服务器102包括：数据获取单元102A，用于从数据源获取更新数据或事务；数据分发单元102B，用于将所述更新数据或事务分发至所有连接至所述主服务器120的数据服务器104；每个所述数据服务器104包括：数据存储单元104A，用于存储所述主服务器102分发的所述更新数据或事务；每个所述客户端106包括：数据同步单元106A，用于自行向相连的数据服务器104获取所述更新数据或事务，以维护每个所述客户端106自身的数据同步状态。

在该技术方案中，通过由客户端106自行维护自身的数据同步状态，使得数据服务器104仅需要执行更新数据的存储，而主服务器102也仅需执行更新数据的获取和向数据服务器104的分发操作，无需由数据服务器104或主服务器102或其他单独的服务器来对客户端106的数据同步操作进行管理，有助于简化系统结构和管理结构，也使得整个系统结构更容易实现伸缩，提高了系统的运行可靠性。

在上述技术方案中，优选地，每个所述客户端106的所述数据同步单元106A周期性地、和/或在无法顺利完成预设的操作时，向相连的数据服务器104发出数据更新请求，以获取所述数据服务器104存储的更新数据或事务。

在该技术方案中，客户端106可以默认设置或由用户自定义数据同步周期，比如24小时，则客户端106可以自动查询和下载更新数据，及时完成数据同步操作，具体地，可以将数据同步的时刻设置为凌晨等，从而用户在使用客户端106时，总是能够顺利使用，无需等待实时的数据更新。或者，基于用户的实际需求，可以仅在客户端106依靠已有数据无法完全具体的操作时，才向数据服务器104提请数据同步，由于数据更新可能并不经常发生，因而可以显著地降低过多的查询给客户端106和数据服务器104造成额外的压力。

在上述任一技术方案中，优选地，每个所述客户端106的所述数据同步单元106A根据向相连的数据服务器104发出的数据更新请求，从所述相连的数据服务器104获取全量数据或增量数据。

在该技术方案中，通过下载全量数据，可以避免补丁数据与原有数据之间可能存在的不兼容等问题；而通过下载增量数据，可以有助于减少数据交互量，提高数据同步效率。

在上述任一技术方案中，优选地，所述主服务器102还包括：标识设置单元102C，用于按照预设顺序，为每次从所述数据源获取的所述更新数据或事务设置对应的数据标识，以供每个所述数据服务器104的所述数据存储单元104A将所述更新数据或事务与所述数据标识进行关联存储；每个所述客户端106还包括：结果判断单元106B，用于根据本次数据同步和上次数据同步时分别获取的数据标识是否按所述预设顺序进行排列，从而判断数据同步是否成功。

在该技术方案中，通过设置数据标识，使得依次生成的更新数据的数据标识之间按照预设顺序进行排列，从而客户端106可以据此检查获取的更新数据是否发生了遗漏或重复，避免使用错误的更新数据而导致更新失败。

在上述任一技术方案中，优选地，所述数据同步单元106A还用于：将相应的客户端106在上次数据同步时获取的数据标识发送至相连的数据服务器104，以供所述相连的数据服务器104确定是否存在新的更新数据或事务。

在该技术方案中，客户端还可以直接将数据标识发送给数据服务器，由数据服务器基于该数据标识，与最新的更新数据进行比较，即可了解客户端是否需要执行数据更新，从而有助于减少数据交互次数，提升交互效率。

图2示出了根据本发明的实施例的数据同步方法的流程示意图。

如图2所示，根据本发明的实施例的数据同步方法，包括：步骤202，主服务器将从数据源获取的更新数据或事务分发至所有连接至所述主服务器的数据服务器，以供每个所述数据服务器分别进行存储；步骤204，每个所述数据服务器与一个或多个客户端相连，且每个所述客户端自行向相连的数据服务器获取所述更新数据或事务，以维护自身的数据同步状态。

在该技术方案中，通过由客户端自行维护自身的数据同步状态，使得数据服务器仅需要执行更新数据的存储，而主服务器也仅需执行更新数据的获取和向数据服务器的分发操作，无需由数据服务器或主服务器或其他单独的服务器来对客户端的数据同步操作进行管理，有助于简化系统结构和管理结构，也使得整个系统结构更容易实现伸缩，提高了系统的运行可靠性。

在上述技术方案中，优选地，所述每个所述客户端自行维护自身的数据同步状态的过程包括：每个所述客户端周期性地、和/或在无法顺利完成预设的操作时，向相连的数据服务器发出数据更新请求，以获取所述数据服务器存储的更新数据或事务。

在该技术方案中，客户端可以默认设置或由用户自定义数据同步周期，比如24小时，则客户端可以自动查询和下载更新数据，及时完成数据同步操作，具体地，可以将数据同步的时刻设置为凌晨等，从而用户在使用客户端时，总是能够顺利使用，无需等待实时的数据更新。或者，基于用户的实际需求，可以仅在客户端依靠已有数据无法完全具体的操作时，才向数据服务器提请数据同步，由于数据更新可能并不经常发生，因而可以显著地降低过多的查询给客户端和数据服务器造成额外的压力。

在上述任一技术方案中，优选地，还包括：每个所述客户端根据向相连的数据服务器发出的数据更新请求，从所述相连的数据服务器获取全量数据或增量数据。

在该技术方案中，通过下载全量数据，可以避免补丁数据与原有数据之间可能存在的不兼容等问题；而通过下载增量数据，可以有助于减少数据交互量，提高数据同步效率。

在上述任一技术方案中，优选地，还包括：所述主服务器按照预设顺序，为每次从所述数据源获取的所述更新数据或事务设置对应的数据标识，以供每个所述数据服务器将所述更新数据或事务与所述数据标识进行关联存储；每个所述客户端根据本次数据同步和上次数据同步时分别获取的数据标识是否按所述预设顺序进行排列，从而判断数据同步是否成功。

在该技术方案中，通过设置数据标识，使得依次生成的更新数据的数据标识之间按照预设顺序进行排列，从而客户端可以据此检查获取的更新数据是否发生了遗漏或重复，避免使用错误的更新数据而导致更新失败。

在上述任一技术方案中，优选地，还包括：每个所述客户端将上次数据同步时获取的数据标识发送至相连的数据服务器，以供所述相连的数据服务器确定是否存在新的更新数据或事务。

在该技术方案中，客户端还可以直接将数据标识发送给数据服务器，由数据服务器基于该数据标识，与最新的更新数据进行比较，即可了解客户端是否需要执行数据更新，从而有助于减少数据交互次数，提升交互效率。

图3示出了根据本发明的实施例的数据同步方法的具体流程示意图。

如图3所示，根据本发明的实施例的数据同步方法的具体流程包括：

步骤302，主服务器从数据源获取更新数据或变化。

步骤304，由于数据源需要同步至主服务器的每条更新数据或变化，都具有对应的顺序和唯一的标识，因而主服务器可以据此为每条更新数据或变化添加对应的唯一标识（如UCDI：Unique Changed Data Identity，唯一的数据或变化标识），然后持久化上述更新数据或标识。

其中，添加唯一标识的方式，应当是主服务器、数据服务器和客户端事先协商或至少是相互了解的，从而通过添加唯一标识，使得每条更新数据或变化变得有据可循，容易更加确定多条更新数据或变化之间的关系。

步骤306，主服务器将更新数据或变化分发至数据服务器。具体地，可以将更新数据或变化存储至数据服务器的内存中，从而便于提升客户端的访问速度。

步骤308，客户端从数据服务器获取更新数据或变化。

步骤310，客户端还将获取的更新数据或变化的唯一标识添加并存储至相应的事务中，以便随时能够获取和使用。

步骤312，客户端获取上次获取的更新数据或变化的唯一标识，以查询当前是否存在新的更新数据或变化。

具体地，客户端可以将上次获取的更新数据或变化的唯一标识发送至数据服务器，使得数据服务器可以将其与最新的更新数据或变化的唯一标识进行比较，以确定是否存在可以提供给客户端的新的更新数据或变化。

步骤314，若客户端上传的唯一标识与最新的更新数据或变化的唯一标识不一致，则客户端获取新的更新数据或变化。

当然，“新的更新数据或变化”可以理解为：相比于客户端原来已有的数据而言，新增的更新数据或变化的部分（增量更新）；也可以理解为：包含新增的更新数据或变化的部分的所有数据（全量更新）。

步骤316，由于每条更新数据或变化的唯一标识之间存在预设的规律，因而客户端可以根据多个唯一标识之间是否符合上述规律，从而确定当前获取的更新数据或变化是否正确，比如是否与之前的更新数据或变化重复，或是否发生了遗漏等。

其中，如果客户端为了优化网络流量，在数据服务器使用了过滤器，使得执行了增量更新，那么数据服务器返回新增的更新数据或变化时，可以返回2个UCDI号，1个是之前获取的更新数据或变化的UCDI号，1个是当前获取的更新数据或变化的UCDI号。客户端可以通过这2个号和上次成功同步的UCDI比较，判断数据是否有丢失或重复。

此外，数据服务器可以按集群部署，则当更新数据或变化的数据量或者客户端增加，可以动态地增加数据服务器，而现有或新的客户端可连接到新加入到集群中的数据服务器上。

还可以通过热备等方案来增加主服务器的可用性。

以上结合附图详细说明了本发明的技术方案，本发明主要实现了：

●从系统角度看，客户端是无状态的，所以为系统的可伸缩性提供了基础；

●客户端基于更新数据或变化的事务中的记录，实现维护数据同步状态，可以最大限度地确保数据或事务的一致；

●客户端单元主动检查或解决数据不一致的问题；

●降低现有管理手段的复杂性和工作强度。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据同步系统，其特征在于，包括主服务器、连接至所述主服务器的一个或多个数据服务器，且每个所述数据服务器与一个或多个客户端相连，其中，

所述主服务器包括：

数据获取单元，用于从数据源获取更新数据或事务；

数据分发单元，用于将所述更新数据或事务分发至所有连接至所述主服务器的数据服务器；

每个所述数据服务器包括：

数据存储单元，用于存储所述主服务器分发的所述更新数据或事务；

每个所述客户端包括：

数据同步单元，用于自行向相连的数据服务器获取所述更新数据或事务，以维护每个所述客户端自身的数据同步状态。

2.根据权利要求1所述的数据同步系统，其特征在于，每个所述客户端的所述数据同步单元周期性地、和/或在无法顺利完成预设的操作时，向相连的数据服务器发出数据更新请求，以获取所述数据服务器存储的更新数据或事务。

3.根据权利要求2所述的数据同步系统，其特征在于，每个所述客户端的所述数据同步单元根据向相连的数据服务器发出的数据更新请求，从所述相连的数据服务器获取全量数据或增量数据。

4.根据权利要求1至3中任一项所述的数据同步系统，其特征在于，所述主服务器还包括：

标识设置单元，用于按照预设顺序，为每次从所述数据源获取的所述更新数据或事务设置对应的数据标识，以供每个所述数据服务器的所述数据存储单元将所述更新数据或事务与所述数据标识进行关联存储；

每个所述客户端还包括：

结果判断单元，用于根据本次数据同步和上次数据同步时分别获取的数据标识是否按所述预设顺序进行排列，从而判断数据同步是否成功。

5.根据权利要求4所述的数据同步系统，其特征在于，所述数据同步单元还用于：

将相应的客户端在上次数据同步时获取的数据标识发送至相连的数据服务器，以供所述相连的数据服务器确定是否存在新的更新数据或事务。

6.一种数据同步方法，其特征在于，包括：

步骤202，主服务器将从数据源获取的更新数据或事务分发至所有连接至所述主服务器的数据服务器，以供每个所述数据服务器分别进行存储；

步骤204，每个所述数据服务器与一个或多个客户端相连，且每个所述客户端自行向相连的数据服务器获取所述更新数据或事务，以维护自身的数据同步状态。

7.根据权利要求6所述的数据同步方法，其特征在于，所述每个所述客户端自行维护自身的数据同步状态的过程包括：

每个所述客户端周期性地、和/或在无法顺利完成预设的操作时，向相连的数据服务器发出数据更新请求，以获取所述数据服务器存储的更新数据或事务。

8.根据权利要求7所述的数据同步方法，其特征在于，还包括：

每个所述客户端根据向相连的数据服务器发出的数据更新请求，从所述相连的数据服务器获取全量数据或增量数据。

9.根据权利要求6至8中任一项所述的数据同步方法，其特征在于，还包括：

所述主服务器按照预设顺序，为每次从所述数据源获取的所述更新数据或事务设置对应的数据标识，以供每个所述数据服务器将所述更新数据或事务与所述数据标识进行关联存储；

每个所述客户端根据本次数据同步和上次数据同步时分别获取的数据标识是否按所述预设顺序进行排列，从而判断数据同步是否成功。

10.根据权利要求9所述的数据同步方法，其特征在于，还包括：

每个所述客户端将上次数据同步时获取的数据标识发送至相连的数据服务器，以供所述相连的数据服务器确定是否存在新的更新数据或事务。

Images