CN109783580A - 数据同步方法及装置 - Google Patents

Abstract

本发明提供一种数据同步方法及装置，涉及数据处理技术领域。其中，该方法包括：通过待同步数据对目标数据库更新，获取待同步数据的更新结果；根据更新结果，获取待同步数据中更新失败数据对应的标识；将标识对应的待同步数据增加到目标数据库，从而实现了通过待同步数据先对目标数据库更新，之后对于更新结果为更新失败的数据，将其增加到目标数据库中，可以省去对目标数据库中数据的查询过程，提高目标数据库中数据更新、新增的同步效率。

Description

数据同步方法及装置

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种数据同步方法及装置。

背景技术

在一些系统集成应用中或者需要进行数据同步的多个系统中，当一个系统的数据发生变化时，需要通知另一个系统更新数据，使两个系统的数据保持一致，即数据同步处理。比如：台式电脑与笔记本电脑之间的数据同步、手机和笔记本电脑之间的数据同步。

现有的数据同步处理方法中，比如要基于某条数据对目标数据库进行更新，首先会查询目标数据库中是否存在该条数据，如果存在，对目标数据库中该条数据需要更新的部分进行更新即可；否则，将该条数据插入到目标数据库，实现对目标数据库中数据的新增。

但采用现有的数据同步处理方法对目标数据库进行更新时，特别是对于一些大数据量的数据更新时，需要对每条数据进行查询，才能确定是更新目标数据库还是新增数据库，执行效率比较低。

发明内容

本发明的目的在于，针对上述现有技术中的不足，提供一种数据同步方法及装置，以解决现有技术中对目标数据库进行更新，更新效率低的问题。

为实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种数据同步方法，包括：

通过待同步数据对目标数据库更新，获取待同步数据的更新结果，更新结果包括更新成功或者更新失败；根据更新结果，获取待同步数据中更新失败数据对应的标识；将标识对应的待同步数据增加到目标数据库。

可选地，通过待同步数据对目标数据库更新的步骤之前，还包括：获取待同步数据；确定待同步数据大于预设阈值时，将待同步数据拆分成若干个小于预设阈值的数据集。

可选地，通过待同步数据对目标数据库更新，获取待同步数据的更新结果的步骤，包括：

通过数据集中任意一条数据对目标数据库中任意一条数据进行更新，其中，基于数据集中的一条数据对目标数据库中一条数据进行更新，包括：当能够更新时，获取数据集中一条数据的更新结果为更新成功；当不能更新时，获取数据集中一条数据的更新结果为更新失败。

可选地，根据更新结果获取待同步数据更新失败数据对应的标识的步骤，包括：根据更新结果记录数据集中每一条更新失败的数据，获取每一条更新失败数据对应的标识。

可选地，该方法还包括：生成对目标数据库同步的操作指令，操作指令用于指示通过待同步数据对目标数据库进行更新和/或新增的操作；根据操作指令对目标数据库进行更新和/或新增。

第二方面，本发明实施例还提供了一种数据同步装置，包括更新模块、获取模块和增加模块。

更新模块，用于通过待同步数据对目标数据库更新，获取待同步数据的更新结果，更新结果包括更新成功或者更新失败；获取模块，用于根据更新结果，获取待同步数据中更新失败数据对应的标识；增加模块，用于将标识对应的待同步数据增加到目标数据库。

可选地，该装置还包括数据获取模块和拆分模块。

数据获取模块，用于获取待同步数据；拆分模块，用于确定待同步数据大于预设阈值时，将待同步数据拆分成若干个小于预设阈值的数据集。

可选地，更新模块，具体用于通过数据集中任意一条数据对目标数据库中任意一条数据进行更新，其中，基于数据集中的一条数据对目标数据库中一条数据进行更新，包括：当能够更新时，获取数据集中一条数据的更新结果为更新成功；当不能更新时，获取数据集中一条数据的更新结果为更新失败。

可选地，获取模块，具体用于根据更新结果记录所述数据集中每一条更新失败的数据，获取每一条更新失败数据对应的标识。

可选地，该装置还包括：生成模块和处理模块。

生成模块，用于生成对目标数据库同步的操作指令，操作指令用于指示通过待同步数据对目标数据库进行更新和/或新增的操作；处理模块，用于根据操作指令对目标数据库进行更新和/或新增。

本发明的有益效果是：本申请所提供的数据同步方法，通过待同步数据对目标数据库更新，获取待同步数据的更新结果；根据更新结果，获取待同步数据中更新失败数据对应的标识；将标识对应的待同步数据增加到目标数据库，从而实现了通过待同步数据先对目标数据库更新，之后对于更新结果为更新失败的数据，将其增加到目标数据库中，可以省去对目标数据库中数据的查询过程，提高目标数据库中数据更新、新增的同步效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请提供的一种数据同步方法流程示意图；

图2为本申请提供的另一种数据同步方法流程示意图；

图3为本申请提供的又一种数据同步方法流程示意图；

图4为本申请提供的又一种数据同步方法流程示意图；

图5为本申请提供的一种数据同步装置结构示意图；

图6为本申请提供的另一种数据同步装置结构示意图；

图7为本申请提供的又一种数据同步装置结构示意图；

图8为本申请提供的又一种数据同步装置结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

本发明实施例中，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

图1为本申请提供的一种数据同步方法流程示意图。该方法可以应用在集成异构系统场景中，其执行主体可以是运行数据同步方法的服务器、终端等，如图1所示，该数据同步方法，包括：

S101、通过待同步数据对目标数据库更新，获取待同步数据的更新结果，更新结果包括更新成功或者更新失败。

待同步数据指的是目标数据库中需要同步的数据，使用待同步数据对目标数据库进行同步，可以使得目标数据库中的数据可以为最新或完整的数据。

通过待同步数据对目标数据库进行同步时，将首先通过待同步数据对目标数据库进行更新，可以使得目标数据库中的数据为最新的数据，其中，在更新的过程中，将获取到待同步数据的更新结果，更新结果包括更新成功或者更新失败。

其中，对更新结果需要说明的是，对于最小更新单元，该更新结果要么成功，要么失败，但对于待同步数据包括多个最小更新单元，通过该多个最小更新单元的待同步数据对目标数据库进行更新，多个最小更新单元的更新结果可能包括以下三种情况：情况一、全部更新成功；情况二、全部更新失败；情况三、部分更新成功，部分更新失败。需要说明的是，最小更新单元可以是单条数据、最小更新列表、最小更新数据集等，本申请并不对此进行限定。

比如，对于某企业的员工信息管理系统，需要对该员工信息管理系统的数据库进行更新，更新新统计的员工的手机号码，其中，员工工号可以作为员工的唯一标识。

因此，通过对该员工信息管理系统中员工的手机号码进行更新时，比如：现统计的待同步数据的员工信息包括三条数据，员工工号为10，手机号码为12345678666；员工工号为12，手机号码为12345678777；员工工号为13，手机号码为12345678888。其中，员工信息管理系统中已包括员工工号为10的员工数据，手机号码为12345678555，但并不包括员工工号为12和13的员工数据。

对员工管理系统中的员工信息进行更新时，由于员工管理系统中已经包括员工工号为10的员工数据，因此，将其手机号码更新为新统计的手机号码12345678666，其更新结果为更新成功。而员工管理系统中并不包括员工工号为12和13的员工数据，因此，无法对这两个员工的手机号码进行更新，其更新结果为更新失败。

S102、根据更新结果，获取待同步数据中更新失败数据对应的标识。

更新结果包括更新成功或者更新失败，对于更新结果为更新失败的情况，将获取待同步数据中更新失败数据对应的标识。该标识可以是数据排序号、员工工号、学生学号等，根据不同的应用场景，该标识可以包括多种，只要是可以唯一标识该条数据的即可，本申请并不对比进行限制。

例如，对于上述员工工号为12和13的数据，其更新结果为更新失败，因此，将分别获取更新失败数据对应的标识，该标识为员工工号为12和13。

S103、将标识对应的待同步数据增加到目标数据库。

其中，可以进行更新的待同步数据已经完成了更新，其更新结果为更新成功，而对于更新结果为更新失败的待同步数据，在获取到更新失败的待同步数据对应的标识后，将该标识对应的数据增加到目标数据库，实现了通过待同步数据对目标数据库的同步。

当然，本申请并不限制待同步数据增加的位置，可以是追加到目标数据库中已有数据的后面，也可以是按照一定的顺序插入到目标数据库中，或者是直接插入到目标数据库中已有数据的前面，本申请并不对此进行限制。

例如，获取到更新结果为更新失败数据对应的员工工号为12和13，因此，将员工工号为12和13的员工数据增加到目标数据库中，此时，目标数据库将不仅包括员工工号为10的员工数据，还包括员工工号为12和13的员工数据。

综上所述，本申请所提供的数据同步方法中，通过待同步数据对目标数据库更新，获取待同步数据的更新结果；根据更新结果，获取待同步数据中更新失败数据对应的标识；将标识对应的待同步数据增加到目标数据库，从而实现了通过待同步数据先对目标数据库更新，之后对于更新结果为更新失败的数据，将其增加到目标数据库中，可以省去对目标数据库中数据的查询过程，提高目标数据库中数据更新、新增的同步效率。

图2为本申请提供的另一种数据同步方法流程示意图。可选地，如图2所示，上述通过待同步数据对目标数据库更新的步骤之前，该方法还包括：

S201、获取待同步数据。

其中，待同步数据可以是从同步设备导出的数据，也可以是人工统计的数据，本申请并不限制待同步数据的来源；同样地，根据不同的应用场景，本申请也并不限制待同步数据的存储的类型，可以是表格形式、文本形式等。

S202、确定待同步数据大于预设阈值时，将待同步数据拆分成若干个小于预设阈值的数据集。

在一些场景下，受运行目标数据库设备性能的限制，待同步数据比较大，无法实现将所有的待同步数据经过一次同步操作，实现对目标数据库的同步。因此，待同步数据大于预设阈值时，可以将待同步数据分批操作，将待同步数据拆分成若干个小于预设阈值的数据集。当然，根据不同的使用情况，待同步数据的预设阈值可以调整，其单位可以是数据的个数、数据的条数、或数据的大小，本申请并不对此进行限制。

比如，目标数据库设备根据配置文件获取到的最大线程数据为10，待同步数据为50MB(MegaByte，兆字节)，预设阈值为5MB，待同步数据大于预设阈值，将待同步数据拆分成10个小于预设阈值的数据集，每个线程分别处理一个数据集的同步。

可选地，上述通过待同步数据对目标数据库更新，获取待同步数据的更新结果的步骤，包括：

通过数据集中任意一条数据对目标数据库中任意一条数据进行更新，其中，基于数据集中的一条数据对目标数据库中一条数据进行更新，包括：当能够更新时，获取数据集中一条数据的更新结果为更新成功；当不能更新时，获取数据集中一条数据的更新结果为更新失败。

其中，数据集中可能包括多条数据，目标数据库中也可能包括多条数据，通过数据集中任意一条数据对目标数据库中任意一条数据进行更新时。

比如，员工信息管理系统的数据库作为目标数据库，包括员工工号为10，手机号码为12345678555的员工数据，但并不包括员工工号为12和13的员工数据。

基于数据集中员工工号为10，手机号码为12345678666的员工数据对目标数据库进行更新时，对于目标数据库中存在员工工号与数据集中员工工号相同的情况下，表示为能够更新。更新时，将使用数据集中员工工号为10，手机号码为12345678666的员工信息，将目标数据库中的员工工号为10的手机号码更新为12345678666，同时返回更新成功的更新结果；而目标数据库中不存在员工工号与数据集中员工工号相同的情况下，表示为不能更新，也即员工工号为12和13的员工信息，更新时，将返回更新失败的更新结果。

可选地，根据更新结果获取待同步数据更新失败数据对应的标识的步骤，包括：根据更新结果记录数据集中每一条更新失败的数据，获取每一条更新失败数据对应的标识。

图3为本申请提供的又一种数据同步方法流程示意图。可选地，如图3所示，该方法还包括：

S301、生成对目标数据库更新的操作指令，操作指令用于指示通过待同步数据对目标数据库进行更新和/或新增的操作。

其中，使用上述所述的同步方法对目标数据库进行同步时，可以是通过同步操作指令实现。

S302、根据操作指令对目标数据库进行更新和/或新增。

比如，在S101步骤之前，可以生成对目标数据库同步的操作指令，该操作指令包括更新和新增的操作。在执行S101步骤时，根据其更新操作指令，通过待同步数据对目标数据库更新；之后执行S102步骤，S103步骤，其中，在执行S103步骤时，则根据标识对应的待同步数据的新增操作指令，将标识对应的待同步数据增加到目标数据库，从而，实现对目标数据库的。

当然，在S101步骤之前，也可以只生成对目标数据库同步的操作指令，该操作指令只包括更新操作。在执行S101步骤时，根据其更新操作指令，通过待同步数据对目标数据库更新；之后执行S102步骤，S103步骤，其中，在执行S103步骤之前，对于更新失败的待同步数据，还生成对目标数据库新增的操作指令，该操作指令包括新增操作，则根据标识对应的待同步数据的新增操作指令，将标识对应的待同步数据增加到目标数据库。

因此，本申请并不限制新增操作指令是何时生成的，只要是在S103步骤之前均可。

图4为本申请提供的又一种数据同步方法流程示意图。可选地，如图4所示，该方法包括：

S401、获取待同步数据。

S402、确定待同步数据大于预设阈值时，将待同步数据拆分成若干个小于预设阈值的数据集。

S403、通过数据集中任意一条数据对目标数据库中任意一条数据进行更新。

S404、判断是否能够进行更新。

其中，当能够更新时，执行S405，不能进行更新时，依次执行S406、S407和S408。

S405、当能够更新时，获取数据集中一条数据的更新结果为更新成功。

S406、当不能更新时，获取数据集中一条数据的更新结果为更新失败。

S407、根据更新结果记录数据集中每一条更新失败的数据，获取每一条更新失败数据对应的标识。

S408、将标识对应的待同步数据增加到目标数据库。

图5为本申请提供的一种数据同步装置结构示意图。该装置，如图5所示，包括更新模块110、获取模块120和增加模块130。

更新模块110，用于通过待同步数据对目标数据库更新，获取待同步数据的更新结果，更新结果包括更新成功或者更新失败。

获取模块120，用于根据更新结果，获取待同步数据中更新失败数据对应的标识。

增加模块130，用于将标识对应的待同步数据增加到目标数据库。

图6为本申请提供的另一种数据同步装置结构示意图。可选地，如图6所示，该装置还包括数据获取模块140和拆分模块150。

数据获取模块140，用于获取待同步数据。

拆分模块150，用于确定待同步数据大于预设阈值时，将待同步数据拆分成若干个小于预设阈值的数据集。

可选地，更新模块110，具体用于通过数据集中任意一条数据对目标数据库中任意一条数据进行更新，其中，基于数据集中的一条数据对目标数据库中一条数据进行更新，包括：当能够更新时，获取数据集中一条数据的更新结果为更新成功；当不能更新时，获取数据集中一条数据的更新结果为更新失败。

可选地，获取模块120，具体用于根据更新结果记录所述数据集中每一条更新失败的数据，获取每一条更新失败数据对应的标识。

图7为本申请提供的又一种数据同步装置结构示意图。可选地，如图7所示，该装置还包括：生成模块170和处理模块180。

生成模块170，用于生成对目标数据库同步的操作指令，操作指令用于指示通过待同步数据对目标数据库进行更新和/或新增的操作。

处理模块180，用于根据操作指令对目标数据库进行更新和/或新增。

上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。

以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

图8为本申请提供的又一种数据同步装置结构示意图。该装置可以集成于数据同步服务器、终端设备或者终端设备的芯片。如图8所示，该装置包括：存储器501、处理器502。

存储器501用于存储程序，处理器502调用存储器501存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。

可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种数据同步方法，其特征在于，包括：

通过待同步数据对目标数据库更新，获取所述待同步数据的更新结果，所述更新结果包括更新成功或者更新失败；

根据所述更新结果，获取所述待同步数据中更新失败数据对应的标识；

将所述标识对应的待同步数据增加到所述目标数据库。

2.根据权利要求1所述的方法，其特征在于，通过待同步数据对目标数据库更新的步骤之前，还包括：

获取所述待同步数据；

确定所述待同步数据大于预设阈值时，将所述待同步数据拆分成若干个小于所述预设阈值的数据集。

3.根据权利要求2所述的方法，其特征在于，通过待同步数据对目标数据库更新，获取所述待同步数据的更新结果的步骤，包括：

通过所述数据集中任意一条数据对所述目标数据库中任意一条数据进行更新，其中，基于所述数据集中的一条数据对所述目标数据库中一条数据进行更新，包括：

当能够更新时，获取所述数据集中一条数据的更新结果为更新成功；

当不能更新时，获取所述数据集中一条数据的更新结果为更新失败。

4.根据权利要求3所述的方法，其特征在于，根据所述更新结果获取所述待同步数据更新失败数据对应的标识的步骤，包括：

根据所述更新结果记录所述数据集中每一条更新失败的数据，获取每一条更新失败数据对应的标识。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

生成对所述目标数据库同步的操作指令，所述操作指令用于指示通过待同步数据对目标数据库进行更新和/或新增的操作；

根据所述操作指令对所述目标数据库进行更新和/或新增。

6.一种数据同步装置，其特征在于，包括更新模块、获取模块和增加模块；

所述更新模块，用于通过待同步数据对目标数据库更新，获取所述待同步数据的更新结果，所述更新结果包括更新成功或者更新失败；

所述获取模块，用于根据所述更新结果，获取所述待同步数据中更新失败数据对应的标识；

所述增加模块，用于将所述标识对应的待同步数据增加到所述目标数据库。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括数据获取模块和拆分模块；

所述数据获取模块，用于获取所述待同步数据；

所述拆分模块，用于确定所述待同步数据大于预设阈值时，将所述待同步数据拆分成若干个小于所述预设阈值的数据集。

8.根据权利要求7所述的装置，其特征在于，所述更新模块，具体用于通过所述数据集中任意一条数据对所述目标数据库中任意一条数据进行更新，其中，基于所述数据集中的一条数据对所述目标数据库中一条数据进行更新，包括：

当能够更新时，获取所述数据集中一条数据的更新结果为更新成功；当不能更新时，获取所述数据集中一条数据的更新结果为更新失败。

9.根据权利要求8所述的装置，其特征在于，所述获取模块，具体用于根据所述更新结果记录所述数据集中每一条更新失败的数据，获取每一条更新失败数据对应的标识。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括：生成模块和处理模块；

所述生成模块，用于生成对所述目标数据库同步的操作指令，所述操作指令用于指示通过待同步数据对目标数据库进行更新和/或新增的操作；

所述处理模块，用于根据所述操作指令对所述目标数据库进行更新和/或新增。