CN110674152B - 数据同步方法与装置、存储介质、电子设备 - Google Patents

Abstract

本公开属于数据处理技术领域，涉及一种数据同步方法及装置、计算机可读存储介质、电子设备。该方法包括：获取增量数据和与增量数据相关联的业务数据，并根据增量数据和业务数据之间的关联关系，对增量数据进行分类；基于预设的切分规则，对已分类的增量数据进行水平拆分，以得到待分表数据；将待分表数据进行分表处理，得到多个分表数据，并将分表数据推送至对应的数据库中。本公开一方面，在数据库中进行数据的处理过程，业务库仅进行入库操作，利用了数据库的计算能力，提高了数据同步的处理效率；另一方面，根据业务库的业务实例对增量数据进行划分，可以实现并发多实例数据推送，避免了数据库和实例的切换，保证了数据推送的高效性。

Description

数据同步方法与装置、存储介质、电子设备

技术领域

本公开涉及数据处理技术领域，尤其涉及一种数据同步方法与数据同步装置、计算机可读存储介质及电子设备。

背景技术

随着网络技术，譬如物联网、云计算和云存储等的发展，随之而来的是，产生的海量数据如何进行同步的问题。数据库中的数据进行同步时，可以从离线数据获取上游增量数据，推送至关系型数据临时表，再将临时表数据与原表数据进行比对，得到新增数据和更新数据，并针对这两种不同类型的资产数据进行同步。

在实现本发明过程中发明人发现，在将海量数据从数据集市推送到业务库临时表中时，由于数据库的单表吞吐量限制，光是数据推送就会占用很长时间，十分耗时；并且，在业务库中进行源数据与业务库数据的比对，处理数据的分类效率十分低下。除此之外，对于业务库的分布式服务器而言，这种同步方式并未发挥出作用，应用服务器的利用率极低。

鉴于此，本领域亟需开发一种新的数据同步方法及装置。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种数据同步方法、数据同步装置、计算机可读存储介质及电子设备，进而至少在一定程度上克服由于相关技术的限制而导致的数据同步效率低下和服务器利用率低等问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本发明实施例的第一个方面，提供一种数据同步方法，所述方法包括：获取增量数据和与所述增量数据相关联的业务数据，并根据所述增量数据和所述业务数据之间的关联关系，对所述增量数据进行分类；基于预设的切分规则，对已分类的所述增量数据进行水平拆分，以得到待分表数据；将所述待分表数据进行分表处理，得到多个分表数据，并将所述分表数据推送至对应的数据库中。

在本发明的一种示例性实施例中，所述根据所述增量数据和所述业务数据之间的关联关系，对所述增量数据进行分类，包括：若所述增量数据未关联到所述业务数据，确定所述增量数据为新增数据；若所述增量数据关联到所述业务数据，确定所述增量数据为更新数据。

在本发明的一种示例性实施例中，所述业务数据包括第一业务数据和第二业务数据；所述若所述增量数据关联到所述业务数据，确定所述增量数据为更新数据，包括：若所述增量数据关联到所述第一业务数据，确定所述增量数据为第一更新数据；若所述增量数据关联到所述第二业务数据，确定所述增量数据为第二更新数据。

在本发明的一种示例性实施例中，所述基于预设的切分规则，对已分类的所述增量数据进行水平拆分，以得到待分表数据，包括：获取所述增量数据的关键字段信息；基于预设的切分规则，根据所述关键字段信息对已分类的所述增量数据进行水平拆分；向拆分后的所述增量数据写入标记信息，生成待分表数据。

在本发明的一种示例性实施例中，所述将所述分表数据推送至对应的数据库中，包括：获取所述多个数据分表的分表数量；根据所述分表数量建立与所述数据分表对应的推送任务，以将所述数据分表推送至对应的数据库中。

在本发明的一种示例性实施例中，在所述若所述增量数据关联到所述业务数据之后，所述方法还包括：若所述增量数据不符合预设条件，确定所述增量数据为待删除数据。

在本发明的一种示例性实施例中，在所述确定所述增量数据为待删除数据之后，所述方法还包括：将所述待删除数据写入对应的临时表中，并在所述临时表中生成与所述待删除数据对应的唯一标识；通过所述唯一标识对所述待删除数据进行分片处理，得到多个分片删除数据；将所述分片删除数据分发到对应的数据库中，以删除所述分片删除数据。

根据本发明实施例的第二个方面，提供一种数据同步装置，所述装置包括：数据分类模块，被配置为获取增量数据和与所述增量数据相关联的业务数据，并根据所述增量数据和所述业务数据之间的关联关系，对所述增量数据进行分类；数据分表模块，被配置为基于预设的切分规则，对已分类的所述增量数据进行水平拆分，以得到待分表数据；数据推送模块，被配置为将所述待分表数据进行分表处理，得到多个分表数据，并将所述分表数据推送至对应的数据库中。

根据本发明实施例的第三个方面，提供一种电子设备，包括：处理器和存储器；其中，存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现上述任意示例性实施例的数据同步方法。

根据本发明实施例的第四个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意示例性实施例中的数据同步方法。

由上述技术方案可知，本发明示例性实施例中的数据同步方法、数据同步装置、计算机存储介质及电子设备至少具备以下优点和积极效果：

在本公开的示例性实施例提供的方法及装置中，通过在数据库中对增量数据进行分类，并根据业务库的切分规则进行拆分及分表处理，实现增量数据的同步功能。一方面，在数据库中进行数据的处理过程，业务库仅进行入库操作，充分利用了数据库的计算能力，提高了数据同步的处理效率；另一方面，根据业务库的业务实例对增量数据进行划分，可以实现并发多实例数据推送，避免了数据库和实例的切换，保证了数据推送的高效性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出本公开示例性实施例中一种数据同步方法的流程图；

图2示意性示出本公开示例性实施例中对增量数据进行分类的方法的流程示意图；

图3示意性示出本公开示例性实施例中及进一步对更新数据进行分类的方法的流程示意图；

图4示意性示出本公开示例性实施例中对待删除数据的处理方法的流程示意图；

图5示意性示出本公开示例性实施例中生成待分表数据的方法的流程示意图；

图6示意性示出本公开示例性实施例中推送分表数据的方法的流程示意图；

图7示意性示出现有技术的数据同步方法的流程示意图；

图8示意性示出本公开示例性实施例中的数据同步方法的流程示意图；

图9示意性示出本公开示例性实施例中的数据同步方法的流程示意图；

图10示意性示出本公开示例性实施例中在应用场景中数据同步方法的流程示意图；

图11示意性示出本公开示例性实施例中获取业务数据的示意图；

图12示意性示出本公开示例性实施例中获取增量数据的示意图；

图13示意性示出本公开示例性实施例中对增量数据进行分类的示意图；

图14示意性示出本公开示例性实施例中对已分类数据进行标记的示意图；

图15示意性示出本公开示例性实施例中对已分类资产分表的示意图；

图16示意性示出本公开示例性实施例中推送数据分表的流程图；

图17示意性示出本公开示例性实施例中一种数据同步装置的结构示意图；

图18示意性示出本公开示例性实施例中一种用于实现数据同步方法的电子设备；

图19示意性示出本公开示例性实施例中一种用于实现数据同步方法的计算机可读存储介质。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

本说明书中使用用语“一个”、“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等；用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”和“第二”等仅作为标记使用，不是对其对象的数量限制。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。

针对相关技术中存在的问题，本公开提出了一种数据同步方法。图1示出了数据同步方法的流程图，如图1所示，数据同步方法至少包括以下步骤：

步骤S110.获取增量数据和与增量数据相关联的业务数据，并根据增量数据和业务数据之间的关联关系，对增量数据进行分类。

步骤S120.基于预设的切分规则，对已分类的增量数据进行水平拆分，以得到待分表数据。

步骤S130.将待分表数据进行分表处理，得到多个分表数据，并将分表数据推送至对应的数据库中。

在本公开的示例性实施例中，通过在数据库中对增量数据进行分类，并根据业务库的切分规则进行拆分及分表处理，实现增量数据的同步功能。一方面，在数据库中进行数据的处理过程，业务库仅进行入库操作，充分利用了数据库的计算能力，提高了数据同步的处理效率；另一方面，根据业务库的业务实例对增量数据进行划分，可以实现并发多实例数据推送，避免了数据库和实例的切换，保证了数据推送的高效性。

下面对数据同步方法的各个步骤进行详细说明。

在步骤S110中，获取增量数据和与增量数据相关联的业务数据，并根据增量数据和业务数据之间的关联关系，对增量数据进行分类。

在本公开的示例性实施例中，在业务的每天执行中，可能会增加一些业务数据，也可能会对一些业务数据进行修改，这些增加和修改的业务数据会构成增量数据。可以通过数据仓库的贴源层获取当日业务的增量数据。其中，该数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合，是一种大数据平台。在数据仓库的架构中包括临时层、贴源层、模型层和应用层，其中，贴源层可以抽取增量数据，是一个数据缓存区。抽取到的增量数据可以是抓取到的某个时刻，亦即更新时间以后的数据。并且，可以实时获取或者离线获取与增量数据相关联的业务数据，举例而言，若增量数据是资产证券化(Asset-back ed Securitization，简称ABS)资产的增量数据，可以获取资产证券化资产池的标准资产快照中的标准资产集作为业务数据。其中，标准资产集可以是标准化资产的资产集合，标准化资产可以是在银行间市场及证券交易所市场上市交易的债权性金融产品或股权性金融产品。

在可选的实施例中，如2示出了对增量数据进行分类的方法的流程示意图，如图2所示，该方法包括以下步骤：在步骤S210中，若增量数据未关联到业务数据，确定增量数据为新增数据。将增量数据与业务数据进行比对，若在业务数据中比对不到增量数据，可以确定该增量数据为新增数据。举例而言，若增量数据为资产证券化资产的增量数据，业务数据为标准资产集，可以将资产证券化资产的增量数据与标准资产集进行比对，若标准资产快照的标准资产集中不存在该增量数据，确定该资产证券化资产的增量数据为新增数据。

在步骤S220中，若增量数据关联到业务数据，确定增量数据为更新数据。将增量数据与业务数据进行比对，若在业务数据中比对到该增量数据，可以确定该增量数据为新增数据。举例而言，若增量数据为资产证券化资产的增量数据，业务数据为标准资产集，可以将资产证券化资产的增量数据与标准资产集进行比对，若标准资产快照的标准资产集中存在该增量数据，确定该资产证券化资产的增量数据为更新数据。

在可选的实施例中，业务数据包括第一业务数据和第二业务数据，图3示出了进一步对更新数据进行分类的方法的流程示意图，如图3所示，该方法至少包括以下步骤：在步骤S310中，若增量数据关联到第一业务数据，确定增量数据为第一更新数据。根据业务数据的业务属性可以对业务数据进行水平拆分，得到第一业务数据和第二业务数据。其中，水平拆分可以是常规的数据库技术手段，用于将数据表拆分，并分散到不同的数据库上，来实现大规模数据的存储。举例而言，可以根据是否售出将资产证券化资产拆分成已售资产和待售资产，对应的，存在已售资产数据和代售资产数据。除此之外，还可以根据实际情况对业务数据进行其他方式的拆分，本示例性实施例对此不做特殊限定。

根据业务数据的拆分结果，可以对增量数据进行进一步的分类，亦即对更新数据进行分类。举例而言，若增量数据为资产证券化资产的增量数据，第一业务数据为已售资产的数据时，且该增量数据与已售资产的数据关联上，可以将该增量数据确定为已售资产的已售更新数据。

在步骤S320中，若增量数据关联到第二业务数据，确定增量数据为第二更新数据。根据业务数据的业务属性可以对业务数据进行水平拆分，得到第一业务数据和第二业务数据。举例而言，可以根据是否售出将资产证券化资产拆分成已售资产和待售资产，对应的，存在已售资产数据和待售资产数据。除此之外，还可以根据实际情况对业务数据进行其他方式的拆分，本示例性实施例对此不做特殊限定。

根据业务数据的拆分结果，可以对增量数据进行进一步的分类，亦即对更新数据进行分类。举例而言，若增量数据为资产证券化资产的增量数据，第二业务数据为待售资产的数据时，且该增量数据与待售资产的数据关联上，可以将该增量数据确定为待售资产的待售更新数据。

在本示例性实施例中，在数据库中，根据业务属性对增量数据进行水平拆分，可以充分地利用数据库的分布式计算速度，保证了处理的高效性，也提高了数据推送的处理效率。

在可选的示例性实施例中，若增量数据不符合预设条件，确定增量数据为待删除数据。该预设条件可以是确定出要删除的增量数据的条件。举例而言，若增量数据为资产证券化资产的增量数据，业务数据为标准资产集，该预设条件可以是不符合专项计划的条件。除此之外，还可以是其他预设条件，本示例性实施例对此不做特殊限定。

在可选的实施例中，图4示出了对待删除数据的处理方法的流程示意图，如图4所示，该方法至少包括以下步骤：在步骤S410中，将待删除数据写入对应的临时表中，并在临时表中生成与待删除数据对应的唯一标识。由于增量数据推送至业务层的数据库时，无法对业务库数据进行删除，可以建立一个临时表，存储少量不符合预设条件的待删除数据。针对该待删除数据，可以生成对应的唯一标识，用于唯一标识一个待删除数据。

在步骤S420中，通过唯一标识对待删除数据进行分片处理，得到多个分片删除数据。其中，分片处理是可以确定待删除数据在多台存储设备上分布的技术。因此，分片处理之后的分片删除数据的分片数量可以与数据库的数量相关。举例而言，该数量可以大于服务器的数量。除此之外，也可以根据其他条件确定分片删除数据的数量，本示例性实施例对此不做特殊限定。

在步骤S430中，将分片删除数据分发到对应的数据库中，以删除分片删除数据。通过分发分片删除数据，可以使对应的分布式应用服务器进行删除操作。

在本示例性实施例中，通过对少量的待删除数据进行分片处理，以实现在业务库进行多进程删除的功能，提升删除操作的处理速度，提高服务器的利用率。

在步骤S120中，基于预设的切分规则，对已分类的增量数据进行水平拆分，以得到待分表数据。

在本公开的一种示例性实施例中，可以对已分类的增量数据进行水平拆分，值得说明的是，已分类的增量数据可以包括新增数据，以及被进一步分类成第一更新数据和第二更新数据的更新数据。在可选的实施例中，图5示出了生成待分表数据的方法的流程示意图，如图5所示，该方法至少包括以下步骤：在步骤S510中，获取增量数据的关键字段信息。拆分数据表的原则可以是以找到数据表中的数据在业务逻辑中的主体，并确定大部分的(或核心的)数据库操作是围绕该主体的数据进行，然后可使用该主体对应的字段作为关键字段信息，亦即切分键，进行分库分表操作。举例而言，该关键字段信息可以是资产编号，也可以根据实际的业务数据确定其他字段信息，本示例性实施例对此不做特殊限定。

在步骤S520中，基于预设的切分规则，根据关键字段信息对已分类的增量数据进行水平拆分。该切分规则可以是根据业务库的分库分表规则确定的。举例而言，若关键字段信息是资产编号，且增量数据的表格数为800个，该预设的切分规则可以是lpad(abs(hash(asset_code))％800,4,'0')，该切分规则规定对资产编号进行哈希取模之后，对800取余，除此之外，还规定计算结果为四位数，在不足四位的位置补0。根据该切分规则，可以求出每条资产数据属于哪一张表。除此之外，该切分规则还可以是根据其他关键字段信息设置的其他切分条件，本示例性实施例对此不做特殊限定。

在步骤S530中，向拆分后的增量数据写入标记信息，生成待分表数据。若确定资产数据属于哪一张表之后，可以向该拆分后的资产的增量数据写入标记信息，亦即标明该资产数据属于哪一张表，以生成对应的待分表数据。该标记信息也可以是与切分规则对应的其他信息，本示例性实施例对此不做特殊限定。

在本示例性实施例中，根据分库分表规则对增量数据进行切分，可以确保每一个分表对应业务层的一个数据库实例，能够避免在数据推送时，同一张表的数据插入不同数据库实例时造成的资源浪费。

在步骤S130中，将待分表数据进行分表处理，得到多个分表数据，并将分表数据推送至对应的数据库中。

在本公开的一种示例性实施例中，可以根据每个待分表数据的标记信息对待分表数据进行分表处理，举例而言，可以是将在同一个数据实例中的待分表数据进行分表，若在800个分表中，50个连续分表在同一个实例，对应的，可以得到16个分表数据。

在可选的实施例中，图6示出了推送分表数据的方法的流程示意图，如图6所示，该方法至少包括以下步骤：在步骤S610中，获取多个数据分表的分表数量。举例而言，若在800个分表中，50个连续分表在同一个实例，对应的，可以得到16个分表数据。亦即该分表数量为16。其中，该分表数量可以是与数据库的数量相关联的数量，举例而言，该分表数量可以大于数据库的数量。除此之外，也可以根据其他条件确定分表数量，本示例性实施例对此不做特殊限定。

在步骤S620中，根据分表数量建立与数据分表对应的推送任务，以将数据分表推送至对应的数据库中。为确保每个数据库的高效利用，可以按照分表数量建立多个相同的推送任务，推送任务的数量可以与分表数量相同，以实现多个任务同时推送至对应数据库的功能，确保每个数据库的高效利用。

下面结合一应用场景对本公开实施例中的数据同步方法做出详细说明。

图7示出了现有技术中的数据同步方法的流程示意图，如图7所示，大数据库将源数据推送至业务层的关系型数据库中，保存至一张临时表上。其中，大数据库亦即大型数据库，大型数据库是针对大数据而言的。大数据可以是超过传统数据库系统处理能力的数据，因此，大数据对数据规模和传输速度要求都很高，或者其结构不适合原本的数据库系统，因此需要大数据库进行处理。然后，将临时表中保存的源数据与昨天的业务数据进行比对，根据比对结果将资产进行分类。将关系型数据库中不存在的数据确定为新增数据；将关系型数据库中存在的，且存在于待售资产表中的确定为待售更新数据；将关系型数据库中存在的，且存在于已售资产表中的确定为已售更新数据；将不符合已售规则的资产，转换定义为待售数据。并且，将已分类的数据分发至MagicQuant程序化交易平台，进行分布式销售同步。

图8示出了本公开的数据同步方法的流程示意图，如图8所示，该数据同步方案应用于大数据库，对于海量数据而言，大数据平台，亦即数据仓库的计算能力比业务库更加高效。首先，将获取到的贴源层数据进行数据转换，分类得到待售同步、已售同步和业务删除三类数据。然后，按照业务层的分库分表规则，将数据集市需要同步的资产，按照分库分表的规则进行拆分，最后推送至业务库。

图9示出了本公开的数据同步方法的流程示意图，如图9所示，首先，对源数据进行数据转换和分类；然后，对已分类的数据进行拆分，并将拆分后的数据进行推送，以实现应用同步。

图10示出了在应用场景下的数据同步方法的流程示意图，如图10所示，获取增量数据和ABS业务标准资产，图11示出了获取业务数据的示意图，如图11所示，标准资产集中获取到的已售资产和待售资产即为业务数据；图12示出了获取增量数据的示意图，如图12所示，增量数据中包括的资产即为对应的增量数据。然后，转换并分类该增量数据，图13示出了对增量数据进行分类的示意图，如图13所示，005、293、569在标准资产集中不存在，即未关联到业务数据，确定这三条资产为新增资产，即新增数据；001和002在标准资产集中存在，但不符合专项计划的条件，确定这两条资产为待删除数据；089、129、1023三条资产在标准资产集中存在，且是在标准资产集中的已售资产中，可以确定这三条资产为已售更新，即第一更新数据；5556、23215、233423这三条资产在标准资产集中存在，并且为标准资产集中的待售资产，可以确定这三条资产为待售更新，即第二更新数据。对已分类的资产，再根据业务库的分库分表规则进行水平拆分，图14示出了对已分类数据进行标记的示意图，如图14所示，例如将资产编号确定为切分键，分表数为800个，切分规则可以为lpad(abs(hash(asset_code))％800,4,'0')，该切分规则规定对资产编号进行哈希取模之后，对800取余，除此之外，还规定计算结果为四位数，在不足四位的位置补0，因此，可以求出每条资产应该数据哪一张表，并打标记。举例而言，可以得到lpad(abs(hash(1))％800,4,'0')＝0001，亦即对资产编号为1的资产进行哈希取模之后，然后对800取余，得到的结果为1，但由于要保持四位数的结果，可以在1前面补三位0，得到0001；lpad(abs(hash(293))％800,4,'0')＝0223，亦即对资产编号为293的资产进行哈希取模之后，然后对800取余，得到的结果为223，但由于要保持四位数的结果，可以在223前面补一位0，得到0223。然后，将得到的每条资产按照业务库实例在hive层分表，图15示出了对已分类资产分表的示意图，如图15所示，50个资产连续分表在同一个实例中，可以将这50个资产确定为一个数据分表。最后，按照业务库实例推送数据分表即可，图16示出了推送数据分表的流程图，如图16所示，在800个分表中，50个连续分表在同一个实例，对应的，可以得到16个分表数据，通过16个推送任务，进行并行推送。针对待删除数据，通过在临时表中生成与待删除数据对应的唯一标识，对待删除数据进行分片处理，以使业务层的应用服务器进行删除。当数据推送完成，且业务层数据删除完成，则本次数据同步完成。

在本公开的示例性实施例中，通过在数据库中对增量数据进行分类，并根据业务库的切分规则进行拆分及分表处理，实现增量数据的同步功能。一方面，在数据库中进行数据的处理过程，业务库仅进行入库操作，充分利用了数据库的计算能力，提高了数据同步的处理效率；另一方面，根据业务库的业务实例对增量数据进行划分，可以实现并发多实例数据推送，避免了数据库和实例的切换，保证了数据推送的高效性。

此外，在本公开的示例性实施例中，还提供一种数据同步装置。图17示出了数据同步装置的结构示意图，如图17所示，数据同步装置1700可以包括：数据分类模块1710、数据分表模块1720、数据推送模块1730。

其中：

数据分类模块1710，被配置为获取增量数据和与增量数据相关联的业务数据，并根据增量数据和业务数据之间的关联关系，对增量数据进行分类；数据分表模块1720，被配置为基于预设的切分规则，对已分类的增量数据进行水平拆分，以得到待分表数据；数据推送模块1730，被配置为将待分表数据进行分表处理，得到多个分表数据，并将分表数据推送至对应的数据库中。

上述数据同步装置的具体细节已经在对应的数据同步方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及数据同步装置1700的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

下面参照图18来描述根据本发明的这种实施例的电子设备1800。图18显示的电子设备1800仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图18所示，电子设备1800以通用计算设备的形式表现。电子设备1800的组件可以包括但不限于：上述至少一个处理单元1810、上述至少一个存储单元1820、连接不同系统组件(包括存储单元1820和处理单元1810)的总线1830、显示单元1840。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1810执行，使得所述处理单元1810执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。

存储单元1820可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)1821和/或高速缓存存储单元1822，还可以进一步包括只读存储单元(ROM)1823。

存储单元1820还可以包括具有一组(至少一个)程序模块1825的程序/实用工具1824，这样的程序模块1825包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1830可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1800也可以与一个或多个外部设备2000(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1800交互的设备通信，和/或与使得该电子设备1800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1850进行。并且，电子设备1800还可以通过网络适配器1860与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1840通过总线1830与电子设备1800的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。

参考图19所示，描述了根据本发明的实施例的用于实现上述方法的程序产品1900，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

Claims (9)

1.一种数据同步方法，其特征在于，所述方法包括：

获取增量数据和与所述增量数据相关联的业务数据，并根据所述增量数据和所述业务数据之间的关联关系，对所述增量数据进行分类；

获取所述增量数据的关键字段信息；

基于预设的切分规则，根据所述关键字段信息对已分类的所述增量数据进行水平拆分；其中，所述关键字段信息包括资产编号；

向拆分后的所述增量数据写入标记信息，生成待分表数据；

将所述待分表数据进行分表处理，得到多个分表数据，并将所述分表数据推送至对应的数据库中。

2.根据权利要求1所述的数据同步方法，其特征在于，所述根据所述增量数据和所述业务数据之间的关联关系，对所述增量数据进行分类，包括：

若所述增量数据未关联到所述业务数据，确定所述增量数据为新增数据；

若所述增量数据关联到所述业务数据，确定所述增量数据为更新数据。

3.根据权利要求2所述的数据同步方法，其特征在于，所述业务数据包括第一业务数据和第二业务数据；

所述若所述增量数据关联到所述业务数据，确定所述增量数据为更新数据，包括：

若所述增量数据关联到所述第一业务数据，确定所述增量数据为第一更新数据；

若所述增量数据关联到所述第二业务数据，确定所述增量数据为第二更新数据。

4.根据权利要求1所述的数据同步方法，其特征在于，所述将所述分表数据推送至对应的数据库中，包括：

获取所述多个数据分表的分表数量；

根据所述分表数量建立与所述数据分表对应的推送任务，以将所述数据分表推送至对应的数据库中。

5.根据权利要求2所述的数据同步方法，其特征在于，在所述若所述增量数据关联到所述业务数据之后，所述方法还包括：

若所述增量数据不符合预设条件，确定所述增量数据为待删除数据。

6.根据权利要求5所述的数据同步方法，其特征在于，在所述确定所述增量数据为待删除数据之后，所述方法还包括：

将所述待删除数据写入对应的临时表中，并在所述临时表中生成与所述待删除数据对应的唯一标识；

通过所述唯一标识对所述待删除数据进行分片处理，得到多个分片删除数据；

将所述分片删除数据分发到对应的数据库中，以删除所述分片删除数据。

7.一种数据同步装置，其特征在于，包括：

数据分类模块，被配置为获取增量数据和与所述增量数据相关联的业务数据，并根据所述增量数据和所述业务数据之间的关联关系，对所述增量数据进行分类；

数据分表模块，被配置为获取所述增量数据的关键字段信息；

基于预设的切分规则，根据所述关键字段信息对已分类的所述增量数据进行水平拆分；其中，所述关键字段信息包括资产编号；

向拆分后的所述增量数据写入标记信息，生成待分表数据；

数据推送模块，被配置为将所述待分表数据进行分表处理，得到多个分表数据，并将所述分表数据推送至对应的数据库中。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6中任意一项所述的数据同步方法。

9.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器被配置为经由执行所述可执行指令来执行权利要求1-6中任意一项所述的数据同步方法。

Images