CN117708234A - 数据同步方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请的实施例提供了一种数据同步方法、装置、电子设备和计算机可读存储介质，该方法包括：在将源数据库中待同步数据同步至目标服务器时，且源数据库的类型为关系型数据库；基于索引确定源数据库中待同步数据所占的物理空间；并结合目标服务器的存储空间来判断使用基于索引确定待同步数据所占空间，还是使用待同步数据实际所占的物理空间来进行数据同步。本申请能够基于源数据库中数据量的大小、是否包含索引，目标服务器的内存等多个因素来选择合适的同步策略，能够在不牺牲性能的前提下，最大程度的减少资源浪费，提高了数据同步的效率。

Description

数据同步方法、装置、电子设备和计算机可读存储介质

技术领域

本申请的实施例涉及数据存储技术领域，尤其涉及一种数据同步方法、装置、电子设备和计算机可读存储介质。

背景技术

在数据同步过程中，保证同步效率和查询效率是其中的关键，由于业务的多样性导致数据源的多样性，即包含关系型数据库又可能包含其他类型数据库，导致数据源中的数据量大小不可预估。

现有数据同步软件会预先指定系统中的数据源，这种做法会导致数据源种类单一，针对不同的业务场景可能会产生资源浪费或者资源不足的情况，无法保证同步效率和查询效率。

发明内容

为解决上述技术问题，本申请的实施例提供了一种数据同步方法、装置、电子设备和计算机可读存储介质。

在本申请的第一方面，提供了一种数据同步方法，包括：

在将源数据库中待同步数据同步至目标服务器时，且所述源数据库的类型为关系型数据库；

若所述源数据库中包含索引，则确定所述源数据库中待同步数据所占的物理空间最大为2GB；

若所述源数据库中不包含索引，则确定所述源数据库中待同步数据所占的物理空间最大为500MB；

获取所述目标服务器的空闲内存和所述目标服务器的内存条件支持的同步数据量；

若所述空闲空间大于确定得到的待同步数据所占的物理空间2GB以上，则以所述目标服务器的内存条件支持的同步数据量和所述源数据库中待同步数据确定得到的所占的物理空间的交集作为待同步数据的数据量以进行数据同步；

若所述空闲空间大于确定得到的待同步数据所占的物理空间2GB以下，则按照所述源数据库中待同步数据计算得到的所占的物理空间在所述目标服务器中进行数据同步。

在一种可能的实现方式中，还包括：

基于所述源数据库中数据源表查询得到待同步数据的数据量和数据结构；

根据待同步数据的数据量、字段类型以及长度，计算得到待同步数据所占的物理空间。

在一种可能的实现方式中，还包括：

在将源数据库中数据同步至目标服务器时，且所述源数据库的类型为列式数据库；

若配置信息中所述目标服务器的类型包含列式数据库，则直接选择类型为列式数据库的所述目标服务器进行数据同步，所述配置信息包括一种或多种所述目标服务器的类型。

在一种可能的实现方式中，还包括：在同步完成后，维护数据表和数据库存储关系表。

在本申请的第二方面，提供了一种数据同步装置，包括：

在将源数据库中待同步数据同步至目标服务器时，且所述源数据库的类型为关系型数据库；

第一确定模块，用于在所述源数据库中包含索引时，确定所述源数据库中待同步数据所占的物理空间最大为2GB；

第二确定模块，用于在所述源数据库中不包含索引时，确定所述源数据库中待同步数据所占的物理空间最大为500MB；

内存获取模块，用于获取所述目标服务器的空闲内存和所述目标服务器的内存条件支持的同步数据量；

第一同步模块，用于在所述空闲空间大于确定得到的待同步数据所占的物理空间2GB以上时，以所述目标服务器的内存条件支持的同步数据量和所述源数据库中待同步数据确定得到的所占的物理空间的交集作为待同步数据的数据量以进行数据同步；

第二同步模块，用于在所述空闲空间大于确定得到的待同步数据所占的物理空间2GB以下，则按照所述源数据库中待同步数据计算得到的所占的物理空间在所述目标服务器中进行数据同步。

在一种可能的实现方式中，还包括数据计算模块，所述数据计算模块用于：

基于所述源数据库中数据源表查询得到待同步数据的数据量和数据结构；

根据待同步数据的数据量、字段类型以及长度，计算得到待同步数据所占的物理空间。

在一种可能的实现方式中，还包括第三同步模块，

在将源数据库中数据同步至目标服务器时，且所述源数据库的类型为列式数据库；

所述第三同步模块，用于在置信息中所述目标服务器的类型包含列式数据库时，直接选择类型为列式数据库的所述目标服务器进行数据同步，所述配置信息包括一种或多种所述目标服务器的类型。

在一种可能的实现方式中，还包括数据维护模块，所述数据维护模块用于：在同步完成后，维护数据表和数据库存储关系表。

在本申请的第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如第一方面中任一项所述的数据同步方法。

在本申请的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面中任一项所述的数据同步方法。

在本申请实施例提供的数据同步方法、装置、电子设备和计算机可读存储介质中，在源数据库的类型为关系型数据库时，若源数据库中包含索引，则确定源数据库中待同步数据所占的物理空间最大为2GB；若源数据库中不包含索引，则确定源数据库中待同步数据所占的物理空间最大为500MB；获取目标服务器的空闲内存和目标服务器的内存条件支持的同步数据量；若空闲空间大于确定得到的待同步数据所占的物理空间2GB以上，则以目标服务器的内存条件支持的同步数据量和源数据库中待同步数据确定得到的所占的物理空间的交集作为待同步数据的数据量以进行数据同步；若空闲空间大于确定得到的待同步数据所占的物理空间2GB以下，则按照源数据库中待同步数据计算得到的所占的物理空间在所述目标服务器中进行数据同步。采用这种方式，可以基于源数据库中数据量的大小、是否包含索引，目标服务器的内存等多个因素来选择合适的同步策略，能够在不牺牲性能的前提下，最大程度的减少资源浪费，提高了数据同步的效率。

应当理解，发明内容部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征，亦非用于限制本申请的范围。本申请的其它特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本申请各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了根据本申请的实施例的数据同步方法的流程图；

图2示出了根据本申请的实施例的数据同步装置的方框图；

图3示出了适于用来实现本申请实施例的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

本申请实施例提供的数据同步方法可以由电子设备来执行，该电子设备可以为服务器也可以为终端设备。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。

对于本申请实施例，电子设备可以提供数据库的配置，即允许用户配置多个数据库，可配置的类型包括列式数据库和关系型数据库，同时，在配置完成之后，按照配置的类型和数量，在电子设备中维护相同类型和相同数量的数据库。

示例地，关系型数据库可以包括mysql、oracle、postgresql、SqlServer等，列式数据库可以包括Apache Cassandra、Amazon Redshift、Google BigQuery、ClickHouse、Vertica等。

在进行数据同步时，首先判断源数据库的类型，若源数据库的类型与在电子设备中配置的目标服务器的类型一致，则选择相同类型的数据库进行数据同步。

下面结合一个或多个具体的实施例来对源数据库中待同步数据同步至目标服务器中的过程进行介绍。

在将源数据库中待同步数据同步至目标服务器、且源数据库的类型为关系型数据库时，参见图1，该数据同步方法包括以下步骤：

步骤101，若源数据库中包含索引，则确定源数据库中待同步数据所占的物理空间最大为2GB。

步骤102，若源数据库中不包含索引，则确定源数据库中待同步数据所占的物理空间最大为500MB。

步骤103，获取目标服务器的空闲内存和目标服务器的内存条件支持的同步数据量。

其中，目标服务器的空闲内存和目标服务器的内存条件支持的同步数据量可以通过检测工具来进行计算得到。

步骤104，若空闲空间大于确定得到的待同步数据所占的物理空间2GB以上，则以目标服务器的内存条件支持的同步数据量和源数据库中待同步数据确定得到的所占的物理空间的交集作为待同步数据的数据量以进行数据同步。

例如，目标服务器的空闲内存为3GB，目标服务器的内存条件支持的同步数据量为1GB，在源数据库中包含索引时，目标服务器支持的最大同步数据量为1GB；在源数据库中不包含索引时，目标服务器支持的最大同步数据量为500MB。

例如，目标服务器的空闲内存为5GB，目标服务器的内存条件支持的同步数据量为3GB，在源数据库中包含索引时，目标服务器支持的最大同步数据量为2GB；在源数据库中不包含索引时，目标服务器支持的最大同步数据量为500MB。

在本申请实施例中，上述方式仅是确定了目标数据库的最大同步数据量，为了避免资源的浪费，还需要计算出源数据库中待同步数据实际所占的物理空间。例如，可以采用以下方式来计算待同步数据在源数据库中实际所占的物理空间：首先，基于源数据库中数据源表查询得到待同步数据的数据量和数据结构；然后，根据待同步数据的数据量、字段类型以及长度，计算得到待同步数据所占的物理空间。

示例地，针对于一条数据所占的物理空间，数字占4个字节，日期占3个字节，时间占8个字节，字符串可以根据长度计算字节数。由此可以计算出待同步数据在源数据库中所占的物理空间。

步骤105，若所述空闲空间大于确定得到的待同步数据所占的物理空间2GB以下，则按照所述源数据库中待同步数据计算得到的所占的物理空间在所述目标服务器中进行数据同步。

在一些实施例中，若待同步数据实际所占的物理空间超过了目标服务器能够支持的最大同步数据量，若电子设备中配置有分布式数据库，需要将已经同步的数据转移至分布式数据库中。

需要说明的是，本申请实施例对步骤101和步骤102之间的执行顺序不进行限制，可以先执行步骤101再执行步骤102，也可以先执行步骤102再执行步骤101，还可以同时执行步骤101和步骤102。并且，本申请实施例对步骤104和步骤105之间的执行顺序也不进行限制，可以先执行步骤104再执行步骤105，也可以先执行步骤105再执行步骤104，还可以同时执行步骤104和步骤105。

在将源数据库中待同步数据同步至目标服务器、且源数据库的类型为列式数据库时，若配置信息中目标服务器的类型包含列式数据库，则直接选择类型为列式数据库的目标服务器进行数据同步。

进一步地，在数据同步完成之后，为了方便数据的查询，可以在电子设备上维护一张数据表和数据库存储关系表，从而方便用户在查询数据时可快速地访问相应的数据库来进行查询。

并且，随着同步次数的增加，同步至目标服务器中的数据会越来越多，因此，在每次同步之后需要重新计算数据库表中的数据量，若超出限制则需要进行数据迁移，以免造成数据同步过程的中断，出现数据丢失。

根据本申请实施例，在源数据库的类型为关系型数据库时，若源数据库中包含索引，则确定源数据库中待同步数据所占的物理空间最大为2GB；若源数据库中不包含索引，则确定源数据库中待同步数据所占的物理空间最大为500MB；获取目标服务器的空闲内存和目标服务器的内存条件支持的同步数据量；若空闲空间大于确定得到的待同步数据所占的物理空间2GB以上，则以目标服务器的内存条件支持的同步数据量和源数据库中待同步数据确定得到的所占的物理空间的交集作为待同步数据的数据量以进行数据同步。采用这种方式，可以基于源数据库中数据量的大小、是否包含索引，目标服务器的内存等多个因素来选择合适的同步策略，能够在不牺牲性能的前提下，最大程度的减少资源浪费，提高了数据同步的效率。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

以上是关于方法实施例的介绍，以下通过装置实施例，对本申请所述方案进行进一步说明。

参见图2，在将源数据库中数据同步至目标服务器、且源数据库的类型为关系型数据库时，该数据同步装置包括：

第一确定模块201，用于在所述源数据库中包含索引时，确定所述源数据库中待同步数据所占的物理空间最大为2GB。

第二确定模块202，用于在所述源数据库中不包含索引时，确定所述源数据库中待同步数据所占的物理空间最大为500MB。

内存获取模块203，用于获取所述目标服务器的空闲内存和所述目标服务器的内存条件支持的同步数据量。

第一同步模块204，用于在所述空闲空间大于确定得到的待同步数据所占的物理空间2GB以上时，以所述目标服务器的内存条件支持的同步数据量和所述源数据库中待同步数据确定得到的所占的物理空间的交集作为待同步数据的数据量以进行数据同步。

第二同步模块205，用于在所述空闲空间大于确定得到的待同步数据所占的物理空间2GB以下，按照所述源数据库中待同步数据计算得到的所占的物理空间在所述目标服务器中进行数据同步。

在一些实施例中，还包括数据计算模块，所述数据计算模块用于：基于所述源数据库中数据源表查询得到待同步数据的数据量和数据结构；根据待同步数据的数据量、字段类型以及长度，计算得到待同步数据所占的物理空间。

在一些实施例中，还包括第三同步模块，在将源数据库中数据同步至目标服务器时，且所述源数据库的类型为列式数据库；所述第三同步模块，用于在置信息中所述目标服务器的类型包含列式数据库时，直接选择类型为列式数据库的所述目标服务器进行数据同步，所述配置信息包括一种或多种所述目标服务器的类型。

在一些实施例中，还包括数据维护模块，所述数据维护模块用于：在同步完成后，维护数据表和数据库存储关系表。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例中提供了一种电子设备，如图3所示，图3所示的电子设备300包括：处理器301和存储器303。其中，处理器301和存储器303相连，如通过总线302相连。可选地，电子设备300还可以包括收发器304。需要说明的是，实际应用中收发器304不限于一个，该电子设备300的结构并不构成对本申请实施例的限定。

处理器301可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器301也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线302可包括一通路，在上述组件之间传送信息。总线302可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线302可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器303可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器303用于存储执行本申请方案的应用程序代码，并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码，以实现前述方法实施例所示的内容。

其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图3示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种数据同步方法，其特征在于，包括：

在将源数据库中待同步数据同步至目标服务器时，且所述源数据库的类型为关系型数据库；

若所述源数据库中包含索引，则确定所述源数据库中待同步数据所占的物理空间最大为2GB；

若所述源数据库中不包含索引，则确定所述源数据库中待同步数据所占的物理空间最大为500MB；

获取所述目标服务器的空闲内存和所述目标服务器的内存条件支持的同步数据量；

若所述空闲空间大于确定得到的待同步数据所占的物理空间2GB以上，则以所述目标服务器的内存条件支持的同步数据量和所述源数据库中待同步数据确定得到的所占的物理空间的交集作为待同步数据的数据量以进行数据同步；

若所述空闲空间大于确定得到的待同步数据所占的物理空间2GB以下，则按照所述源数据库中待同步数据计算得到的所占的物理空间在所述目标服务器中进行数据同步。

2.根据权利要求1所述的方法，其特征在于，还包括：

基于所述源数据库中数据源表查询得到待同步数据的数据量和数据结构；

根据待同步数据的数据量、字段类型以及长度，计算得到待同步数据所占的物理空间。

3.根据权利要求1所述的方法，其特征在于，还包括：

在将源数据库中数据同步至目标服务器时，且所述源数据库的类型为列式数据库；

若配置信息中所述目标服务器的类型包含列式数据库，则直接选择类型为列式数据库的所述目标服务器进行数据同步，所述配置信息包括一种或多种所述目标服务器的类型。

4.根据权利要求1所述的方法，其特征在于，还包括：

在同步完成后，维护数据表和数据库存储关系表。

5.一种数据同步装置，其特征在于，包括：

在将源数据库中待同步数据同步至目标服务器时，且所述源数据库的类型为关系型数据库；

第一确定模块，用于在所述源数据库中包含索引时，确定所述源数据库中待同步数据所占的物理空间最大为2GB；

第二确定模块，用于在所述源数据库中不包含索引时，确定所述源数据库中待同步数据所占的物理空间最大为500MB；

内存获取模块，用于获取所述目标服务器的空闲内存和所述目标服务器的内存条件支持的同步数据量；

第一同步模块，用于在所述空闲空间大于确定得到的待同步数据所占的物理空间2GB以上时，以所述目标服务器的内存条件支持的同步数据量和所述源数据库中待同步数据确定得到的所占的物理空间的交集作为待同步数据的数据量以进行数据同步；

第二同步模块，用于在所述空闲空间大于确定得到的待同步数据所占的物理空间2GB以下，则按照所述源数据库中待同步数据计算得到的所占的物理空间在所述目标服务器中进行数据同步。

6.根据权利要求5所述的装置，其特征在于，还包括数据计算模块，所述数据计算模块用于：

基于所述源数据库中数据源表查询得到待同步数据的数据量和数据结构；

根据待同步数据的数据量、字段类型以及长度，计算得到待同步数据所占的物理空间。

7.根据权利要求5所述的装置，其特征在于，还包括第三同步模块，

在将源数据库中数据同步至目标服务器时，且所述源数据库的类型为列式数据库；

所述第三同步模块，用于在置信息中所述目标服务器的类型包含列式数据库时，直接选择类型为列式数据库的所述目标服务器进行数据同步，所述配置信息包括一种或多种所述目标服务器的类型。

8.根据权利要求5所述的装置，其特征在于，还包括数据维护模块，所述数据维护模块用于：在同步完成后，维护数据表和数据库存储关系表。

9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的数据同步方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的数据同步方法。