CN109977169A - 数据同步方法、装置、计算机可读存储介质及系统 - Google Patents

Abstract

本发明公开了一种数据同步方法，包括：在接收到数据同步指令时，获取数据同步需求；根据数据同步需求在预设的数据同步参数配置页面配置数据同步参数，所述预设的数据同步参数配置页面包括数据同步的参数配置选项；以已配置的数据同步参数执行数据同步操作。本发明还公开了一种数据同步装置、计算机可读存储介质及系统。本发明根据当前的数据同步需求对应配置数据同步参数，以避免无效的数据同步操作，使得数据同步具备指向性，进而实现提高数据同步效率的有益效果。

Description

数据同步方法、装置、计算机可读存储介质及系统

技术领域

本发明涉及数据同步领域，尤其涉及一种数据同步方法、装置、计算机可读存储介质及系统。

背景技术

由于数据应用的原因，可能会涉及到内部的数据同步的操作，现有技术一般是使用SPARK集群单表进行数据拉取，而拉数的时间是30分钟处理九千万左右的数据，在实际应用中，若是数据量超过预警数量，可能会造成数据同步效率的问题。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种数据同步方法，旨在解决现有技术使用SPARK集群单表进行数据拉取，而拉数的时间是30分钟处理九千万左右的数据，在实际应用中，若是数据量超过预警数量，可能会造成数据同步效率低的技术问题。

为实现上述目的，本发明提供一种数据同步方法，包括以下内容：

在接收到数据同步指令时，获取数据同步需求；

根据数据同步需求在预设的数据同步参数配置页面配置数据同步参数，所述预设的数据同步参数配置页面包括数据同步的参数配置选项；

以已配置的数据同步参数执行数据同步操作。

优选地，所述在接收到数据同步指令时，获取数据同步需求的步骤，还包括：

确认所述数据同步指令对应的数据源及目标数据；

根据所述数据源及目标数据的数据信息确认所述数据同步需求。

优选地，所述根据所述数据源及目标数据的数据信息确认所述数据同步需求的步骤，还包括：

确认目标数据的数据结构，以及数据源的数据同步信息；

以所述数据结构及数据同步信息生成所述数据同步需求。

优选地，所述根据所述数据同步需求配置数据同步参数的步骤，包括：

根据数据同步需求在预设的数据同步参数配置页面确认对应的目标参数配置项；

以所述目标参数配置项生成所述数据同步参数。

优选地，所述数据同步方法，还包括：

采集数据同步需求，所述数据同步需求包括数据源数据结构及目标数据的同步信息；

根据采集到的数据同步需求创建预设的数据同步参数配置页面。

优选地，所述根据采集到的数据同步需求创建预设的数据同步参数配置页面的步骤，还包括：

解析所述数据同步需求；

根据所述数据同步需求在已创建的预设的数据同步参数配置页面中添加目标参数配置项，所述目标参数配置项包含目标参数选项以及目标参数选项中的待选参数。

优选地，所述根据所述数据同步需求在已创建的预设的数据同步参数配置页面中添加目标参数配置项的步骤，还包括：

确认预设的数据同步参数配置页面中是否添加对应的目标参数配置项；

在确认未添加对应的目标参数配置项时，执行在已创建的预设的数据同步参数配置页面中添加目标参数配置项的步骤。

此外，为实现上述目的，本发明还提供一种数据同步装置，所述数据同步装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述数据同步方法的步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据同步应用程序，所述数据同步应用程序被处理器执行时实现如上所述数据同步方法的步骤。

本发明还提供一种数据同步系统，所述数据同步系统在执行时实现如上所述的数据同步方法的步骤。

本发明实施例提出的一种数据同步方法，在接收到数据同步指令时，获取数据同步需求；根据数据同步需求在预设的数据同步参数配置页面配置数据同步参数，所述预设的数据同步参数配置页面包括数据同步的参数配置选项；以已配置的数据同步参数执行数据同步操作。根据当前的数据同步需求对应配置数据同步参数，以避免无效的数据同步操作，使得数据同步具备指向性，进而实现提高数据同步效率的有益效果。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的终端\装置结构示意图；

图2为本发明数据同步方法第一实施例的流程示意图；

图3为本发明数据同步方法第二实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：在接收到数据同步指令时，获取数据同步需求；根据数据同步需求在预设的数据同步参数配置页面配置数据同步参数，所述预设的数据同步参数配置页面包括数据同步的参数配置选项；以已配置的数据同步参数执行数据同步操作。

由于现有技术使用SPARK集群单表进行数据拉取，而拉数的时间是30分钟处理九千万左右的数据，在实际应用中，若是数据量超过预警数量，可能会造成数据同步效率低的技术问题。

本发明提供一种解决方案，根据当前的数据同步需求对应配置数据同步参数，以避免无效的数据同步操作，使得数据同步具备指向性，进而实现提高数据同步效率的有益效果。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。

本发明实施例终端可以是PC，也可以是智能手机、平板电脑、电子书阅读器，便携计算机等可移动式或不可移动式终端设备。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据同步应用程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的数据同步应用程序，并执行以下操作：

在接收到数据同步指令时，获取数据同步需求；

根据数据同步需求在预设的数据同步参数配置页面配置数据同步参数，所述预设的数据同步参数配置页面包括数据同步的参数配置选项；

以已配置的数据同步参数执行数据同步操作。

进一步地，处理器1001可以调用存储器1005中存储的数据同步应用程序，还执行以下操作：

确认所述数据同步指令对应的数据源及目标数据；

根据所述数据源及目标数据的数据信息确认所述数据同步需求。

进一步地，处理器1001可以调用存储器1005中存储的数据同步应用程序，还执行以下操作：

确认目标数据的数据结构，以及数据源的数据同步信息；

以所述数据结构及数据同步信息生成所述数据同步需求。

进一步地，处理器1001可以调用存储器1005中存储的数据同步应用程序，还执行以下操作：

根据数据同步需求在预设的数据同步参数配置页面确认对应的目标参数配置项；

以所述目标参数配置项生成所述数据同步参数。

进一步地，处理器1001可以调用存储器1005中存储的数据同步应用程序，还执行以下操作：

采集数据同步需求，所述数据同步需求包括数据源数据结构及目标数据的同步信息；

根据采集到的数据同步需求创建预设的数据同步参数配置页面。

进一步地，处理器1001可以调用存储器1005中存储的数据同步应用程序，还执行以下操作：

解析所述数据同步需求；

根据所述数据同步需求在已创建的预设的数据同步参数配置页面中添加目标参数配置项，所述目标参数配置项包含目标参数选项以及目标参数选项中的待选参数。

进一步地，处理器1001可以调用存储器1005中存储的数据同步应用程序，还执行以下操作：

确认预设的数据同步参数配置页面中是否添加对应的目标参数配置项；

在确认未添加对应的目标参数配置项时，执行在已创建的预设的数据同步参数配置页面中添加目标参数配置项的步骤。

参照图2，图2为本发明数据同步方法第一实施例的流程示意图，所述数据同步方法包括：

步骤S10，在接收到数据同步指令时，获取数据同步需求；

接收数据同步指令，所述数据同步指令可基于当前具备可同步的数据源及目标数据发起，如此，根据发起的所述数据同步指令，获取当前的数据同步需求，所述数据同步需求包括但不限于数据源及目标数据的数据结构、同步类型、同步方式、同步类型等，其具体的数据同步需求均可参考现有的数据同步方式，如此，在根据数据同步指令获取数据同步需求时，即所述在接收到数据同步指令时，获取数据同步需求的步骤，还包括：

确认所述数据同步指令对应的数据源及目标数据；

根据所述数据源及目标数据的数据信息确认所述数据同步需求。

根据当前接收到的数据同步指令，确认即将进行数据同步操作的数据源以及对应的目标数据。通过以确认的数据源及目标数据，确认当前数据同步指令的数据同步需求。如此，所述数据同步需求为基于所述数据源以及目标数据的基础参数所获取到的，包括但不限于所述数据源的同步类型、数据类型，以及目标数据的数据库的库信息、库字段，以及当前数据同步指令的数据同步的基础信息配置等，其数据库的基础信息配置包括但不限于重配制、批量配置、分区配置、字段映射配置、优化配置、测试环境配置等。

如上所述，在以数据源及目标数据确认数据同步需求时，即所述根据所述数据源及目标数据的数据信息确认所述数据同步需求的步骤，还包括：

确认目标数据的数据结构，以及数据源的数据同步信息；

以所述数据结构及数据同步信息生成所述数据同步需求。

解析所述目标数据的数据结构，所述目标数据代指被同步数据的存储位置，或者被同步后的目标数据的具体数据信息，其具体的定义与当前的数据同步操作的操作内容决定。根据解析到的数据结构，其具体的数据结构包括存储被同步数据的数据库的库结构信息，与此同时，还确认数据源的数据同步信息，将解析到的目标数据的数据结构以及数据源的数据库同步信息，生成所述数据同步需求。因此，已生成的数据同步需求包含当前数据同步指令的所有数据同步的内容，以根据所述数据同步的内容配置相关的数据同步参数。

步骤S20，根据数据同步需求在预设的数据同步参数配置页面配置数据同步参数，所述预设的数据同步参数配置页面包括数据同步的参数配置选项；

根据获取到的数据同步需求在预设的数据同步参数配置页面配置数据同步参数，所述预设的数据同步参数配置页面中包含有当前数据同步需求的参数配置项，其参数配置项可根据当前的数据同步需求对应添加或修改相关的参数配置项的选项内容，如此，在根据当前预设的数据同步参数配置页面配置以获取到的数据同步需求的数据同步参数时，需根据所述数据同步需求的需求内容确认对应的参数配置项，即所述根据所述数据同步需求配置数据同步参数的步骤，包括：

根据数据同步需求在预设的数据同步参数配置页面确认对应的目标参数配置项；

以所述目标参数配置项生成所述数据同步参数。

解析输数据同步需求的具体需求内容，以在预设的数据同步参数配置页面确认与所述数据同步需求对应的标准参数配置项，所述标准参数配置项包括目标配置项以及目标配置项的参数内容。在确认目标参数配置项后，以所述目标参数配置项生成当前的数据同步参数。

步骤S30，以已配置的数据同步参数执行数据同步操作。

根据已配置操的数据同步参数，执行当前的数据同步操作，使得数据源与目标数据进行数据同步操作。其具体的数据同步操作，可通过点击数据执行按钮，或者以已配置的数据同步参数生成对应的执行数据同步的SQL语句，并执行所述SQL语句实现当前的数据同步操作，另外，其具体的数据同步操作与当前的数据同步需求相关，其执行方式也由相关的技术人员设定。

在本实施例中，根据当前的数据同步需求对应配置数据同步参数，以避免无效的数据同步操作，使得数据同步具备指向性，进而实现提高数据同步效率的有益效果。

进一步的，参照图3，图3为本发明数据同步方法的第二实施例流程示意图，基于图2所示的第一实施例，所述数据同步方法，还包括：

步骤S40，采集数据同步需求，所述数据同步需求包括数据源数据结构及目标数据的同步信息；

步骤S50，根据采集到的数据同步需求创建预设的数据同步参数配置页面。

本实施例中，基于当前的数据同步需求，采集相关的数据同步需求的具体需求内容，所述数据同步需求包括数据源结构及目标数据的同步信息，因此，根据采集到的所述同步需求创建预设的数据同步参数配置页面，其预设的数据同步参数配置页面中包含有当前应用的所述数据同步需求的对应数据同步参数，因此，在根据采集到的数据同步需求创建预设的数据同步参数配置页面时，即所述根据采集到的数据同步需求创建预设的数据同步参数配置页面的步骤，还包括：

解析所述数据同步需求；

根据所述数据同步需求在已创建的预设的数据同步参数配置页面中添加目标参数配置项，所述目标参数配置项包含目标参数选项以及目标参数选项中的待选参数。

解析采集到的数据同步需求，并根据解析结果在预设的数据同步参数配置页面中添加对应的目标参数配置项，其所述目标参数配置项根据当前解析到的数据同步需求对应添加目标参数选项，以及所述目标参数选项中的待选参数，以实现数据同步需求的同步参数配置。

进一步的，在预设的数据同步参数配置页面中添加对应的目标参数选项或者目标参数选项的待选参数时，需确认是否有重复的内容，因此，所述根据所述数据同步需求在已创建的预设的数据同步参数配置页面中添加目标参数配置项的步骤，还包括：

确认预设的数据同步参数配置页面中是否添加对应的目标参数配置项；

在确认未添加对应的目标参数配置项时，执行在已创建的预设的数据同步参数配置页面中添加目标参数配置项的步骤。

在添加目标参数配置项时，确认当前目标参数配置项是否已存在于所述预设的数据同步参数配置页面中，其具体的确认方式可直接通过参数配置项的筛选操作实现，在确认所述预设的数据同步参数配置页面中并未添加所述目标参数配置项时，执行在已创建的预设的数据同步参数配置页面中添加目标参数配置项的步骤。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有数据同步应用程序，所述数据同步应用程序被处理器执行时实现如下操作：

在接收到数据同步指令时，获取数据同步需求；

根据数据同步需求在预设的数据同步参数配置页面配置数据同步参数，所述预设的数据同步参数配置页面包括数据同步的参数配置选项；

以已配置的数据同步参数执行数据同步操作。

进一步地，所述数据同步应用程序被处理器执行时还实现如下操作：

确认所述数据同步指令对应的数据源及目标数据；

根据所述数据源及目标数据的数据信息确认所述数据同步需求。

进一步地，所述数据同步应用程序被处理器执行时还实现如下操作：

确认目标数据的数据结构，以及数据源的数据同步信息；

以所述数据结构及数据同步信息生成所述数据同步需求。

进一步地，所述数据同步应用程序被处理器执行时还实现如下操作：

根据数据同步需求在预设的数据同步参数配置页面确认对应的目标参数配置项；

以所述目标参数配置项生成所述数据同步参数。

进一步地，所述数据同步应用程序被处理器执行时还实现如下操作：

采集数据同步需求，所述数据同步需求包括数据源数据结构及目标数据的同步信息；

根据采集到的数据同步需求创建预设的数据同步参数配置页面。

进一步地，所述数据同步应用程序被处理器执行时还实现如下操作：

解析所述数据同步需求；

根据所述数据同步需求在已创建的预设的数据同步参数配置页面中添加目标参数配置项，所述目标参数配置项包含目标参数选项以及目标参数选项中的待选参数。

进一步地，所述数据同步应用程序被处理器执行时还实现如下操作：

确认预设的数据同步参数配置页面中是否添加对应的目标参数配置项；

在确认未添加对应的目标参数配置项时，执行在已创建的预设的数据同步参数配置页面中添加目标参数配置项的步骤。

本发明还提供一种数据同步系统，所述数据同步系统在执行时实现如上所述的数据同步方法的实施例的内容。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据同步方法，其特征在于，所述数据同步方法包括以下步骤：

在接收到数据同步指令时，获取数据同步需求；

根据数据同步需求在预设的数据同步参数配置页面配置数据同步参数，所述预设的数据同步参数配置页面包括数据同步的参数配置选项；

以已配置的数据同步参数执行数据同步操作。

2.如权利要求1所述数据同步方法，其特征在于，所述在接收到数据同步指令时，获取数据同步需求的步骤，还包括：

确认所述数据同步指令对应的数据源及目标数据；

根据所述数据源及目标数据的数据信息确认所述数据同步需求。

3.如权利要求2所述的数据同步方法，其特征在于，所述根据所述数据源及目标数据的数据信息确认所述数据同步需求的步骤，还包括：

确认目标数据的数据结构，以及数据源的数据同步信息；

以所述数据结构及数据同步信息生成所述数据同步需求。

4.如权利要求1所述数据同步方法，其特征在于，所述根据所述数据同步需求配置数据同步参数的步骤，包括：

根据数据同步需求在预设的数据同步参数配置页面确认对应的目标参数配置项；

以所述目标参数配置项生成所述数据同步参数。

5.如权利要求1至4任一项所述的数据同步方法，其特征在于，所述数据同步方法，还包括：

采集数据同步需求，所述数据同步需求包括数据源数据结构及目标数据的同步信息；

根据采集到的数据同步需求创建预设的数据同步参数配置页面。

6.如权利要求5所述的数据同步方法，其特征在于，所述根据采集到的数据同步需求创建预设的数据同步参数配置页面的步骤，还包括：

解析所述数据同步需求；

根据所述数据同步需求在已创建的预设的数据同步参数配置页面中添加目标参数配置项，所述目标参数配置项包含目标参数选项以及目标参数选项中的待选参数。

7.如权利要求8所述的数据同步方法，其特征在于，所述根据所述数据同步需求在已创建的预设的数据同步参数配置页面中添加目标参数配置项的步骤，还包括：

确认预设的数据同步参数配置页面中是否添加对应的目标参数配置项；

在确认未添加对应的目标参数配置项时，执行在已创建的预设的数据同步参数配置页面中添加目标参数配置项的步骤。

8.一种数据同步装置，其特征在于，所述数据同步装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述数据同步方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据同步应用程序，所述数据同步应用程序被处理器执行时实现如权利要求1至7中任一项所述数据同步方法的步骤。

10.一种数据同步系统，其特征在于，所述数据同步系统在执行时实现如权利要求1至7任一项所述的数据同步方法的步骤。