CN106168972A - 一种框架结构的数据同步系统及方法 - Google Patents

Abstract

本发明公开了一种框架结构的数据同步系统及方法，其中，包括：第一储存单元，用以保存需要同步的数据；同步单元，与第一储存单元连接；第二储存单元，与同步单元连接；同步单元包括：一数据接口，用以接收一外部输入的同步指令；一指令转换模块，与数据接口连接，用以将同步指令转换为关联于一第一语言的操作指令；一数据处理模块，与指令转换模块连接，用以于第一储存单元中执行操作指令，并获取对应的操作结果；以及数据处理模块将操作结果同步至第二储存单元。其技术方案的有益效果在于，操作过程简单方便，且整个同步数据同步过程中使用者无需掌握Python编程语言，通过同步单元即可实现同步操作。

Description

一种框架结构的数据同步系统及方法

技术领域

本发明涉及通信技术领域，尤其涉及一种框架结构的数据同步系统。

背景技术

随着互联网技术的不断发展，大数据处理已成为当下一种热门技术，其中大数据（big data），具体是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。由于数据库对大数据的处理日趋频繁，使得数据库被用户正常访问例如查询以及下载操作受到影响，基于上述问题可通过将数据库中的数据搬迁至搜索引擎服务器的存储系统中则可以很好的解决上述的问题，在数据搬迁处理中通常采用的Python编程语言实现，因为python语言操作便捷，以命令的方式执行代码，正因为如此对于执行同步操作的使用者需要具备一定的Python编程语言的能力，因此使得系统的维护成本上升。

发明内容

针对现有技术中同步数据至搜索引擎服务器中存在的上述问题，现提供一种旨在不要熟悉Python语言，通过模块快可实现将数据进行处理同步至第二数据库中的框架结构的数据同步系统及方法。

具体技术方案如下：

一种框架结构的数据同步系统，其中，包括：

第一储存单元，用以保存需要同步的数据；

同步单元，与所述第一储存单元连接；

第二储存单元，与所述同步单元连接；

所述同步单元包括：

一数据接口，用以接收一外部输入的同步指令；

一指令转换模块，与所述数据接口连接，用以将所述同步指令转换为关联于一第一语言的操作指令；

一数据处理模块，与所述指令转换模块连接，用以于所述第一储存单元中执行所述操作指令，并获取对应的操作结果； 以及

所述数据处理模块将所述操作结果同步至所述第二储存单元。

优选的，所述第一语言为Python语言。

优选的，提供一操作界面，所述操作界面与所述数据接口连接，用以将所述操作界面编辑形成所述同步指令并输出至所述数据接口。

优选的，所述第一储存单元为一第一数据库。

优选的，所述指令转换模块包括一第一数据库接口，所述第一数据库接口用以供所述指令转换模块连接所述第一数据库。

优选的，所述第二储存单元为一第二数据库。

优选的，所述指令转换模块包括一第二数据库接口，所述第二数据库接口用以供所述指令转换模块连接所述第二数据库。

优选的，所述数据处理模块包括一第一执行模块，所述第一执行模块用以于所述第一储存单元中执行所述操作指令。

优选的，所述数据处理模块包括一结果获取模块，所述结果获取模块用以于所述第一储存单元执行所述操作指令后获取所述操作结果。

优选的，所述数据处理模块包括一第二执行模块，所述第二执行模块用以将所述操作结果同步至所述第二储存单元。

优选的，所述第二储存单元为基于Lucene的搜索服务器的数据库。

优选的，所述数据处理模块将所述操作结果同步至所述第二储存单元之前先将所述操作结果转换为配合所述第二储存单元的格式。

优选的，所述格式为基于Lucene的搜索服务器的数据库的文件格式。

优选的，所述同步单元包括日志管理模块，所述日志管理模块与所述数据处理模块连接，用以将处理所述数据的记录形成日志。

一种框架结构的数据同步方法，其特征在于，提供一第一储存单元，用以保存需要同步的数据；

提供一第二储存单元；

提供一同步单元，分别与所述第一储存单元以及所述第二储存单元连接；

包括以下步骤：

步骤S1、所述同步单元接收一同步指令；

步骤S2、所述同步单元根据将同步指令转换为关联于第一语言的操作指令；

步骤S3、所述同步单元于所述第一储存单元中执行所述操作指令，以获取对应的操作结果；

步骤S4、所述同步单元将所述操作结果同步至第二储存单元。

上述技术方案具有如下优点或有益效果： 使用者可通过同步单元将外部输入的同步指令转换为关联于第一语言的操作指令，进而于第一储存单元中执行操作指令获取对应操的操作结果，最终将操作结果同步至第二储存单元中，操作过程简单方便，且整个同步数据同步过程中使用者无需掌握Python编程语言，通过同步单元即可实现同步操作。

附图说明

参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的限制。

图1为本发明一种框架结构的数据同步系统的结构示意图；

图2为本发明一种框架结构的数据同步系统实施例中，关于指令转换模块的结构示意图；

图3为本发明一种框架结构的数据同步系统实施例中，关于数据处理模块的结构示意图；

图4为本发明一种框架结构的数据同步系统方法实施例的流程图。

上述说明书中各附图标记表示：

（1）、同步单元；（2）、第一储存单元；（3）、第二储存单元；（11）数据接口；（12）、指令转换模块；（13）、数据处理模块；（14）、日志管理模块；（121）、第一数据库接口；（122）、第二数据库接口；（131）、第一执行模块；（132）、结果获取模块；（133）、第二执行模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本发明包括一种框架结构的数据同步系统

如图1所示，一种框架结构的数据同步系统的实施例，其中，包括：：

第一储存单元2，用以保存需要同步的数据；

同步单元1，与第一储存单元2连接；

第二储存单元3，与同步单元1连接；

同步单元1包括：

一数据接口11，用以接收一外部输入的同步指令；

一指令转换模块12，与数据接口11连接，用以将同步指令转换为关联于一第一语言的操作指令；

一数据处理模块13，与指令转换模块12连接，用以于第一储存单元2中执行操作指令，并获取对应的操作结果； 以及

数据处理模块13将操作结果同步至第二储存单元3。

上述技术方案中，为了方便使用者将第一储存单元2中的数据同步至第二储存单元3，可通过数据接口11接收外部输入的同步指令，其中同步指令用以表示需要执行数据同步的指令，在同步单元1接收到外部的同步指令后，可通过指令转换模块12将同步指令转换为关联于第一语言的操作指令，应当指出的是，同步单元1可同时接收多个不同的同步指令，进而通过指令转换单元对接收的多个同步指令分别转换为关联于第一语言的操作指令；

在操作指令形成后，通过数据处理模块13与第一储存储存单元2中执行操作指令，并形成对应的操作结果，并通过数据处理模块13将对应操作指令的操作结果同步至第二储存单元3。

在一种较优的实施方式中，第一语言为Python语言，Python具有丰富和强大的库，它常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。常见的一种应用情形是，使用Python快速生成程序的原型（有时甚至是程序的最终界面），然后对其中有特别要求的部分，用更合适的语言改写。

在一种较优的实施方式中，提供一操作界面，操作界面与数据接口11连接，用以将操作界面编辑形成同步指令并输出至数据接口11。

上述技术方案中，外部输入的同步指令可通过上述提供的操作界面编辑输入，其中同步指令的输入可通过使用者录入或者操作界面中会设置有供使用者选择的同步指令。

在一种较优的实施方式中，第一储存2单元为一第一数据库。

在一种较优的实施方式中，如图2所示，指令转换模块12包括一第一数据库接口121，第一数据库接口121用以供指令转换模块12连接第一数据库。

在一种较优的实施方式中，第二储存单元3为一第二数据库。

在一种较优的实施方式中，指令转换模块12包括一第二数据库接口122，第二数据库接口122用以供指令转换模块12连接第二数据库。

上述技术方案中，上述的数据的同步操作即将第一储存单元2的第一数据库中需要同步的数据通过同步单元1同步至第二储存单元3中的第二数据库中，其中需要同步的数据可通过使用者于操作界面输入同步指令，同步指令可具体包括对第一数据库进行查询、删除以及添加的操作，同步单元1根据外部的同步指令，将同步指令转换为基于第一语言即上述的python语言的操作指令，并且在转换指令的过程中，指令转换模块12分别与第一数据库以及第二数据库进行连接，同步单元1与第一数据库以及第二数据库建立连接后，数据处理模块13根据操作指令于第一数据库中执行操作指令，并获取与操作指令对应的操作结果，在于第一数据库中获取与操作结果对应的操作结果后，数据处理模块13将操作结果同步至第二数据库，若当前的同步结果同步完成，则数据处理模块13释放与第一数据库以及第二数据库的连接。

在一种较优的实施方式中，如图3所示，数据处理模块13包括一第一执行模块131，第一执行模块131用以于第一储存单元2中执行操作指令。

在一种较优的实施方式中，数据处理模块13包括一结果获取模块132，结果获取模块132用以于第一储存单元2执行操作指令后获取操作结果。

在一种较优的实施方式中，数据处理模块13包括一第二执行模块133，第二执行模块133用以将操作结果同步至第二储存单元3。

上述技术方案中，具体的获取与操作指令对应的操作结果可为，通过指令转换模块12将同步指令转换为关联于第一语言的操作指令后，由第一执行模块131与第一储存单元2中的第一数据库中形成操作指令，操作指令执行成功后，通过结果获取单元132于第一储存单元2中获取对应于操作指令的操作结果，于获取到操作结果后，通过第二执行模块133可将操作结果同步至第二储存单元3的第二数据库中。

在一种较优的实施方式中，第二储存单元3为基于Lucene的搜索服务器的数据库。

上述的Lucene的搜索服务器它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口，Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。

在一种较优的实施方式中，数据处理模块13将操作结果同步至第二储存单元3之前先将操作结果转换为配合第二储存单元3的格式。

在一种较优的实施方式中，格式为基于Lucene的搜索服务器的数据库的文件格式。

在一种较优的实施方式中，同步单元1包括日志管理模块14，日志管理模块14与数据处理模块13连接，用以将处理数据的记录形成日志。

上述技术方案中，日志管理模块14可通过数据处理模块13对数据的处理的记录形成日志，进而可将日志输出方便使用者查看数据的同步状况。

本发明的技术方案中还包括一种框架结构的数据同步方法。

一种框架结构的数据同步方法的实施例，其中，提供一第一储存单元2，用以保存需要同步的数据；

提供一第二储存单元3；

提供一同步单元1，分别与第一储存单元2以及第二储存单元3连接；

如图4所示，包括以下步骤：

步骤S1、同步单元1接收一同步指令；

步骤S2、同步单元1根据将同步指令转换为关联于第一语言的操作指令；

步骤S3、同步单元1于第一储存单元2中执行操作指令，以获取对应的操作结果；

步骤S4、同步单元1将操作结果同步至第二储存单元3。

在具体实施例中，在使用者在对数据进行同步操作时，使用者可通过操作界面输入同步操作指令，例如操作指令包括于第一储存单元2中获取，起始日期以及数据初始值20160412110000到终止日期以及数据终止值20160428120000，同步单元1接收到同步指令后，通过指令转换模块12将同步指令转换为关联于第一语言优选为python语言的操作指令，其中查询指令包括于第一数据库中的查询指令；

begin_value：20160412110000；

end_valu：20160428120000；

获取到操作指令后，通过于第一储存单元2中执行上述的操作指令以获取操作结果，其中结果为起始日期20160412到终止日期20160428，期间数据从110000到120000之间的所有数据，进而通过获取模块于第一储存模块中获取操作结果后，将操作结果同步至第二储存单元3，上述操作过程中同步单元1可接受多个同步指令，并将多个同步指令进行转换，形成对应同步指令的操作指令，随后可根据接收的同步指令的先后顺序启动相应的处理进程，以分别对操作指令进行操作，进而可实现对第一储存单元2中需要同步的数据进行快速的同步操作。

其中，第二储存单元3中的数据库为基于Lucene的搜索服务器的数据库，Lucene的搜索服务器它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口，Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。

在同步数据的处理过程中，由于第二储存单元3的文件格式与第一储存单元2的文件格式并不相同，因此由第一储存单元2中返回的操作结果，并不能直接保存至第二储存单元3，因此需要将上述的操作结果转换为配合第二储存单元3的格式，即基于Lucene的搜索服务器的数据库的文件格式后，再进行同步操作。

上述同步操作不仅操作简单，而且不需要使用者掌握Python编程语言的核心代码即可实现上述的数据的同步操作。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (15)

1.一种框架结构的数据同步系统，其特征在于，包括：

第一储存单元，用以保存需要同步的数据；

同步单元，与所述第一储存单元连接；

第二储存单元，与所述同步单元连接；

所述同步单元包括：

一数据接口，用以接收一外部输入的同步指令；

一指令转换模块，与所述数据接口连接，用以将所述同步指令转换为关联于一第一语言的操作指令；

一数据处理模块，与所述指令转换模块连接，用以于所述第一储存单元中执行所述操作指令，并获取对应的操作结果； 以及

所述数据处理模块将所述操作结果同步至所述第二储存单元。

2.根据权利要求1所述的框架结构的数据同步系统，其特征在于，所述第一语言为Python语言。

3.根据权利要求1所述的框架结构的数据同步系统，其特征在于，提供一操作界面，所述操作界面与所述数据接口连接，用以将所述操作界面编辑形成所述同步指令并输出至所述数据接口。

4.根据权利要求1所述的框架结构的数据同步系统，其特征在于，所述第一储存单元为一第一数据库。

5.根据权利要求4所述的框架结构的数据同步系统，其特征在于，所述指令转换模块包括一第一数据库接口，所述第一数据库接口用以供所述指令转换模块连接所述第一数据库。

6.根据权利要求1所述的框架结构的数据同步系统，其特征在于，所述第二储存单元为一第二数据库。

7.根据权利要求6所述的框架结构的数据同步系统，其特征在于，所述指令转换模块包括一第二数据库接口，所述第二数据库接口用以供所述指令转换模块连接所述第二数据库。

8.根据权利要求1所述的框架结构的数据同步系统，其特征在于，所述数据处理模块包括一第一执行模块，所述第一执行模块用以于所述第一储存单元中执行所述操作指令。

9.根据权利要求1所述的框架结构的数据同步系统，其特征在于，所述数据处理模块包括一结果获取模块，所述结果获取模块用以于所述第一储存单元执行所述操作指令后获取所述操作结果。

10.根据权利要求1所述的框架结构的数据同步系统，其特征在于，所述数据处理模块包括一第二执行模块，所述第二执行模块用以将所述操作结果同步至所述第二储存单元。

11.根据权利要求6所述的框架结构的数据同步系统，其特征在于，所述第二储存单元为基于Lucene的搜索服务器的数据库。

12.根据权利要求11所述的框架结构的数据同步系统，其特征在于，所述数据处理模块将所述操作结果同步至所述第二储存单元之前先将所述操作结果转换为配合所述第二储存单元的格式。

13.根据权利要求12所述的框架结构的数据同步系统，其特征在于，所述格式为基于Lucene的搜索服务器的数据库的文件格式。

14.根据权利要求1所述的框架结构的数据同步系统，其特征在于，所述同步单元包括日志管理模块，所述日志管理模块与所述数据处理模块连接，用以将处理所述数据的记录形成日志。

15.一种框架结构的数据同步方法，其特征在于，提供一第一储存单元，用以保存需要同步的数据；

提供一第二储存单元；

提供一同步单元，分别与所述第一储存单元以及所述第二储存单元连接；

包括以下步骤：

步骤S1、所述同步单元接收一同步指令；

步骤S2、所述同步单元根据将所述同步指令转换为关联于第一语言的操作指令；

步骤S3、所述同步单元于所述第一储存单元中执行所述操作指令，以获取对应的操作结果；

步骤S4、所述同步单元将所述操作结果同步至第二储存单元。