CN112328696A - 一种MySQL数据库中数据同步到SQL Server数据库中的方法和装置 - Google Patents

Abstract

本发明公开了一种MySQL数据库中数据同步到SQL Server数据库中的方法和装置，属于数据库同步领域；方法包括以下步骤：查询MySQL数据库的系统表，从中获取待同步的数据；根据获取的数据建立SQL Server数据库能够识别的临时表；最后将临时表合并到SQL Server数据库的目标表中，完成将MySQL数据库中数据同步到SQL Server数据库。本申请方案通过建立临时表将MySQL数据库里的待同步数据转换为SQL Server数据库能够识别的数据格式，最终将临时表数据合并到SQL Server数据库中，解决了MySQL数据库和SQL Server数据库中数据类型不匹配，无法将MySQL数据库的数据直接同步到SQL Server数据库中的问题，能够快递的将MySQL数据库的数据同步SQL Server数据库中。

Description

一种MySQL数据库中数据同步到SQL Server数据库中的方法 和装置

技术领域

本发明涉及数据库同步技术，特别地，涉及一种MySQL数据库中数据同步到SQLServer数据库中的方法和装置。

背景技术

SQL Server数据库和MySQL数据库是日常常用的两种数据库，MYSQL短小精悍，容易上手，操作简单，免费供用的。MySQL数据库相对其它数据库有特色又实用的语法多一些。但是运行速度慢，不够稳定，有掉线的情况，难以作为大型数据库。而SQLServer数据库是大型数据库，较为稳定，能做一般大系统的数据仓库，运行速度明显比MYSQL快很多，但是成本较高。因此在需要多个数据库时，一般采用多个MySQL数据库分别存储部分数据，最后采用SQL Server数据库作为总数据库。但是由于MySQL数据库和SQL Server数据库中数据类型不匹配，无法将MySQL数据库的数据直接同步到SQL Server数据库中。

发明内容

为了克服现有技术的不足，本发明提供一种MySQL数据库中数据同步到SQLServer数据库中的方法和装置，以解决MySQL数据库和SQL Server数据库中数据类型不匹配，无法将MySQL数据库的数据直接同步到SQL Server数据库中的问题。

本发明解决其技术问题所采用的技术方案是：

一方面，

一种MySQL数据库中数据同步到SQL Server数据库中的方法，包括以下步骤：

查询MySQL数据库的系统表，所述系统表包含待同步的数据；

根据所述系统表建立所述SQL Server数据库能够识别的临时表；

将所述临时表的数据合并到所述SQL Server数据库的目标表中，以完成将MySQL数据库中数据同步到SQL Server数据库。

进一步地，所述查询MySQL数据库的系统表包括：通过openquery链接并查询MySQL数据库的系统表获取待同步的数据。

进一步地，所述根据所述系统表建立所述SQL Server数据库能够识别的临时表包括：

获取所述系统表内待同步的数据的特征，所述特征包括列位置、列名、默认值、是否允许为空和数据类型；

根据所述特征建立临时表。

进一步地，所述根据所述特征建立临时表包括：

通过列位置确定临时表存储字段的数量；

通过是否允许为空定义临时表的字符串；

将MySQL的数据的数据类型转换为SQL Server的数据类型后放入临时表。

进一步地，还包括：

获取MySQL数据库执行查询的日志，所述日志包括每次执行查询的开始时间、结束时间和报错信息；

根据所述日志获取再次执行查询时需要查询数据的时间段。

进一步地，所述根据所述日志获取再次执行查询时需要查询数据的时间段包括：

获取上一次没有报错信息的查询执行的开始时间和再次执行查询时的开始时间；所述时间段为从上一次的开始时间到本次的开始时间的数据。

进一步地，所述将所述临时表的数据合并到所述SQL Server数据库的目标表中包括：

通过merge语句获取SQL Server数据库的目标表中的字段ID及字段名称；

根据所述字段ID和字段名称将数据临时表合并到同步表中。

进一步地，所述根据所述字段ID和字段名称将数据临时表合并到同步表中包括：

根据所述字段ID和字段名称查找所述临时表的每个字段是否与目标表中的任一字段匹配；

根据查找结果处理所述临时表字段内的数据。

进一步地，所述根据匹配结果处理所述临时表字段内的数据包括：

如果没有找到匹配的字段，则在所述目标表中新建字段并将所述临时表字段内的数据插入到新建的字段内；

如果找到匹配的字段，则将所述临时表字段内的数据更新到找到的匹配的字段内。

另一方面，

一种MySQL数据库中数据同步到SQL Server数据库中的装置，包括：

系统表查询模块，用于查询MySQL数据库的系统表，所述系统表包含待同步的数据；

临时表建立模块，用于根据所述系统表建立所述SQL Server数据库能够识别的临时表；

目标表同步模块，用于将所述临时表的数据合并到所述SQL Server数据库的目标表中，以完成将MySQL数据库中数据同步到SQL Server数据库。

本申请采用以上技术方案，至少具备以下有益效果：

本发明技术方案提供的一种MySQL数据库中数据同步到SQL Server数据库中的方法和装置，方法包括以下步骤：查询MySQL数据库的系统表，从中获取待同步的数据；根据获取的数据建立SQL Server数据库能够识别的临时表；最后将临时表合并到SQL Server数据库的目标表中，完成将MySQL数据库中数据同步到SQL Server数据库。本申请方案通过建立临时表将MySQL数据库里的待同步数据转换为SQL Server数据库能够识别的数据格式，最终将临时表数据合并到SQL Server数据库中，解决了MySQL数据库和SQL Server数据库中数据类型不匹配，无法将MySQL数据库的数据直接同步到SQL Server数据库中的问题，能够快递的将MySQL数据库的数据同步SQL Server数据库中。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种MySQL数据库中数据同步到SQL Server数据库中的方法流程图；

图2是本发明实施例提供的一种MySQL数据库中数据同步到SQL Server数据库的示意图；

图3是本发明实施例提供的一种MySQL数据库中数据同步到SQL Server数据库中的装置结构图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面结合附图和实施例对本发明的技术方案进行详细的描述说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本申请所保护的范围。

参照图1，本发明实施例提供一种MySQL数据库中数据同步到SQL Server数据库中的方法，包括以下步骤：

查询MySQL数据库的系统表，系统表包含待同步的数据；

根据系统表建立SQL Server数据库能够识别的临时表；

将临时表的数据合并到SQL Server数据库的目标表中，以完成将MySQL数据库中数据同步到SQL Server数据库。

本发明实施例提供的一种MySQL数据库中数据同步到SQL Server数据库中的方法，方法包括以下步骤：查询MySQL数据库的系统表，从中获取待同步的数据；根据获取的数据建立SQL Server数据库能够识别的临时表；最后将临时表合并到SQL Server数据库的目标表中，完成将MySQL数据库中数据同步到SQL Server数据库。本申请方案通过建立临时表将MySQL数据库里的待同步数据转换为SQL Server数据库能够识别的数据格式，最终将临时表数据合并到SQL Server数据库中，解决了MySQL数据库和SQL Server数据库中数据类型不匹配，无法将MySQL数据库的数据直接同步到SQL Server数据库中的问题，能够快递的将MySQL数据库的数据同步SQL Server数据库中。

作为对上述实施例的一种补充说明，如图2所示，查询MySQL数据库的系统表包括：通过openquery链接并查询MySQL数据库的系统表获取待同步的数据。其中，需要说明的是，openquery是SQL Server用来与其他Server交互的一种技术，通过openquery，SQL Server可以直接访问其他数据库资源。

作为本发明实施例一种可选的实现方式，根据系统表建立SQL Server数据库能够识别的临时表包括：

获取系统表内待同步的数据的特征，特征包括列位置、列名、默认值、是否允许为空和数据类型；

根据特征建立临时表。

其中，根据特征建立临时表包括：

通过列位置确定临时表存储字段的数量；

通过是否允许为空定义临时表的字符串；

将MySQL的数据的数据类型转换为SQL Server的数据类型后放入临时表。

示例性的，包含text，则为varchar(max)；

包含nvarchar+字段长度，则为nvarchar+字段长度；

包含int，则为int；

包含bigint，则为int；

包含tinyint，则为tinyint；

包含bit，则为tinyint；

包含smallint，则为smallint；

包含float，则为float；

包含double，则为float；

等于char(36)，则为uniqueidentifier；

等于char(64)，则为uniqueidentifier；其他数据类型保持一致即可。通过循环拼接生成对应的sql server临时表建表语句，通过ASCII码char(13)和char(10)换行，控制建表语句的格式，提高可读性。

一些可选实施例中，还包括：

获取MySQL数据库执行查询的日志，日志包括每次执行查询的开始时间、结束时间和报错信息；

根据日志获取再次执行查询时需要查询数据的时间段。

具体地，根据日志获取再次执行查询时需要查询数据的时间段包括：

获取上一次没有报错信息的查询执行的开始时间和再次执行查询时的开始时间；时间段为从上一次的开始时间到本次的开始时间的数据。

示例性的，设置每天下午6点进行查询，如果查询出现报错信息，即该次查询失败；则间隔30分钟再次进行查询，直至不出现报错信息，记录不出现报错信息时查询的开始时间，如下午6点30。则第二天下午6点开始查询时，只查询从第一天下午6点30到第二天下午6点之间的数据。无需查询第一天下午6点30之前的数据，该方式能够只查询新增的数据，节省查询时间，节约查询成本。需要说明的是，查询时可以设置成每隔预设时间自动查询，也可以设置成接受用户指令时被动进行查询。可以根据实际情况进行设置，在此不作限定。同时，出现报错信息后，再次查询时间也根据实际情况设定，可以间隔预设时间再次查询，也可以等待下次自动查询时间到来。

作为本发明实施例一种可选的实现方式，将临时表的数据合并到SQL Server数据库的目标表中包括：

通过merge语句获取SQL Server数据库的目标表中的字段ID及字段名称；

根据字段ID和字段名称将数据临时表合并到同步表中。

其中，根据字段ID和字段名称将数据临时表合并到同步表中包括：

根据字段ID和字段名称查找临时表的每个字段是否与目标表中的任一字段匹配；

根据查找结果处理临时表字段内的数据。

进一步地，根据匹配结果处理临时表字段内的数据包括：

如果没有找到匹配的字段，则在目标表中新建字段并将临时表字段内的数据插入到新建的字段内；

如果找到匹配的字段，则将临时表字段内的数据更新到找到的匹配的字段内。

简单说明，如果临时表内有两个字段包含数据，一个字段名称为姓名，该字段内包括了很多名字；另一个为身份证号，该字段内包括许多身份证号；如果目标表内存在姓名的字段，则将临时表内姓名的字段内的数据更新到目标表内；如果目标表内不存在身份证号的字段，则在目标表内新建身份证号的字段，并把临时表内身份证号的字段内的数据插入到目标表新建的字段内；完成同步。

为了更清楚的说明本申请合并过程，下面提供具体的代码解释本申请的合并过程，通过merge语句将增量数据临时表合并到同步表。通过查询sql server系统表sys.tables和sys.columns获取字段Id及字段名称，通过循环拼接字符串的方式生成when...then...语句提高写程序效率，例如：

1)merge into dim_ParentApp_Area_NameFixed a

2)using#Temp_Middle b on a.ParentAppId＝b.ParentAppId

3)when not matched then insert([ParentAppId],[AreaCode],[AreaName],[AppName],[SubTime])values(b.[ParentAppId],b.[AreaCode],b.[AreaName],b.[AppName],b.[SubTime])

4)when matched then update set

a.[ParentAppId]＝b.[ParentAppId],a.[AreaCode]＝b.[AreaCode],a.[AreaName]＝b.[AreaName],a.[AppName]＝b.[AppName],a.[SubTime]＝b.[SubTime]；

上述语句是将临时表#Temp_Middle的数据合并到表dim_ParentApp_Area_NameFixed的语句，格式是固定的，如果字段比较少，可以手动写，但字段太多的情况下，手写效率低下，还容易出错，这时可以通过查询系统表获取字段名称拼接语句，具体如下：

定义变量@Content＝’when not matched then insert’

依次循环字段名拼接使@Content＝@Content+’[字段名],’，循环次数即为字段数，注意处理结尾多余的逗号

拼接字符使@Content＝@Content+’)values(‘

依次循环字段名拼接使@Content＝@Content+’b.[字段名],’，处理结尾多余的逗号；

拼接字符使@Content＝@Content+’)when matched then updateset’

依次循环字段名拼接使@Content＝@Content+’a.[字段名]＝b.[字段名],’，处理结尾多余的逗号；

拼接字符使@Content＝@Content+’；‘

以上就是根据表名生成merge语句中when...then...语句的过程。

一个实施例中，本发明提供一种MySQL数据库中数据同步到SQLServer数据库中的装置，如图3所示，包括：

系统表查询模块310，用于查询MySQL数据库的系统表，系统表包含待同步的数据；具体地，系统表查询模块通过openquery链接并查询MySQL数据库的系统表获取待同步的数据。需要说明的是，系统表查询模块获还取MySQL数据库执行查询的日志，日志包括每次执行查询的开始时间、结束时间和报错信息；根据日志获取再次执行查询时需要查询数据的时间段。进一步地，获取上一次没有报错信息的查询执行的开始时间和再次执行查询时的开始时间；时间段为从上一次的开始时间到本次的开始时间的数据。

临时表建立模块320，用于根据系统表建立SQL Server数据库能够识别的临时表；具体地，临时表建立模块用于获取系统表内待同步的数据的特征，特征包括列位置、列名、默认值、是否允许为空和数据类型；

然后通过列位置确定临时表存储字段的数量；通过是否允许为空定义临时表的字符串；将MySQL的数据的数据类型转换为SQL Server的数据类型后放入临时表。

目标表同步模块330，用于将临时表的数据合并到SQL Server数据库的目标表中，以完成将MySQL数据库中数据同步到SQL Server数据库。具体地，目标表同步模块通过merge语句获取SQL Server数据库的目标表中的字段ID及字段名称；根据字段ID和字段名称将数据临时表合并到同步表中。进一步地，根据字段ID和字段名称查找临时表的每个字段是否与目标表中的任一字段匹配；根据查找结果处理临时表字段内的数据。其中，根据匹配结果处理临时表字段内的数据包括：

如果没有找到匹配的字段，则在目标表中新建字段并将临时表字段内的数据插入到新建的字段内；

如果找到匹配的字段，则将临时表字段内的数据更新到找到的匹配的字段内。

本发明实施例提供的一种MySQL数据库中数据同步到SQL Server数据库中的装置，系统表查询模块查询MySQL数据库的系统表，系统表包含待同步的数据；临时表建立模块根据系统表建立SQL Server数据库能够识别的临时表；目标表同步模块将临时表的数据合并到SQL Server数据库的目标表中，以完成将MySQL数据库中数据同步到SQL Server数据库。本装置通过建立临时表将MySQL数据库的数据转换为SQL Server数据库能够识别的数据类型；然后将临时表同步到同步表中，能够将MySQL数据库的数据快速同步到SQLServer数据库中。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种MySQL数据库中数据同步到SQL Server数据库中的方法，其特征在于，包括以下步骤：

查询MySQL数据库的系统表，所述系统表包含待同步的数据；

根据所述系统表建立所述SQL Server数据库能够识别的临时表；

将所述临时表的数据合并到所述SQL Server数据库的目标表中，以完成将MySQL数据库中数据同步到SQL Server数据库。

2.根据权利要求1所述的方法，其特征在于：所述查询MySQL数据库的系统表包括：通过openquery链接并查询MySQL数据库的系统表获取待同步的数据。

3.根据权利要求1所述的方法，其特征在于：所述根据所述系统表建立所述SQL Server数据库能够识别的临时表包括：

获取所述系统表内待同步的数据的特征，所述特征包括列位置、列名、默认值、是否允许为空和数据类型；

根据所述特征建立临时表。

4.根据权利要求3所述的方法，其特征在于：所述根据所述特征建立临时表包括：

通过列位置确定临时表存储字段的数量；

通过是否允许为空定义临时表的字符串；

将MySQL的数据的数据类型转换为SQL Server的数据类型后放入临时表。

5.根据权利要求2所述的方法，其特征在于，还包括：

获取MySQL数据库执行查询的日志，所述日志包括每次执行查询的开始时间、结束时间和报错信息；

根据所述日志获取再次执行查询时需要查询数据的时间段。

6.根据权利要求5所述的方法，其特征在于：所述根据所述日志获取再次执行查询时需要查询数据的时间段包括：

获取上一次没有报错信息的查询执行的开始时间和再次执行查询时的开始时间；所述时间段为从上一次的开始时间到本次的开始时间的数据。

7.根据权利要求1所述的方法，其特征在于：所述将所述临时表的数据合并到所述SQLServer数据库的目标表中包括：

通过merge语句获取SQL Server数据库的目标表中的字段ID及字段名称；

根据所述字段ID和字段名称将数据临时表合并到同步表中。

8.根据权利要求7所述的方法，其特征在于：所述根据所述字段ID和字段名称将数据临时表合并到同步表中包括：

根据所述字段ID和字段名称查找所述临时表的每个字段是否与目标表中的任一字段匹配；

根据查找结果处理所述临时表字段内的数据。

9.根据权利要求8所述的方法，其特征在于：所述根据匹配结果处理所述临时表字段内的数据包括：

如果没有找到匹配的字段，则在所述目标表中新建字段并将所述临时表字段内的数据插入到新建的字段内；

如果找到匹配的字段，则将所述临时表字段内的数据更新到找到的匹配的字段内。

10.一种MySQL数据库中数据同步到SQL Server数据库中的装置，其特征在于，包括：

系统表查询模块，用于查询MySQL数据库的系统表，所述系统表包含待同步的数据；

临时表建立模块，用于根据所述系统表建立所述SQL Server数据库能够识别的临时表；

目标表同步模块，用于将所述临时表的数据合并到所述SQL Server数据库的目标表中，以完成将MySQL数据库中数据同步到SQL Server数据库。

Images