CN102467529B - 一种元数据同步方法和系统 - Google Patents

Abstract

本发明提供了一种元数据同步方法和系统，所述方法包括：根据预先分析出的源XML结构和目标XML结构，分别将源数据库中和目标数据库中的元数据转换成源XML和目标XML；在源数据库中将所述源XML保存为文件，并将所述文件迁移到目标数据库中；依据所述目标XML和所述保存在文件中的源XML获取差异节点，所述差异节点表示元数据需要变更的类型，所述变更的类型包括新增、更新和/或删除；根据所述差异节点生成对应的目标数据库操作脚本；在目标数据库中执行所述目标数据库操作脚本以实现目标数据库与源数据库中元数据的同步。本发明无需删除目标数据库中所有元数据再重新创建，节约了数据资源，从而提高了处理器的处理性能。

Description

一种元数据同步方法和系统

技术领域

本发明涉及数据处理领域，更具体的说是涉及一种元数据同步方法和系统。

背景技术

元数据是用于描述要素、数据集或数据集系列的内容、覆盖范围、质量、管理方式、数据的所有者和数据的提供方式等有关的信息，即是用于描述数据的数据，元数据可以为数据说明其元素或属性或结构或其相关数据等，是最小的数据单元。比如，一条职员实体信息记录中，其中包括字段姓名(name)、年龄(age)、性别(male)等，那么name、age和male就是元数据。

元数据通常是在开发环境即源数据库中创建和维护，在生产环境即目标数据库中使用，如果元数据有变化需要更新时，需要在源数据库中进行变更，然后在同步到目标数据库中来实现目标数据库中元数据的更新。现有的同步方式通常是将源数据库中的元数据导出为数据库脚本，然后将目标数据库中描述相同对象的元数据删除，之后在目标数据库中执行该数据库脚本，重新创建该元数据，从而实现元数据的同步。但是，现有的这种以迁移方式实现数据同步的方法，并没有考虑目标数据库中的元数据与源数据库中的元数据是否相同。元数据相同或部分相同的情况下，仍需全部删除目标数据库中的元数据，造成了数据资源的浪费，从而就会影响处理器的处理性能。

发明内容

有鉴于此，本发明提供了一种元数据同步方法，解决了数据资源浪费，从而影响处理器处理性能的问题。

本发明还提供了一种元数据同步系统，用以保证上述方法在实际中的实现和应用。

为实现上述目的，本发明提供如下技术方案：

一种元数据同步方法，分别根据源数据库中和目标数据中的元数据描述的对象结构，分析出所述的对象结构分别对应的源可扩展标记语言XML结构和目标XML结构，包括：

根据所述源XML结构和目标XML结构，分别将源数据库中和目标数据库中的元数据转换成源XML和目标XML；

在源数据库中将所述源XML保存为文件，并将所述文件迁移到目标数据库中；

依据所述目标XML和所述保存在文件中的源XML获取差异节点，所述差异节点表示元数据需要变更的类型，所述变更的类型包括新增、更新和/或删除；

根据所述差异节点生成对应的目标数据库操作脚本；

在目标数据库中执行所述目标数据库操作脚本以实现目标数据库与源数据库中元数据的同步。

优选地，所述依据所述目标XML和所述保存在文件中的源XML获取差异节点，具体包括：

采用XML Diff算法获取所述目标XML和/或源XML所有不同的节点；

从所述不同的节点中确定所述源XML相对于目标XML的差异节点。

优选地，所述依据所述目标XML和所述保存在文件中的源XML获取差异节点还包括：

当获取不到差异节点时，则结束流程。

优选地，所述方法还包括：

将源XML标记出所述的差异节点；

将目标XML和标记出差异节点的源XML显示在用户界面上。

优选地，所述在目标数据库中执行所述目标数据库操作脚本，具体包括：

接收用户在用户界面点击的变更操作请求；

依据所述变更操作请求触发所述目标数据库操作脚本的执行。

优选地，所述的源XML结构中的节点名称和目标XML结构中的节点名称分别对应元数据所描述对象结构中的元素名称。

一种元数据同步系统，所述系统包括：

预处理模块，用于分别根据源数据库中和目标数据中的元数据描述的对象结构，分析出所述的对象结构分别对应的源可扩展标记语言XML结构和目标XML结构；

XML生成模块，用于根据所述源XML结构和目标XML结构，分别将源数据库中和目标数据库中的元数据表示成源XML和目标XML；

XML保存模块，用于在源数据库中将所述源XML保存为文件，并将所述文件迁移到目标数据库中；

差异节点获取模块，用于依据所述目标XML和所述保存在文件中的源XML获取差异节点，所述差异节点表示元数据需要变更的类型，所述变更类型包括新增、更新和/或删除；

脚本生成模块，用于根据所述差异节点的内容，生成对应的数据库操作脚本，所述的数据库操作脚本用于变更目标数据库中的元数据；

数据变更模块，用于在目标数据库中执行所述目标数据库操作脚本以实现目标数据库与源数据库中元数据的同步。

优选地，所述差异节点获取模块包括：

第一获取模块，用于采用XML Diff算法获取所述目标XML和/或源XML所有不同的节点；

第二获取模块，用于从第一获取模块得到的不同节点中确定所述源XML相对于目标XML的差异节点。

优选地，所述系统还包括：

差异标记模块，用于将所述源XML标记出所述的差异节点；

差异显示模块，用于将目标XML和标记出差异节点的源XML显示在用户界面上。

优选地，所述数据变更模块包括：

接收请求模块，用于接收用户在用户界面点击的变更操作请求；

变更触发模块，用于依据所述变更操作请求触发所述目标数据库操作脚本的执行。

优选地，所述系统还包括：

结束模块，用于当差异节点获取模块获取不到差异节点时，结束流程。

经由上述的技术方案可知，与现有技术相比，本发明公开了一种元数据同步方法和系统，分别根据元数据所述描述对象对应的XML(ExtensibleMarkup Language可扩展标记语言)结构，将源数据库中和目标数据库中的元数据表示成两个XML形式并进行比较，通过比较两个XML得出差异节点，即得出需要变更的类型：新增、更新或删除。然后根据差异节点对应的具体内容生成对应的数据库脚本，在目标数据库中执行该脚本从而实现元数据在目标数据库中的同步，无需删除目标数据库中所有元数据再重新创建，节约了数据资源，从而提高了处理器的处理性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明一种元数据同步方法实施例一的流程图；

图2为本发明一种元数据同步方法实施例一中XML结构图；

图3为本发明一种元数据同步方法实施例二的流程图；

图4为本发明一种元数据同步方法实施例二中用户界面显示图；

图5为本发明一种元数据同步系统实施例一的结构图；

图6为本发明一种元数据同步系统实施例二的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种元数据同步方法和系统，通过将源数据库和目标数据库中的元数据分别转换成XML(Extensible Markup Language可扩展标记语言)形式并进行比较，通过比较两个XML得出差异节点，即可知需要变更的类型：新增、更新或删除。根据差异节点生成对应的操作脚本，并在目标数据库中执行该脚本，即可实现目标数据库与源数据库中元数据的同步，无需删除目标数据库中所有元数据在重新创建，节约了数据资源，从而提高了处理器的处理性能。

参考图1，示出了本发明一种元数据同步方法实施例1的流程图，可以包括以下步骤：

步骤101：分别根据源数据库中和目标数据库中的元数据描述的对象结构，分析出所述的对象结构分别对应的源XML结构和目标XML结构。

XML(Extensible Markup Language可扩展标记语言)是一种简单的数据存储语言，使用一系列简单的标记描述数据。为了实现目标数据库和源数据库中的元数据同步，首先分别分析源数据库和目标数据库中的元数据描述的对象结构，对应得出相应的XML结构。

现以职员实体记录表信息为例，获取元数据所描述的记录表信息结构对应的XML结构具体为：参见表1和表2，表1和表2用于来描述职员实体的结构。

表1

entityName	primaryKey	entityCode
			employee	pk-entity-employee	Entity-01

表2

fieldName	entityPk	fieldPk	fieldType	width
					Emp-name	pk-entity-employee	Pk-field-emp-name	string	100
Emp-gender	pk-entity-employee	Pk-field-emp-gender	integer

表1描述的是实体，表2描述的是实体字段。

根据表1和表2的职员实体结构，可分析得出其对应的XML结构，如图2所示。

其中，元数据所描述的职员实体结构中每个元素名称对应XML结构中的节点名称。

步骤102：根据所述源XML结构和目标XML结构，分别将源数据库中和目标数据库中的元数据转换成源XML和目标XML。

仍以职员实体为例，根据表3的XML结构，将描述职员实体信息的元数据转换成XML形式，转换结果如下：

<entity>

      <code>Entity-01</code>

      <fields>

         <field>

             <name>Emp-name</name>

             <pk>Pk-field-emp-name</pk>

             <type>string</type>

             <width>100</width>

         </field>

         <field>

             <name>Emp-gender</name>

             <pk>Pk-field-emp-gender</pk>

             <type>integer</type>

         </field>

      </fields>

      <name>employee</name>

      <pk>pk-entity-employee</pk>

</entity>

需要说明的是步骤101和步骤102中所举实例只是为了更好说明根据XML结构如何将元数据转换成XML形式，元数据描述对象并不限于数据库表的形式。

步骤103：在源数据库中将所述源XML保存为文件，并将所述文件迁移到目标数据库中。

源数据库的元数据转换为源XML形式后，并保存到文件中，以用于将该源XML迁移到目标数据库中与目标XML进行比较。

步骤104：依据所述目标XML和所述保存在文件中的源XML获取差异节点，所述差异节点表示元数据需要变更的类型，所述变更的类型包括新增、更新和/或删除；

根据目标XML和源XML，采用XML Diff算法即可得出目标XML和源XML所有不同的节点，然后从所有不同节点中确定源XML相对于目标XML的差异节点。比如，源XML相比于目标XML，对应节点表示的数值不一样，则差异节点就为更新节点，有增加的节点，则差异节点就为新增节点，有减少的节点，则差异节点就为删除节点。所获取的所有差异节点可以是新增节点、更新节点和/或删除节点。

步骤105：根据所述差异节点生成对应的目标数据库操作脚本。

获取得到源XML相对于目标XML的差异节点，则根据源XML中的差异节点生成对应的目标数据库操作脚本，即可只针对差异节点对应的元数据内容对目标数据库中的元数据进行变更即可。

步骤106：在目标数据库中执行所述目标数据库操作脚本。

执行所述目标数据库操作脚本，即可将目标数据库中需要变更的元数据进行变更，从而实现了目标数据库与源数据库中元数据的同步。

需要说明的是，在步骤104获取差异节点的操作，如果目标XML和源XML不存在不同节点时，则结束流程，不再进行后续的操作。

本发明实施例，通过将源数据库中和目标数据库中的元数据转换成XML形式，并通过比较得出目标数据库中哪些元数据需要进行变更，只针对需要变更的元数据生成数据库操作脚本，在目标数据库中执行该脚本进行变更即可，无需删除目标数据库中所有元数据再重新创建，节约了数据资源，从而提高了处理器的处理性能。

参见图3，为本发明一种元数据同步方法实施例2的流程图，可以包括以下步骤：

步骤301：分别根据源数据库中和目标数据库中的元数据描述的对象结构，分析出所述的对象结构分别对应的源XML结构和目标XML结构。

步骤302：根据所述源XML结构和目标XML结构，分别将源数据库中和目标数据库中的元数据转换成源XML和目标XML。

步骤303：在源数据库中将所述源XML保存为文件，并将所述文件迁移到目标数据库中。

步骤304：采用XML Diff算法比较所述目标XML和源XML，存在不同节点时，获取所有目标XML和/或源XML的不同节点，从所述的不同节点中确定所述源XML相对于目标XML的差异节点。

步骤305：根据所述差异节点生成对应的目标数据库操作脚本。

步骤306：将所述源XML标记出所述的差异节点。

步骤307：将目标XML和标记出差异节点的源XML显示在用户界面上。

仍以职员实体数据库记录表为例，假设源数据库和目标数据库中的表示职员实体的元数据都以转换成XML形式，并进行了比较。

参见图4，为在用户界面显示的元数据比较结果图。左半部分代表目标XML，右半部分代表源XML，由界面图可以看出，源XML相比于目标XML，其中字段Emp-name的width有数据更新，则用更新图标标记，减少了字段Emp-gender，则完全删除，在源XML上用删除图标标记。

需要说明的所举的具体实例只是为了更好的说明，差异节点还可能有新增的节点，用不同图标进行标记，以便于用户识别即可。

步骤308：接收用户在用户界面点击的变更操作。

用户根据界面的显示，决定是否进行变更，需要进行变更，则用户点击差异节点对应的菜单或是变更按钮，处理器即可接收到用户的变更请求。

步骤309：依据所述变更操作触发所述目标数据库操作脚本的执行。

接收到用户的变更请求时，在目标数据库中执行所述的目标数据库操作脚本，从而实现目标数据库和源数据库中元数据的同步。

需要说明的是，在步骤304获取差异节点的操作，如果目标XML和源XML不存在不同节点时，则结束流程，不再进行后续的操作。

本发明实施例中，将源数据库中和目标数据库中的元数据转换成XML形式，通过比较得出目标数据库中哪些元数据需要进行变更，只针对需要变更的元数据生成数据库操作脚本。并将差异节点显示在用户界面上，用户可直观看出哪些元数据有变化，点击相应的变更操作，处理器即可执行数据库脚本，实现元数据的同步，无需删除目标数据库中所有元数据再重新创建，节约了数据资源，从而提高了处理器的处理性能。

参见图5，为本发明一种元数据同步系统实施例1的结构图，该系统可以包括：

预处理模块501，用于分别根据源数据库中和目标数据中的元数据描述的对象结构，分析出所述的对象结构分别对应的源可扩展标记语言XML结构和目标XML结构。

XML生成模块502，用于根据所述源XML结构和目标XML结构，分别将源数据库中和目标数据库中的元数据表示成源XML和目标XML。

XML保存模块503，用于在源数据库中将所述源XML保存为文件，并将所述文件迁移到目标数据库中。

差异节点获取模块504，用于依据所述目标XML和所述保存在文件中的源XML获取差异节点，所述差异节点表示元数据需要变更的类型，所述变更类型包括新增、更新和/或删除。

脚本生成模块505，用于根据所述差异节点的内容，生成对应的数据库操作脚本，所述的数据库操作脚本用于变更目标数据库中的元数据。

数据变更模块506，用于在目标数据库中执行所述目标数据库操作脚本以实现目标数据库与源数据库中元数据的同步。

本发明实施例，所述系统通过将源数据库中和目标数据库中的元数据转换成XML形式，并通过比较得出目标数据库中哪些元数据需要进行变更，只针对需要变更的元数据生成数据库操作脚本，在目标数据库中执行该脚本进行变更即可，无需删除目标数据库中所有元数据再重新创建，节约了数据资源，从而提高了处理器的处理性能。

参见图6，示出了本发明一种元数据同步系统实施例2的结构图，该系统可以包括：

预处理模块601，用于分别根据源数据库中和目标数据中的元数据描述的对象结构，分析出所述的对象结构分别对应的源可扩展标记语言XML结构和目标XML结构。

XML生成模块602，用于根据所述源XML结构和目标XML结构，分别将源数据库中和目标数据库中的元数据表示成源XML和目标XML。

XML保存模块603，用于在源数据库中将所述源XML保存为文件，并将所述文件迁移到目标数据库中。

第一获取模块604，用于采用XML Diff算法获取所述目标XML和/或源XML所有不同的节点。

第二获取模块605，用于从第一获取模块604获取的不同节点中确定所述目标XML相对于源XML的差异节点。

脚本生成模块606，用于根据所述差异节点的内容，生成对应的数据库操作脚本，所述的数据库操作脚本用于变更目标数据库中的元数据。

差异标记模块607，用于将所述源XML和目标XML标记出所述的差异节点。

差异显示模块608，用于将标记出差异节点的源XML和目标XML显示在用户界面上。

接收请求模块609，用于接收用户在用户界面点击的变更操作请求。

变更触发模块610，用于依据所述变更操作请求触发所述目标数据库操作脚本的执行。

需要说明的是，当第一获取模块604获取不到不同节点时，即表示目标数据库和源数据库中的元数据相同时，所述系统还包括：

结束模块，用于获取不到差异节点时，结束流程。

在本发明实施例中，所述系统将源数据库中和目标数据库中的元数据转换成XML形式，通过比较得出目标数据库中哪些元数据需要进行变更，只针对需要变更的元数据生成数据库操作脚本。并将差异节点显示在用户界面上，用户可直观看出哪些元数据有变化，点击相应的变更操作，处理器即可执行数据库脚本，实现元数据的同步，无需删除目标数据库中所有元数据再重新创建，节约了数据资源，从而提高了处理器的处理性能。

为了描述的方便，描述以上系统时以功能分为各种模块分别描述。当然，在实施本发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种元数据同步方法，其特征在于，分别根据源数据库中和目标数据中的元数据描述的对象结构，分析出所述的对象结构分别对应的源可扩展标记语言XML结构和目标XML结构，所述方法包括：

根据所述源XML结构和目标XML结构，分别将源数据库中和目标数据库中的元数据转换成源XML和目标XML；

在源数据库中将所述源XML保存为文件，并将所述文件迁移到目标数据库中；

依据所述目标XML和所述保存在文件中的源XML获取差异节点，所述差异节点表示元数据需要变更的类型，所述变更的类型包括新增、更新和/或删除；

根据所述差异节点生成对应的目标数据库操作脚本；

在目标数据库中执行所述目标数据库操作脚本以实现目标数据库与源数据库中元数据的同步。

2.根据权利要求1所述的方法，其特征在于，所述依据所述目标XML和所述保存在文件中的源XML获取差异节点，具体包括：

采用XML Diff算法获取所述目标XML和/或源XML所有不同的节点；

从所述不同的节点中确定所述源XML相对于目标XML的差异节点。

3.根据权利要求1所述的方法，其特征在于，所述依据所述目标XML和所述保存在文件中的源XML获取差异节点还包括：

当获取不到差异节点时，则结束流程。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将源XML标记出所述的差异节点；

将目标XML和标记出差异节点的源XML显示在用户界面上。

5.根据权利要求4所述的方法，其特征在于，所述在目标数据库中执行所述目标数据库操作脚本，具体包括：

接收用户在用户界面点击的变更操作请求；

依据所述变更操作请求触发所述目标数据库操作脚本的执行。

6.根据权利要求1所述的方法，其特征在于，所述的源XML结构中的节点名称和目标XML结构中的节点名称分别对应元数据所描述对象结构中的元素名称。

7.一种元数据同步系统，其特征在于，所述系统包括：

预处理模块，用于分别根据源数据库中和目标数据中的元数据描述的对象结构，分析出所述的对象结构分别对应的源可扩展标记语言XML结构和目标XML结构；

XML生成模块，用于根据所述源XML结构和目标XML结构，分别将源数据库中和目标数据库中的元数据表示成源XML和目标XML；

XML保存模块，用于在源数据库中将所述源XML保存为文件，并将所述文件迁移到目标数据库中；

差异节点获取模块，用于依据所述目标XML和所述保存在文件中的源XML获取差异节点，所述差异节点表示元数据需要变更的类型，所述变更类型包括新增、更新和/或删除；

脚本生成模块，用于根据所述差异节点的内容，生成对应的数据库操作脚本，所述的数据库操作脚本用于变更目标数据库中的元数据；

数据变更模块，用于在目标数据库中执行所述目标数据库操作脚本以实现目标数据库与源数据库中元数据的同步。

8.根据权利要求7所述的系统，其特征在于，所述差异节点获取模块包括：

第一获取模块，用于采用XML Diff算法获取所述目标XML和/或源XML所有不同的节点；

第二获取模块，用于从第一获取模块得到的不同节点中确定所述源XML相对于目标XML的差异节点。

9.根据权利要求7所述的系统，其特征在于，所述系统还包括：

差异标记模块，用于将所述源XML标记出所述的差异节点；

差异显示模块，用于将目标XML和标记出差异节点的源XML显示在用户界面上。

10.根据权利要求9所述的系统，其特征在于，所述数据变更模块包括：

接收请求模块，用于接收用户在用户界面点击的变更操作请求；

变更触发模块，用于依据所述变更操作请求触发所述目标数据库操作脚本的执行。

11.根据权利要求7所述的系统，其特征在于，所述系统还包括：

结束模块，用于当差异节点获取模块获取不到差异节点时，结束流程。

Images