CN106709030A - 数据源管理功能的开发方法及系统 - Google Patents

Abstract

本发明涉及数据源管理功能的开发方法及系统，包括步骤S1：开发用于连接不同数据源相匹配的适配器并为其分配不同的适配器ID；步骤S2：分别确定匹配不同数据源的参数列表；步骤S3：创建适配器信息表、数据源信息表、数据源属性信息表、元数据信息表以及采集任务配置信息表；步骤S4：创建连接测试界面，用于测试适配器与其相匹配的数据源的连接；步骤S5：创建用于采集元数据的采集界面，以实现不同数据源中的任意元数据采集。通过本发明的开发方法及系统，开发人员建立了一套在不同类型数据源中快捷地采集元数据的软件系统，可使数据库操作员根据不同的数据源配置所需要的参数，无需编写代码或建立繁杂的配置文件便可达到快捷采集元数据的目的。

Description

数据源管理功能的开发方法及系统

技术领域

本发明涉及计算机技术领域，尤其涉及数据源管理功能的开发方法及系统。

背景技术

大数据是继云计算、物联网之后，已经成为IT产业的又一次颠覆性技术变革，对国家治理方式、决策、组织和业务流程、提供公共服务的方式等都将产生巨大的影响。而伴随着智慧城市建设对互联网、云计算、物联网等信息技术的要求，大量数据的收集、储存、分析、处理及其应用变得更加方便，政府或公众的决策行为将逐渐基于数据和分析而做出。

大数据系统开发中，经常涉及基于不同数据源的元数据采集操作。在现有的一种数据源管理方案中，实现此操作的步骤繁琐，需手动配置针对不同数据源的数据格式或编写程序代码，并手动转换成符合系统规范的格式，以达到在不同数据源中采集元数据的目的。此方案费时费力，可操作性低。在现有的另一种数据源管理方案中，需为不同类型的数据源建立不同的配置文件，配置不同的采集元数据的规则。这种在不同数据源中采集元数据的方式需要数据库操作员进行大量编写数据源配置文件的工作才可完成。而且每次修改配置文件均需要对服务器进行重启操作，耗费大量的时间和人力。

综上所述，急需一种数据源管理功能的开发方法及系统，使数据库操作员可以更加简便地管理数据源，以达到在不同数据源中方便快捷地采集元数据的目的。

发明内容

针对现有技术的缺陷，本发明旨在提供一种数据源管理功能的开发方法及系统，可以使数据库操作员在不同数据源中方便快捷地采集元数据。

第一方面，本发明提供了一种数据源管理功能的开发方法，包括以下步骤：

步骤S1：开发用于连接不同数据源相匹配的适配器并为其分配不同的适配器ID；

步骤S2：分别确定匹配不同数据源的参数列表；

步骤S3：创建适配器信息表、数据源信息表、数据源属性信息表、元数据信息表以及采集任务配置信息表；

步骤S4：创建连接测试界面，用于测试适配器与其相匹配的数据源的连接；

步骤S5：创建用于采集元数据的采集界面，以实现不同数据源中的任意元数据采集。

由上述技术方案可知，本发明提供的数据源管理功能的开发方法是为了使数据库操作员在可视化的图形界面中快捷地在多种不同类型的数据源中利用不同适配器以及不同的特定参数到不同的数据源中采集元数据这一目的而开发的。

因此，开发人员在步骤S1中首先根据数据库中的不同类型的数据源开发与其相匹配的适配器。所述适配器开发完成后进行步骤S2中的确定该适配器用于匹配的数据源的参数列表。参数列表确定后进行步骤S3中的适配器信息表、数据源信息表、数据源属性信息表、元数据信息表、采集任务配置信息表的创建。其中数据源信息表中的主要数据信息包括与其匹配的适配器ID。数据源属性信息表中的主要数据信息包括数据源ID、该数据源的参数列表。适配器信息表的主要数据信息包括适配器名称、jar包名称、驱动类。采集任务配置信息表和元数据信息表均包含有数据源ID信息。在数据表创建完毕后，进行步骤S4的测试界面的创建。测试界面创建完成后进行步骤S5的元数据采集界面的创建。

通过步骤S1至步骤S5开发方法，开发人员建立了一套在不同类型数据源中快捷地采集元数据的软件系统，所述软件系统可使数据库操作员根据不同的数据源配置所需要的参数，无需编写代码或建立繁杂的配置文件便可达到快捷采集元数据的目的。

进一步地，所述步骤S1中开发适配器的步骤为：

步骤S101：根据不同数据源对其相应适配器的接口要求开发适配器的jar(javaARchive)包；

步骤S102：在步骤S101中所述适配器的jar包中添加适配器的实现类；

步骤S103：设置jar包上传路径。

步骤S102中，开发人员在jar包中的impl包下编写适配器的实现类。

数据库操作人员通过上传开发人员开发的jar包，完成该适配器与相应数据源的匹配。

进一步地，所述步骤S2中的参数列表包括：参数名、显示名以及参数值。

进一步地，所述步骤S4中创建连接测试界面的步骤包括：

步骤S401：创建数据源选择输入框；

步骤S402：创建适配器选择输入框；

步骤S403：为不同的数据源创建特定参数列表，以及特定参数值输入框；

步骤S404：创建用于完成测试连接功能的图形按钮。

其中，步骤S401中的数据源选择输入框可为下拉框或手动输入框。

其中，步骤S402中的适配器选择输入框可为下拉框或手动输入框。

进一步地，所述步骤S5中创建采集界面的步骤包括：

步骤S501：创建需要采集的元数据类型选择框；

步骤S502：创建采集任务输入框；

步骤S503：创建数据源选择框；

步骤S504：创建用于完成采集功能的图形按钮。

进一步地，步骤S102中所述适配器的实现类中包括通用适配器接口配置方法。所述通用适配器接口配置方法为IAdapter接口规定的方法。

进一步地，在所述的图形按钮中添加特定参数值输入判断模块，所述判断模块用于接收用户输入的特定参数值，判断其是否与所述适配器中的参数列表中的参数值相对应，若结果为是则提示测试连接成功，若结果为否则提示测试连接失败。

进一步地，所述步骤S5中的创建采集界面的步骤还包括：

步骤S505：创建采集任务的日志监控界面，记录采集任务的任务名称、任务开始时间以及任务完成时间。

进一步地，所述步骤S501中的元数据类型选择框为单选框或多选框。

由上述技术方案可知，本发明提供的数据源管理功能的开发方法可以利用不同适配器以及不同的特定参数，到不同的数据源中采集元数据。会根据不同的数据源配置所需要的参数，达到采集元数据的目的。

本发明提供的数据源管理功能的开发方法可通过图形界面实现，在图形界面中设置连接数据源特定参数的接口，可根据适配器中不同的特定参数实现对不同数据源中的元数据的采集，提高了系统的兼容性和扩展性。

第二方面，本发明提供了一种数据源管理功能的开发系统，包括：

适配器开发单元，用于开发用于连接不同数据源相匹配的适配器并为其分配不同的适配器ID；

参数列表确定单元，用于分别确定匹配不同数据源的适配器的参数列表；

数据表建立单元，用于创建适配器信息表、数据源信息表、数据源属性信息表、元数据信息表以及采集任务配置信息表；

测试界面开发单元，用于在图形界面中测试适配器与其相匹配的数据源的连接；

采集界面开发单元，用于在图形界面中实现不同数据源中的任意元数据的采集。

由上述技术方案可知，本发明提供的数据源管理功能的开发系统，可以使数据库操作员方便地管理不同类型的数据源，并根据不同的数据源类型配置其所需要的参数，选择与其匹配的适配器，简单输入特定参数值后即可建立连接，采集对应数据源中的元数据，无需编写代码或建立繁杂的配置文件便可达到快捷采集元数据的目的。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1示出了本发明实施例所提供的数据源管理功能的开发方法的流程图；

图2示出了本发明实施例所提供的数据源管理功能的开发系统的结构图；

图3示出了本发明实施例所提供的数据源管理功能的开发系统的适配器开发单元的开发界面；

图4示除了本发明实施例所提供的数据源管理功能的开发系统的适配器开发单元的jar包结构示意图；

图5示出了本发明实施例所提供的数据源管理功能的开发系统的测试界面开发单元的开发界面；

图6示出了本发明实施例所提供的数据源管理功能的开发系统的采集界面开发单元的开发界面。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

本发明实施例中提供了数据源管理功能的开发方法，根据图1至图6所示，实施例一包括以下步骤：

步骤S1：开发用于连接不同数据源相匹配的适配器并为其分配不同的适配器ID；

步骤S2：分别确定匹配不同数据源的参数列表；

步骤S3：创建适配器信息表、数据源信息表、数据源属性信息表、元数据信息表以及采集任务配置信息表；

步骤S4：创建连接测试界面，用于测试适配器与其相匹配的数据源的连接；

步骤S5：创建用于采集元数据的采集界面，以实现不同数据源中的任意元数据采集。

本实施例主要用于数据库操作员方便地管理多种类型的数据源，以及在不同类型数据源中快捷地采集元数据的系统，由本实施例步骤S1至S5开发完成的采集界面可使数据库操作员根据不同的数据源配置所需要的参数，无需编写代码或建立繁杂的配置文件便可达到快捷采集元数据的目的。

本实施例的步骤S2中：类型为MySQL的数据源匹配的适配器确定的参数列表包括：参数名、显示名以及参数值。具体的参数名分别为url(URL)、driver(驱动程序)、userID(用户名)、password(密码)。其中前两项参数对应的参数值为：jdbc:mysql://localhost:3306/test、com.mysql.jdbc.Driver。后两项参数为特定参数，对应的参数值待数据库操作员采集元数据时输入。

本实施例的步骤S3中，所述适配器信息表如表1所示：

表1

本实施例的步骤S3中，所述数据源信息表如表2所示：

表2

本实施例的步骤S3中，所述数据源属性信息表如表3所示：

表3

本实施例的步骤S3中，所述元数据信息表如表4所示：

表4

本实施例的步骤S3中，所述采集任务配置信息表如表5所示：

表5

根据图3所示，本实施例中，步骤S1中开发适配器的步骤为：

步骤S101：根据不同数据源对其相应适配器的接口要求开发适配器的jar包；

步骤S102：在步骤S101中所述适配器的jar包中添加适配器的实现类；

步骤S103：设置jar包上传路径。

根据图4所示的jar包结构，本实施例的步骤S102中，开发人员在jar包中的impl包下编写适配器的实现类。

其中，所述实现类的格式如表6所示：

类名	类描述
		ColumnObject	用于存放列信息
DictObject	用于存放字典信息
		EvnObject:	用于存放配置信息
MappingObject	用于存放映射信息
		MetadaObject:	元数据信息

表6

数据库操作人员仅需通过上传开发人员开发完成的jar包，即可完成该适配器与相应数据源的匹配，匹配完成后即可进行该数据源的元数据的采集。

本实施例中，步骤S102中所述适配器的实现类中包括通用适配器接口配置方法。其中通用适配器接口配置方法为IAdapter接口规定的方法。所述IAdapter的接口方法说明如表7所示：

方法名	方法说明
		getTables	获取表对象
getProc	获取存储过程对象
		getJob	获取Job对象
getIndex	获取索引对象
		getView	获取视图对象
getTigger	获取触发器
		getFunction	获取函数
getSequence	获取序列
		getProgram	获取程序包
getMapping	获取程序包

表7

根据图5所示，本实施例中，所述步骤S4中创建连接测试界面的步骤包括：

步骤S401：创建数据源选择输入框；

步骤S402：创建适配器选择输入框；

步骤S403：为不同的数据源创建特定参数列表，以及特定参数值输入框；

步骤S404：创建用于完成测试连接功能的图形按钮。

本实施例中，步骤S401中的数据源选择输入框为手动输入框。

本实施例中，步骤S402中的适配器选择输入框为下拉框。

在创建完成的测试界面中，数据库操作人员可以在数据源选择输入框中手动输入数据源名称，在适配器选择下拉框中选择匹配该数据源的适配器。选择完毕后，在参数值输入框输入特定参数的参数值。输入完成后点击测试按钮完成数据源与适配器的匹配连接测试。

本实施例中，在所述的图形按钮中添加特定参数值输入判断模块，所述判断模块用于接收用户输入的特定参数值，判断其是否与所述适配器中的参数列表中的参数值相对应，若结果为是则提示测试连接成功，若结果为否则提示测试连接失败。

根据图6所示，本实施例中，所述步骤S5中创建采集界面的步骤包括：

步骤S501：创建需要采集的元数据类型选择框；

步骤S502：创建采集任务输入框；

步骤S503：创建数据源选择框；

步骤S504：创建用于完成采集功能的图形按钮。

本实施例中，步骤S502中的采集任务输入框为手动输入框。

本实施例中，步骤S503中的数据源选择框为下拉框。

本实施例中，步骤S504中所述的用于完成采集功能的图形按钮为“确定”和“取消”按钮。

在创建完成的采集界面中，数据库操作人员可以在元数据类型选择框中任意选择一种类型的元数据。本实施例中的元数据类型有(表、示图、索引、存储过程、JOB、触发器、序列、函数、映射关系、程序、字典)。选择完成后在采集任务输入框中输入任务名称。输入完成后在数据源下拉框中选择需要操作的数据源。选择完成后点击“确定”按钮完成元数据采集，点击“取消”按钮取消采集。

本实施例中，所述步骤S5中的创建采集界面的步骤还包括：

步骤S505：创建采集任务的日志监控界面，记录采集任务的任务名称、任务开始时间以及任务完成时间。

本实施例中，所述步骤S501中的元数据类型选择框为单选框。

本发明实施例中提供的数据源管理功能的开发方法可以利用不同适配器以及不同的特定参数，到不同的数据源中采集元数据。可根据不同的数据源配置所需要的参数，达到采集元数据的目的。

本发明实施例中提供的数据源管理功能的开发方法可通过图形界面实现，在图形界面中设置连接数据源特定参数的接口，可根据适配器中不同的特定参数实现对不同数据源中的元数据的采集，提高了系统的兼容性和扩展性。

本发明另一个实施例中提供了数据源管理功能的开发系统，如图2所示，所述系统包括：

适配器开发单元1，用于开发用于连接不同数据源相匹配的适配器并为其分配不同的适配器ID；

参数列表确定单元2，用于分别确定匹配不同数据源的参数列表；

数据表建立单元3，用于创建适配器信息表、数据源信息表、数据源属性信息表、元数据信息表以及采集任务配置信息表；

测试界面开发单元4，用于在图形界面中测试适配器与其相匹配的数据源的连接；

采集界面开发单元5，用于在图形界面中实现不同数据源中的任意元数据的采集。

本发明实施例提供的数据源管理功能的开发系统，可以使数据库操作员方便地管理不同类型的数据源，并根据不同的数据源类型配置其所需要的参数，选择与其匹配的适配器，简单输入特定参数值后即可建立连接，采集对应数据源中的元数据，无需编写代码或建立繁杂的配置文件便可达到快捷采集元数据的目的。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.数据源管理功能的开发方法，其特征在于，包括以下步骤：

步骤S1：开发用于连接不同数据源相匹配的适配器并为其分配不同的适配器ID；

步骤S2：分别确定匹配不同数据源的参数列表；

步骤S3：创建适配器信息表、数据源信息表、数据源属性信息表、元数据信息表以及采集任务配置信息表；

步骤S4：创建连接测试界面，用于测试适配器与其相匹配的数据源的连接；

步骤S5：创建用于采集元数据的采集界面，以实现不同数据源中的任意元数据采集。

2.根据权利要求1所述的数据源管理功能的开发方法，其特征在于，所述步骤S1中开发适配器的步骤为：

步骤S101：根据不同数据源对其相应适配器的接口要求开发适配器的jar包；

步骤S102：在步骤S101中所述适配器的jar包中添加适配器的实现类；

步骤S103：设置jar包上传路径。

3.根据权利要求1所述的数据源管理功能的开发方法，其特征在于，所述步骤S2中的参数列表包括：参数名、显示名以及参数值。

4.根据权利要求1所述的数据源管理功能的开发方法，其特征在于，所述步骤S4中创建连接测试界面的步骤包括：

步骤S401：创建数据源选择输入框；

步骤S402：创建适配器选择输入框；

步骤S403：为不同的数据源创建特定参数列表，以及特定参数值输入框；

步骤S404：创建用于完成测试连接功能的图形按钮。

5.根据权利要求1所述的数据源管理功能的开发方法，其特征在于，所述步骤S5中创建采集界面的步骤包括：

步骤S501：创建需要采集的元数据类型选择框；

步骤S502：创建采集任务输入框；

步骤S503：创建数据源选择框；

步骤S504：创建用于完成采集功能的图形按钮。

6.根据权利要求2所述的数据源管理功能的开发方法，其特征在于，步骤S102中所述适配器的实现类中包括通用适配器接口配置方法。

7.根据权利要求4所述的数据源管理功能的开发方法，其特征在于，在所述的图形按钮中添加特定参数值输入判断模块，所述判断模块用于接收用户输入的特定参数值，判断其是否与所述适配器中的参数列表中的参数值相对应，若结果为是则提示测试连接成功，若结果为否则提示测试连接失败。

8.根据权利要求5所述的数据源管理功能的开发方法，其特征在于，所述步骤S5中的创建采集界面的步骤还包括：

步骤S505：创建采集任务的日志监控界面，记录采集任务的任务名称、任务开始时间以及任务完成时间。

9.根据权利要求5所述的数据源管理功能的开发方法，其特征在于，所述步骤S501中的元数据类型选择框为单选框或多选框。

10.数据源管理功能的开发系统，其特征在于，包括：

适配器开发单元，用于开发用于连接不同数据源相匹配的适配器并为其分配不同的适配器ID；

参数列表确定单元，用于分别确定匹配不同数据源的参数列表；

数据表建立单元，用于创建适配器信息表、数据源信息表、数据源属性信息表、元数据信息表以及采集任务配置信息表；

测试界面开发单元，用于在图形界面中测试适配器与其相匹配的数据源的连接；

采集界面开发单元，用于在图形界面中实现不同数据源中的任意元数据的采集。