CN111177147B - 一种元数据批量入库的方法、可读存储介质及计算设备 - Google Patents

Abstract

本发明实施例提供了一种元数据批量入库的方法、可读存储介质及计算设备，用以实现快速批量的元数据入库，方法包括：确定待入库元数据对应的数据库、表名和模式名；根据所述数据库、表名和模式名，获取目标数据表；从所述目标数据表中提取字段列表；将所述字段列表存储至元数据数据库。

Description

一种元数据批量入库的方法、可读存储介质及计算设备

技术领域

本公开涉及计算机软件技术领域，尤其涉及一种元数据批量入库的 方法、可读存储介质及计算设备。

背景技术

随着医疗数据业务种类的不断增多，数据的不断增大，对大量的医 疗相关数据进行数据挖掘与数据分析具有一定的时代意义。

在对接各医疗机构的医疗数据时，在保证数据接入统一、准确的前 提下，需要事先获取大量的表结构，目前都是单纯靠人力一个一个的进 行操作，不仅成本高、耗时，而且效率与准确率都较低。

发明内容

为此，本公开提供一种元数据批量入库的方法、可读存储介质及计 算设备，以力图解决或者至少缓解上面存在的至少一个问题。

根据本公开实施例的一个方面，提供了一种元数据批量入库的方 法，适于在计算设备中执行，方法包括：

确定待入库元数据对应的数据库、表名和模式名；

根据数据库、表名和模式名，获取目标数据表；

从目标数据表中提取字段列表；

将字段列表存储至元数据数据库。

可选地，目标数据表有多个；

从目标数据表中提取字段列表，包括：

从多个目标数据表中选取一个目标数据表，从中提取字段列表；

将字段列表存储至元数据数据库之后，还包括：

从多个目标数据表中再选取另一目标数据表，从中提取字段列表 并存储至元数据数据库。

可选地，将字段列表存储至元数据数据库之后，还包括：

判断字段列表是否成功存储至元数据数据库，如果是，为当前目 标数据表设置第一标记，用于指示字段列表已成功存储至元数据数据 库；否则，为当前目标数据表设置第二标记，用于指示字段列表未能 成功存储至元数据数据库。

可选地，还包括：

当确定全部目标数据表均已设置第一标记或第二标记时，提示用 户字段列表提取已经完成，并将各个目标数据表设置的第一标记或第 二标记的信息呈现给用户。

可选地，还包括：

在确定全部目标数据表均已设置第一标记或第二标记后，重新从 设置第二标记的目标数据表中提取字段列表并存储至元数据数据库， 如果操作成功，为当前目标数据表重新设置第一标记；

当确定全部目标数据表已设置第一标记时，提示用户字段列表提 取已经完成，或者，当确定设置第二标记的目标数据表的重复提取字 段列表并存储至元数据数据库的次数达到预设阈值时，提示用户字段 列表提取已经完成，并将各个目标数据表设置的第一标记或第二标记 的信息呈现给用户。

可选地，还包括：

将每一组字段列表对应的数据库信息、表名和模式名存储至元数 据数据库；

根据所述元数据数据库的数据库信息、表名、模式名和字段列表 信息，分析数据关系。

可选地，分析数据关系，包括：

分析数据之间的血缘关系，用于展示数据流程，以及，获取数据节 点的位置关系。

可选地，分析数据关系，包括：

分析数据之间的影响关系，用于分析源数据系统发生变化时，相关 联的报表受到的影响，以及，预览元数据对全局的影响。

根据本公开的又一方面，提供一种可读存储介质，适于存储一个或 多个程序，所述一个或多个程序被配置为由计算设备执行上述的元数据 批量入库方法。

根据本公开的另一方面，提供一种计算设备，包括：一个或多个处 理器；存储器；以及一个或多个程序，其中所述一个或多个程序存储在 所述存储器中并被配置为由所述一个或多个处理器执行上述的元数据批 量入库方法。

本公开实施例，确定待入库元数据对应的数据库、表名和模式名， 根据数据库、表名和模式名，获取目标数据表，从目标数据表中提取 字段列表，将字段列表存储至元数据数据库；基于数据库、表名和模 式名，实现了自动化地元数据批量入库，节省了人力，以及，为元数 据的血缘关系、影响关系的分析创造了条件。

附图说明

附图示出了本公开的示例性实施方式，并与其说明一起用于解释本 公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且 附图包括在本说明书中并构成本说明书的一部分。

图1是示例性的计算设备100的结构框图；

图2是根据本公开实施例的元数据批量入库的方法的流程图；

图3是根据本公开具体实施例的元数据批量入库的方法的流程图；

图4-图8是根据本公开具体实施例的软件界面示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中 显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本 公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了 能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1是布置为实现根据本公开的元数据批量入库的方法的示例计算 设备100的框图。在基本的配置102中，计算设备100典型地包括系统 存储器106和一个或者多个处理器104。存储器总线108可以用于在处理 器104和系统存储器106之间的通信。

取决于期望的配置，处理器104可以是任何类型的处理，包括但不 限于：微处理器((μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级 高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮 点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组 合。示例的存储器控制器118可以与处理器104一起使用，或者在一些 实现中，存储器控制器118可以是处理器104的一个内部部分。

取决于期望的配置，系统存储器106可以是任意类型的存储器，包 括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、 闪存等)或者它们的任何组合。系统存储器106可以包括操作系统120、 一个或者多个程序122以及程序数据124。在一些实施方式中，程序122 可以被配置为在操作系统上由一个或者多个处理器104利用程序数据124 执行指令。

计算设备100还可以包括有助于从各种接口设备(例如，输出设备 142、外设接口144和通信设备146)到基本配置102经由总线/接口控制 器130的通信的接口总线140。示例的输出设备142包括图形处理单元 148和音频处理单元150。它们可以被配置为有助于经由一个或者多个 A/V端口152与诸如显示终端或者扬声器之类的各种外部设备进行通 信。示例外设接口144可以包括串行接口控制器154和并行接口控制器 156，它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输 入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者 其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或 者多个通信端口164与一个或者多个其他计算设备162通过网络通信链 路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现 为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指 令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数 据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变 可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射 频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。 这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。

计算设备100可以实现为小尺寸便携(或者移动)电子设备的一部 分，这些电子设备可以是诸如蜂窝电话、个人数字助理(PDA)、个人 媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、 或者可以包括上面任何功能的混合设备。计算设备100还可以实现为包 括桌面计算机和笔记本计算机配置的个人计算机。

其中，计算设备100的一个或多个程序122包括用于执行根据本公 开的元数据批量入库的方法的指令。

图2示例性示出根据本公开一个实施例的元数据批量入库的方法 200的流程图，元数据批量入库的方法200始于步骤S210。

步骤S210中，确定待入库元数据对应的数据库、表名和模式名。 在一种可选的实施方式中，提供交互界面给用户，由用户输入数据库、 表名和模式名，模式名也可以由用户名代替。

随后，在步骤S220中，根据数据库、表名和模式名，获取目标数 据表。在一种可选的实施方式中，提供与数据库之间的接口函数，根 据用户输入的数据库、表名和模式名，自动生成数据库查询语句并完 成目标数据表的查询。

例如，mysql执行的结构化查询语言(Structured Query Language, SQL)语句为：

select*frominformation_schema.columnswhere1＝1and

upper(table_name)＝'表名'and upper(TABLE_SCHEMA)＝'模式名'

随后，在步骤S230中，从目标数据表中提取字段列表。

字段列表可以同时包括字段名和字段中文名。

在一种可能的实施方式中，目标数据表有多个，即用户指定了多 组数据库、表名和模式名；从目标数据表中提取字段列表，包括：从 多个目标数据表中选取一个目标数据表，从中提取字段列表；将字段 列表存储至元数据数据库之后，还包括：从多个目标数据表中再选取 另一目标数据表，从中提取字段列表并存储至元数据数据库。

随后，在步骤S240中，将字段列表存储至元数据数据库。

在目标数据表有多个的情况下，反复执行步骤S220、S230，直至 遍历所有的目标数据表后，执行步骤S240。或者，反复执行步骤S220、 S230、S240，即每获取到一目标数据表，先存储至元数据数据库后， 再获取下一目标数据表。

元数据在入库的过程中可能会出现失败的情况，因此，在一种可 能的实施方式中，判断字段列表是否成功存储至元数据数据库，如果 是，为当前目标数据表设置第一标记，用于指示字段列表已成功存储 至元数据数据库；否则，为当前目标数据表设置第二标记，用于指示 字段列表未能成功存储至元数据数据库。

对于发生入库失败的场景，本公开提供了两种解决方案：

一，在确定全部目标数据表均已设置第一标记或第二标记后，提 示用户字段列表提取已经完成，并将各个目标数据表设置的第一标记 或第二标记的信息呈现给用户。

二、在确定全部目标数据表均已设置第一标记或第二标记后，重 新从设置第二标记的目标数据表中提取字段列表并存储至元数据数据 库，如果操作成功，为当前目标数据表重新设置第一标记；

当确定全部目标数据表已设置第一标记时，提示用户字段列表提 取已经完成，或者，当确定设置第二标记的目标数据表的重复提取字 段列表并存储至元数据数据库的次数达到预设阈值时，提示用户字段 列表提取已经完成，并将各个目标数据表设置的第一标记或第二标记的信息呈现给用户。

其中，预设阈值建议是一至三中的任意值。

进一步地，为了便于展开元数据的数据分析，元数据数据库除了 存储字段列表信息，还存储字段列表的关联信息，例如，数据库信息、 表名和模式名，以及，相关的时间、路径信息等。

基于元数据数据库，可以展开数据的血缘关系分析和影响关系分 析。通过数据血缘分析，用户可以知道数据何时更新、如何计算以及 从何处而来，帮助用户追溯报表中数据产生的来源；具体可以实现：1、 流程总览对表或过程显示其所属的整个数据流程，展示涉及到的各个中间表和过程，展示其来龙去脉；2、节点查询，据主题域、对象ID 等查询条件，显示某一节点所处的位置关系,以及受到哪些节点的影响 或会影响到其它哪些节点。影响分析关注的重点是数据的流向，提供 端对端影响分析，使用户看见源系统发生变化时，相关报表受到的影 响，而因此可以轻松地处理数据环境中的变化。影响分析用于预览元 数据对全局的影响，有助于执行变更前充分评估风险，及早与相关人 员事前沟通。

下面结合软件操作界面，给出本公开的具体实施例。本公开具体 实施例提供的元数据批量入库方法如图3所示，包括：

步骤101：从数据源数据库批量选择需要导入表结构的表，并进 行提交，如图4所示；

步骤102：存储对应的数据库、表名、表模式名；

步骤103：获取表字段列表；

其中，步骤102、103在后台循环进行；

步骤104、通知后台需要扫描入库的表结构，同时把当前的任务标识为未处理，如图5所示；

步骤105-1、若当前入库成功，当前任务状态置为已处理，如图6 所示，并且可以查询到已经入库的表结构，如图7所示；步骤105-2、 若当前入库异常，则置状态为错误，如图8所示。

本公开提供的技术方案，直接从数据源数据库直接批量查询、获 取需要导入的表结构，并存储，能够快速、准确、高效的对大量表结 构进行一键式导入，避免了人工导入过程操作的失误与低效。

应当理解，这里描述的各种技术可结合硬件或软件，或者它们的组 合一起实现。从而，本公开的方法和设备，或者本公开的方法和设备的 某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动 器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其 中当程序被载入诸如计算机之类的机器，并被该机器执行时，该机器变成实践本公开的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处 理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储 元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置 用于存储程序代码；处理器被配置用于根据该存储器中存储的该程序代 码中的指令，执行本公开的各种方法。

以示例而非限制的方式，计算机可读介质包括计算机存储介质和通 信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储 介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信 息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现 计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。

应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多 个，在上面对本公开的示例性实施例的描述中，本公开的各个特征有时 被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该 公开的方法解释成反映如下意图：即所要求保护的本公开要求比在每个 权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特 征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施 方式，其中每个权利要求本身都作为本公开的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块 或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地 可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的 模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进 行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备 中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组 件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样 的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何 组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特 征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非 另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开 的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包 括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的 特征的组合意味着处于本公开的范围之内并且形成不同的实施例。例 如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以 任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理 器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因 此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实 施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如 下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第 二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并 且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面 或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本公开，但是受益于上面的描 述，本技术领域内的技术人员明白，在由此描述的本公开的范围内，可 以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为 了可读性和教导的目的而选择的，而不是为了解释或者限定本公开的主 题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。 对于本公开的范围，对本公开所做的公开是说明性的，而非限制性的， 本公开的范围由所附权利要求书限定。

Claims (5)

1.一种元数据批量入库的方法，其特征在于，包括：

确定待入库元数据对应的数据库、表名和模式名；

根据所述数据库、表名和模式名，获取目标数据表；

从所述目标数据表中提取字段列表；

将所述字段列表存储至元数据数据库；

判断所述字段列表是否成功存储至元数据数据库，如果是，为当前目标数据表设置第一标记，用于指示字段列表已成功存储至元数据数据库；否则，为当前目标数据表设置第二标记，用于指示字段列表未能成功存储至元数据数据库；

当确定每一目标数据表均已设置第一标记或第二标记时，提示用户字段列表提取已经完成，并将各个目标数据表设置的第一标记或第二标记的信息呈现给用户；

在确定全部目标数据表均已设置第一标记或第二标记后，重新从设置第二标记的目标数据表中提取字段列表并存储至元数据数据库，如果操作成功，为当前目标数据表重新设置第一标记；

当确定全部目标数据表已设置第一标记时，提示用户字段列表提取已经完成，或者，当确定设置第二标记的目标数据表的重复提取字段列表并存储至元数据数据库的次数达到预设阈值时，提示用户字段列表提取已经完成，并将各个目标数据表设置的第一标记或第二标记的信息呈现给用户；

基于元数据数据库，展开数据的血缘关系分析和影响关系分析；通过数据血缘分析，实现流程总览对表或过程显示其所属的整个数据流程，展示涉及到的各个中间表和过程，实现节点查询，根据查询条件，显示某一节点所处的位置关系，以及受到哪些节点的影响或会影响到其它哪些节点；影响关系分析用于提供端对端影响分析，使用户看见源系统发生变化时，相关报表受到的影响，以及，用于预览元数据对全局的影响。

2.如权利要求1所述的方法，其特征在于，所述目标数据表有多个；

从所述目标数据表中提取字段列表，包括：

从所述多个目标数据表中选取一个目标数据表，从中提取字段列表；

将所述字段列表存储至元数据数据库之后，还包括：

从所述多个目标数据表中再选取另一目标数据表，从中提取字段列表并存储至元数据数据库。

3.如权利要求1或2所述的方法，其特征在于，还包括：

将每一组字段列表对应的数据库信息、表名和模式名存储至元数据数据库；

根据所述元数据数据库的数据库信息、表名、模式名和字段列表信息，分析数据关系。

4.一种可读存储介质，适于存储一个或多个程序，所述一个或多个程序被配置为由计算设备执行如权利要求1-3中任一项所述的元数据批量入库方法。

5.一种计算设备，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行如权利要求1-3中任一项所述的元数据批量入库方法。