CN109739867A - 一种工业元数据管理方法及系统 - Google Patents

Abstract

本发明提供了一种工业元数据管理方法及系统，包括：获取数据源的原始数据；解析原始数据携带的源端地址，得到原始数据的详细数据信息；确定原始数据所属的数据源以及数据结构，依据确定的数据源以及数据结构映射的数据特征，从详细数据信息中提取与映射的数据特征相匹配的字段，得到原始数据的数据特征；按照预先设置的目标元数据映射表，对原始数据的数据特征进行提取，得到待存储目标数据特征；将待存储目标数据特征存储在工业元数据库。将不同类型的工业元数据通过目标元数据映射表转换为目标数据，将目标数据、工业元数据和目标元数据映射表关联匹配存储在工业元数据库中，解决现有技术中存在的不同类型的工业元数据管理不便、使用不便的技术问题。

Description

一种工业元数据管理方法及系统

技术领域

本发明涉及工业元数据管理技术领域，尤其是涉及一种工业元数据管理方法及系统。

背景技术

随着工业互联网的飞速发展，工业领域的知识库和模型库、机理模型、工艺流程等企业的数字化资产在呈级数级增长，同时也带来了海量的工业元数据，对于现有技术来说，针对不同数据类型的工业元数据构建不同的数据库进行存储管理，但是各类元数据间的关联性不强，导致使用元数据时不方便，不能发挥出其市场价值。

发明内容

有鉴于此，本发明的目的在于提供一种工业元数据管理方法及系统，将不同类型的工业元数据通过目标元数据映射表转换为目标数据，将目标数据、工业元数据和目标元数据映射表关联匹配存储在工业元数据库中，解决现有技术中存在的不同类型的工业元数据管理不便、使用不便的技术问题。

第一方面，本发明实施例提供了一种工业元数据管理方法，其中，包括：

获取数据源的原始数据；

解析所述原始数据携带的源端地址，得到所述原始数据的详细数据信息；

确定所述原始数据所属的数据源以及数据结构，依据确定的所述数据源以及数据结构映射的数据特征，从所述详细数据信息中提取与所述映射的数据特征相匹配的字段，得到所述原始数据的数据特征；

按照预先设置的目标元数据映射表，对所述原始数据的数据特征进行提取，得到待存储目标数据特征；

将所述待存储目标数据特征存储在工业元数据库。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述解析所述原始数据携带的源端地址，得到所述原始数据的详细数据信息包括：

解析所述原始数据携带的源端地址；

查询源端地址与数据源连接方式的映射关系，得到所述原始数据携带的源端地址映射的数据源连接方式；

根据得到的所述数据源连接方式，获取所述原始数据的详细数据信息。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述按照预先设置的目标元数据映射表，对所述原始数据的数据特征进行提取，包括：

从所述原始数据的数据特征中，提取与所述目标元数据映射表的数据特征相匹配的数据特征。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述原始数据的数据特征包括数据结构，所述提取与所述目标元数据映射表的数据特征相匹配的数据特征，包括：

选取所述目标元数据映射表的数据结构，从所述原始数据的数据特征中，提取与选取的数据结构相匹配的数据结构，以得到待存储目标数据。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述将所述待存储目标数据存储在工业元数据库之后，还包括：

当所述数据源的原始数据更新时触发同步事件，生成执行结果；

将所述执行结果返回给所述工业元数据库；

所述工业元数据库根据所述执行结果进行同步操作。

第二方面，本发明实施例还提供一种工业元数据管理系统，其中，包括：

获取模块，用于获取数据源的原始数据；

解析模块，用于解析所述原始数据携带的源端地址，得到所述原始数据的详细数据信息；

匹配模块，用于确定所述原始数据所属的数据源以及数据结构，依据确定的所述数据源以及数据结构映射的数据特征，从所述详细数据信息中提取与所述映射的数据特征相匹配的字段，得到所述原始数据的数据特征；

提取模块，用于按照预先设置的目标元数据映射表，对所述原始数据的数据特征进行提取，得到待存储目标数据特征；

存储模块，用于将所述待存储目标数据特征存储在工业元数据库。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述解析模块具体用于：

解析所述原始数据携带的源端地址；

查询源端地址与数据源连接方式的映射关系，得到所述原始数据携带的源端地址映射的数据源连接方式；

根据得到的所述数据源连接方式，获取所述原始数据的详细数据信息。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述提取模块具体用于：

从所述原始数据的数据特征中，提取与所述目标元数据映射表的数据特征相匹配的数据特征。

结合第二方面的第二种可能的实施方式，本发明实施例提供了第二方面的第三种可能的实施方式，其中，原始数据的数据特征包括数据特征，所述提取模块还具体用于：

选取所述目标元数据映射表的数据结构，从所述原始数据的数据特征中，提取与选取的数据结构相匹配的数据结构，以得到待存储目标数据。

结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，其中，所述系统还包括更新模块，所述更新模块具体用于：

当所述数据源的原始数据更新时触发同步事件，生成执行结果；

将所述执行结果返回给所述工业元数据库；

所述工业元数据库根据所述执行结果进行同步操作。

本发明实施例带来了以下有益效果：

将不同类型的工业元数据通过目标元数据映射表转换为目标数据，将目标数据、工业元数据和元数据映射表关联匹配存储在工业元数据库中，解决现有技术中存在的不同类型的工业元数据管理不便、使用不便的技术问题。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的工业元数据管理方法的流程图；

图2为本发明实施例提供的解析原始数据的源端地址，得到原始数据的详细数据信息的流程图；

图3为本发明实施例提供的按照预先设置的目标元数据映射表，对原始数据的数据特征进行提取的流程图；

图4为本发明实施例提供的更新工业元数据库的流程图；

图5为本发明实施例提供的工业元数据管理系统的结构框架图。

图标：501-获取模块；502-解析模块；503-匹配模块；504-提取模块；505-存储模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前对于不同类型的工业元数据会构建不同的数据库进行存储管理，但是各类元数据间的关联性不强，导致使用元数据时不方便，不能发挥出其市场价值，基于此本发明实施例提供了一种工业元数据管理方法及系统，将不同类型的工业元数据通过目标元数据映射表转换为目标数据，将目标数据、工业元数据和元数据映射表关联匹配存储在工业元数据库中，解决现有技术中存在的不同类型的工业元数据管理不便、使用不便的技术问题。

本发明实施例提供了一种工业元数据管理方法，如图1所示，具体包括以下步骤S101～S105：

S101，获取数据源的原始数据。

数据源包括但不限于，普通文件、分布式文件系统(HDFS，Hadoop DistributedFile System)文件等不同的文件系统，MySQL、Hbase、MongoDB等不同的数据库。从数据源中获取原始数据时，会为原始数据自动配置数据源属性，该属性主要包括原始数据的源端地址，源端地址采用URL格式(Uniform Resource Locator，统一资源定位符)，包括该原始数据所在数据源的名称或者IP地址、数据源使用的端口以及到达这个原始数据的路径和原始数据本身的名称。比如，配置的源端地址为HDFS://xxx.xxx.x.x/a以及jdbc:mysql://x.x.x.:3306/db。

S102，解析原始数据携带的源端地址，得到原始数据的详细数据信息。

如图2所示，步骤S102中具体包括以下步骤S201～S203：

S201，解析原始数据携带的源端地址。

对源端地址的解析包括，确定该源端地址是否存在，源端地址是否可以连接，是否拥有读文件的权限。

S202，查询源端地址与数据源连接方式的映射关系，得到原始数据携带的源端地址映射的数据源连接方式。

S203，根据得到的数据源连接方式，获取原始数据的详细数据信息。

不同的数据源根据映射的数据源连接方式抽取原始数据，普通文件或者HDFS文件可将文件分为多块异步抽取，文本文件采用mr方式抽取数据及清洗文本文件，HDFS文件采用spark方式抽取数据；Hbase、MongoDB等数据源通过普通SQL直接查询的方式抽取满足条件的数据，MySQL、Hbase等数据库通过sqoop方式抽取数据。

S103，确定原始数据所属的数据源以及数据结构，依据确定的数据源以及数据结构映射的数据特征，从详细数据信息中提取与映射的数据特征相匹配的字段，得到原始数据的数据特征。

由于详细数据信息中包含大量信息内容，若全部接收会对后续的数据存储管理造成困难，因此按照预先设置的原始数据的数据特征，对详细数据信息进行筛选，提取所需的数据特征，其中，数据特征包括但不限于，数据字段、数据约束、数据值、数据类型和数据结构等。数据类型包括但不限于，Int、long、String、varchar、timestamp、date等；数据结构包括但不限于，Xml、json、Parquet、keyvalue、lp、datagrid等。

S104，按照预先设置的目标元数据映射表，对原始数据的数据特征进行提取，得到待存储目标数据特征。

如图3所示，步骤S104中具体包括以下步骤S301：

S301，从原始数据的数据特征中，提取与目标元数据映射表的数据特征相匹配的数据特征。

提前定义好数据源中元数据的基本数据类型，以及采用面向对象语言定义目标数据的数据类型，将任意元数据的数据类型通过Protobuf协议转换为目标数据的数据类型，并通过结构ID将元数据的数据类型、目标数据的数据类型进行关联，存储在目标元数据映射表中。除了进行数据类型转换外，还可以进行数据约束等数据特征间的转换。

原始数据的数据特征包括数据结构，选取目标元数据映射表的数据结构，从原始数据的数据特征中，提取与选取的数据结构相匹配的数据结构，以得到待存储目标数据。如果用户需要对数据进行一定的处理，本发明实施例中提供一些辅助数据结构，只需要输入数据，就可以按照辅助数据结构生成一些需要通过这个数据计算的其他指标，或者一些报表形式的输出。

S105，将待存储目标数据特征存储在工业元数据库中。

按照预先设置的目标数据的属性，为目标数据配置属性，包括目标数据的存储地址、目标数据可调用方式、目标数据的URL路径、账号密码等基本属性配置。目标数据中分为静态数据和动态数据，如设备ID、设备进场时间为静态数据；时序数据为动态数据，在存储动态数据时，需要添加数据结构为keyvalue、数据字段为时间戳的一项信息。构建好的工业元数据库，可以将来自不同数据源、不同类型结构的数据整合为同一数据结构的数据组合体，方便存储管理和增删改查的应用服务。

工业领域中，将来自不同数据源且数据结构不同的数据称为多源异构数据，将来自同一数据源但数据结构不同的数据称为复杂异构数据。

当原始数据为多源异构数据时，举一具体实施例，多源异构数据分别来自MongoDB数据源、MySQL数据源和ftp数据源，通过解析源端地址，获取原始数据的详细数据信息，按照预先设置的原始数据的数据特征，从详细数据信息中提取相应的数据特征，具体如表(1)所示：

表(1)

通过元数据映射表将多源异构数据转换为HDFS数据，具体如表(2)所示：

把整合为同一数据结构的目标数据存储在工业元数据中。

当原始数据为复杂异构数据时，举一具体实施例，复杂异构数据来自ftp数据源，包括xml格式和json格式两种结构的数据。通过解析源端地址，获取原始数据的详细数据信息，按照预先设置的原始数据的数据特征，从详细数据信息中提取相应的数据特征，具体如表(3)所示：

表(3)

通过元数据映射表将复杂异构数据转换为HDFS数据，具体如表(4)所示：

把整合为同一数据结构的目标数据存储在工业元数据中。

如图4所示，步骤S105之后还具体包括以下步骤S401～S403：

S401，当数据源的原始数据更新时触发同步事件，生成执行结果。

举一具体实施例，当MySQL数据库中的原始数据有更新时，会触发MySQL数据库触发器的数据同步事件，生成数据更新的确认消息以及更新后的新数据。也可以联网同步更新数据，如果使用的是私有部署方式，可以联内网同步更新数据；如果使用的是公有云部署方式，需要进行联网传输更新数据。

S402，将执行结果返回给工业元数据库。

S403，工业元数据库根据执行结果进行同步操作。

工业元数据库收到确认服务的消息后，确定该同步记录的最终状态，并对缓存归档信息进行删除与否的操作。

本发明实施例还提供了一种工业元数据管理系统，如图5所示，包括：获取模块501，用于获取数据源的原始数据；解析模块502，用于解析原始数据携带的源端地址，得到原始数据的详细数据信息；匹配模块503，用于确定原始数据所属的数据源以及数据结构，依据确定的数据源以及数据结构映射的数据特征，从详细数据信息中提取与映射的数据特征相匹配的字段，得到原始数据的数据特征；提取模块504，用于按照预先设置的目标元数据映射表，对原始数据的数据特征进行提取，得到待存储目标数据特征；存储模块505，用于将待存储目标数据特征存储在工业元数据库。

其中，解析模块502具体用于：解析原始数据携带的源端地址；查询源端地址与数据源连接方式的映射关系，得到原始数据携带的源端地址映射的数据源连接方式；根据得到的数据源连接方式，获取原始数据的详细数据信息。

提取模块504具体用于：从原始数据的数据特征中，提取与目标元数据映射表的数据特征相匹配的数据特征。

原始数据的数据特征包括数据特征，提取模块504还具体用于：选取目标元数据映射表的数据结构，从原始数据的数据特征中，提取与选取的数据结构相匹配的数据结构，以得到待存储目标数据。

该系统还包括更新模块，更新模块具体用于：当数据源的原始数据更新时触发同步事件，生成执行结果；将执行结果返回给所述工业元数据库；工业元数据库根据执行结果进行同步操作。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种工业元数据管理方法，其特征在于，包括：

获取数据源的原始数据；

解析所述原始数据携带的源端地址，得到所述原始数据的详细数据信息；

确定所述原始数据所属的数据源以及数据结构，依据确定的所述数据源以及数据结构映射的数据特征，从所述详细数据信息中提取与所述映射的数据特征相匹配的字段，得到所述原始数据的数据特征；

按照预先设置的目标元数据映射表，对所述原始数据的数据特征进行提取，得到待存储目标数据特征；

将所述待存储目标数据特征存储在工业元数据库。

2.根据权利要求1所述的方法，其特征在于，所述解析所述原始数据携带的源端地址，得到所述原始数据的详细数据信息包括：

解析所述原始数据携带的源端地址；

查询源端地址与数据源连接方式的映射关系，得到所述原始数据携带的源端地址映射的数据源连接方式；

根据得到的所述数据源连接方式，获取所述原始数据的详细数据信息。

3.根据权利要求1所述的方法，其特征在于，所述按照预先设置的目标元数据映射表，对所述原始数据的数据特征进行提取，包括：

从所述原始数据的数据特征中，提取与所述目标元数据映射表的数据特征相匹配的数据特征。

4.根据权利要求3所述的方法，其特征在于，所述原始数据的数据特征包括数据结构，所述提取与所述目标元数据映射表的数据特征相匹配的数据特征，包括：

选取所述目标元数据映射表的数据结构，从所述原始数据的数据特征中，提取与选取的数据结构相匹配的数据结构，以得到待存储目标数据。

5.根据权利要求1所述的方法，其特征在于，所述将所述待存储目标数据存储在工业元数据库之后，还包括：

当所述数据源的原始数据更新时触发同步事件，生成执行结果；

将所述执行结果返回给所述工业元数据库；

所述工业元数据库根据所述执行结果进行同步操作。

6.一种工业元数据管理系统，其特征在于，包括：

获取模块，用于获取数据源的原始数据；

解析模块，用于解析所述原始数据携带的源端地址，得到所述原始数据的详细数据信息；

匹配模块，用于确定所述原始数据所属的数据源以及数据结构，依据确定的所述数据源以及数据结构映射的数据特征，从所述详细数据信息中提取与所述映射的数据特征相匹配的字段，得到所述原始数据的数据特征；

提取模块，用于按照预先设置的目标元数据映射表，对所述原始数据的数据特征进行提取，得到待存储目标数据特征；

存储模块，用于将所述待存储目标数据特征存储在工业元数据库。

7.根据权利要求6所述的系统，其特征在于，所述解析模块具体用于：

解析所述原始数据携带的源端地址；

查询源端地址与数据源连接方式的映射关系，得到所述原始数据携带的源端地址映射的数据源连接方式；

根据得到的所述数据源连接方式，获取所述原始数据的详细数据信息。

8.根据权利要求6所述的系统，其特征在于，所述提取模块具体用于：

从所述原始数据的数据特征中，提取与所述目标元数据映射表的数据特征相匹配的数据特征。

9.根据权利要求8所述的系统，其特征在于，原始数据的数据特征包括数据特征，所述提取模块还具体用于：

选取所述目标元数据映射表的数据结构，从所述原始数据的数据特征中，提取与选取的数据结构相匹配的数据结构，以得到待存储目标数据。

10.根据权利要求6所述的系统，其特征在于，所述系统还包括更新模块，所述更新模块具体用于：

当所述数据源的原始数据更新时触发同步事件，生成执行结果；

将所述执行结果返回给所述工业元数据库；

所述工业元数据库根据所述执行结果进行同步操作。