CN110019555B - 一种关系数据语义化建模方法 - Google Patents

Abstract

本发明涉及一种关系数据语义化建模方法，以多维度异种数据源为基础，对多数据源数据信息进行数据抽取，获取数据库及数据表信息。然后根据用户自身建模需求，选择建模所需的数据表，完成分层模型可视化部署，生成建模画布。接着用户通过拖拽节点、配置的方式，生成JSON格式的规则文档。通过用户管理、画布管理功能实现多用户及多画布的模型搭建，最终根据多维度关系数据库数据和规则建立语义化数据模型。本发明为汇总和分析多数据源数据提供底层支撑，将多维度信息汇总，实现数据的有效整合和共享，提高资源的互操作性。具有很好的可扩展性，便于添加新的数据源、数据表，而不影响原有系统的使用。

Description

一种关系数据语义化建模方法

技术领域

本发明涉及了多维度关系数据库数据采集、语义化建模方法，属于语义建模领域。

背景技术

随着信息技术的快速发展，信息化技术的应用正逐步走向多维度异种数据源的数据访问和决策支持。很多行业所涉及的数据源在不断扩展，信息共享范围不断扩大，异构数据库间信息如何有效地交流与共享问题就变得日渐突出。在传统的数据集成分析中，管理者会使用不同的信息管理系统，各类系统之间的数据无法互联互通，在数据获取方面，按照原始的数据库连接方式，各类数据库客户端集成复杂，使用不同的api，具有一定学习成本，无形之中降低了企业的生产效率。

造成异构系统互操作能力低的主要原因是典型数据库系统对数据在数据库中的含义理解非常有限，它们通常只能理解某些简单的数据值及这些值的约束，但是对其他方面理解很少，所有复杂的解释都需要用户自己去完成，无法跨数据源建立关联关系。针对这一问题，语义建模领域应运而生，可以通过搭建基于本体语义的知识库来建立跨域关联，其中最常见的工具Protégé，为用户提供概念层次上构建跨域本体模型的方法。但是该工具是按照类、属性、实例来手动建模描述事物，并非面向数据库表，在实际构建中无法借助现有数据库来搭建，依然需要领域专家大量的工作。因此需要一种面向关系数据的语义化建模工具，以便于在具体应用中综合利用关系数据库数据，获得更高的模型搭建效率和异构系统间的互操作性。

发明内容

本发明主要针对跨数据源关系数据库中各类数据库客户端集成复杂，不便于跨域查询和分析的问题。提出一种跨数据源模型搭建的方案，通过数据抽取生成实体，以点选建模实体、节点拖拽、连线配置的方式来建立数据表之间、字段之间的关联关系，生成跨数据源关系模型和数据节点模型，最终实现模型的展示，从而最大程度降低汇总分析多数据源数据的成本，提高多维度数据源关系数据管理和分析的效率。

本发明采用如下技术方案：一种关系数据语义化建模方法，包括以下步骤：

应用层，进行实体选择，并通过可视化拖拽生成规则文档存储至数据层；将中间层的E-R模型、数据模型进行显示；

中间层，根据数据层的多数据源数据和配置文档建立E-R模型、数据模型；

数据层，存储数据源数据和规则文档。

所述实体选择包含以下步骤：

步骤1)数据采集：通过中间层获取数据层内所有数据源中所有数据库的名称、每个数据库所有数据表的表名，表名即为实体；

步骤2)应用层界面完成可视化部署：将数据源、数据库、数据表分层展示，每个数据源、数据库、数据表分别对应一个节点；对于每个数据库，它从属于一个数据源，在有关联的数据表和数据库之间建立边；

步骤3)用户根据自身需求，在可视化实体模型界面点选建模所需数据表，并提交至服务器。

所述可视化拖拽配置包含以下步骤：

步骤1)根据用户点选数据表再次进行数据采集，获取所选数据表的字段名、字段类型；

步骤2)应用层界面完成可视化部署：将数据库、数据表及其字段名、字段类型分层展示，每个数据库、数据表、字段分别对应一个节点；在有关联的数据库和数据表之间、数据表和字段之间建立边；

步骤3)用户通过可视化拖拽在两个数据表节点之间搭建边来建立关系，并为关系命名；关系建立后分别选择两个表的字段作为关键字段，完成一级关系配置，然后跳到第二个配置界面，进行二级配置；

步骤4)根据一级关系配置和二级配置生成JSON配置文档。

所述二级配置包含以下几个步骤：

步骤1)针对两个关键字段去数据源再次进行数据采集，遍历两张数据表所有数据条目中关键字段出现过的所有值；

步骤2)应用层界面完成可视化部署：包含两列节点，每列对应一个数据表，每个节点对应关键字段中出现过的一个值；

步骤3)用户通过可视化拖拽配置在左右两列节点之间建立关联，然后保存至JSON配置文档。

所述E-R模型建立包含以下步骤：

步骤1)读取JSON配置文档，获取所有数据表之间的关联关系名称；

步骤2)数据表表名为实体名，字段名为实体的属性，数据表之间的关联关系名称为实体之间的联系。

所述数据模型建立包含以下步骤：

步骤1)读取JSON配置文档，获取所有二级配置信息，该二级配置信息中包含数据表和所在数据源及之前配置过的关键字段名、字段值。

步骤2)根据每条二级配置信息，去对应的两个数据表进行遍历，采集关键字段的值等于二级配置中关键字段值的节点，每条记录对应一个节点，并在两个数据表的节点之间建立连线；

步骤3)前端界面部署：同一张表中的数据条目对应的节点采用相同大小、关键字段值相同的节点为同一颜色。

一种关系数据的语义化模型，包括：

应用层，用于进行实体选择，并通过可视化拖拽生成配置文档存储至数据层；将中间层的E-R模型、数据模型进行显示；

中间层，用于根据数据层的多数据源数据和配置文档建立E-R模型、数据模型；

数据层，用于存储数据源数据和配置文档。

本发明的优点是：

1)多数据源数据模型的快速建立与重构。建立方式在PC端实现半自动化，在应用层完成模型展示，具有时效性。重构包括数据表之间、字段之间、以及二级配置关系的增删修改，最终实现多数据源数据模型的重构。

2)为汇总和分析多数据源数据提供底层支撑，将多维度信息汇总，用户层面使用统一的语义规则，便于后期进行跨数据源查询等功能的实现。

3)用户管理为多用户搭建模型提供支撑，画布管理使得一个用户可以根据实际需求搭建多种模型。

4)具有很好的可扩展性，便于添加新的数据源、数据表，而不影响原有系统的使用。

5)各个数据源具有自治性，跨域模型的建立不影响原有系统及数据源的使用。

附图说明

图1是本发明的整体框架示意图。

图2是实体选择模块操作步骤示意图。

图3是可视化拖拽配置操作步骤示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，下面参照附图进行详细说明。

本发明提出了一种关系数据语义化建模方案。首先对多维度关系数据库进行数据抽取，生成实体模型，在该模型中用户选择建模所需数据库和数据表。然后根据实体选择结果去相关数据源数据表中进行二次数据抽取，获取字段信息，并将数据库、数据表、表名、字段等信息以节点图的形式分层展示给用户。用户通过拖拽节点、连线及配置的方式建立各个表、字段直接的关联关系，从而赋予数据的语义化关系，最后根据语义化关联关系和多数据源数据生成跨数据源关系模型，并在应用层将模型展示给用户。

本发明针对多数据源数据处理和跨域建模问题，提出了快速搭建关系数据语义化模型的低成本高可用性的新思路，将异种数据源数据按照用户需求进行选择，动态搭建基于语义的关系模型和数据模型，可视化操作降低了操作难度及汇总和分析多数据源数据的成本，从而大大提高了工作效率。最终生成的模型能为用户清晰展示所有数据之间的关联关系，实现数据的有效整合和共享，为后续提高资源的互操作性及跨域检索提供模型基础。另外，通过用户管理和画布管理，实现多用户、多模型的搭建，用户根据实际需求选择需要的模型。

本发明分为三个层面：数据层、中间层、应用层。

数据层主要为搭建模型提供底层数据支持，包括跟多数据源关系数据，以及JSON配置规则文档。

中间层作为数据层和应用层之间的桥梁，主要负责数据采集、抽取，以及通过多数据源数据和JSON配置文档生成最终的关系模型和数据模型。

应用层主要面向用户，提供实体选择、可视化拖拽配置建立关联关系、模型展示的功能，另外还包含用户管理和画布管理，为实现多用户、多模型的建立提供支撑。

本发明采用的技术方案如下：一种关系数据语义化建模方法，通过实体选择、可视化拖拽配置，生成JSON格式规则文档C，然后根据多数据源数据D和规则C建立模型M，最终在应用层完成模型展示。

所述模型M，包括E-R模型和数据模型，由规则C和多数据源关系数据D唯一确定，即

(C,D)-f→M

其中，f为生成方法，在后面会给出说明。

所述实体选择包含以下几个步骤：

步骤1)数据采集，获取所有数据源中所有数据库的名称、每个数据库所有表的表名，表名即为实体。

步骤2)应用层界面完成可视化部署，将数据源、数据库、数据表分层展示，每个数据源、数据库、数据表分别对应一个节点。对于每个数据库，它从属于一个数据源，则在该数据库节点和数据源节点之间建立一条边。同理也在有关联的数据表和数据库之间建立边。

步骤3)用户根据自身建模需求，在可视化实体模型界面点选建模所需数据表，并提交至服务器。

所述可视化拖拽配置包含以下几个步骤：

步骤1)根据用户点选数据表再次进行数据采集，获取所选数据表的字段名、字段类型。

步骤2)应用层界面完成可视化部署，将数据库、数据表、字段信息分层展示，每个数据库、数据表、字段分别对应一个节点。在有关联的数据库和数据表之间、数据表和字段之间建立边。

步骤3)用户通过可视化拖拽在两个数据表节点之间搭建边来建立关系，并为关系命名，用户建立关系后，系统提示用户分别选择两个表的关键字段。用户选择两个表的关键字段后，跳到第二个配置界面，进行二级配置。每次配置两个表之间的关系都要进行二级配置。

步骤4)根据一级关系配置和二级配置生成JSON格式规则文档。

所述二级配置包含以下几个步骤：

步骤1)针对两个关键字段去数据源再次进行数据采集，遍历两张数据表所有数据条目中关键字段出现过的所有值。

步骤2)应用层界面完成可视化部署，包含两列节点，每列对应一个数据表，每个节点对应关键字段中出现过的一个值。

步骤3)用户通过可视化拖拽配置在左右两列节点之间建立关联，然后保存、提交至服务器。

所述E-R模型建立主要包含以下几个步骤：

步骤1)读取JSON配置文档，获取所有数据表之间的关联关系名称。

步骤2)数据表表名为实体名，字段名为实体的属性，数据表之间的关联关系名称为实体之间的联系。

所述数据模型建立主要包含以下几个步骤：

步骤1)读取JSON配置文档，获取所有二级配置信息，该二级信息中包含了数据表及所在数据源信息及之前配置过的关键字段值。

步骤2)根据每条二级配置信息，去对应的两个数据表进行遍历，采集关键字段的值等于二级配置信息中关键字段值的节点，每条记录对应一个节点，并在两个数据表的节点之间建立连线。

步骤3)前端界面部署，同一张表中的数据条目对应的节点采用相同大小，关键字段值相同的节点为同一颜色。

本发明将通过数据采集、抽取获取多数据数据库、数据表信息，并将多数据源数据的信息以表名、字段和数据关系抽象出来，通过应用层拖拽、配置的方式建立关系数据语义化模型，在PC端实现半自动化，提高了模型搭建的效率，便于重构。

本方案采用如下步骤来完成关系数据语义化模型的建立：

1)实体选择。

2)可视化拖拽生成配置文档。

3)根据多数据源数据和JSON格式规则文档建立E-R模型、数据模型。

4)应用层完成模型展示。

参见图1，这是建立关系数据语义化模型的整体架构图，分为分为三个层面：数据层、中间层、应用层。

数据层主要为模型建立提供底层数据支持，包括多数据源关系数据，例如Sqlserver、Mysql、Oracle，及JSON配置文档。

中间层作为数据层和应用层之间的桥梁，主要负责数据采集、抽取，以及通过多数据源数据和JSON配置文档生成最终的关系模型和数据模型。

应用层主要面向用户，提供实体选择、可视化拖拽配置建立关联关系、模型展示的功能，另外还包含用户管理和画布管理，为实现多用户、多模型的建立提供支撑。

首先，进行实体选择，如图2所示，实体选择模块的具体步骤是：

1)数据采集，获取所有数据源中所有数据库的名称、每个数据库所有表的表名，表名即为实体。

2)应用层界面完成可视化部署，将数据源、数据库、数据表以树形结构分层展示，每个数据源、数据库、数据表分别对应一个节点。对于每个数据库，它从属于一个数据源，则在该数据库节点和数据源节点之间建立一条边。同理也在有关联的数据表和数据库之间建立边。

3)用户根据自身建模需求，在可视化实体模型界面点选建模所需数据表，并提交至服务器。例如，在石化生产管理中，我们想从人员、设备、能源介质这几个维度进行建模分析，那么就可以选择Sqlserver数据源中petrifaction数据库中的设备(device)表和人员(person)表，以及Mysql数据源中petrifaction数据库中的能源介质(resource)表。

接着，通过可视化拖拽生成关联关系，如图3所示，可视化拖拽配置包括以下几个步骤：

1)开始一级配置：根据用户点选数据表再次进行数据采集，获取所选数据表的字段名、字段类型。

2)应用层界面完成可视化部署，将数据库、数据表、字段信息分层展示，每个数据库、数据表、字段分别对应一个节点。在有关联的数据库和数据表之间、数据表和字段之间建立边，形成用户建模所需画布。

3)用户通过可视化拖拽在两个数据表节点之间搭建边来建立关系，并为关系命名，用户建立关系后，系统提示用户分别选择两个表的关键字段。用户选择两个表的关键字段后，完成一级配置，跳到第二个配置界面，进行二级配置。每次配置两个表之间的关系都要进行二级配置。例如，针对人员(person)表和设备(device)表之间建立关联关系“管理”，在输入关系名称“管理”后，用户需要选择关键字段，例如人员(person)中的关键字段为department，设备(device)表中的关键字段为type。

4)根据可视化拖拽关系配置和二级配置生成JSON格式规则文档。

其中，二级配置包含以下几个步骤：

1)针对两个关键字段去数据源再次进行数据采集，遍历两张数据表的关键字段在所有数据条目中出现过的所有值。例如，针对person表中的department字段，遍历其中出现的所有值，“乙烯车间”、“计量站”、“机动工程”等，针对device表中的type字段，遍历其中出现的所有值，“A区裂解”、“A区压缩分离”、“A区换热器”、“B区裂解”、“B区压缩分离”等。

2)应用层界面完成可视化部署，包含两列节点，每列对应一个数据表，每个节点对应关键字段中出现过的一个值。以上述选择为例，分为person和device两列，person列包含节点“乙烯车间”、“计量站”、“机动工程”等，device列包含节点“A区裂解”、“A区压缩分离”、“A区换热器”、“B区裂解”、“B区压缩分离”等。

3)用户通过可视化拖拽配置在左右两个节点之间建立关联，然后保存、提交至服务器。例如，在实际生产中“乙烯车间”部门的人员会“使用”“A区裂解”、“A区压缩分离”这两种类型的设备，那么用户就应该在person列中的“乙烯车间”节点和device列中的“A区裂解”、“A区压缩分离”节点通过拖拽建立边，然后将配置信息保存即可。

接着，E-R模型建立主要包含以下几个步骤：

1)读取JSON配置文档，获取配置过的所有数据表之间的关联关系。E-R模型是针对实体层的概念，不包括二级配置关系。

2)数据表表名为实体名，字段名为实体的属性，数据表之间的关联关系名称为实体之间的联系。

3)E-R模型可视化部署，每个实体和其属性之间、有关联关系的实体和实体之间通过边连接。实体和属性分别使用不同形状，分层部署在前端。

接着，数据模型建立主要包含以下几个步骤：

1)读取JSON配置文档，获取所有一级配置和二级配置信息，其中包含了数据源、数据表、字段信息以及之前配置过的所有关联关系。

2)根据每条二级配置信息，去对应的两个数据表进行遍历，采集关键字段的值等于二级配置信息中的关键字段值的节点，每条记录对应一个节点，并在两个数据表的节点之间建立连线。以上述“乙烯车间”人员“使用”“A区裂解”、“A区压缩分离”设备为例，person表中有关于“张三”、“李四”、“王五”的记录，其department字段都为“乙烯车间”，device表中有关于“A区裂解炉1”、“A区裂解炉2”、“A区分离泵1”等记录，type字段为“A区裂解”或“A区压缩分离”，那么这里面关于人员和设备的每条记录都会生成一个数据节点。

3)前端界面部署，同一张表中的数据条目对应的节点采用相同大小，关键字段值相同的节点为同一颜色，并根据二级配置关系在两个数据表的节点之间建立连线。以上述为例，会在“张三”、“李四”、“王五”等人员节点和“A区裂解炉1”、“A区裂解炉2”、“A区分离泵1”等设备节点之间建立连线。

另外，用户管理主要针对多用户建模而设计，需要包含以下几个功能：

1)用户注册

2)用户登录

3)用户注销

4)用户信息删除

5)用户信息和用户建立模型文件信息的存储

画布是用户可视化拖拽配置时的应用层界面，用户可能针对不同维度进行分析，建立不同模型，因此需要提供多画布支持，即画布管理，具体包含以下几个功能：

1)新建画布，用于用户建模

2)删除画布

3)画布信息管理，包含用户自定义画布名称和画布创建时间

4)画布加载，用户想要修改之前建立的模型需要根据JSON规则文档重新加载画布，在画布中通过可视化拖拽配置进行修改，而E-R模型和数据模型中不具备修改模型的功能。

Claims (5)

1.一种关系数据语义化建模方法，其特征在于，包括以下步骤：

应用层，进行实体选择，并通过可视化拖拽生成规则文档存储至数据层；将中间层的E-R模型、数据模型进行显示；

所述实体选择包含以下步骤：

步骤1）数据采集：通过中间层获取数据层内所有数据源中所有数据库的名称、每个数据库所有数据表的表名，表名即为实体；

步骤2）应用层界面完成可视化部署：将数据源、数据库、数据表分层展示，每个数据源、数据库、数据表分别对应一个节点；对于每个数据库，它从属于一个数据源，在有关联的数据表和数据库之间建立边；

步骤3）用户根据自身需求，在可视化实体模型界面点选建模所需数据表，并提交至服务器；

可视化拖拽配置包含以下步骤：

步骤1）根据用户点选数据表再次进行数据采集，获取所选数据表的字段名、字段类型；

步骤2）应用层界面完成可视化部署：将数据库、数据表及其字段名、字段类型分层展示，每个数据库、数据表、字段分别对应一个节点；在有关联的数据库和数据表之间、数据表和字段之间建立边；

步骤3）用户通过可视化拖拽在两个数据表节点之间搭建边来建立关系，并为关系命名；关系建立后分别选择两个表的字段作为关键字段，完成一级关系配置，然后跳到第二个配置界面，进行二级配置；

步骤4）根据一级关系配置和二级配置生成JSON配置文档；

中间层，根据数据层的多数据源数据和配置文档建立E-R模型、数据模型；

数据层，存储数据源数据和规则文档。

2.根据权利要求1所述的一种关系数据语义化建模方法，其特征在于，所述二级配置包含以下几个步骤：

步骤1）针对两个关键字段去数据源再次进行数据采集，遍历两张数据表所有数据条目中关键字段出现过的所有值；

步骤2）应用层界面完成可视化部署：包含两列节点，每列对应一个数据表，每个节点对应关键字段中出现过的一个值；

步骤3）用户通过可视化拖拽配置在左右两列节点之间建立关联，然后保存至JSON配置文档。

3.根据权利要求1所述的一种关系数据的语义化建模方法，其特征在于，所述E-R模型建立包含以下步骤：

步骤1）读取JSON配置文档，获取所有数据表之间的关联关系名称；

步骤2）数据表表名为实体名，字段名为实体的属性，数据表之间的关联关系名称为实体之间的联系。

4.根据权利要求1所述的一种关系数据的语义化建模方法，其特征在于，所述数据模型建立包含以下步骤：

步骤1）读取JSON配置文档，获取所有二级配置信息，该二级配置信息中包含数据表和所在数据源及之前配置过的关键字段名、字段值；

步骤2）根据每条二级配置信息，去对应的两个数据表进行遍历，采集关键字段的值等于二级配置中关键字段值的节点，每条记录对应一个节点，并在两个数据表的节点之间建立连线；

步骤3）前端界面部署：同一张表中的数据条目对应的节点采用相同大小、关键字段值相同的节点为同一颜色。

5.一种关系数据的语义化模型，其特征在于，包括：

应用层，用于进行实体选择，并通过可视化拖拽生成配置文档存储至数据层；将中间层的E-R模型、数据模型进行显示；

所述实体选择包含以下步骤：

步骤1）数据采集：通过中间层获取数据层内所有数据源中所有数据库的名称、每个数据库所有数据表的表名，表名即为实体；

步骤2）应用层界面完成可视化部署：将数据源、数据库、数据表分层展示，每个数据源、数据库、数据表分别对应一个节点；对于每个数据库，它从属于一个数据源，在有关联的数据表和数据库之间建立边；

步骤3）用户根据自身需求，在可视化实体模型界面点选建模所需数据表，并提交至服务器；

可视化拖拽配置包含以下步骤：

步骤1）根据用户点选数据表再次进行数据采集，获取所选数据表的字段名、字段类型；

步骤2）应用层界面完成可视化部署：将数据库、数据表及其字段名、字段类型分层展示，每个数据库、数据表、字段分别对应一个节点；在有关联的数据库和数据表之间、数据表和字段之间建立边；

步骤3）用户通过可视化拖拽在两个数据表节点之间搭建边来建立关系，并为关系命名；关系建立后分别选择两个表的字段作为关键字段，完成一级关系配置，然后跳到第二个配置界面，进行二级配置；

步骤4）根据一级关系配置和二级配置生成JSON配置文档；

中间层，用于根据数据层的多数据源数据和配置文档建立E-R模型、数据模型；

数据层，用于存储数据源数据和配置文档。