CN112612835B

CN112612835B - 一种数据模型的创建方法和终端

Info

Publication number: CN112612835B
Application number: CN202011539439.3A
Authority: CN
Inventors: 娄晨; 安烨晖; 王丰年; 张磊; 杜新胜; 张辉极
Original assignee: Xiamen Meiya Pico Information Co Ltd
Current assignee: Xiamen Meiya Pico Information Co Ltd
Priority date: 2020-12-23
Filing date: 2020-12-23
Publication date: 2022-09-20
Anticipated expiration: 2040-12-23
Also published as: CN112612835A; EP4020253A1

Abstract

本发明公开一种数据模型的创建方法和终端，接收用于创建数据模型的数据源，所述数据源包括多种类型；根据所述数据源及其对应的类型生成对应的数据宽表；根据所述数据宽表生成对应的数据模型；将接收的多种数据源通过与数据源对应的配置方式进行处理，并将处理后的数据源生成对应的数据宽表，通过生成的数据宽表生成对应需要显示的数据模型，当业务发生变化的时候通过修改数据模型的数据宽表，即可实现业务显示的更新，不需要重新配置接口和二次进行开发，提高了大屏使用的体验效果。

Description

一种数据模型的创建方法和终端

技术领域

本发明涉及数据可视化技术领域，特别涉及一种数据模型的创建方法和终端。

背景技术

随着现代信息技术的不断发展，数据可视化不断的走进了人们的视野。各种的可视化平台不断兴起，例如淘宝的双十一的数据可视化大屏给人们带来不一样的数据展示方式。但可视化大屏的展示离不开数据的支撑，因此为可视化大屏的各种图表提供一种高效、快捷、统一的数据接口便应运而生。创建数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理的存储数据。将多种数据源按照既定的规则，使用数据库的分层技术，使数据在可视化大屏的应用上更加高效，更加便捷。

在实际使用中，数据模型既要支持主流的数据源的格式，也要简化用户创建数据模型的操作，提高工作效率。而目前的可视化大屏支持的数据源比较单一，通用性不强，并且创建的过程具有一定的难度，需要专业技术人员进行操作。在创建的过程中，可视化大屏的图表数据大多数来自API接口，而每一个图表对应一个API数据接口，导致接口重复调用，造成浏览器极大资源浪费，影响大屏页面的加载时间，不能根据业务的需要及时调整图表所需的数据。

发明内容

本发明所要解决的技术问题是：提供一种数据模型的创建方法和终端，避免接口重新配置，提高了大屏使用的体验效果。

为了解决上述技术问题，本发明采用的技术方案为：

一种数据模型的创建方法，包括步骤：

接收用于创建数据模型的数据源，所述数据源包括多种类型；

根据所述数据源及其对应的类型生成对应的数据宽表；

根据所述数据宽表生成对应的数据模型。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种数据模型创建终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种数据模型的创建方法中的各个步骤。

本发明的有益效果在于：将接收的多种数据源通过与数据源对应的配置方式进行处理，并将处理后的数据源生成对应的数据宽表，通过生成的数据宽表生成对应需要显示的数据模型，当业务发生变化的时候通过修改数据模型的数据宽表，即可实现业务显示的更新，不需要重新配置接口和二次进行开发，提高了大屏使用的体验效果。

附图说明

图1为本发明实施例的一种数据模型的创建方法的步骤流程图；

图2为本发明实施例的一种数据模型的创建方法的另一步骤流程图；

图3为本发明实施例的一种数据模型的创建方法的另一步骤流程图；

图4为本发明实施例的一种数据模型的创建方法的一种创建方式示意图；

图5为本发明实施例的一种数据模型的创建方法的数据宽表示意图；

图6为本发明实施例的一种数据模型的创建方法的另一种创建方式示意图；

图7为本发明实施例的一种数据模型的创建方法的表间关系创建示意图；

图8为本发明实施例的一种数据模型的创建方法的另一步骤流程图；

图9为本发明实施例的一种数据模型的创建终端的结构示意图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1，本发明实施例提供了一种数据模型的创建方法，包括步骤：

根据所述数据源及其对应的类型生成对应的数据宽表；

根据所述数据宽表生成对应的数据模型。

由上述描述可知，本发明的有益效果在于：将接收的多种数据源通过与数据源对应的配置方式进行处理，并将处理后的数据源生成对应的数据宽表，通过生成的数据宽表生成对应需要显示的数据模型，当业务发生变化的时候通过修改数据模型的数据宽表，即可实现业务显示的更新，不需要重新配置接口和二次进行开发，提高了大屏使用的体验效果。

进一步的，所述根据所述数据源及其对应的类型生成对应的数据宽表包括：

接收数据模型创建请求；

确定待创建的数据模型的数据源及其对应的类型；

根据所述类型采用对应的方式生成对应的数据宽表，所述方式包括图形化方式或SQL语句方式。

由上述描述可知，通过确定待创建的数据模型的数据源及其对应的类型，采用图形化方式或SQL语句方式生成对应的数据宽表，满足了普通用户和专业用户对数据模型创建的需求，并且创建模型不需要太多的专业知识，即使不懂得SQL的语法，也可以使用可视化图形的方法创建，提高了通用性。

进一步的，所述根据所述类型采用对应的方式生成对应的数据宽表包括：

判断所述类型是否为数据库类型，若是，则采用图形化方式或SQL语句方式生成对应的数据宽表，否则，采用图形化方式生成对应的数据宽表。

由上述描述可知，对数据库类型数据采用图形化方式或SQL语句方式生成对应的数据宽表，不仅使普通用户能够通过图形化方式对数据库进行数据模型的创建，而且专业用户能够通过SQL语句方式对数据库进行数据模型的创建，满足了不同用户的需求。

进一步的，采用SQL语句方式生成对应的数据宽表包括：

加载数据库类型的数据源对应的数据库驱动；

通过所述数据库驱动中保存的数据库地址信息链接到所述数据源所在的数据库，获取所述数据库中所述数据源所在的数据表；

根据SQL语句以及所述数据源所在的数据表生成对应的数据宽表；

判断所述数据宽表是否生成成功，若是，则保存所述SQL语句。

由上述描述可知，通过SQL语句生成对应的数据宽表，使专业用户能够通过本领域的技术手段快速生成所需生成的数据模型，满足专业用户对数据模型生成的需求。

进一步的，采用图形化方式生成对应的数据宽表具体为：

接收拖拽操作指令，将待创建的数据模型的数据源移动至宽表创建区，并生成对应的数据源表；

在所述宽表创建区生成表间数据关系界面，并接收通过所述表间数据关系界面设置的数据表支持的关联关系及数据表与数据表之间的字段的对应关系；

根据所述数据源表、所述关联关系和对应关系生成对应的数据宽表。

由上述描述可知，普通用户能够通过图形化的操作对待创建的数据源以拖拽的方式进行数据模型的创建，并通过生成图形化的表间数据关系界面让用户选择表与表之间的联系，大大简化了创建数据模型的门槛，使不具备数据库专业知识的普通用户能够通过图形化操作实现数据模型的生成，满足了普通用户对数据模型生成的需求。

进一步的，还包括步骤：

接收业务变更请求，所述业务变更请求包括待变更的数据模型标识；

根据所述数据模型标识对其对应的数据宽表进行更新；

根据更新后的数据宽表生成变更后的数据模型。

由上述描述可知，当需要进行业务变化时，通过修改数据模型对应的宽表数据，并将更新的数据宽表生成数据模型，避免了因数据变更而需要重新配置接口信息，或进行数据模型的二次开发，大大提高了数据模型对业务的适应性。

进一步的，所述业务变更请求还包括业务变更类型，所述业务变更类型包括字段编辑和新增计算属性；

对数据宽表进行更新包括：

若变更类型为字段编辑，则在所述数据宽表中保存编辑后的字段，刷新所述数据宽表并保存；

若变更类型为新增计算属性，则在所述数据宽表中新增所述计算属性，刷新所述数据宽表并保存。

由上述描述可知，数据模型支撑字段修改和新建计算字段，通过对数据宽表进行对应的需求更改，使创建的数据模型能够满足多元化的需求，更利于用户使用。

进一步的，所述接收用于创建数据模型的数据源包括：

接收数据源创建请求，所述数据源创建请求包括待创建的数据源的类型；

根据所述待创建的数据源的类型接收并生成对应的用于创建数据模型的数据源。

由上述描述可知，通过将待创建的数据源的类型接收并生成对应的用于创建数据模型的数据源，方便后续对待创建数据模型的数据源的创建操作。

进一步的，所述待创建的数据源类型包括excel或csv数据源、API数据源或数据库数据源；

所述根据所述待创建的数据源的类型接收并生成对应的用于创建数据模型的数据源包括：

若所述待创建的数据源的类型为excel或csv数据源，则：

解析所述导入的excel或csv文件并生成用于创建数据模型的数据源；

若所述待创建的数据源的类型为API数据源，则：

获取所述API数据源的接口的URL地址以及请求方式；

根据所述URL地址和请求方式从对应的接口获取数据，并生成用于创建数据模型的数据源；

若所述待创建的数据源的类型为数据库数据源，则：

根据待获取数据库的类型获取对应的服务器IP、端口、用户名和密码；

根据用户名和密码获取该数据库权限，并通过对应的数据库驱动通过所述服务器IP和端口与待获取的数据库进行连接；

从所述待获取的数据库获取数据并生成用于创建数据模型的数据源。

由上述描述可知，采用支持多种数据源的导入的配置，对不同的数据类型进行处理生成对应的数据源，满足不同业务需求，提高了创建数据模型的可配置性。

本发明另一实施例提供了一种数据模型的创建终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种数据模型创建的方法中的各个步骤。

实施例一

请参照图1，一种数据模型的创建方法，包括步骤：

根据所述数据源及其对应的类型生成对应的数据宽表；

根据所述数据宽表生成对应的数据模型；

所述接收用于创建数据模型的数据源包括：

所述待创建的数据源类型包括excel或csv数据源、API数据源或数据库数据源，具体包括：excel、csv、MySQL、MariaDB、Oricle、PostgreSQL、SQLServer和API，八种不同的数据源创建数据格式；

根据所述待创建的数据源的类型接收并生成对应的用于创建数据模型的数据源包括：

若所述待创建的数据源的类型为excel或csv数据源，则：解析所述导入的excel或csv文件并生成用于创建数据模型的数据源；

其中，支持上传的文件具有一定的格式，具体为：所述上传文件的第一行为表头，其余行为数据行，数据行与表头一一对应；

且支持单个或多个文件上传，每一次上传为一个数据源，存储在一个数据库中；上传文件的过程中，先将文件数据解析后存储在缓存中，且能够预览解析的文件，待收到文件数量以及数据完整指令后，再将上传的文件保存入数据库，若未将数据保存，则清空缓存中的数据，避免了数据冗余的情况；

若所述待创建的数据源的类型为API数据源，则：获取所述API数据源的接口的URL地址以及请求方式(POST、GET、DELETE、PUT或PATCH)；根据所述URL地址和请求方式从对应的接口获取数据，并生成用于创建数据模型的数据源；请求过程中如需要获取请求参数和请求头，则识别对应的请求参数和请求头后再发送连接请求，若调取API接口失败，则发送提示信息，若调取成功，则将获取到的数据保存入库并保存对应API接口的连接信息；进一步的，将API接口的连接信息保存后，通过设置发送请求信息的刷新频率，定时发送API调用请求将数据保存入库，且API接口响应的数据格式统一为JSON数据；

若所述待创建的数据源的类型为数据库数据源，则：根据待获取数据库的类型获取对应的服务器IP、端口、用户名和密码；根据用户名和密码获取该数据库权限，并通过对应的数据库驱动通过所述服务器IP和端口与待获取的数据库进行连接；从所述待获取的数据库获取数据并生成用于创建数据模型的数据源；其中，连通数据库后，对数据进行预览并生成数据源，且不会将数据库的数据存储在数据库中；

本实施例提供一具体运用场景：

请参照图2，用户根据数据模型的需求，新建创建数据源并输入数据源名称，然后选择需要创建的数据源类型；

若所述待创建的数据源的类型为API数据源，则测试是否API接口能否连通，连通后，填写对应接口的URL地址，并选择接口的请求方式如POST等方式，如若还需要填写对应的请求参数和请求头，则填写对应的请求信息，而后系统再发送连接请求，若调取API接口失败，则提示用户调用失败，若调取成功，则保存连接信息并将数据保存入库生成数据源；当用户需要定时获取API数据时，通过设置发送请求信息的刷新频率，定时发送API调用请求将数据保存入库；

若所述待创建的数据源的类型为excel或csv数据源，则用户将所需要的数据文件上传，系统接收上传的文件并进行解析生成预览文件，待用户确认后将文件保存入数据库生成数据源；

若所述待创建的数据源的类型为数据库数据源，则用户选择需要添加的数据库类型，通过设置对应数据库对应的服务器IP、端口、用户名和密码获取数据库权限，再通过对应的数据库驱动与待获取数据库进行连接，若连接成功生成预览数据，获取数据库数据生成数据源。

请参照图3，根据所述数据源及其对应的类型生成对应的数据宽表包括：

接收数据模型创建请求；

确定待创建的数据模型的数据源及其对应的类型；

根据所述类型采用对应的方式生成对应的数据宽表，所述方式包括图形化方式或SQL语句方式包括：

判断所述类型是否为数据库类型，若是，则采用图形化方式或SQL语句方式生成对应的数据宽表；否则，采用图形化方式生成对应的数据宽表；

具体的，采用图形化方式生成对应的数据宽表包括：

接收拖拽操作指令，将待创建的数据模型的数据源移动至宽表创建区，并生成对应的数据源表；在所述宽表创建区生成表间数据关系界面，并接收通过所述表间数据关系界面设置的数据表支持的关联关系及数据表与数据表之间的字段的对应关系；根据所述数据源表、所述关联关系和对应关系生成对应的数据宽表；所述支持的关联关系包括：左连接、右连接和内连接，三种连接方式；其中左连接为：返回包括左表中的所有记录和右表中连接字段相等的记录；右连接为：返回包括右表中的所有记录和左表中连接字段相等的记录；内连接：只返回两个表中连接字段相等的行；

采用SQL方式生成对应的数据宽表包括：

加载数据库类型的数据源对应的数据库驱动；通过所述数据库驱动中保存的数据库地址信息链接到所述数据源所在的数据库，获取所述数据库中所述数据源所在的数据表；根据SQL语句生成对应的数据宽表；判断所述数据宽表是否生成成功，若是，则保存所述SQL语句。

本实施例提供一具体运用场景：

请参照图3，用户进入创建数据模型界面，并选择需要创建的数据源；

请参照图5，若数据源为非数据库类型数据源，则采用图形化方式生成对应的数据宽表；

请参照图6，具体为：通过移动鼠标将数据源区中需要创建的非数据库类型的数据源表拖拽至模型创建区，用户将数据源表SCHEMA_PRIVILEGES和表SESSION_STATUS拖拽至模型创建区，当需要设置表间关系时，系统生成图形化界面如图7所示，用户在图形化界面中选择表与表的关联关系和设置映射字段，如上述两个数据源的对应关系为：GRANTEE＝VARIABLE_VALUE和TABLE_CATALOG＝VARIABLE_VALUE，选择完成后，系统根据添加的数据源表、设置的关联关系和映射字段关系生成数据宽表；当所创建的数据类型为API数据时，系统直接将API数据生成数据宽表；

若数据源为数据库类型数据源，则采用SQL方式生成对应的数据宽表；

请参照图4，具体为：通过在创建区内编写SQL语句选择所需要创建的数据库类型源表，并声明表与表之间的关联关系以及字段之间关系，系统通过用户编写的SQL语句生成数据宽表；

当用户为非专业用户时，能通过上述图形化的方式将数据库类型数据源表生成对应的数据宽表；

实施例二

请参照图8，本实施例与实施例一的不同在于，进一步限定了如何对数据模型进行更新，具体的：

根据所述数据模型标识对其对应的数据宽表进行更新；

所述业务变更请求还包括业务变更类型，所述业务变更类型包括字段编辑和新增计算属性；

所述对数据宽表进行更新包括：

若变更类型为字段编辑，则在所述数据宽表中保存编辑后的字段，刷新所述数据宽表并保存；若变更类型为新增计算属性，则在所述数据宽表中新增所述计算属性，刷新所述数据宽表并保存；

根据更新后的数据宽表生成变更后的数据模型；

并且，在可视化大屏的使用过程中，模型的刷新会重载所有用到该模型数据的图表，节省浏览器的资源。

实施例三

请参照图9，一种数据模型的创建终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例一或实施例二所述的一种数据模型的创建方法中的各个步骤。

综上所述，本发明提供的一种数据模型的创建方法和终端，将接收的多种数据源通过与数据源对应的配置方式进行处理，并对处理后的数据源采用图形化操作或编辑SQL语句两种方式生成对应的数据宽表，满足了不同用户对数据模型创建的需求，即使不懂得sql的语法，也可以使用可视化图形的方法创建，通过生成的数据宽表生成对应需要显示的数据模型，实现一次创建多次使用，并且当业务发生变化需要进行字段修改或新增计算属性时，通过修改数据模型的数据宽表即可实现业务显示的更新，不需要重新配置接口和二次进行开发，提高了大屏使用的体验效果，进一步的，在可视化大屏的使用过程中，模型的刷新会重载所有用到该模型数据的图表，节省浏览器的资源。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种数据模型的创建方法，其特征在于，包括步骤：

根据所述数据源及其对应的类型生成对应的数据宽表；

根据所述数据宽表生成对应的数据模型；

所述根据所述数据源及其对应的类型生成对应的数据宽表包括：

接收数据模型创建请求；

确定待创建的数据模型的数据源及其对应的类型；

根据所述类型采用对应的方式生成对应的数据宽表，所述方式包括图形化方式或SQL语句方式；

所述根据所述类型采用对应的方式生成对应的数据宽表包括：

判断所述类型是否为数据库类型，若是，则采用图形化方式或SQL语句方式生成对应的数据宽表，否则，采用图形化方式生成对应的数据宽表；

采用SQL语句方式生成对应的数据宽表包括：

加载数据库类型的数据源对应的数据库驱动；

判断所述数据宽表是否生成成功，若是，则保存所述SQL语句；

采用图形化方式生成对应的数据宽表包括：

根据所述数据源表、所述关联关系和对应关系生成对应的数据宽表；

待创建的数据源的类型包括excel或csv数据源、API数据源或数据库数据源；

若所述待创建的数据源的类型为excel或csv数据源，则：

解析导入的excel或csv文件并生成用于创建数据模型的数据源；

若所述待创建的数据源的类型为API数据源，则：

获取所述API数据源的接口的URL地址以及请求方式；

若所述待创建的数据源的类型为数据库数据源，则：

根据用户名和密码获取数据库权限，并通过对应的数据库驱动通过服务器IP和端口与待获取的数据库进行连接；

2.根据权利要求1所述的一种数据模型的创建方法，其特征在于，还包括步骤：

根据所述数据模型标识对其对应的数据宽表进行更新；

根据更新后的数据宽表生成变更后的数据模型。

3.根据权利要求2所述的一种数据模型的创建方法，其特征在于，所述业务变更请求还包括业务变更类型，所述业务变更类型包括字段编辑和新增计算属性；

对数据宽表进行更新包括：

4.根据权利要求1所述的一种数据模型的创建方法，其特征在于，所述接收用于创建数据模型的数据源包括：

5.一种数据模型的创建终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4任意一项所述的一种数据模型的创建方法中的各个步骤。