CN108710693A - 一种数据可视化的方法及装置 - Google Patents
一种数据可视化的方法及装置 Download PDFInfo
- Publication number
- CN108710693A CN108710693A CN201810495513.2A CN201810495513A CN108710693A CN 108710693 A CN108710693 A CN 108710693A CN 201810495513 A CN201810495513 A CN 201810495513A CN 108710693 A CN108710693 A CN 108710693A
- Authority
- CN
- China
- Prior art keywords
- data
- incidence relation
- source
- database
- tables
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013079 data visualisation Methods 0.000 title claims abstract description 25
- 238000013507 mapping Methods 0.000 claims abstract description 33
- 230000001960 triggered effect Effects 0.000 claims abstract description 13
- 238000010276 construction Methods 0.000 claims description 25
- 238000005538 encapsulation Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 16
- 238000012800 visualization Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000009975 flexible effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据可视化的方法和装置,将外部输入的一个数据源IP地址、端口号、数据库名称及数据库登录信息封装成一个连接事件;当一个连接事件被触发时,连接外部数据库;获取至少一个源数据表的表结构信息,其中,表结构信息包括:表结构架构、项目名称、项目名称对应的字段以及项目名称对应的类型;利用表结构架构和项目名称,接收外部配置的同一个源数据表内部的第一关联关系以及任意两个源数据表之间的第二关联关系;接收外部分别对项目名称、字段以及类型定义映射;根据第一关联关系、第二关联关系及映射,遍历每一个源数据表,生成数据视图;根据数据视图,创建数据图表。
Description
技术领域
本发明涉及计算机技术领域,特别涉及一种数据可视化的方法及装置。
背景技术
对于量大、种类多、实时性强的大数据来说,其蕴藏的价值重大。因此,对各行各业的大数据进行整理和分析,以挖掘出大数据的价值,将有利于行业发展。但是,众多的信息和咨询是纷繁复杂的,专业人士也很难全面准确的对大数据进行分析、归纳和总结。
数据图表作为数据可视化方式之一,其可清晰直观地为用户展示数据之间的关系,并且容易能够被用户接受和理解。因此,对大数据以数据图表形式进行可视化,则显得十分重要。
发明内容
本发明实施例提供了一种数据可视化的方法及装置,实现了对大数据的可视化,有利于对大数据的深度分析。
一种数据可视化的方法,将外部输入的一个数据源IP地址、对应的端口号、对应的数据库名称及对应的数据库登录信息封装成一个连接事件,还包括:
当一个连接事件被触发时,根据所述连接事件,连接外部数据库;
获取至少一个源数据表的表结构信息,其中,所述表结构信息包括:表结构架构、项目名称、项目名称对应的字段以及项目名称对应的类型;
利用所述表结构架构和项目名称,接收外部配置的同一个源数据表内部的第一关联关系以及任意两个源数据表之间的第二关联关系;
接收外部分别对所述项目名称、所述字段以及所述类型定义映射;
根据所述第一关联关系、所述第二关联关系及所述映射,遍历每一个所述源数据表,生成数据视图;
根据所述数据视图,创建数据图表。
可选地,
所述一个连接事件被触发,包括:
当接收到外部发送的携带有数据库连接信息的连接请求时,查找是否存在与所述数据库连接信息相匹配的连接事件,其中,所述数据库连接信息,包括:数据源IP地址、端口号、数据库名称及数据库登录信息中的任意一个或多个;
如果是,则执行所述根据所述连接事件,连接外部数据库;
否则,请求外部提供数据源IP地址、对应的端口号、对应的数据库名称及对应的数据库登录信息,以连接外部数据库,并执行所述将外部输入的一个数据源IP地址、对应的端口号、对应的数据库名称及对应的数据库登录信息封装成一个连接事件。
可选地,在所述连接外部数据库之后,在所述利用所述表结构架构和项目名称之前,进一步包括:
将所述外部数据库中的源数据表缓存至预先构建的缓存数据库;
接收外部输入的针对所述缓存数据库中至少一个目标源数据表的拖拽指令,对每一个所述目标源数据表进行拖拽,以打开每一个所述目标源数据表;
所述接收外部配置的同一个源数据表内部的第一关联关系以及任意两个源数据表之间的第二关联关系,包括:
接收外部配置的同一个目标源数据表内部的第一关联关系以及任意两个目标源数据表之间的第二关联关系;
所述遍历每一个所述源数据表,生成数据视图,包括:整合所有目标源数据表,生成数据视图。
可选地,在所述对每一个所述目标源数据表进行拖拽,以打开每一个所述目标源数据表之后,在所述接收外部配置的同一个目标源数据表内部的第一关联关系以及任意两个目标源数据表之间的第二关联关系之前,进一步包括:
检索每一个所述目标源数据表内部的已存在的第三关联关系以及每两个目标源数据表之间已存在的第四关联关系;
所述根据所述第一关联关系、所述第二关联关系及所述映射,遍历每一个所述目标源数据表,生成数据视图,包括:
根据所述第一关联关系、所述第二关联关系、所述第三关联关系、所述第四关联关系及所述映射,整合所有目标源数据表,生成数据视图。
可选地,在所述生成数据视图之后,进一步包括:
当添加新的目标源数据表,并获取到新的目标源数据表内部的第五关联关系以及所述新的目标源数据表与任意目标数据源之间的第六关联关系时,根据所述第五关联关系和所述第六关联关系,将所述新的目标元数据表中的数据添加到所述数据视图。
可选地,所述根据所述第一关联关系、所述第二关联关系及所述映射,遍历每一个所述源数据表,生成数据视图,包括:
根据所述第二关联关系,构建主源数据表和至少一个从源数据表之间的根和枝干之间的层级关系,并构建各个从源数据表之间的枝干和子枝干之间的层级关系;
根据所述根和枝干之间的层级关系以及枝干和子枝干之间的层级关系,为所有源数据表构建树结构;
从所述树结构的根开始,提取与所述第一关联关系相关的数据以及与所述第二关联关系相关的数据,整合所述与所述第一关联关系相关的数据以及与所述第二关联关系相关的数据,生成数据视图。
一种数据可视化的装置,包括:封装存储单元、数据视图生成单元及数据图表构建单元,其中,
所述封装存储单元,用于将外部输入的一个数据源IP地址、对应的端口号、对应的数据库名称及对应的数据库登录信息封装成一个连接事件,并存储所述连接事件;
所述数据视图生成单元,用于当所述封装存储单元存储的一个连接事件被触发时,根据所述连接事件,连接外部数据库;获取至少一个源数据表的表结构信息,其中,所述表结构信息包括:表结构架构、项目名称、项目名称对应的字段以及项目名称对应的类型;利用所述表结构架构和项目名称,接收外部配置的同一个源数据表内部的第一关联关系以及任意两个源数据表之间的第二关联关系;接收外部分别对所述项目名称、所述字段以及所述类型定义映射;根据所述第一关联关系、所述第二关联关系及所述映射,遍历每一个所述源数据表,生成数据视图;
所述数据图表构建单元,用于根据所述数据视图生成单元生成的数据视图,创建数据图表。
可选地,所述数据视图生成单元,进一步用于:
当接收到外部发送的携带有数据库连接信息的连接请求时,查找是否存在与所述数据库连接信息相匹配的连接事件,其中,所述数据库连接信息,包括:数据源IP地址、端口号、数据库名称及数据库登录信息中的任意一个或多个;
如果是,则执行所述根据所述连接事件,连接外部数据库;
否则,请求外部提供数据源IP地址、对应的端口号、对应的数据库名称及对应的数据库登录信息,以连接外部数据库,并触发所述封装存储单元;
所述封装存储单元,进一步用于当接收到所述事件触发子单元的触发时,将所述事件触发子单元获取的所述数据源IP地址、所述对应的端口号、所述对应的数据库名称及所述对应的数据库登录信息封装成一个连接事件,并存储。
可选地,
所述数据视图生成单元,进一步用于将所述外部数据库中的源数据表缓存至预先构建的缓存数据库;接收外部输入的针对所述缓存数据库中至少一个目标源数据表的拖拽指令,对每一个所述目标源数据表进行拖拽,以打开每一个所述目标源数据表;检索每一个所述目标源数据表内部的已存在的第三关联关系以及每两个目标源数据表之间已存在的第四关联关系;接收外部配置的同一个目标源数据表内部的第一关联关系以及任意两个目标源数据表之间的第二关联关系;根据所述第一关联关系、所述第二关联关系、所述第三关联关系、所述第四关联关系及所述映射,整合所有目标源数据表,生成数据视图。
可选地,
所述数据视图生成单元,进一步用于根据所述第二关联关系,构建主源数据表和至少一个从源数据表之间的根和枝干之间的层级关系,并构建各个从源数据表之间的枝干和子枝干之间的层级关系;
根据所述根和枝干之间的层级关系以及枝干和子枝干之间的层级关系,为所有源数据表构建树结构;
从所述树结构的根开始,提取与所述第一关联关系相关的数据以及与所述第二关联关系相关的数据,整合所述与所述第一关联关系相关的数据以及与所述第二关联关系相关的数据,生成数据视图。
本发明实施例提供了一种数据可视化的方法及装置,该方法通过将外部输入的一个数据源IP地址、对应的端口号、对应的数据库名称及对应的数据库登录信息封装成一个连接事件,当一个连接事件被触发时,根据所述连接事件,连接外部数据库;获取至少一个源数据表的表结构信息,其中,所述表结构信息包括:表结构架构、项目名称、项目名称对应的字段以及项目名称对应的类型;利用所述表结构架构和项目名称,接收外部配置的同一个源数据表内部的第一关联关系以及任意两个源数据表之间的第二关联关系;接收外部分别对所述项目名称、所述字段以及所述类型定义映射;根据所述第一关联关系、所述第二关联关系及所述映射,遍历每一个所述源数据表,生成数据视图;根据所述数据视图,创建数据图表,实现了对大数据的可视化,有利于对大数据的深度分析。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的一种数据可视化的方法的流程图;
图2是本发明另一个实施例提供的一种数据可视化的方法的流程图;
图3是本发明一个实施例提供的为所有源数据表构建的树结构的结构图;
图4是本发明一个实施例提供的一种数据可视化的装置所在架构的结构示意图;
图5是本发明一个实施例提供的一种数据可视化的装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种数据可视化的方法,该方法可以包括以下步骤:
步骤101:将外部输入的一个数据源IP地址、对应的端口号、对应的数据库名称及对应的数据库登录信息封装成一个连接事件;
步骤102:当一个连接事件被触发时,根据所述连接事件,连接外部数据库;
步骤103:获取至少一个源数据表的表结构信息,其中,所述表结构信息包括:表结构架构、项目名称、项目名称对应的字段以及项目名称对应的类型;
步骤104:利用所述表结构架构和项目名称,接收外部配置的同一个源数据表内部的第一关联关系以及任意两个源数据表之间的第二关联关系;
步骤105:接收外部分别对所述项目名称、所述字段以及所述类型定义映射;
步骤106:根据所述第一关联关系、所述第二关联关系及所述映射,遍历每一个所述源数据表,生成数据视图;
步骤107:根据所述数据视图,创建数据图表。
其中,该数据可视化的方法可被封装成组件,该组件可以插件形式安装于浏览器,通过浏览器运行组件来进行数据可视化的过程。与用户的交互界面可以以网页的形式体现。
可以理解地,上述第一关联关系、第二关联关系并不是特指一种关联关系或者一个关联关系,第一关联关系指的是表内部不同项目之间的关联关系如项目1与项目2关联,项目1与项目3关联等等;第二关联关系指的是不同表之间的关联关系如表1与表2之间关联,表1与表3之间关联等等。
在本发明实施例中,预先将数据源IP地址、对应的端口号、对应的数据库名称及对应的数据库登录信息封装成一个连接事件,用户只需对事件进行触发即可与外部数据库建立连接,而无须用户每次连接外部数据库时都需要输入数据源IP地址、对应的端口号、对应的数据库名称及对应的数据库登录信息,一方面方便用户操作,另一方面有效地提高了连接外部数据库的效率。
在图1所示的实施例中,通过将外部输入的一个数据源IP地址、对应的端口号、对应的数据库名称及对应的数据库登录信息封装成一个连接事件,当一个连接事件被触发时,根据所述连接事件,连接外部数据库;获取至少一个源数据表的表结构信息,其中,所述表结构信息包括:表结构架构、项目名称、项目名称对应的字段以及项目名称对应的类型;利用所述表结构架构和项目名称,接收外部配置的同一个源数据表内部的第一关联关系以及任意两个源数据表之间的第二关联关系;接收外部分别对所述项目名称、所述字段以及所述类型定义映射;根据所述第一关联关系、所述第二关联关系及所述映射,遍历每一个所述源数据表,生成数据视图;根据数据视图,创建数据图表,实现了对大数据的可视化,有利于对大数据的深度分析。
在本发明一个实施例中,为了方便用户连接外部数据库,所述一个连接事件被触发,包括:当接收到外部发送的携带有数据库连接信息的连接请求时,查找是否存在与所述数据库连接信息相匹配的连接事件,其中,所述数据库连接信息,包括:数据源IP地址、端口号、数据库名称及数据库登录信息中的任意一个或多个;如果是,则执行所述根据所述连接事件,连接外部数据库;否则,请求外部提供数据源IP地址、对应的端口号、对应的数据库名称及对应的数据库登录信息,以连接外部数据库,并执行所述将外部输入的一个数据源IP地址、对应的端口号、对应的数据库名称及对应的数据库登录信息封装成一个连接事件。
在本发明一个实施例中,为了使得数据图表具有一定的灵活性,能够根据用户需求展现数据间的关系,有针对性地配置关联关系,并能够比较快速的配置目标源数据表,同时实现对源数据表的查询,在所述连接外部数据库之后,在所述接收外部配置的同一个源数据表内部的第一关联关系以及任意两个源数据表之间的第二关联关系之前,进一步包括:将所述外部数据库中的源数据表缓存至预先构建的缓存数据库;接收外部输入的针对所述缓存数据库中至少一个目标源数据表的拖拽指令,对每一个所述目标源数据表进行拖拽,以打开每一个所述目标源数据表;所述接收外部配置的同一个源数据表内部的第一关联关系以及任意两个源数据表之间的第二关联关系,包括:接收外部配置的同一个目标源数据表内部的第一关联关系以及任意两个目标源数据表之间的第二关联关系;所述遍历每一个所述源数据表,生成数据视图,包括:整合所有目标源数据表,生成数据视图。
在本发明另一实施例中,在所述对每一个所述目标源数据表进行拖拽,以打开每一个所述目标源数据表之后,在所述接收外部配置的同一个目标源数据表内部的第一关联关系以及任意两个目标源数据表之间的第二关联关系之前,进一步包括:检索每一个所述目标源数据表内部的已存在的第三关联关系以及每两个目标源数据表之间已存在的第四关联关系;所述根据所述第一关联关系、所述第二关联关系及所述映射,遍历每一个所述目标源数据表,生成数据视图,包括:根据所述第一关联关系、所述第二关联关系、所述第三关联关系、所述第四关联关系及所述映射,整合所有目标源数据表,生成数据视图。该过程打开源数据表以供用户查询。
在本发明另一实施例中,在所述生成数据视图之后,进一步包括:当添加新的目标源数据表,并获取到新的目标源数据表内部的第五关联关系以及所述新的目标源数据表与任意目标数据源之间的第六关联关系时,根据所述第五关联关系和所述第六关联关系,将所述新的目标元数据表中的数据添加到所述数据视图。使得数据视图可实现自动修改,从而有效地提高了数据可视化的效率。
在本发明又一实施例中,所述根据所述第一关联关系、所述第二关联关系及所述映射,遍历每一个所述源数据表,生成数据视图,包括:根据所述第二关联关系,构建主源数据表和至少一个从源数据表之间的根和枝干之间的层级关系,并构建各个从源数据表之间的枝干和子枝干之间的层级关系;根据所述根和枝干之间的层级关系以及枝干和子枝干之间的层级关系,为所有源数据表构建树结构;从所述树结构的根开始,提取与所述第一关联关系相关的数据以及与所述第二关联关系相关的数据,整合所述与所述第一关联关系相关的数据以及与所述第二关联关系相关的数据,生成数据视图。通过该过程可以完整有序的查找关联数据,添加到数据视图中。从而保证了数据视图生成速率,同时保证了加入数据视图中的数据的完整性以及数据视图的可靠性。
如图2所示,本发明实施例提供了一种数据可视化的方法,该方法可以包括以下步骤:
步骤201:将外部输入的一个数据源IP地址、对应的端口号、对应的数据库名称及对应的数据库登录信息封装成一个连接事件;
步骤202:当接收到外部发送的携带有数据库连接信息的连接请求时,查找是否存在与所述数据库连接信息相匹配的连接事件,如果是,则执行步骤203,否则,执行步骤204;
该步骤中,数据库连接信息为数据源IP地址、对应的端口号、对应的数据库名称及对应的数据库登录信息中的任意一个或多个,另外,数据库登录信息为数据库登陆用户名和/或密码。
步骤203:根据所述连接事件,连接外部数据库,并执行步骤205;
步骤204:请求外部提供数据源IP地址、对应的端口号、对应的数据库名称及对应的数据库登录信息,以连接外部数据库,并分别执行步骤205和步骤201;
上述步骤201至步骤204的过程为连接外部数据库的过程,其通过触发连接事件来完成,而无须用户提供完整的数据库连接信息,有效地提高了数据库连接的效率。
步骤205:将所述外部数据库中的源数据表缓存至预先构建的缓存数据库;
该步骤可作为后续步骤的基础,使得后续过程均在本地完成,从而提高了数据视图的生成效率。该外部数据库为各种业务库如税收系统中的各个企业纳税情况或者企业发票开具的情况等。
步骤206:接收外部输入的针对缓存数据库中至少一个目标源数据表的拖拽指令,对每一个目标源数据表进行拖拽,以打开每一个目标源数据表;
步骤207:检索每一个所述目标源数据表内部的已存在的第三关联关系以及每两个目标源数据表之间已存在的第四关联关系;
例如:在业务库中表1与表2之间已经存在关联关系,则该步骤直接检索出该关联关系,在后续过程中无须再进行配置。
步骤208:获取至少一个目标源数据表的表结构信息;
该表结构信息包括:表结构架构、项目名称、项目名称对应的字段以及项目名称对应的类型;
步骤209:接收外部分别对表结构信息中的项目名称、字段以及类型定义映射;
该映射过程主要是为了修改项目的显示方式,比如在数据库中时间项目是以邮戳的方式存在,通过该步骤将时间项目的类型修改为字符则时间的显示方式将会以字符的形式显示,使用户更容易辨别。
步骤210:利用表结构架构和项目名称,接收外部配置的同一个目标源数据表内部的第一关联关系以及任意两个目标源数据表之间的第二关联关系;
该配置可以为用户根据自己的需要进行配置,从而使得数据视图能够按需显示,也使得数据视图能够具有一定的灵活性。
步骤211:根据第一关联关系、第二关联关系、第三关联关系、第四关联关系及映射,整合所有目标源数据表,生成数据视图;
该步骤的具体实现方式,根据所述第二关联关系和所述第四关联关系,构建主源数据表和至少一个从源数据表之间的根和枝干之间的层级关系,并构建各个从源数据表之间的枝干和子枝干之间的层级关系;
根据所述根和枝干之间的层级关系以及枝干和子枝干之间的层级关系,为所有源数据表构建树结构;
从所述树结构的根开始,提取与所述第一关联关系和所述第三关联关系相关的数据以及与所述第二关联关系和所述第四关联关系相关的数据,对提取出的数据进行整合,生成数据视图。
如图3所示,其为某一业务库中的各个表之间的关系构成的树结构,表1作为主表在树结构的根部,表2和表3分别与表1相关,表2与表3之间不相关,表4与表3相关,同时表4还与表1相关,表5分别与表2、表4、表3相关等等,则查找相关数据的过程为从树结构根部顺着枝干查找,如表1-表2-表5;表1-表3-表4-表5;表1-表4-表5等等。
步骤212:当添加新的目标源数据表,并获取到新的目标源数据表内部的第五关联关系以及新的目标源数据表与任意目标数据源之间的第六关联关系时,根据第五关联关系和第六关联关系,将新的目标元数据表中的数据添加到数据视图;
步骤213:根据数据视图,创建数据图表。
如图4、图5所示,本发明实施例提供了一种数据可视化的装置。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言,如图4所示,为本发明实施例提供的数据可视化的装置所在设备的一种硬件结构图,除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的设备通常还可以包括其他硬件,如负责处理报文的转发芯片等等。以软件实现为例,如图5所示,作为一个逻辑意义上的装置,是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。本实施例提供的数据可视化的装置,包括:封装存储单元501、数据视图生成单元502及数据图表构建单元503,其中,
所述封装存储单元501,用于将外部输入的一个数据源IP地址、对应的端口号、对应的数据库名称及对应的数据库登录信息封装成一个连接事件,并存储所述连接事件;
所述数据视图生成单元502,用于当所述封装存储单元501存储的一个连接事件被触发时,根据所述连接事件,连接外部数据库;获取至少一个源数据表的表结构信息,其中,所述表结构信息包括:表结构架构、项目名称、项目名称对应的字段以及项目名称对应的类型;利用所述表结构架构和项目名称,接收外部配置的同一个源数据表内部的第一关联关系以及任意两个源数据表之间的第二关联关系;接收外部分别对所述项目名称、所述字段以及所述类型定义映射;根据所述第一关联关系、所述第二关联关系及所述映射,遍历每一个所述源数据表,生成数据视图;
所述数据图表构建单元503,用于根据所述数据视图生成单元502生成的数据视图,创建数据图表。
上述数据可视化的装置可被封装成一个组件,该组件可以插件形式安装于浏览器。
在本发明另一实施例中,所述数据视图生成单元502,进一步用于:
当接收到外部发送的携带有数据库连接信息的连接请求时,查找是否存在与所述数据库连接信息相匹配的连接事件,其中,所述数据库连接信息,包括:数据源IP地址、端口号、数据库名称及数据库登录信息中的任意一个或多个;
如果是,则执行所述根据所述连接事件,连接外部数据库;
否则,请求外部提供数据源IP地址、对应的端口号、对应的数据库名称及对应的数据库登录信息,以连接外部数据库,并触发所述封装存储单元;
所述封装存储单元501,进一步用于当接收到所述事件触发子单元的触发时,将所述事件触发子单元获取的所述数据源IP地址、所述对应的端口号、所述对应的数据库名称及所述对应的数据库登录信息封装成一个连接事件,并存储。
在本发明又一实施例中,所述数据视图生成单元502,进一步用于将所述外部数据库中的源数据表缓存至预先构建的缓存数据库;接收外部输入的针对所述缓存数据库中至少一个目标源数据表的拖拽指令,对每一个所述目标源数据表进行拖拽,以打开每一个所述目标源数据表;检索每一个所述目标源数据表内部的已存在的第三关联关系以及每两个目标源数据表之间已存在的第四关联关系;接收外部配置的同一个目标源数据表内部的第一关联关系以及任意两个目标源数据表之间的第二关联关系;根据所述第一关联关系、所述第二关联关系、所述第三关联关系、所述第四关联关系及所述映射,整合所有目标源数据表,生成数据视图。
在本发明另一实施例中,所述数据视图生成单元502,进一步用于根据所述第二关联关系,构建主源数据表和至少一个从源数据表之间的根和枝干之间的层级关系,并构建各个从源数据表之间的枝干和子枝干之间的层级关系;
根据所述根和枝干之间的层级关系以及枝干和子枝干之间的层级关系,为所有源数据表构建树结构;
从所述树结构的根开始,提取与所述第一关联关系相关的数据以及与所述第二关联关系相关的数据,整合所述与所述第一关联关系相关的数据以及与所述第二关联关系相关的数据,生成数据视图。
上述装置内的各单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
综上所述,上述实施例至少能够达到如下有益效果:
1、通过将外部输入的一个数据源IP地址、对应的端口号、对应的数据库名称及对应的数据库登录信息封装成一个连接事件,当一个连接事件被触发时,根据所述连接事件,连接外部数据库;获取至少一个源数据表的表结构信息,其中,所述表结构信息包括:表结构架构、项目名称、项目名称对应的字段以及项目名称对应的类型;利用所述表结构架构和项目名称,接收外部配置的同一个源数据表内部的第一关联关系以及任意两个源数据表之间的第二关联关系;接收外部分别对所述项目名称、所述字段以及所述类型定义映射;根据所述第一关联关系、所述第二关联关系及所述映射,遍历每一个所述源数据表,生成数据视图;根据所述数据视图,创建数据图表,实现了对大数据的可视化,有利于对大数据的深度分析。
2、构建映射只是对数据视图中项目名称字段等进行修改,一方面不会修改原始的数据库,增加了数据安全性,另一方面能够为用户提供比较直观的项目名称等,方便用户查看。
3、创建数据图表的过程是基于数据视图完成的,屏蔽了各种业务库之间的差异性,降低了可视化数据图表构建的复杂度。
4、通过定时任务更新内存数据库中的业务数据,那么,在构建数据视图的过程中直接从内存数据库中读取数据,提升了数据视图的响应速度,从而提高了数据图表的构建效率。
5、在本发明实施例中,预先将数据源IP地址、对应的端口号、对应的数据库名称及对应的数据库登录信息封装成一个连接事件,用户只需对事件进行触发即可与外部数据库建立连接,而无须用户每次连接外部数据库时都需要输入数据源IP地址、对应的端口号、对应的数据库名称及对应的数据库登录信息,一方面方便用户操作,另一方面有效地提高了连接外部数据库的效率。
6、将所述外部数据库中的源数据表缓存至预先构建的缓存数据库;接收外部输入的针对所述缓存数据库中至少一个目标源数据表的拖拽指令,对每一个所述目标源数据表进行拖拽,以打开每一个所述目标源数据表,并接收外部配置的同一个源数据表内部的第一关联关系以及任意两个源数据表之间的第二关联关系,使得数据图表具有一定的灵活性,能够根据用户需求展现数据间的关系,有针对性地配置关联关系,并能够比较快速的配置目标源数据表,同时实现对源数据表的查询。
7、当添加新的目标源数据表,并获取到新的目标源数据表内部的第五关联关系以及所述新的目标源数据表与任意目标数据源之间的第六关联关系时,根据所述第五关联关系和所述第六关联关系,将所述新的目标元数据表中的数据添加到所述数据视图,使得数据视图可实现自动修改,从而有效地提高了数据可视化的效率。
8、通过根据所述第二关联关系,构建主源数据表和至少一个从源数据表之间的根和枝干之间的层级关系,并构建各个从源数据表之间的枝干和子枝干之间的层级关系;根据所述根和枝干之间的层级关系以及枝干和子枝干之间的层级关系,为所有源数据表构建树结构;从所述树结构的根开始,提取与所述第一关联关系相关的数据以及与所述第二关联关系相关的数据,整合所述与所述第一关联关系相关的数据以及与所述第二关联关系相关的数据,生成数据视图。通过该过程可以完整有序的查找关联数据,添加到数据视图中。从而保证了数据视图生成速率,同时保证了加入数据视图中的数据的完整性以及数据视图的可靠性。
需要说明的是,在本文中,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个······”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储在计算机可读取的存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是:以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (10)
1.一种数据可视化的方法,其特征在于,将外部输入的一个数据源IP地址、对应的端口号、对应的数据库名称及对应的数据库登录信息封装成一个连接事件,还包括:
当一个连接事件被触发时,根据所述连接事件,连接外部数据库;
获取至少一个源数据表的表结构信息,其中,所述表结构信息包括:表结构架构、项目名称、项目名称对应的字段以及项目名称对应的类型;
利用所述表结构架构和项目名称,接收外部配置的同一个源数据表内部的第一关联关系以及任意两个源数据表之间的第二关联关系;
接收外部分别对所述项目名称、所述字段以及所述类型定义映射;
根据所述第一关联关系、所述第二关联关系及所述映射,遍历每一个所述源数据表,生成数据视图;
根据所述数据视图,创建数据图表。
2.根据权利要求1所述的方法,其特征在于,所述一个连接事件被触发,包括:
当接收到外部发送的携带有数据库连接信息的连接请求时,查找是否存在与所述数据库连接信息相匹配的连接事件,其中,所述数据库连接信息,包括:数据源IP地址、端口号、数据库名称及数据库登录信息中的任意一个或多个;
如果是,则执行所述根据所述连接事件,连接外部数据库;
否则,请求外部提供数据源IP地址、对应的端口号、对应的数据库名称及对应的数据库登录信息,以连接外部数据库,并执行所述将外部输入的一个数据源IP地址、对应的端口号、对应的数据库名称及对应的数据库登录信息封装成一个连接事件。
3.根据权利要求1所述的方法,其特征在于,在所述连接外部数据库之后,在所述接收外部配置的同一个源数据表内部的第一关联关系以及任意两个源数据表之间的第二关联关系之前,进一步包括:
将所述外部数据库中的源数据表缓存至预先构建的缓存数据库;
接收外部输入的针对所述缓存数据库中至少一个目标源数据表的拖拽指令,对每一个所述目标源数据表进行拖拽,以打开每一个所述目标源数据表;
所述接收外部配置的同一个源数据表内部的第一关联关系以及任意两个源数据表之间的第二关联关系,包括:
接收外部配置的同一个目标源数据表内部的第一关联关系以及任意两个目标源数据表之间的第二关联关系;
所述遍历每一个所述源数据表,生成数据视图,包括:整合所有目标源数据表,生成数据视图。
4.根据权利要求3所述的方法,其特征在于,在所述对每一个所述目标源数据表进行拖拽,以打开每一个所述目标源数据表之后,在所述接收外部配置的同一个目标源数据表内部的第一关联关系以及任意两个目标源数据表之间的第二关联关系之前,进一步包括:
检索每一个所述目标源数据表内部的已存在的第三关联关系以及每两个目标源数据表之间已存在的第四关联关系;
所述根据所述第一关联关系、所述第二关联关系及所述映射,遍历每一个所述目标源数据表,生成数据视图,包括:
根据所述第一关联关系、所述第二关联关系、所述第三关联关系、所述第四关联关系及所述映射,整合所有目标源数据表,生成数据视图。
5.根据权利要求3或4所述的方法,其特征在于,在所述生成数据视图之后,进一步包括:
当添加新的目标源数据表,并获取到新的目标源数据表内部的第五关联关系以及所述新的目标源数据表与任意目标数据源之间的第六关联关系时,根据所述第五关联关系和所述第六关联关系,将所述新的目标元数据表中的数据添加到所述数据视图。
6.根据权利要求4所述的方法,其特征在于,所述根据所述第一关联关系、所述第二关联关系、所述第三关联关系、所述第四关联关系及所述映射,整合所有目标源数据表,生成数据视图,包括:
根据所述第二关联关系和所述第四关联关系,构建主源数据表和至少一个从源数据表之间的根和枝干之间的层级关系,并构建各个从源数据表之间的枝干和子枝干之间的层级关系;
根据所述根和枝干之间的层级关系以及枝干和子枝干之间的层级关系,为所有源数据表构建树结构;
从所述树结构的根开始,提取与所述第一关联关系和所述第三关联关系相关的数据以及与所述第二关联关系和所述第四关联关系相关的数据,对提取出的数据进行整合,生成数据视图。
7.一种数据可视化的装置,其特征在于,包括:封装存储单元、数据视图生成单元及数据图表构建单元,其中,
所述封装存储单元,用于将外部输入的一个数据源IP地址、对应的端口号、对应的数据库名称及对应的数据库登录信息封装成一个连接事件,并存储所述连接事件;
所述数据视图生成单元,用于当所述封装存储单元存储的一个连接事件被触发时,根据所述连接事件,连接外部数据库;获取至少一个源数据表的表结构信息,其中,所述表结构信息包括:表结构架构、项目名称、项目名称对应的字段以及项目名称对应的类型;利用所述表结构架构和项目名称,接收外部配置的同一个源数据表内部的第一关联关系以及任意两个源数据表之间的第二关联关系;接收外部分别对所述项目名称、所述字段以及所述类型定义映射;根据所述第一关联关系、所述第二关联关系及所述映射,遍历每一个所述源数据表,生成数据视图;
所述数据图表构建单元,用于根据所述数据视图生成单元生成的数据视图,创建数据图表。
8.根据权利要求7所述的装置,其特征在于,所述数据视图生成单元,进一步用于:
当接收到外部发送的携带有数据库连接信息的连接请求时,查找是否存在与所述数据库连接信息相匹配的连接事件,其中,所述数据库连接信息,包括:数据源IP地址、端口号、数据库名称及数据库登录信息中的任意一个或多个;
如果是,则执行所述根据所述连接事件,连接外部数据库;
否则,请求外部提供数据源IP地址、对应的端口号、对应的数据库名称及对应的数据库登录信息,以连接外部数据库,并触发所述封装存储单元;
所述封装存储单元,进一步用于当接收到所述事件触发子单元的触发时,将所述事件触发子单元获取的所述数据源IP地址、所述对应的端口号、所述对应的数据库名称及所述对应的数据库登录信息封装成一个连接事件,并存储。
9.根据权利要求7所述的装置,其特征在于,
所述数据视图生成单元,进一步用于将所述外部数据库中的源数据表缓存至预先构建的缓存数据库;接收外部输入的针对所述缓存数据库中至少一个目标源数据表的拖拽指令,对每一个所述目标源数据表进行拖拽,以打开每一个所述目标源数据表;检索每一个所述目标源数据表内部的已存在的第三关联关系以及每两个目标源数据表之间已存在的第四关联关系;接收外部配置的同一个目标源数据表内部的第一关联关系以及任意两个目标源数据表之间的第二关联关系;根据所述第一关联关系、所述第二关联关系、所述第三关联关系、所述第四关联关系及所述映射,整合所有目标源数据表,生成数据视图。
10.根据权利要求7所述的装置,其特征在于,
所述数据视图生成单元,进一步用于根据所述第二关联关系和所述第四关联关系,构建主源数据表和至少一个从源数据表之间的根和枝干之间的层级关系,并构建各个从源数据表之间的枝干和子枝干之间的层级关系;
根据所述根和枝干之间的层级关系以及枝干和子枝干之间的层级关系,为所有源数据表构建树结构;
从所述树结构的根开始,提取与所述第一关联关系和所述第三关联关系相关的数据以及与所述第二关联关系和所述第四关联关系相关的数据,对提取出的数据进行整合,生成数据视图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810495513.2A CN108710693A (zh) | 2018-05-22 | 2018-05-22 | 一种数据可视化的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810495513.2A CN108710693A (zh) | 2018-05-22 | 2018-05-22 | 一种数据可视化的方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108710693A true CN108710693A (zh) | 2018-10-26 |
Family
ID=63868365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810495513.2A Pending CN108710693A (zh) | 2018-05-22 | 2018-05-22 | 一种数据可视化的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108710693A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109299187A (zh) * | 2018-11-05 | 2019-02-01 | 用友网络科技股份有限公司 | 数据分析方法、装置及设备 |
CN109670090A (zh) * | 2018-12-24 | 2019-04-23 | 成都四方伟业软件股份有限公司 | 一种数据识别方法及装置 |
CN109857448A (zh) * | 2018-12-30 | 2019-06-07 | 贝壳技术有限公司 | 一种多数据源接入方法及装置 |
CN110413765A (zh) * | 2019-06-10 | 2019-11-05 | 中云开源数据技术(上海)有限公司 | 一种海量数据集分析和展示的交互式系统及其方法 |
CN111190597A (zh) * | 2019-12-27 | 2020-05-22 | 天津浪淘科技股份有限公司 | 一种数据ue可视化设计系统 |
CN111708918A (zh) * | 2020-05-15 | 2020-09-25 | 北京明略软件系统有限公司 | 一种数据处理方法、电子设备和存储介质 |
CN113377486A (zh) * | 2021-07-16 | 2021-09-10 | 西安未来国际信息股份有限公司 | 数据可视化展示方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105243162A (zh) * | 2015-10-30 | 2016-01-13 | 方正国际软件有限公司 | 基于关系型数据库存储的对象化数据模型查询方法及装置 |
CN106227892A (zh) * | 2016-08-24 | 2016-12-14 | 深圳市卓讯信息技术有限公司 | 一种智能分析数据库表关系生成e‑r图的方法及装置 |
CN106354786A (zh) * | 2016-08-23 | 2017-01-25 | 冯村 | 一种可视分析方法及系统 |
CN108038246A (zh) * | 2017-12-28 | 2018-05-15 | 重庆南华中天信息技术有限公司 | 用于生成可视化视图的方法及装置 |
-
2018
- 2018-05-22 CN CN201810495513.2A patent/CN108710693A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105243162A (zh) * | 2015-10-30 | 2016-01-13 | 方正国际软件有限公司 | 基于关系型数据库存储的对象化数据模型查询方法及装置 |
CN106354786A (zh) * | 2016-08-23 | 2017-01-25 | 冯村 | 一种可视分析方法及系统 |
CN106227892A (zh) * | 2016-08-24 | 2016-12-14 | 深圳市卓讯信息技术有限公司 | 一种智能分析数据库表关系生成e‑r图的方法及装置 |
CN108038246A (zh) * | 2017-12-28 | 2018-05-15 | 重庆南华中天信息技术有限公司 | 用于生成可视化视图的方法及装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109299187A (zh) * | 2018-11-05 | 2019-02-01 | 用友网络科技股份有限公司 | 数据分析方法、装置及设备 |
CN109670090A (zh) * | 2018-12-24 | 2019-04-23 | 成都四方伟业软件股份有限公司 | 一种数据识别方法及装置 |
CN109857448A (zh) * | 2018-12-30 | 2019-06-07 | 贝壳技术有限公司 | 一种多数据源接入方法及装置 |
CN110413765A (zh) * | 2019-06-10 | 2019-11-05 | 中云开源数据技术(上海)有限公司 | 一种海量数据集分析和展示的交互式系统及其方法 |
CN110413765B (zh) * | 2019-06-10 | 2022-12-30 | 中云开源数据技术(上海)有限公司 | 一种海量数据集分析和展示的交互式系统及其方法 |
CN111190597A (zh) * | 2019-12-27 | 2020-05-22 | 天津浪淘科技股份有限公司 | 一种数据ue可视化设计系统 |
CN111708918A (zh) * | 2020-05-15 | 2020-09-25 | 北京明略软件系统有限公司 | 一种数据处理方法、电子设备和存储介质 |
CN113377486A (zh) * | 2021-07-16 | 2021-09-10 | 西安未来国际信息股份有限公司 | 数据可视化展示方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108710693A (zh) | 一种数据可视化的方法及装置 | |
US10983660B2 (en) | Software robots for programmatically controlling computer programs to perform tasks | |
US10033714B2 (en) | Contextual navigation facets panel | |
EP3430529B1 (en) | Intelligent metadata management and data lineage tracing | |
US5550971A (en) | Method and system for generating a user interface adaptable to various database management systems | |
US11036753B2 (en) | Creating mapping rules from meta data for data transformation utilizing visual editing | |
US6851089B1 (en) | Software application and associated methods for generating a software layer for structuring semistructured information | |
US7904478B2 (en) | Method and apparatus for displaying data models and data-model instances | |
US9690546B2 (en) | Method and system for transitive traversal service discovery | |
US9087296B2 (en) | Navigable semantic network that processes a specification to and uses a set of declaritive statements to produce a semantic network model | |
CN104050223B (zh) | 用于文本挖掘和搜索的数据透视面 | |
US9449405B2 (en) | Systems and methods to display dependencies within a graph of grouped elements | |
US20140013297A1 (en) | Query-Based Software System Design Representation | |
JP5410514B2 (ja) | X500データモデルをリレーショナル・データベースにマッピングするための方法 | |
US20120197681A1 (en) | Software tool for generating technical business data requirements | |
US20220269702A1 (en) | Intelligent annotation of entity-relationship data models | |
US20200110832A1 (en) | Monitoring organization-wide state and classification of data stored in disparate data sources of an organization | |
US9350561B1 (en) | Visualizing the flow of resources in an allocation model | |
CN108563694A (zh) | 对逻辑删除的sql执行方法、装置、计算机设备和存储介质 | |
North et al. | Visualization schemas for flexible information visualization | |
US11093548B1 (en) | Dynamic graph for time series data | |
US20150127785A1 (en) | Gateway service manager for business object applications | |
CN108829783B (zh) | 一种基于海量数据的关系处理方法及系统 | |
Parmar et al. | MongoDB as an efficient graph database: An application of document oriented NOSQL database | |
CN116028680B (zh) | 基于图数据库的资产图谱的展示方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181026 |