CN111444256A - 一种数据可视化的实现方法和装置 - Google Patents

Abstract

本发明公开了一种数据可视化的实现方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取业务数据，对所述业务数据进行数据建模，生成事实表和维度表；为所述维度表和所述事实表建立关联关系，将得到的关联数据表导入可视化工具；通过拖拽所述可视化工具的可视化图表、所述关联数据表的字段和度量值，创建可视化对象，以进行图形化展示。该方法通过数据建模的方法处理业务数据，并对生成的事实表和维度表建立关联关系，减少了数据的空间占用，提升了数据可视化的效率。

Description

一种数据可视化的实现方法和装置

技术领域

本发明涉及计算机领域，尤其涉及一种数据可视化的实现方法和装置。

背景技术

数据可视化是业务了解数据的最直观的方式。现有技术的大数据可视化方案分为两种，一种是大数据平台+网页报表，即直接提取数据集市的大数据，将大数据平台的APP表进行可视化展示；另一种是大数据平台+关系数据库+网页报表，通过Hive工具将大数据平台的APP表加载到Mysql等关系数据库，通过访问关系数据的方式间接对大数据进行可视化展示。其中，Hive是一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的数据库查询功能。

另外，为了提高数据提取速度，现有技术中会把分析计算的逻辑放在大数平台的应用层，甚至直接按照用户的需要的指标口径，把指标加工成报表结果，报表层直接查询报表结果或者对加工后的报表结果进行简单的聚合运算。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

受限于Hive的查询效率，特别是当数据量激增时，上述两种方式经常因为资源问题，数据提取速度慢，甚至发生故障不能提取出数据；而且定制化开发，不能支持深度查询钻取，不支持用户自助BI。

发明内容

有鉴于此，本发明实施例提供一种大数据可视化的实现方法和装置，通过数据建模的方式处理业务数据，并对生成的事实表和维度表建立关联关系，减少了数据的空间占用，提高了数据的提取速度，进而提升了数据可视化的效率。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据可视化的实现方法。

本发明实施例的一种数据可视化的实现方法，包括：获取业务数据，对所述业务数据进行数据建模，以生成事实表和维度表；为所述维度表和所述事实表建立关联关系，将得到的关联数据表导入可视化工具；通过拖拽所述可视化工具的可视化图表、所述关联数据表的字段和度量值，创建可视化对象，以进行图形化展示。

可选地，所述方法还包括：采集原始业务数据，根据业务需求，从所述原始业务数据中抽取出所述业务数据；所述对所述业务数据进行数据建模，以生成事实表和维度表，包括：根据业务需求和所述业务数据，构建第三范式关系模型；对所述第三范式关系模型进行逆规范化处理，得到至少一个事实表和至少一个维度表。

可选地，所述对所述业务数据进行数据建模，以生成事实表和维度表，包括：根据业务需求和所述业务数据，确定模型结构、维度信息和度量信息；根据所述模型结构、所述维度信息和所述度量信息，生成至少一个事实表和至少一个维度表。

可选地，所述为所述维度表和所述事实表建立关联关系的步骤之后，还包括：对所述关联数据表进行多维建模得到新的关联数据表，并根据业务需求创建度量值；所述通过拖拽所述可视化工具的可视化图表、所述关联数据表的字段和度量值，创建可视化对象，以进行图形化展示，包括：通过所述可视化工具加载所述新的关联数据表，拖拽所述可视化工具的可视化图表、所述关联数据表的维度和对应的所述度量值，创建可视化对象，以进行图形化展示。

可选地，所述创建度量值，包括：通过数据立方体中添加计算成员的方式，创建度量值。

可选地，所述可视化工具包括Power BI和Tableau。

为实现上述目的，根据本发明实施例的另一方面，提供了一种数据可视化的实现装置。

本发明实施例的一种数据可视化的实现装置，包括：获取生成模块，用于获取业务数据，对所述业务数据进行数据建模，以生成事实表和维度表；建立导入模块，用于为所述维度表和所述事实表建立关联关系，将得到的关联数据表导入可视化工具；创建展示模块，用于通过拖拽所述可视化工具的可视化图表、所述关联数据表的字段和度量值，创建可视化对象，以进行图形化展示。

可选地，所述装置还包括：采集抽取模块，用于采集原始业务数据，根据业务需求，从所述原始业务数据中抽取出所述业务数据；所述获取生成模块，还用于：根据业务需求和所述业务数据，构建第三范式关系模型；根据业务实际需求，对所述第三范式关系模型进行逆规范化处理，得到至少一个事实表和至少一个维度表。

可选地，所述获取生成模块，还用于：根据业务需求和所述业务数据，确定模型结构、维度信息和度量信息；根据所述模型结构、所述维度信息和所述度量信息，生成至少一个事实表和至少一个维度表。

可选地，所述装置还包括：建模创建模块，用于对所述关联数据表进行多维建模得到新的关联数据表，并根据业务需求创建度量值；所述创建展示模块，还用于：通过所述可视化工具加载所述新的关联数据表，拖拽所述可视化工具的可视化图表、所述关联数据表的维度和对应的所述度量值，创建可视化对象，以进行图形化展示。

可选地，所述建模创建模块，还用于：通过数据立方体中添加计算成员的方式，创建度量值。

为实现上述目的，根据本发明实施例的再一方面，提供了一种电子设备。

本发明实施例的一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的一种数据可视化的实现方法。

为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质。

本发明实施例的一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的一种数据可视化的实现方法。

上述发明中的一个实施例具有如下优点或有益效果：通过数据建模的方式处理业务数据，并对生成的事实表和维度表建立关联关系，减少了数据的空间占用，提高了数据提取的速度，进而提升了将数据可视化的效率；利用Bill Inmon的建模思想处理数据，使得到的事实表和维度表符合规范要求，一次建模后除非业务模型发生变化，否则不需要调整，能够支持多次多样的需求；采用Kimball的建模思想，可以得到最细粒度的事实表和维度表；通过数据立方体的方式，把计算过程放在数据立方体执行，提高图形化展示的效率；通过Power BI工具，用户可以根据自己的需求自助建模、拖拽提取需要的报表、设定管理权限等，不需要再频发的找研发人员，实现了自助BI。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的数据可视化的实现方法的主要步骤的示意图；

图2是本发明实施例一的数据可视化的实现方法的系统架构图；

图3是根据本发明实施例一的数据可视化的实现方法的主要流程示意图；

图4为本发明实施例一的维度表和数据表的关联关系示意图；

图5是本发明实施例一的关系建模结果示意图；

图6是本发明实施例一的图形化展示结果示意图；

图7为本发明实施例二的数据可视化的实现方法的系统架构图；

图8是根据本发明实施例二的数据可视化的实现方法的主要流程示意图；

图9为本发明实施例二的多维建模结果示意图；

图10为本发明实施例二的数据立方体的输出结果示意图；

图11是根据本发明实施例的数据可视化的实现装置的主要模块的示意图；

图12是本发明实施例可以应用于其中的示例性系统架构图；

图13是适用于来实现本发明实施例的电子设备的计算机装置的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

下面对本发明实施例中涉及到的技术术语进行解释说明。

商业智能：Business Intelligence，简称BI，用来将企业中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据，帮助企业做出明智的业务经营决策。

大数据：是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

Hadoop：Hadoop Distributed File System，简称HDFS，是一种分布式系统基础架构，它实现了一个分布式文件系统。HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高吞吐量来访问应用程序的数据，适合处理超大数据集的应用程序。

ETL：Extract-Transform-Load，用于将业务数据从来源端经过抽取(extract)、交互转换(transform)、加载(load)至目的端。

数据仓库：Data Warehouse，是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合。

数据集市：Data Mart，也叫数据市场，就是满足特定的部门或者用户的需求，按照多维的方式进行存储，包括定义维度、需要计算的指标、维度的层次等，生成面向决策分析需求的数据立方体，数据集市是数据仓库的子集。

第三范式：Third Normal Form，简称3NF，是指表中的所有数据元素不但要能惟一地被主关键字所标识，而且它们之间还必须相互独立，不存在其他的函数关系。

规范化：是一个过程，从1NF->2NF->3NF->BCNF->4NF->5NF的过程都是规范化，同一含义的数据只存一份，可以减少冗余。规范化的过程反过来就是逆规范化。

数据立方体：Data Cube，简称CUB，是一种用于数据分析和索引的技术架构，可以对元数据进行任意多关键字实时索引。通过数据立方对元数据进行分析之后，可以大大加速数据的查询和检索效率。

多维建模：多维数据模型是为了满足用户从多角度、多层次进行数据查询和分析的需要而建立起来的基于事实和维的数据库模型，其基本的应用是为了实现OLAP(OnlineAnalytical Processing，在线分析)。其中，每个维对应于模式中的一个或一组属性，而每个单元存放某种聚集度量值，如count或sum。

Power BI：是一套商业分析工具，用于在组织中提供见解。可连接数百个数据源、简化数据准备并提供即席分析；生成美观的报表并进行发布，供组织在Web和移动设备上使用；每个人都可创建个性化仪表板，获取针对其业务的全方位独特见解；在企业内实现扩展，内置管理和安全。

图1是根据本发明实施例的数据可视化的实现方法的主要步骤的示意图。如图1所示，本发明实施例的数据可视化的实现方法，主要包括如下步骤：

步骤S101：获取业务数据，对所述业务数据进行数据建模，以生成事实表和维度表。采集原始业务数据，将原始业务数据接入数据集市；在数据集市中，根据业务需求，从所述原始业务数据中抽取出部分业务数据；之后可以按照Bill Inmon的建模思想、Kimball的建模思想处理业务数据。按照Bill Inmon的建模思想处理业务数据的具体实现为：根据业务需求和业务数据，构建第三范式关系模型；对第三范式关系模型进行逆规范化处理，得到至少一个事实表和至少一个维度表。按照Kimball的建模思想处理业务数据的具体实现为：根据业务需求和所述业务数据，确定模型结构、维度信息和度量信息；根据所述模型结构、所述维度信息和所述度量信息，生成至少一个事实表和至少一个维度表。

步骤S102：为所述维度表和所述事实表建立关联关系，将得到的关联数据表导入可视化工具。将维度表和事实表同步到关系数据库，在关系数据库中建立二维的关系模型，之后即可将得到关联数据表的导入可视化工具。其中，所述关系数据库可以是Oracel、Mysql或者SQL server等。为了提高数据访问效率，可以将关联数据表导入数据立方体中，在数据立方体进行多维的关系建模，以及创建度量值，之后把新得到的关联数据表导入可视化工具。

步骤S103：通过拖拽所述可视化工具的可视化图表、所述关联数据表的字段和度量值，创建可视化对象，以进行图形化展示。所述可视化工具用于提供日常工作中需要的数据处理方式和可视化图表，包括Power BI和Tableau。其中，Tableau能够帮助任何人快速分析、可视化并分享信息。在可视化工具的操作界面拖拽可视化图表、关联数据表的字段和度量值来创建可视化对象，进行图形化展示。上述过程中，用户可以根据自己的需求提取不同的数据，并且可以选择不同展示方式，自定义度量值。而且，Power BI的报表样式多，用户可以用常规的报表样式，也可以导入自定义的报表样式，进行图形化展示。

图2是本发明实施例一的数据可视化的实现方法的系统架构图。如图2所示，本发明实施例一的数据可视化的实现方法基于数据集市、关系数据库和Power BI实现。实现原理为：数据集市获取业务数据，对业务数据进行数据建模，得到维度表和事实表，之后同步到关系数据库；在关系数据库建立维度表和事实表的关联关系；将关系数据库中的表导入到Power BI；Power BI加载完表中数据后，进行关系建模，新建度量值后，通过拖拽相关可视化图表、数据表的字段和度量值创建可视化对象，进行图形化展示。

图3是根据本发明实施例一的数据可视化的实现方法的主要流程示意图。如图3所示，本发明实施例一的数据可视化的实现方法，是一种基于Hive+关系数据库+PowerBI的大数据可视化方案，主要包括如下步骤：

步骤S301：根据业务需求进行数据采集，将采集到的不同数据源的原始业务数据接入数据集市。采集的原始业务数据的来源包括Oracle、MySQL、SQL Server等关系型数据库，MongoDB等非关系型数据库，文本文件、缓存等。将采集到的原始业务数据经过ETL处理后加载到数据仓库，数据集市从数据仓库抽取相关的业务数据。实施例中，数据集市基于Hadoop分布式架构实现。

步骤S302：从所述原始业务数据中抽取业务数据，对所述业务数据进行数据建模，以生成维度表和事实表。根据用户需求，确定哪些维度对主题分析有用，用哪些指标来度量。以销售主题为例，分析销售额时可以从产品、顾客、店铺、日期等不同维度进行分析；而且销量和销售额能直观反映销售情况，故可以将销量和销售额作为度量。进行数据建模时，可以按照Bill Inmon的建模思想处理业务数据，形成近似3NF的维度表和事实表。其中，近似3NF是3NF逆规范化之后的范式。还可以按照Kimball的建模思想，确定一种模型结构进行数据建模，形成维度表和事实表。所述模型结构包括星型模型、雪花模型和星座模型。

事实表是数据仓库结构中的中央表，包含联系事实与维度表的度量值和键。事实表包含描述业务特定事件的数据。事实表分为原子事实表(比如表2)和汇总事实表(比如图4的fact_case表)。维度表是维度属性的集合，是观察数据的特定角度，是考虑问题时的一类属性，属性的集合构成一个维，比如表3中的状态维度(dim_case_state)、时间维度(dim_coo_date)。

实施例中，可以按照Kimball结合Bill Inmon的建模思想处理业务数据，具体实现为：根据业务需求和业务数据特点，构建原子事实表；然后再构建维度表和汇总事实表。在构建模型初期可按照第三范式创建关系模型，后期可根据业务需求和性能要求对第三范式模型进行逆规范化处理，得到至少一个事实表和至少一个维度表。上述逆规范化处理后形成的逆规范化表，能够满足业务的看数需求或者通过增加冗余的方式，提高明细数据的获取速度。

按照Kimball的建模思想是任务导向自下而上，对给定的稳定且关系复杂的若干表进行分析，先按照业务需求建立最小粒度的事实表，再建立维度表，最后构建多维模型。Kimball不强调范式。Bill Inmon思想是源头导向，自上而下探索性的获取数据，将数据抽象为实体-关系模型，经过大量的数据清洗、转换，创建第三范式模型。在Bill Inmon模式中，并不强调事实表和维度表的概念，因为数据源变化的可能性较大，需要更加强调数据的清洗工作，从中抽取实体-关系。

表1为实施例的数据集市获取到的原始业务数据表示意图。如表1所示，从数据库中采集到表名为fdm_ams_crm_biz_case_chain的数据表，数据表中包括字段名称、字段的数据类型等，所述字段名称比如start_date、change_code等，所述数据类型包括string(字符串)、int(整型)等。

表1数据集市获取到的原始业务数据表

对表1中的原始业务数据进行数据建模后，得到的事实表和维度表分别如表2和表3所示。事实表的表名为app_crm_case_det，维度表有多个，分别为dim_case_state、dim_coo_date、dim_rcp_date。其中，事实表是根据业务需求，从原始业务数据表中抽取出部分关键信息构建成的。比如，将原始业务数据表的case_type字段抽取出来，作为事实表的一个字段，原始业务数据表中case_type字段对应描述信息，比如订单、账号等，在事实表中转换成码值存储，比如1、2等，在维度表表记录上述码值的含义。

表2数据建模后得到的事实表

app_crm_case_det	3NF事实表
				字段名	数据类型	样本数据	主外键
start_date	string	2018-01-31	FK
				id	bigint	514669000	PK
case_type_cd	int	40	FK
				case_state_cd	int	420	FK
case_skill_id	bigint	32926	FK
				fetch_skill_id	bigint	NULL	FK
special_skill_id	bigint	NULL	FK
				owner_id	bigint	136449	FK
owner_pin	string	dingbubin	FK
				source_id	int	1	FK
order_id	bigint	NULL	FK
				out_line_id	string	14831@14834@14844	FK
fetch_user_id	bigint	NULL	FK
				late_fetch_time	string	NULL
fetch_time	string	NULL
				close_time	string	37:52.0
...

表3数据建模后得到的维度表

在一优选的实施例中，在进行数据建模之前，需要对所述业务数据进行数据预处理。数据预处理包括数据清洗、数据转换的异常数据处理。在数据预处理之后，进行数据建模，生成维度表和事实表。

步骤S303：为所述维度表和所述事实表建立关联关系，得到关联数据表。将所述维度表和所述事实表同步到关系数据库，在关系数据库中建立维度表和事实表的关联关系。关系数据库中保存的是二维表格。需要注意的是，在关系数据库还可以进一步建模，比如图4中的fact_case事实表。其中，所述关系数据库可以是Oracel、Mysql或者SQL server等，其中MySql和Oracle两者的操作系统的兼容性上要强于SQL Server，但是MySql和Oracle商业智能支持低于SQL Server，且没有CUB的支持。

图4为本发明实施例一的维度表和数据表的关联关系示意图。如图4所示，app_crm_case_det为数据建模原子事实表；fact_case是汇总事实表，用于计算时效关单率，可以存放在某天、关闭状态的订单线索的来自在线系统的事件总量case_cnt，事件总量是度量值，状态、线索、系统都是外键，存放对应维度的键值；dim_source、dim.dim_case_state、dim_case_type、dim_coo_date是维度表，这四张维度表和汇总事实表均是符合3NF规范的.如果业务有提取原始数据需求，可以通过关联原子事实表和维度表逆规范化得到业务需求的数据。

另外，在关系数据库中进行数据的完整性约束。比如，fact_case表的case_type_cd字段对应键值1-5，但是dim_case_type表中仅有键值1-4，则需要修改fact_case表的键值，保证数据的规范化。

步骤S304：将所述关联数据表导入可视化工具，通过所述可视化工具拖拽可视化图表、所述关联数据表的字段和度量值，以创建可视化对象，进行图形化展示。实施例中，可视化工具为Power BI。在Power BI的工具栏点击“获取数据”按钮，将关系数据库中的数据表导入到Power BI中。导入数据表后，可以通过Power BI的数据视图预览数据，查看数据结构。之后在Power BI的菜单栏点击“建模”按钮，然后点击工具栏的“管理关系”按钮→“新建”按钮，选择相应字段的数据进行关系建模。

图5是本发明实施例一的关系建模结果示意图。需要注意的是，在关系建模之前，如果在数据集市已经进行了规范的建模，此处只需点击Power BI的“自动检测”按钮，就会自动生成管理关系。在生成的管理关系中，根据业务实际需要，去掉不必要或者不准确的管理关系。之后可以在Power BI的关系视图查看关系模型。

建立关系模型之后，根据业务实际需要，在Power BI的工具栏点击“新建度量值”按钮，或者“新建快速度量值”按钮创建度量值。比如新建一个TotalCaseInSLA度量值的公式如下：

TotalCaseInSLA＝

CALCULATE(

[TotalCase],

'app_ams_crm_biz_case_chainYZ100D_20180205185040'[closeintimeflagReal]IN{1})

之后回到Power BI的报表视图，根据自身需求，通过拖拽相关的可视化图表、关联数据表的字段和度量值来创建相关的可视化对象。此处，如果默认的可视化图表不能满足需求，可以导入其他视觉对象。另外，可以编辑可视化对象的外观、层次、联动、钻取等属性，比JA和Web页面形式更生动美观。

图6是本发明实施例一的图形化展示结果示意图。如图6所示，以计算时效关单率为例，以报表的形式展示了4种图形化结果，包括表格、比例图和折线图。以左上方的表格为例，该表格展示了2017年第43周到第49周的订单总量(TotalCase)、关单总量(TotalCaseInSLA)和关单率(CloseInSLARate)。另外，还可以通过Power BI的管理角色功能，限制不同用户的访问权限。还可以将报表发布到云端，发布之后的报表，也可通过仪表盘针对不同用户的级别配置不同的视图，用户可以通过PC、笔记本、PAD、手机等终端随时随地查看报表，进行数据查询，钻取，上卷，下载等。如果用户拥有编辑权限，还可以在线修改报表样式，添加对象等；也可以针对性的提问或者进行简单的数据挖掘，比如查找异常。

图7为本发明实施例二的数据可视化的实现方法的系统架构图。如图7所示，本发明实施例二的数据可视化的实现方法基于数据集市、关系数据库、数据立方体和Power BI实现。实现原理为：数据集市获取业务数据，对业务数据进行数据建模，得到维度表和事实表，之后同步到关系数据库；在关系数据库建立维度表和事实表的关联关系；将关系数据库中的表作为数据立方体的数据源，在数据立方体中建立维度表和事实表之间的多维关系，新建度量值，之后将处理后的数据导入到Power BI；Power BI加载完数据立方体的数据后，通过拖拽相关可视化图表、数据表的字段和度量值创建可视化对象，进行图形化展示。

图8是根据本发明实施例二的数据可视化的实现方法的主要流程示意图。如图8所示，本发明实施例的数据可视化的实现方法，是一种基于Hive+关系数据库+CUB+PowerBI的大数据可视化方案，主要包括以下步骤：

步骤S801：根据业务需求进行数据采集，将采集到的不同数据源的原始业务数据接入数据集市。该步骤与步骤S301的具体实现相同。

步骤S802：从所述原始业务数据中抽取业务数据，对所述业务数据进行数据建模，以生成维度表和事实表。该步骤与步骤S302的具体实现相同。

步骤S803：为所述维度表和所述事实表建立关联关系，得到关联数据表，将所述关联数据表导入数据立方体。该步骤与步骤S303的具体实现相同。即需将维度表和事实表导入关系型数据库进行关系建模和规范化处理。实施例中，此处的关系型数据库为SQLServer。规范化处理后得到的维度表dim.dim_case_state、dim_case_type、dim_coo_date，汇总事实表fact_case，均符合3NF规范，可以作为数据立方体(CUB)的输入。将维度表和事实表同步到关系数据库后，对事实表和维度表应进行规范处理，特别是主键的非空唯一处理，数据清洗转化，定义命名更加规范，事实表中可以存在一些度量值。

步骤S804：在所述数据立方体对所述关联数据表进行多维建模，以及创建度量值。通过SSAS(SQL Server Analysis Services)分析工具在创建CUB时，需要再进行一次多维建模，并通过MDX(MultiDimensional Expressions)语句创建计算成员的方式创建度量值。其中，MDX是一种语言，支持多维对象与数据的定义和操作。

图9为本发明实施例二的多维建模结果示意图。如图9所示，关联数据表为关系树状模型，通过CUB关联数据表中的dim.dim_case_state、dim_case_type、dim_coo_date这三个维度表与fact_case事实表建立了多维关系。

在CUB中可以通过添加计算成员的方式增加新的度量值。以创建时效关单率的计算成员Closeintime Rate为例，度量值的增加可以通过如下代码实现：

CALCULATE；

CREATE MEMBER CURRENTCUBE.[Measures].[Closeintime Rate]

AS iif([Measures].[Case Cnt]＝0,null,

[Measures].[Closeintime Cnt]/[Measures].[Case Cnt]),

FORMAT_STRING＝"0",

VISIBLE＝1,DISPLAY_FOLDER＝'Fact Case'；

图10为本发明实施例二的数据立方体的输出结果示意图。如图10所示，数据立方体(CUB)中记录了2018年每周，不同事件类型的事件总量(Case cnt)、关单总量(Closeintime Cnt)和关单率(Closeintime Rate)。其中，事件类型包括电话、订单、商家ID、账号等。

步骤S805：根据业务需求，通过可视化工具从所述数据立方体中加载数据表，拖拽可视化图表、所述数据表的维度和对应的度量值，以创建可视化对象，进行图形化展示。实施例中，可视化工具为Power BI。通过Power BI直接连接CUB，选择不同的维度和度量从数据立方体中加载数据表。由于CUB中已经建立了多维关系模型，此处无需再定义关系模型；而且在CUB中已经计算好了度量值，故此处直接使用，无需再像实施例一中用户自己建模、自定义度量值。在Power BI的报表视图，通过拖拽相关的可视化图表、数据表的字段和度量值，即可创建相关的可视化对象，输出报表。

实施例三：将在数据集市生成的维度表和事实表直接导入到Power BI，在PowerBI中进行上述关系建模、新建度量值等操作，之后即可拖拽可视化图表、数据表的字段和度量值来创建可视化对象，进行图形化展示。

通过本发明实施例的数据可视化的实现方法可以看出，通过数据建模的方式处理业务数据，并对生成的事实表和维度表建立关联关系，减少了数据的空间占用，提高了数据提取的速度，进而提升了将数据可视化的效率；利用Bill Inmon的建模思想处理数据，使得到的事实表和维度表符合规范要求，一次建模后除非业务模型发生变化，否则不需要调整，能够支持多次多样的需求；采用Kimball的建模思想，可以得到最细粒度的事实表和维度表；通过数据立方体的方式，把计算过程放在数据立方体执行，提高图形化展示的效率；通过Power BI工具，用户可以根据自己的需求自助建模、拖拽提取需要的报表、设定管理权限等，不需要再频发的找研发人员，实现了自助BI。

图10是根据本发明实施例的数据可视化的实现装置的主要模块的示意图。如图10所示，本发明实施例的数据可视化的实现装置1000，主要包括：

获取生成模块1001，用于获取业务数据，对所述业务数据进行数据建模，以生成事实表和维度表。采集原始业务数据，将原始业务数据接入数据集市；在数据集市中，根据业务需求，从所述原始业务数据中抽取出部分业务数据；之后可以按照Bill Inmon的建模思想、Kimball的建模思想处理业务数据。按照Bill Inmon的建模思想处理业务数据的具体实现为：根据业务需求和业务数据，构建第三范式关系模型；对第三范式关系模型进行逆规范化处理，得到至少一个事实表和至少一个维度表。按照Kimball的建模思想处理业务数据的具体实现为：根据业务需求和所述业务数据，确定模型结构、维度信息和度量信息；根据所述模型结构、所述维度信息和所述度量信息，生成至少一个事实表和至少一个维度表。

建立导入模块1002，用于为所述维度表和所述事实表建立关联关系，将得到的关联数据表导入可视化工具。将维度表和事实表同步到关系数据库，在关系数据库中建立二维的关系模型，之后即可将得到关联数据表的导入可视化工具。其中，所述关系数据库可以是Oracel、Mysql或者SQL server等。为了提高数据访问效率，可以将关联数据表导入数据立方体中，在数据立方体进行多维的关系建模，以及创建度量值，之后把新得到的关联数据表导入可视化工具。

创建展示模块1003，用于通过拖拽所述可视化工具的可视化图表、所述关联数据表的字段和度量值，创建可视化对象，以进行图形化展示。所述可视化工具用于提供日常工作中需要的数据处理方式和可视化图表，包括Power BI和Tableau。其中，Tableau能够帮助任何人快速分析、可视化并分享信息。在可视化工具的操作界面拖拽可视化图表、关联数据表的字段和度量值来创建可视化对象，进行图形化展示。上述过程中，用户可以根据自己的需求提取不同的数据，并且可以选择不同展示方式，自定义度量值。而且，Power BI的报表样式多，用户可以用常规的报表样式，也可以导入自定义的报表样式，进行图形化展示。

另外，本发明实施例的数据可视化的实现装置1000还可以包括：采集抽取模块和建模创建模块(图10中未示出)。其中，所述采集抽取模块，用于采集原始业务数据，根据业务需求，从所述原始业务数据中抽取出所述业务数据。所述建模创建模块，用于对所述关联数据表进行多维建模得到新的关联数据表，并根据业务需求创建度量值。

从以上描述可以看出，通过数据建模的方式处理业务数据，并对生成的事实表和维度表建立关联关系，减少了数据的空间占用，提高了数据提取的速度，进而提升了将数据可视化的效率；利用Bill Inmon的建模思想处理数据，使得到的事实表和维度表符合规范要求，一次建模后除非业务模型发生变化，否则不需要调整，能够支持多次多样的需求；采用Kimball的建模思想，可以得到最细粒度的事实表和维度表；通过数据立方体的方式，把计算过程放在数据立方体执行，提高图形化展示的效率；通过Power BI工具，用户可以根据自己的需求自助建模、拖拽提取需要的报表、设定管理权限等，不需要再频发的找研发人员，实现了自助BI。

图12示出了可以应用本发明实施例的数据可视化的实现方法或数据可视化的实现装置的示例性系统架构1200。

如图12所示，系统架构1200可以包括终端设备1201、1202、1203，网络1204和服务器1205。网络1204用以在终端设备1201、1202、1203和服务器1205之间提供通信链路的介质。网络1204可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备1201、1202、1203通过网络1204与服务器1205交互，以接收或发送消息等。终端设备1201、1202、1203上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备1201、1202、1203可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器1205可以是提供各种服务的服务器，例如对管理员利用终端设备1201、1202、1203所提供的业务数据进行处理的后台管理服务器。后台管理服务器可以对接收到的业务数据进行分析建模等处理，并将处理结果(例如报表数据)反馈给终端设备进行展示。

需要说明的是，本申请实施例所提供的数据可视化的实现方法一般由服务器1205执行，相应地，数据可视化的实现装置一般设置于服务器1205中。

应该理解，图12中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

根据本发明的实施例，本发明还提供了一种电子设备和一种计算机可读介质。

本发明的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的一种数据可视化的实现方法。

本发明的计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的一种数据可视化的实现方法。

下面参考图13，其示出了适用于来实现本发明实施例的电子设备的计算机系统1300的结构示意图。图13示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图13所示，计算机系统1300包括中央处理单元(CPU)1301，其可以根据存储在只读存储器(ROM)1302中的程序或者从存储部分1308加载到随机访问存储器(RAM)1303中的程序而执行各种适当的动作和处理。在RAM 1303中，还存储有计算机系统1300操作所需的各种程序和数据。CPU 1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入/输出(I/O)接口1305也连接至总线1304。

以下部件连接至I/O接口1305：包括键盘、鼠标等的输入部分1306；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1307；包括硬盘等的存储部分1308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1309。通信部分1309经由诸如因特网的网络执行通信处理。驱动器1310也根据需要连接至I/O接口1305。可拆卸介质1311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1310上，以便于从其上读出的计算机程序根据需要被安装入存储部分1308。

特别地，根据本发明公开的实施例，上文主要步骤图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行主要步骤图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1309从网络上被下载和安装，和/或从可拆卸介质1311被安装。在该计算机程序被中央处理单元(CPU)1301执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取生成模块、建立导入模块和创建展示模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取生成模块还可以被描述为“获取业务数据，对所述业务数据进行数据建模，以生成事实表和维度表的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取业务数据，对所述业务数据进行数据建模，以生成事实表和维度表；为所述维度表和所述事实表建立关联关系，将得到的关联数据表导入可视化工具；通过拖拽所述可视化工具的可视化图表、所述关联数据表的字段和度量值，创建可视化对象，以进行图形化展示。

从以上描述可以看出，通过数据建模的方式处理业务数据，并对生成的事实表和维度表建立关联关系，减少了数据的空间占用，提高了数据提取的速度，进而提升了将数据可视化的效率；利用Bill Inmon的建模思想处理数据，使得到的事实表和维度表符合规范要求，一次建模后除非业务模型发生变化，否则不需要调整，能够支持多次多样的需求；采用Kimball的建模思想，可以得到最细粒度的事实表和维度表；通过数据立方体的方式，把计算过程放在数据立方体执行，提高图形化展示的效率；通过Power BI工具，用户可以根据自己的需求自助建模、拖拽提取需要的报表、设定管理权限等，不需要再频发的找研发人员，实现了自助BI。

上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (13)

1.一种数据可视化的实现方法，其特征在于，包括：

获取业务数据，对所述业务数据进行数据建模，以生成事实表和维度表；

为所述维度表和所述事实表建立关联关系，将得到的关联数据表导入可视化工具；

通过拖拽所述可视化工具的可视化图表、所述关联数据表的字段和度量值，创建可视化对象，以进行图形化展示。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

采集原始业务数据，根据业务需求，从所述原始业务数据中抽取出所述业务数据；

所述对所述业务数据进行数据建模，以生成事实表和维度表，包括：

根据业务需求和所述业务数据，构建第三范式关系模型；

对所述第三范式关系模型进行逆规范化处理，得到至少一个事实表和至少一个维度表。

3.根据权利要求1所述的方法，其特征在于，所述对所述业务数据进行数据建模，以生成事实表和维度表，包括：

根据业务需求和所述业务数据，确定模型结构、维度信息和度量信息；

根据所述模型结构、所述维度信息和所述度量信息，生成至少一个事实表和至少一个维度表。

4.根据权利要求1所述的方法，其特征在于，所述为所述维度表和所述事实表建立关联关系的步骤之后，还包括：

对所述关联数据表进行多维建模得到新的关联数据表，并根据业务需求创建度量值；

所述通过拖拽所述可视化工具的可视化图表、所述关联数据表的字段和度量值，创建可视化对象，以进行图形化展示，包括：

通过所述可视化工具加载所述新的关联数据表，拖拽所述可视化工具的可视化图表、所述关联数据表的维度和对应的所述度量值，创建可视化对象，以进行图形化展示。

5.根据权利要求4所述的方法，其特征在于，所述创建度量值，包括：通过数据立方体中添加计算成员的方式，创建度量值。

6.根据权利要求1至5的任一项所述的方法，其特征在于，所述可视化工具包括PowerBI和Tableau。

7.一种数据可视化的实现装置，其特征在于，包括：

获取生成模块，用于获取业务数据，对所述业务数据进行数据建模，以生成事实表和维度表；

建立导入模块，用于为所述维度表和所述事实表建立关联关系，将得到的关联数据表导入可视化工具；

创建展示模块，用于通过拖拽所述可视化工具的可视化图表、所述关联数据表的字段和度量值，创建可视化对象，以进行图形化展示。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：采集抽取模块，用于采集原始业务数据，根据业务需求，从所述原始业务数据中抽取出所述业务数据；

所述获取生成模块，还用于：

根据业务需求和所述业务数据，构建第三范式关系模型；

对所述第三范式关系模型进行逆规范化处理，得到至少一个事实表和至少一个维度表。

9.根据权利要求7所述的装置，其特征在于，所述获取生成模块，还用于：

根据业务需求和所述业务数据，确定模型结构、维度信息和度量信息；

根据所述模型结构、所述维度信息和所述度量信息，生成至少一个事实表和至少一个维度表。

10.根据权利要求7所述的装置，其特征在于，所述装置还包括：建模创建模块，用于

对所述关联数据表进行多维建模得到新的关联数据表，并根据业务需求创建度量值；

所述创建展示模块，还用于：

通过所述可视化工具加载所述新的关联数据表，拖拽所述可视化工具的可视化图表、所述关联数据表的维度和对应的所述度量值，创建可视化对象，以进行图形化展示。

11.根据权利要求10所述的装置，其特征在于，所述建模创建模块，还用于：通过数据立方体中添加计算成员的方式，创建度量值。

12.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。

13.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。

Images