CN107145558A - 一种基于数据集的自助式可视化数据分析方法 - Google Patents

Abstract

本发明公开了一种基于数据集的自助式可视化数据分析方法，包括原始数据集统一、数据集模型抽象、图形数据绑定、过滤条件绑定、分析表数据绑定、自助式分析联查规则抽象与处理等内容。本发明的一种基于数据集的自助式可视化数据分析方法与现有技术相比，提升决策效率，实用性强，适用范围广泛，具有很好的推广应用价值。

Description

一种基于数据集的自助式可视化数据分析方法

技术领域

本发明涉及大数据技术领域，具体地说是一种基于数据集的自助式可视化数据分析方法。

背景技术

传统的商务智能工具，从数据源获取，到数据的加工处理、存储，再到数据建模、数据展现，有着超长的数据处理链条，需要专业IT技术人员处理，提供给业务用户的数据展现呈现出两类极端，一类是面向决策层用户的仪表盘分析（Dashboard），由多个不同主题的部件组成，界面美观、内容固化，用户调整复杂，另一类是面向分析层用户的多维分析（Olap），基于特定主题的多维模型，可自由拖拽模型字段形成图表分析，操作复杂灵活，用户很难掌握，两者之间特点鲜明，缺少把两者优点集成在一块，特别是把Olap分析能力融合到Dashboard上，限制了决策层用户对数据的利用，不能及时满足业务上多变需求。

大数据伴随着商务智能发展逐渐被越来越多的用户所认可，当前大数据已经上升为国家战略，信息化发展由以应用为中心向以数据为中心快速转变，用户积累的数据越来越多，对数据的应用要求更加及时、多变，因此本发明基于普遍存在关系型数据集提供一种面向业务用户的自助式可视化数据分析方法，满足大数据时代决策层用户需求。

发明内容

本发明的技术任务是针对以上不足之处，提供一种基于数据集的自助式可视化数据分析方法。

一种基于数据集的自助式可视化数据分析方法，其实现过程为：

首先将原始数据集统一，即对Dashboard分析部件依赖数据的数据源进行统一封装，该数据源包括语义层、SQL和存储过程数据库层、业务构件层、第三方WebService层四种，作为原始数据集；

对统一后的原始数据集进行模型抽象，将统一后的原始数据集按照抽象规则自动识别出包含维度、量度字段的数据集模型，使数据集自动处理解析，无法解析的则进行人工识别；

基于抽象的数据集模型，绑定图形数据，即建立数据集与图形之间的绑定；

绑定过滤条件，根据维度自动构建过滤条件，实现数据灵活过滤分析；

绑定分析数据表，即将数据按照分析维度、分析指标进行分组统计；

最后进行自助式可视化数据分析，通过统计层、分析层、明细层三层视图对数据进行自助式可视化分析。

在原始数据集统一过程中，对Dashboard分析部件依赖数据的数据源采用统一结构进行描述，该统一结构包括数据源类型、数据源配置、数据源位置、访问方式、刷新频率。

在数据集模型抽象步骤中，数据集自动处理解析过程为，自动提取出字段类型，把字符型、日期型、布尔型字段识别为维度，把数值型根据货币型、双精度型、符点型、整型首先识别为量度，分析其取值，根据取值占所有数据集行数的占比来识别为维度，其他类型字段作为量度。

在数据集模型抽象步骤中，无法解析的则进行人工识别是指针对无法自助识别的字段，则对该字段的维度、量度进行手工调整。

图形数据绑定，根据Dashboard分析部件原有图形设置自动进行图形数据绑定，保持与原有分析图形效果一致，具体为，对Dashboard分析部件原有图形类型特征进行分析，按照分类轴绑定维度字段、数据轴绑定量度字段进行绑定。

在图形数据绑定过程中，图形类型包括柱形图和饼形图，其中，柱形图绑定两个数据轴，并设置数据轴图形类型；饼形图，绑定多个维度，单个维度按普通饼形图展示，多个维度按多级饼形图展示；

在图形数据完成绑定后，分类轴根据维度、量度设置排序依据，使图形数据有顺展示。

过滤条件绑定是指，根据维度自动构建，根据数据特征自动适配相应的帮助控件：根据数据集维度字段紫都构建过滤条件、字符型维度，根据字段长度和取值确定帮助控件类型，即日期型维度按范围过滤并采用日期空间帮助，布尔型维度采用开关控件帮助。

分析数据表绑定是指，按照分析维度绑定维度字段、分析指标绑定量度字段进行绑定，数据按照分析维度、分析指标进行分组统计：分析数据表根据图形当前分类进行绑定，根据用户操作自动传递绑定条件，并在分析表标题显示绑定条件；分析维度设置排序，分析指标设置聚集方式，该聚集方式包括：计数、最大值、最小值、求和、平均值。

自助式可视化分析过程中，统计层采用图形方式展示，按照图形数据绑定和过滤条件展示数据；分析层采用分析表格展示，包括分析维度和分析指标列，根据图形当前分类和过滤条件展示数据；明细层采用明细表格展示，按照分析联查过来条件显示数据集明细数据，通过点击分析表的指标量度进行联查。

所述自助式可视化数据分析中的统计层、分析层、明细层三层视图分析分别为：

在统计层，进行图形联动分析，根据选择当前分类按照分析维度、分析指标自动联动到分析数据表；

在分析层，进行数据表自助分析，根据数据表绑定规则，按照设置的分析维度、指标及图形联动条件自动形成分析数据表；

在明细层，穿透明细数据表，即根据数据集模型、图表和数据表绑定规则，由分析数据表自动穿透到原始的明细数据表。

本发明的一种基于数据集的自助式可视化数据分析方法和现有技术相比，具有以下有益效果：

本发明的一种基于数据集的自助式可视化数据分析方法，旨在打破传统BI工具因数据处理链条太长，决策层必须通过专业IT人员辅助才能进行数据分析现状，满足大数据时代决策层用户对数据应用更加及时、多变的需求；对现有Dashboard分析部件进行优化，基于部件关联的关系型数据集，对数据集字段间的关系进行抽象，根据抽象关系采用自助式图形化方式把Olap分析能力引入到部件上，增强Dashboard的二次分析能力，使决策层用户可以更加及时、灵活的利用数据，提升决策效率，实用性强，适用范围广泛，具有很好的推广应用价值。

附图说明

附图1为本发明过滤条件控件绑定规则。

附图2是本发明实现效果原形图。

附图3是本发明具体实现步骤图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

本发明是提供一种基于数据集的自助式可视化数据分析方法，包括原始数据集统一、数据集模型抽象、图形数据绑定、过滤条件绑定、分析数据表绑定、自助式分析联查规则抽象与处理等内容，其中，

原始数据集统一，从形式上包括对语义层、SQL和存储过程数据库层、业务构件层、第三方WebService层四类常见数据源进行统一封装，采用统一结构进行描述。

数据集模型抽象，在根据数据集字段类型自动处理基础上，增加人工识别，增强分析效果；

图形数据绑定，通过对常见图表类型特征进行分析，按照分类轴绑定维度字段、数据轴绑定量度字段进行绑定；

过滤条件绑定，根据维度自动构建，条件帮助形式根据数据特征自动适配相应的帮助控件；

分析数据表绑定，按照分析维度绑定维度字段、分析指标绑定量度字段进行绑定，数据按照分析维度、分析指标进行分组统计；

自助式分析联查规则抽象与处理，分为统计层、分析层、明细层三层视图对数据进行自助式可视化分析，不同层视图采用不同的可视化分析技术。

更为具体的，本发明的实现过程为：

原始数据集统一，从形式上包括对语义层、SQL和存储过程数据库层、业务构件层、第三方WebService层四类常见数据源进行统一封装，采用统一结构进行描述，其结构包括数据源类型、数据源配置、数据源位置、访问方式、刷新频率。

优选的，针对业务数据处理比较复杂、实时性要求较高的数据源处理，通过可扩展配置以自定义业务构件的方式通过二次开发来进行扩展，可满足个性化应用场景。

数据集模型抽象，在根据数据集字段类型自动处理基础上，增加人工识别，增强分析效果；自动处理通过对数据集的解析，自动提取出字段类型，把字符型、日期型、布尔型字段识别为维度，把数值型根据货币型、双精度型、符点型、整型首先识别为量度，针对整型进一步分析其取值多少，根据取值占所有数据集行数的占比来识别为维度，其他类型字段作为量度。

优选的，针对自助识别不合理的字段，增加人工识别，可对字段的维度、量度进行手工调整。

图形数据绑定，通过对常见图表类型特征进行分析，按照分类轴绑定维度字段、数据轴绑定量度字段进行绑定；与图表类型相关，柱形图可绑定两个数据轴，并可以设置数据轴图形类型，饼形图，可绑定多个维度，单个维度按普通饼形图展示，多个维度按多级饼形图展示。分类轴可以根据维度、量度设置排序依据，使图形数据有顺展示。

进一步，根据Dashboard分析部件原有图形设置自动进行图形数据绑定，保持与原有分析图形效果一致。

过滤条件绑定，根据维度自动构建，条件帮助形式根据数据特征自动适配相应的帮助控件。进一步，根据数据集维度字段构件过滤条件，字符型维度，根据字段长度和取值多少确定帮助控件类型，日期型维度按范围过滤，布尔型采用开关控件帮助，具体规则见表1。

优选的，弹出帮助支持过滤查找，可以按关键字查找定位，方便选择。

优选的，对于字段长度100个以上帮助条件，支持模糊查找。

分析数据表绑定，按照分析维度绑定维度字段、分析指标绑定量度字段进行绑定，数据按照分析维度、分析指标进行分组统计。进一步，分析数据表绑定与图形相关，根据图形当前分类进行绑定，根据用户操作自动传递绑定条件，并在分析表标题显示绑定条件。分析维度，可设置排序，分析指标，可以设置聚集方式，包括：计数、最大值、最小值、求和、平均值等。

优选的，分析表具备按列选择动态排序特性。

自助式分析联查规则抽象与处理，分为统计层、分析层、明细层三层视图对数据进行自助式可视化分析，不同层视图采用不同的可视化分析技术，达到由整体到局部再到明细的层层推进可视化分析效果。统计层采用图形方式展示，按照图形数据绑定和过滤条件展示数据；分析层采用分析表格展示，包括分析维度和分析指标列，根据图形当前分类和过滤条件展示数据；明细层采用明细表格展示，按照分析联查过来条件显示数据集明细数据，通过点击分析表的指标量度进行联查。

进一步，自助分析界面主体布局采用上下结构，如图2，上部为统计图，对应统计层分析图形，下部为数据表，下部数据表又分为分析表和明细表两个视图，分析表对应分析层的分析表，明细表对应明细层的明细表；右侧为数据集模型绑定区，由数据集到图形、分析表绑定区，无需进行录入交互，采用鼠标拖拽方式完成。

以下将通过对本发明的优选实施例的详细描述，使本发明的上述目标、特征和优点更加清晰、易懂。为了更容易理解本方法的实施方式，以示例进行详细的说明。

场景：某大型集团企业A，通过实施BI项目，已经形成覆盖决策层、分析层两个层面的运营分析系统，决策层通过Dashboard功能了解整个集团运营的关键KPI指标，可按板块、区域、产品线三个维度按月查看汇总数据，分析层通过Olap功能根据业务需要对大量明细数据进行在线分析，为决策层每月提供运营报告，辅助决策，决策层通过Dashboard获取的数据不够精细，分析层提供的详细报告生成相对滞后，迫切需要一种机制，使决策层能够方便、及时基于明细数据进行分析。

具体实现步骤如图3，详细描述如下：

1.原始数据集统一，对Dashboard分析部件依赖数据数据源进行统一封装，作为原始数据集。

2.数据集模型抽象，根据原始数据集按照抽象规则自动识别出包含维度、量度字段的数据集模型。

3.1图形数据绑定，基于数据集模型，根据抽象图形绑定方法建立数据集与图形之间的绑定。

3.2过滤条件绑定，基于数据集模型，根据四种常见条件帮助类型自动构建过滤条件，实现数据灵活过滤分析。

4.自助图形分析，根据图形数据绑定规则，按照设置的维度、量度自动形成可视化的图形分析。

5.图形联动分析表，根据选择当前分类按照分析维度、分析指标自动联动到分析数据表。

6.数据表自助分析，根据数据表绑定规则，按照设置的分析维度、指标及图形联动条件自动形成分析数据表。

7.穿透明细数据表，根据数据集模型、图表和数据表绑定规则，由分析数据表可以自动穿透到原始的明细数据表。

通过上述步骤，在已有BI项目建设成果基础之上，基于普遍存在的关系型数据集，按照本发明提供的方法可以快速完善现有系统，打破传统BI工具因数据处理链条太长，决策层必须通过专业IT人员辅助才能进行数据分析现状，在当前大数据时代，激活数据原动力，释放决策层潜能方面，具有广阔的市场前景。

通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。

除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (10)

1.一种基于数据集的自助式可视化数据分析方法，其特征在于，其实现过程为：

首先将原始数据集统一，即对Dashboard分析部件依赖数据的数据源进行统一封装，该数据源包括语义层、SQL和存储过程数据库层、业务构件层、第三方WebService层四种，作为原始数据集；

对统一后的原始数据集进行模型抽象，将统一后的原始数据集按照抽象规则自动识别出包含维度、量度字段的数据集模型，使数据集自动处理解析，无法解析的则进行人工识别；

基于抽象的数据集模型，绑定图形数据，即建立数据集与图形之间的绑定；

绑定过滤条件，根据维度自动构建过滤条件，实现数据灵活过滤分析；

绑定分析数据表，即将数据按照分析维度、分析指标进行分组统计；

最后进行自助式可视化数据分析，通过统计层、分析层、明细层三层视图对数据进行自助式可视化分析。

2.根据权利要求1所述的一种基于数据集的自助式可视化数据分析方法，其特征在于，在原始数据集统一过程中，对Dashboard分析部件依赖数据的数据源采用统一结构进行描述，该统一结构包括数据源类型、数据源配置、数据源位置、访问方式、刷新频率。

3.根据权利要求1所述的一种基于数据集的自助式可视化数据分析方法，其特征在于，在数据集模型抽象步骤中，数据集自动处理解析过程为，自动提取出字段类型，把字符型、日期型、布尔型字段识别为维度，把数值型根据货币型、双精度型、符点型、整型首先识别为量度，分析其取值，根据取值占所有数据集行数的占比来识别为维度，其他类型字段作为量度。

4.根据权利要求3所述的一种基于数据集的自助式可视化数据分析方法，其特征在于，在数据集模型抽象步骤中，无法解析的则进行人工识别是指针对无法自助识别的字段，则对该字段的维度、量度进行手工调整。

5.根据权利要求1所述的一种基于数据集的自助式可视化数据分析方法，其特征在于，图形数据绑定，根据Dashboard分析部件原有图形设置自动进行图形数据绑定，保持与原有分析图形效果一致，具体为，对Dashboard分析部件原有图形类型特征进行分析，按照分类轴绑定维度字段、数据轴绑定量度字段进行绑定。

6.根据权利要求5所述的一种基于数据集的自助式可视化数据分析方法，其特征在于，在图形数据绑定过程中，图形类型包括柱形图和饼形图，其中，柱形图绑定两个数据轴，并设置数据轴图形类型；饼形图，绑定多个维度，单个维度按普通饼形图展示，多个维度按多级饼形图展示；

在图形数据完成绑定后，分类轴根据维度、量度设置排序依据，使图形数据有顺展示。

7.根据权利要求1所述的一种基于数据集的自助式可视化数据分析方法，其特征在于，过滤条件绑定是指，根据维度自动构建，根据数据特征自动适配相应的帮助控件：根据数据集维度字段紫都构建过滤条件、字符型维度，根据字段长度和取值确定帮助控件类型，即日期型维度按范围过滤并采用日期空间帮助，布尔型维度采用开关控件帮助。

8.根据权利要求1所述的一种基于数据集的自助式可视化数据分析方法，其特征在于，分析数据表绑定是指，按照分析维度绑定维度字段、分析指标绑定量度字段进行绑定，数据按照分析维度、分析指标进行分组统计：分析数据表根据图形当前分类进行绑定，根据用户操作自动传递绑定条件，并在分析表标题显示绑定条件；分析维度设置排序，分析指标设置聚集方式，该聚集方式包括：计数、最大值、最小值、求和、平均值。

9.根据权利要求1所述的一种基于数据集的自助式可视化数据分析方法，其特征在于，自助式可视化分析过程中，统计层采用图形方式展示，按照图形数据绑定和过滤条件展示数据；分析层采用分析表格展示，包括分析维度和分析指标列，根据图形当前分类和过滤条件展示数据；明细层采用明细表格展示，按照分析联查过来条件显示数据集明细数据，通过点击分析表的指标量度进行联查。

10.根据权利要求9所述的一种基于数据集的自助式可视化数据分析方法，其特征在于，所述自助式可视化数据分析中的统计层、分析层、明细层三层视图分析分别为：

在统计层，进行图形联动分析，根据选择当前分类按照分析维度、分析指标自动联动到分析数据表；

在分析层，进行数据表自助分析，根据数据表绑定规则，按照设置的分析维度、指标及图形联动条件自动形成分析数据表；

在明细层，穿透明细数据表，即根据数据集模型、图表和数据表绑定规则，由分析数据表自动穿透到原始的明细数据表。