CN108376176A - 可拖拽式大数据可视化分析工具系统 - Google Patents

Abstract

可拖拽式大数据可视化分析工具系统，属于计算机技术领域。该系统包括逻辑关系拖拽布局模块、数据过滤模块、字段扩展模块、数据统计运算模块、数据碰撞运算模块、字典翻译模块、分析结果展现模块、EXCEL导入数据模块、模型发布功能模块。将这些基本的功能模块同各种数据任意组态，最终演变成成千上万种分析模型，这些模型可以保存、发布和应用。通过本工具系统，可以无需编码开发出若干不同的应用。本发明打破了传统技术与业务各司其职但又需要密切沟通的问题，使一些不会写SQL语言的非技术人员也能参与分析工作，满足大数据时代数据多元化、分析灵活化的需求。

Description

可拖拽式大数据可视化分析工具系统

技术领域

本发明属于计算机大数据领域，特别涉及一种可拖拽式大数据可视化分析工具系统。

背景技术

随着信息化的成熟，数据采集工作日益完善，数据的种类越来越多，多的同时，形成了大量的数据孤岛。技术人员懂技术不懂业务、业务人员懂业务不懂技术，技术与业务难以形成合力。

各个独立的信息化系统，近能完成自身业务数据所能支撑的功能，相互之间的支持力度极小。

在数据应用方面，各个信息化开发商只负责自身的业务范围的开发，有关领域的数据如何运用，很难做到相互合作，相互沟通。

目前为止，还没有发现一款工具能够自由全面的调动所有数据，让数据与数据之间连接产生无限的价值。

发明内容

本发明的目的是针对现有计算机信息数据不能相互连接、沟通的数据孤岛状况，为了使更多分析需求提出者能自给自足的完成分析工作，提高工作效率，提供了一种不需要专业知识，却能使用专业技术完成工作的可拖拽式大数据可视化分析工具系统。

可拖拽式大数据可视化分析工具系统，该系统包括逻辑关系拖拽布局模块、数据过滤模块、字段扩展模块、数据统计运算模块、数据碰撞运算模块、字典翻译模块、分析结果展现模块、EXCEL导入数据模块、模型发布功能模块。逻辑关系拖拽布局模块包含拖拽表到画布模块、拖拽位置布局模块、拖拽连线碰撞模块；数据过滤模块包含字符串过滤模块、数值过滤模块、时间过滤模块、字典过滤模块、手动输入SQL条件过滤模块；字段扩展包含时间扩展模块、身份证号扩展模块、车牌号扩展模块、手动输入表达式扩展模块、字符串扩展模块、扩展表达式定义模块；数据统计运算模块模块包含分组统计模块、交叉表统计模块、报表统计模块、统计运算预览模块；数据碰撞运算模块包含两表碰撞模块、单表自碰撞模块、碰撞运算预览模块；分析结果展现模块可分为数据表格展现模块、图表(饼/柱/线图等)展现模块、结果导出EXCEL模块；模型发布模块包括条件发布、展现结果发布、发布预览、模型复用模式。

所述的拖拽表到画布模块可以是注解过表名及字段注释的表模式，也可以是数据库中的任何表或视图模式，如果这些表或视图没有注释说明，将显示英文名。

所述的拖拽位置布局模块可以是表模式，也可以是运算关系模式，在拖动这些对象时，之间的连线跟随对象一起移动，当把一张表拖入画布时，采用异步加载数据总量的方式，由于加载数据总量速度较慢，工具先显示数十条数据，在提取到数据总量后再显示总量。为了用户更方便阅读数据总量，根据数量级以“万”、“亿”等单位显示大约数据量。

所述的字符串过滤模块是对于类型为char、varchar等字符串类型的字段，可以精确匹配、模糊匹配、精确排除、模糊排除、大于等于、小于等于、模板匹配模式展现；精确匹配可以是一个或多个值用英文逗号隔开字符，满足任意一个则符合条件；模糊匹配可以是一个或多个值用英文逗号隔开，“*”表示任意字符不定长度、“？”表示任意一位字符，条件中匹配任意一个规则则符合条件；精确排除可以是一个或多个用英文逗号隔开的的字符，满足任意一个则不符合条件；模糊排除可以是一个或多个用英文逗号隔开，“*”表示任意字符不定长度、“？”表示任意一位字符，条件中匹配任意一个规则则不符合条件；大于等于、小于等于用于过滤一个范围内的有效数据。模板匹配是一些特殊复合型过滤规则，例如：空值、非空值、大陆身份证、无效/非大陆身份证、有效车牌号、无效车牌号，除这些模式外，可以根据运用场景在后台定义更多的模板匹配规则。“精确匹配、模糊匹配”、“精确排除、模糊排除”、“大于等于”、“小于等于”、“模板匹配”，五组模式关系之间为且(and)关系；“精确匹配”与“模糊匹配”之间为或(or)关系、“精确排除“与“模糊排除”为且(and)关系。

所述的数值过滤模块是用于类型为int、number、double等数值型的字段；可以等于、不等于、大于、小于、大于等于、小于等于模式展现；等于和不等于可以是多个值，用逗号隔开。

所述的时间过滤模块是用于类型为date、datetime、time等时间型的字段，可以是日期范围、时间范围、时段范围、星期、“节假日/非节假日/特定节日”模式展现；日期范围需要选择“年月日”，可以选择多组，匹配多个时间范围；时间范围需要选择“年月日时分”，也可以选择多组时间范围，相对日期范围差别在于可以精确到时分；时段范围只选择“时分”，可以选择多组时段范围，表示在其他时间范围的基础上，只匹配此时段数据；星期可选“星期一至星期日”，可以多选；“节假日/非节假日/特定节日”选择后，在过滤时会自动提取出所选日期范围内的对应日期；日期范围与时间范围之间为或(or)关系，其余皆为且(and)关系。

所述的字典过滤模块，是用于类型为char、varchar等字符串类型的字段，除了字符串过滤所述的条外，还包含字典匹配、字典排除模式；所述字典含义是指该字段存储的是一些标准编码，为了方便选择，将这些编码翻译成对应的中文名称，用户可以直接勾选这些中文名，无需输入编码值，增强软件易用性。

所述的手动输入SQL条件过滤模块，是指在其它条件不足以过滤期望数据时，可以自行编写SQL语句作为条件，编写的SQL语句将于其它设定的条件合并执行。

所述的字段扩展模块是指系统已经将一些基础函数做了进一步封装命名，用户无需输入函数并可以实现数据转换的模式，例如：将日期转化为星期、身份证号转化为年龄或性别、车牌号转化为单双号等更贴近实际运用的复合函数模式；由于这些函数是根据实际运用场景整理的，无法穷举，在有需要的情况下，也可以手动编写转换函数，当然，这需要一定的SQL编程能力。有能力的人可以在系统后台配置更多的函数，供非专业人士使用。

所述的分组统计模块可支持多个字段分组，另外还支持统计(count)、求和(sum)、最大值(max)、最小值(min)函数模式，在选择统计规则时，能实时预览统计结果。运算结果会产生一张新的临时表，用于快速分页浏览及快速二次运算。

所述的交叉表统计模块，其交叉表是指在行、列方向都有分组的报表，支持用统计(count)作为值，或者用某一列的求和(sum)作为值。在选择行列时，可以选择一个或多个行，和一个或多个列，在选择过程中实时预览统计结果；运算结果会产生一张新的临时表，用于快速分页浏览。

所述的报表统计模块，是指除了统计的数据表格模式外，还辅以图表(如：饼图、柱图、折线图、雷达图等)模式展现；报表统计需要选择一个维度和一个度量，在选择过程中实时预览统计数据表格及数据图表。

所述的运算预览模块，其原理是从源表中提取少量数据样本(如1万条)按照用户设定的规则运算，将运算结果呈现给用户，这样设计既能让用户直观的看到实际运行的大概效果，又能大幅度提高预览速度。

所述的两表碰撞模块，是指可以用拖拽连线的方式，将两张表连接起来做关联运算，支持内连接(inner join)、左连接(left join)、右连接(right join)、左排除(排除左侧表中存在的数据)、右排除(排除右侧表中存在的数据)、全连接(full join)、数据合并(unoin)；需要设置关联条件和输出结果字段，关联条件可以选择“＝”、“>＝”、“<＝”、“>”、“<”、“！＝”(不等于)、时间差(秒)、时间差(小时)、时间差(天)，选择时间差时，需要输入时间差范围；数据合并运算无需选择关联条件，对应的字段代表合并成同一列。在选择输出结果字段时，能实时预览运算结果。运算结果会产生一张新的临时表，用于快速分页浏览及快速二次运算。

所述的单表自碰撞模块，是指用一张表自己与自己关联(join self)的模式，在关联时共享设置的过滤条件和扩展字段；关联条件可以选择“＝”、“>＝”、“<＝”、“>”、“<”、“！＝”(不等于)、时间差(秒)、时间差(小时)、时间差(天)，选择时间差时，需要输入时间差范围；在选择输出结果字段时，能实时预览运算结果；运算结果会产生一张新的临时表，用于快速分页浏览及快速二次运算。

所述的碰撞运算预览模块，是提取单表的预览数据，直接作为结果预览列，并未做真正的关联运算；既能让用户直观的看到实际运行的大概效果，又能大幅度提高预览速度。

所述的字典翻译模块，是指将原本数据库中存储的代码翻译成可以阅读的中文，字典翻译有两种配置：一种是用一条SQL语句，一种是用JSON数据表达式；字典翻译的配置同时还用在字典过滤(24)功能中。

所述的分析结果展现模块、基础展现方式模块是数据表格展现模式，另外报表展现还可以通过图表(如：饼图、柱图、折线图、雷达图等)展现，另外还可以将数据表格导出成EXCEL做其它用途。导出的EXCEL分为浏览数据和原始数据，浏览数据会对字典代码进行翻译，方便人阅读；原始数据不对字典进行翻译，主要用于导入到其它平台。

所述的EXCEL导入数据模块，是指可以将EXCEL文件导入到系统后台，用法与其它表一样。

所述的条件发布模块，可以通过勾选一些过滤条件作为模型的可变条件，复用此模型的人可以修改此条件；在勾选该条件时，能实时预览条件输入框；如果某条件未被发布为模型的条件，则该条件作为固定条件，无法修改。

所述的展现结果发布模块，可以勾选一些结果作为可视结果，复用此模型的人只能看到发布的结果，未发布的结果不可见。

所述的发布预览模块，指无论在勾选发布条件还是发布结果时，都能实时预览发布后的应用布局；预览数据就是界面上展现的结果数据。

本发明具有如下显著效果：

1、所述的模型复用，可以复用别人分享的模型，通过改变过滤条件参数，运算出不一样的结果；模型界面会显示运算的逻辑过程，方便复用者理解模型原理。

2、在易用性方面，模型设计的界面主要采用拖拽方式将数据表摆放在画布上，采用连线方式将两个数据表连接起来。可以从资源表中拖拽一个表格到画布中，也可以通过EXCEL导入，然后将导入的表格生成到画布中。

3、在直观性方面，大量采用预览的形式，例如运算结果可以预览、发布模型也可以预览。预览可以帮助用户理解所做的操作能达到的效果；在直观性方面，为了用户能读懂数据库里的数据，对使用代码存储的数据做数据字典翻译，使用户可以阅读到代码注释。

4、在亲和性方面，预置了大量跟贴合实际的组建，例如：身份证转年龄、性别；过滤条件可选节假日。

5、在全能型方面，除了提供逻辑关系拖拽布局、数据过滤、字段扩展、数据统计运算、数据碰撞运算、字典翻译、分析结果展现、EXCEL导入数据、模型发布等强大的功能以外，还支持手动输入SQL语句，大大提高了工具的适用范围。

6、在高效方面，字典映射这类小数据量采用内存做缓存，在消耗少量资源的情况下大大提高了性能。

另外采用临时表方式，使运算结果能快速分页浏览及快速二次运算。本发明实现了数据运用的直观、亲和、全能、高效。

附图说明

图1为本发明的各个模块功能展现示意图。

如图所示：逻辑关系拖拽布局(1)、数据过滤(2)、字段扩展(3)、数据统计运算(4)、数据碰撞运算(5)、字典翻译(6)、分析结果展现(7)、EXCEL导入数据(8)、模型发布功能(9)。逻辑关系拖拽布局(1)包含拖拽表到画布(11)、拖拽位置布局(12)、拖拽连线碰撞(13)；数据过滤(2)包含字符串过滤(21)、数值过滤(22)、时间过滤(23)、字典过滤(24)、手动输入SQL条件过滤(25)；字段扩展(3)包含时间扩展(31)、身份证号扩展(32)、车牌号扩展(33)、手动输入表达式扩展(34)、字符串扩展(35)、扩展表达式定义(36)；数据统计运算(4)包含分组统计(41)、交叉表统计(42)、报表统计(43)、统计运算预览(44)；数据碰撞运算(5)包含两表碰撞(51)、单表自碰撞(52)、碰撞运算预览(53)；分析结果展现(7)可分为数据表格展现(71)、图表(饼/柱/线图等)展现(72)、结果导出EXCEL(73)；模型发布(9)由条件发布(91)、展现结果发布(92)、发布预览(93)、模型复用(94)组成。

具体实施方式

由于本工具功能比较灵活，以下列举一种实施方式来阐述其操作实施步骤：

步骤一：通过拖拽表到画布(11)从资源表中拖拽一个表到画布中，然后通过拖拽位置布局(12)根据需要任意摆放位置，使其美观直观。

步骤二：通过时间过滤(23)，选择条件“2017-01-01至2017-12-31”、“节假日”过滤出本年度节假日的相关数据。

步骤三：通过拖拽表到画布(11)从资源表中拖拽另一个表到画布中，然后通过拖拽连线碰撞(13)将此表与步骤一的表进行关联碰撞。配置好关联条件后，执行两表碰撞(51)运算，得出碰撞结果。

步骤四：进行模型发布(9)，将“2017-01-01至2017-12-31”作为条件发布(91)，将碰撞运算结果作为展现结果发布(92)，发布到应用市场。由于没有将“节假日”作为条件发布，复用此模型的人无法更改此条件，将作为固定过滤条件。

步骤五：通过模型重用(94)，选择之前发布的应用，把初始条件改为“2016-01-01至2016-12-31”，便可以按照模型的运算逻辑，计算出2016年节假日的分析结果。

Claims (20)

1.可拖拽式大数据可视化分析工具系统，其特征在于，该系统包括逻辑关系拖拽布局模块(1)、数据过滤模块(2)、字段扩展模块(3)、数据统计运算模块(4)、数据碰撞运算模块(5)、字典翻译模块(6)、分析结果展现模块(7)、EXCEL导入数据模块(8)、模型发布功能模块(9)；逻辑关系拖拽布局模块(1)包含拖拽表到画布模块(11)、拖拽位置布局模块(12)、拖拽连线碰撞模块(13)；数据过滤模块(2)包含字符串过滤模块(21)、数值过滤模块(22)、时间过滤模块(23)、字典过滤模块(24)、手动输入SQL条件过滤模块(25)；字段扩展模块(3)包含时间扩展模块(31)、身份证号扩展模块(32)、车牌号扩展模块(33)、手动输入表达式扩展模块(34)、字符串扩展模块(35)、扩展表达式定义模块(36)；数据统计运算模块(4)包含分组统计模块(41)、交叉表统计模块(42)、报表统计模块(43)、统计运算预览模块(44)；数据碰撞运算模块(5)包含两表碰撞模块(51)、单表自碰撞模块(52)、碰撞运算预览模块(53)；分析结果展现模块(7)可分为数据表格展现模块(71)、图表(饼/柱/线图等)展现模块(72)、结果导出EXCEL模块(73)；模型发布模块(9)包括条件发布模块(91)、展现结果发布模块(92)、发布预览模块(93)、模型复用模块(94)。

2.根据权利要求1所述的可拖拽式大数据可视化分析工具系统，其特征在于，所述的拖拽表到画布模块(11)可以是注解过表名及字段注释的表模式，也可以是数据库中的任何表或视图模式，如果这些表或视图没有注释说明，将显示英文名。

3.根据权利要求1所述的可拖拽式大数据可视化分析工具系统，其特征在于，所述的拖拽位置布局模块(12)可以是表模式，也可以是运算关系模式，在拖动这些对象时，之间的连线跟随对象一起移动，当把一张表拖入画布时，采用异步加载数据总量的方式，由于加载数据总量速度较慢，工具先显示数十条数据，在提取到数据总量后再显示总量；为了用户更方便阅读数据总量，根据数量级以“万”、“亿”等单位显示大约数据量。

4.根据权利要求1所述的可拖拽式大数据可视化分析工具系统，其特征在于，所述的字符串过滤模块(21)是对于类型为char、varchar等字符串类型的字段，可以精确匹配模式、模糊匹配模式、精确排除模式、模糊排除模式、大于等于模式、小于等于模式、模板匹配模式；精确匹配模式可以是一个或多个值用英文逗号隔开字符，满足任意一个则符合条件；模糊匹配模式可以是一个或多个值用英文逗号隔开，“*”表示任意字符不定长度、“？”表示任意一位字符，条件中匹配任意一个规则则符合条件；精确排除模式可以是一个或多个用英文逗号隔开的的字符，满足任意一个则不符合条件；模糊排除模式可以是一个或多个用英文逗号隔开，“*”表示任意字符不定长度、“？”表示任意一位字符，条件中匹配任意一个规则则不符合条件；大于等于、小于等于模式用于过滤一个范围内的有效数据；模板匹配模式是一些特殊复合型过滤规则，例如：空值、非空值、大陆身份证、无效/非大陆身份证、有效车牌号、无效车牌号，除这些外，可以根据运用场景在后台定义更多的模板匹配规则；“精确匹配、模糊匹配”、“精确排除、模糊排除”、“大于等于”、“小于等于”、“模板匹配”，五组模式关系之间为且(and)关系；“精确匹配”与“模糊匹配”之间为或(or)关系、“精确排除“与“模糊排除”为且(and)关系。

5.根据权利要求1所述的可拖拽式大数据可视化分析工具系统，其特征在于，所述的数值过滤模块(22)是对于类型为int、number、double等数值型的字段模式；可以等于、不等于、大于、小于、大于等于、小于等于；等于和不等于可以是多个值，用逗号隔开。

6.根据权利要求1所述的可拖拽式大数据可视化分析工具系统，其特征在于，所述的时间过滤模块(23)是对于类型为date、datetime、time等时间型的字段模式，可以是日期范围、时间范围、时段范围、星期、“节假日/非节假日/特定节日”；日期范围需要选择“年月日”，可以选择多组，匹配多个时间范围；时间范围需要选择“年月日时分”，也可以选择多组时间范围，相对日期范围差别在于可以精确到时分；时段范围只选择“时分”，可以选择多组时段范围，表示在其他时间范围的基础上，只匹配此时段数据；星期可选“星期一至星期日”，可以多选；“节假日/非节假日/特定节日”选择后，在过滤时会自动提取出所选日期范围内的对应日期；日期范围与时间范围之间为或(or)关系，其余皆为且(and)关系。

7.根据权利要求1所述的可拖拽式大数据可视化分析工具系统，其特征在于，所述的字典过滤模块(24)，是对于类型为char、varchar等字符串类型的字段模式，除了字符串过滤模块(21)所述的条外，还包含字典匹配模式、字典排除模式；字典过滤模块是指该字段存储的是一些标准编码，为了方便选择，将这些编码翻译成对应的中文名称，用户可以直接勾选这些中文名，无需输入编码值，增强软件易用性。

8.根据权利要求1所述的可拖拽式大数据可视化分析工具系统，其特征在于，所述的手动输入SQL条件过滤模块(25)，是指在其它条件不足以过滤期望数据时，可以自行编写SQL语句作为条件，编写的SQL语句将于其它设定的条件合并执行模式。

9.根据权利要求1所述的可拖拽式大数据可视化分析工具系统，其特征在于，所述的字段扩展模块(3)是指系统已经将一些基础函数做了进一步封装命名，用户无需输入函数并可以实现数据转换，转换模式包括将日期转化为星期、身份证号转化为年龄或性别、车牌号转化为单双号等更贴近实际运用的复合函数模式。

10.根据权利要求1所述的可拖拽式大数据可视化分析工具系统，其特征在于，所述的分组统计模块(41)可支持多个字段分组模式，统计(count)模式、求和(sum)模式、最大值(max)模式、最小值(min)函数模式，在选择统计规则时，能实时预览统计结果，运算结果会产生一张新的临时表，用于快速分页浏览及快速二次运算。

11.根据权利要求1所述的可拖拽式大数据可视化分析工具系统，其特征在于，所述的交叉表统计模块(42)，其交叉表是指在行、列方向都有分组的报表，支持用统计(count)作为值，或者用某一列的求和(sum)作为值；在选择行列时，可以选择一个或多个行，和一个或多个列，在选择过程中实时预览统计结果；运算结果会产生一张新的临时表，用于快速分页浏览。

12.根据权利要求1所述的可拖拽式大数据可视化分析工具系统，其特征在于，所述的报表统计模块(43)，是指除了统计的数据表格模式外，还辅以图表(如：饼图、柱图、折线图、雷达图等)模式展现；报表统计需要选择一个维度和一个度量，在选择过程中实时预览统计数据表格及数据图表。

13.根据权利要求1所述的可拖拽式大数据可视化分析工具系统，其特征在于，所述的运算预览模块(44)，是从源表中提取少量数据样本，按照用户设定的规则运算，将运算结果呈现给用户，这样设计既能让用户直观的看到实际运行的大概效果，又能大幅度提高预览速度。

14.根据权利要求1所述的可拖拽式大数据可视化分析工具系统，其特征在于，所述的两表碰撞模块(51)，是指可以用拖拽连线的方式，将两张表连接起来做关联运算，支持内连接(inner join)、左连接(left join)、右连接(right join)、左排除(排除左侧表中存在的数据)、右排除(排除右侧表中存在的数据)、全连接(full join)、数据合并(unoin)模式；该需要设置关联条件和输出结果字段，关联条件可以选择“＝”、“>＝”、“<＝”、“>”、“<”、“！＝”(不等于)、时间差(秒)、时间差(小时)、时间差(天)，选择时间差时，需要输入时间差范围；数据合并运算无需选择关联条件，对应的字段代表合并成同一列。

15.根据权利要求1所述的可拖拽式大数据可视化分析工具系统，其特征在于，所述的单表自碰撞模块(52)，是指一张表自己与自己关联(join self)模式，在关联时共享设置的过滤条件和扩展字段；关联条件可以选择“＝”、“>＝”、“<＝”、“>”、“<”、“！＝”(不等于)、时间差(秒)、时间差(小时)、时间差(天)，选择时间差时，需要输入时间差范围；在选择输出结果字段时，能实时预览运算结果；运算结果会产生一张新的临时表，用于快速分页浏览及快速二次运算。

16.根据权利要求1所述的可拖拽式大数据可视化分析工具系统，其特征在于，所述的碰撞运算预览模块(53)，是采用提取单表的预览数据，直接作为结果预览列模式，在未做真正的关联运算情况下；既能让用户直观的看到实际运行的大概效果，又能大幅度提高预览速度。

17.根据权利要求1所述的可拖拽式大数据可视化分析工具系统，其特征在于，所述的字典翻译模块(6)，该模块模式是指将原本数据库中存储的代码翻译成可以阅读的中文，字典翻译有两种配置：一种是用一条SQL语句，一种是用JSON数据表达式；字典翻译(6)的配置同时还用在字典过滤(24)功能中。

18.根据权利要求1所述的可拖拽式大数据可视化分析工具系统，其特征在于，所述的分析结果展现模块(7)、其基础展现方式是数据表格模式，报表展现还可以通过图表(如：饼图、柱图、折线图、雷达图等)展现模式，还可以将数据表格导出成EXCEL做其它方面的用途，如：导出的EXCEL分为浏览数据和原始数据，浏览数据会对字典代码进行翻译，方便人阅读；原始数据不对字典进行翻译，主要用于导入到其它平台。

19.根据权利要求1所述的可拖拽式大数据可视化分析工具系统，其特征在于，所述的条件发布模块(91)，可以勾选一些过滤条件作为模型的可变条件，复用此模型的人可以修改此条件；在勾选该条件时，能实时预览条件输入框；如果某条件未被发布为模型的条件，则该条件作为固定条件，无法修改。

20.根据权利要求1所述的可拖拽式大数据可视化分析工具系统，其特征在于，所述的模型复用模块(94)，可以复用别人分享的模型，通过改变过滤条件参数，运算出不一样的结果；模型界面会显示运算的逻辑过程，方便复用者理解模型原理。