CN107704608A - 一种olap多维分析和数据挖掘系统 - Google Patents

Abstract

本发明提出一种OLAP多维分析和数据挖掘系统，具有数据模型、分布式OLAP引擎、OLAP解析引擎、多维分析报表接口、数据挖掘接口和数据可视化工具，数据模型由可视化界面供用户通过拖拽完成数据建模，具有统一的模型配置，系统自动进行模型适配，使数据模型配合内部其他引擎或工具调用；分布式OLAP引擎为OLAP系统提供多维数据模型预处理能力；OLAP解析引擎支持大数据平台和关系型数据库的多维度查询解析引擎，将MDX语句解析为标准的SQL语言；多维分析报表接口和数据挖掘接口具有多维度的数据分析和数据挖掘功能，提供报表分析方法和数据挖掘算法模型；数据可视化工具为多维分析报表接口和数据挖掘接口中的报表分析和数据挖掘提供可视化服务,并提供可视化结果社交分享和图表管理功能。

Description

一种OLAP多维分析和数据挖掘系统

技术领域

本发明涉及一种数据分析和挖掘系统，尤其涉及一种OLAP多维分析和数据挖掘系统。

背景技术

现有技术中的数据分析系统，例如OLAP，其全称为在线联机分析处理，是一种针对多维数据分析查询的解决方案，它使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。然而，如图1所示，现有的OLAP多维分析系统主要由：数据层、应用层和表现层三层结构组成。由于缺乏接口层，系统是封闭的，不能对外提供API接口，导致第三方系统无法与之对接分享数据。

数据层：从常用的关系型数据库，如MySQL，Oracle、SQL Server等数据库中提取数据，但是对于超大规模数据集和Hadoop平台的支持有限。

应用层：通过数据建模，提取数据层的数据，并为OLAP查询引擎提供服务。在数据建模时，一般使用开源建模工具Workbench，但是过于复杂的操作流程影响了用户的体验，降低了使用效率。由于数据层的限制，应用层在实现数据的查询功能时，对中小规模的数据能够做到即时的响应，但是对数据库中存储的海量数据和大数据平台中存储的数据，难以保证查询的实时性。其次，OLAP查询引擎一般使用Mondrian，它用MDX语言实现查询，只支持从关系型数据库中读取数据，但是对大数据平台缺少对接接口而且支持的聚合函数有限。此外，OLAP查询引擎不具有对数据的深度分析和数据挖掘能力。

表现层：以图表的形式对数据进行呈现，仅支持直方图、折线图、散点图和饼图等，面对数据的多样性，不能对数据进行更加直观的展示，如：地理位置信息等需要地图类型图表的支持。

发明内容

本发明提供一种OLAP多维分析和数据挖掘系统。该系统支持PB级别数据量的应用场景，能即时响应用户请求，提供多数据源的对接、类型丰富的图表展示、深度的数据分析和数据挖掘等功能；且具有可拖拽的交互式报表与查询分析能力，还提供标准的SQL接口供第三方系统使用。

本发明提供的一种OLAP多维分析和数据挖掘系统，具有数据模型、分布式OLAP引擎、OLAP解析引擎、多维分析报表接口、数据挖掘接口和数据可视化工具，所述数据模型由可视化界面供用户通过拖拽完成数据建模，具有统一的模型配置，系统自动进行模型适配，使数据模型配合内部其他引擎或工具调用；所述分布式OLAP引擎为OLAP系统提供多维数据模型预处理能力；所述OLAP解析引擎支持大数据平台和关系型数据库的多维度查询解析引擎，将MDX语句解析为标准的SQL语言；所述多维分析报表接口和数据挖掘接口具有多维度的数据分析和数据挖掘功能，提供报表分析方法和数据挖掘算法模型；所述数据可视化工具为多维分析报表接口和数据挖掘接口中的报表分析和数据挖掘提供可视化服务,并提供可视化结果社交分享和图表管理功能

附图说明

图1为本发明的OLAP多维分析系统的系统架构图；

图2为本发明的数据模型构建流程图；

图2-1为可视化拖拽的步骤；

图2-2为数据源配置文件的格式抽取步骤；

图3为本发明的OLAP解析引擎的工作流程图；

图4为本发明的多维分别报表接口的工作流程图；

图5为本发明的数据挖掘可支持的模型；

图6为本发明的可视化工具可支持的图表选择类型。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示为本发明提出的OLAP多维分析系统的系统架构图，包括数据模型构建，分布式OLAP引擎，OLAP解析引擎，多维分析报表接口和数据挖掘接口，多维分析报表接口和数据挖掘接口，数据可视化工具。

分布式OLAP引擎包括元数据引擎、任务模块、存储模块以及应用服务模块等。

所述元数据管理工具是对保存在OLAP引擎当中的所有元数据进行管理，其中包括重要的cube元数据。其它全部组件的正常运作都需以元数据管理工具为基础，包括cube的定义，星状模型的定义、job的信息、job的输出信息、维度的directory信息等等，元数据和cube都存储在hbase中，存储的格式是json字符串，除此之外，还可以选择将元数据存储在本地文件系统。

所述任务模块在于处理所有离线任务，其中包括shell脚本、Java API以及MapReduce任务等等。任务模块对分布式OLAP引擎当中的全部任务加以管理与协调，从而确保每一项任务都能得到切实执行并解决其间出现的故障。

所述储模块负责管理底层存储，特别是cuboid，其以键-值对的形式进行保存。分布式OLAP引擎还能够通过扩展实现对其它键-值系统的支持。

应用服务模块位分布式OLAP引擎应用开发提供服务，可以提供查询、获取结果、触发cube构建任务、获取元数据以及获取用户权限等。

用户把数据放在Hadoop上，通过Hive管理，用户在分布式OLAP引擎中进行数据建模以后，会生成一系列的MapReduce任务获取Cube，获取的Cube最后以K-V的方式存储在HBase中，分析工具发送标准SQL查询,分布式OLAP引擎将它转换成对HBase的Scan，快速查到结果返回给请求。

Cube采用逐层处理的方法，启动N+1轮MapReduce计算。

第一轮读取原始数据，去掉不相关的列，只保留相关的。同时对维度列进行压缩编码；以此处的四维Cube为例，经过第一轮处理获取ABCD组合，也称为Base Cuboid；此后的每一轮MapReduce，输入是上一轮的输出，以重用之前获取的结果，去掉要聚合的维度，得到新的Cuboid。以此往上，直到最后获得所有的Cuboid。

Cube的存储采用星形模型，会先被拉成一张平表，维度dimensions的值拼接在一起，后面接着是Metrics。为了标示这是哪几个维度的组合，会在行的开始加上Cuboid ID。最后，Cuboid ID+dimensions会被用作Rowkey，Metrics会作为Value放到Column中。

查询时，SQL语句被SQL解析器翻译成一个解释计划，从这个计划可以准确知道用户要查哪些表，它们是怎样join起来，有哪些过滤条件等等。分布式OLAP引擎会用这个计划去匹配寻找合适的Cube。

如果找到Cube，这个计划会发送到存储引擎，解析成对存储(默认HBase)相应的Scan操作。Groupby和过滤条件的列，用来找到Cuboid，过滤条件会被转换成Scan的开始和结束值，以缩小Scan的范围；Scan的result，Rowkey会被反向解码成各个dimension的值，Value会被解码成Metrics值

分布式OLAP引擎提供了各种接入方式，如ODBC、JDBC；同时也提供应用服务层API接口，供所有用户的接入使用。

OLAP解析引擎对应用层传递过来的请求进行加工，解析其中的MDX语句，经过解析后的请求将被OLAP引擎所使用，从而做到对多维数据的分析。所述OLAP解析引擎包括会话控制，聚合层，SQL生成器等。

所述数据模型构建具有友好的可视化界面，用户通过简单的拖拽即可完成数据建模；统一的模型配置，系统自动进行模型适配，满足内部其他引擎或工具调用需求。如图2所示数据模型构建流程图，所述数据模型构建是一个建立数据表、配置数据源、加载数据表、选择事实表和维表、选择维度和指标最终建立模型的过程。大数据平台数据源模型建立还包括选择数据计划，并执行建模任务、任务监控和日志管理等功能，以完成模型数据的预处理。

所述数据模型支持多种数据源选择，包含关系型数据库，如MySQL、Oracle等，以及大数据平台的Hive数据仓库。用户在可视化界面上通过拖拽的方式选择维度和指标，可预览原始数据，能够灵活地构建数据模型。可以新建和删除模型，能定时执行建模任务，来完成对增量数据的处理。并具备灵活的调试查询功能，方便对构建的数据模型进行调试。

如图2-1所示为可视化拖拽的步骤，所述拖拽包括对象的定位、对象的抓取、对象的移动和对象实体的识别。具体的实现方式为：步骤1，进行对象的定位，通过鼠标单击处位置的处理，判断其位置是否具有对象，如果有对象，判断该对象是否具有拖动的属性；步骤2，对象抓取，当对象具有可拖动的属性，通过鼠标的点击和保持，保持该对象的持久性，并记录该点的起始位置数据；步骤3，对象的移动处理，抓取后的对象通过鼠标的移动，动态的处理该对象的位置坐标，当释放鼠标，判断该对象最后的位置是否具有放置该对象的容器和属性，如果具有放置的条件，则处理该对象的长、宽、高基本尺寸信息，结合现有的放置点所放置的对象信息，得到放置该对象的位置，通过类似于队列的排列方式，放置该对象，完成对该对象的移动。如果最后的位置不具备放置该对象的容器和属性，则返回起始位置点；步骤4，拖拽后的对象识别，识别该对象中包含的实体，实体类型包括：行的名字、列的名字、指标的名字和数据库表的名字等。在该识别的过程中，每个对象都具有唯一的类型标识，该标识在所有的动作中保持一致，使得前端和后端的能够准确的识别。

针对不同数据源所适配的配置文件不同，为使其格式化和规范化，在前端页面进行配置时该方法能让用户进行统一的配置，而不需针对不同的数据源进行配置。配置过程包括：数据源配置文件的格式抽取、配置文件的格式化处理和配置文件的生成。

对不同的数据源，对数据源的配置文件进行格式抽取。图2-2为数据源配置文件的格式抽取步骤。在搭建该系统时，系统管理员将现有数据源的配置文件上传至后台，后台调用此方法。得到配置文件后，通过行遍历，学习得到配置文件中出现的符号和关键字是否是配置文件的编写规则，然后保留编写规则，去除配置文件中的配置信息。这些配置文件的编写规则形成统一的模板，结合数据源的名字保存在数据库中，在以后的使用中，通过对数据源名字的查找得到数据源配置文件的编写模板。

后台系统在得到用户的配置选项的信息后，需要对数据进行填充，填充到对应的配置文件编写模板中去。数据通过<Key，Value>的方式传递到后台，通过遍历和匹配配置规则模板中对应的关键字，将对应的Value与模板进行填充。最后将填充后的配置文件生成能够被系统使用的配置文件。

所述分布式OLAP引擎为OLAP系统提供支持海量多维数据模型预处理能力。所述分布式OLAP引擎提供对大数据平台数据仓库SQL查询的服务，对PB级别的数据进行处理，具有应对高并发处理的能力。在大数据平台上对大规模数据处理的核心部分为构建数据立方体，并基于数据立方体，提供高效近实时的查询统计功能。所述分布式OLAP引擎用空间换时间，对存储在大数据平台中的海量数据进行预处理，将数据提取、筛选和汇总出来，构建数据立方体并存储。使得上层模块能够直接对结果数据进行查询，避免了对原始数据的操作，从而大大加快了数据处理的速度，减少了响应时间。

所述OLAP解析引擎支持大数据平台和关系型数据库的多维度查询解析引擎，能够将MDX语句解析为标准的SQL语言。OLAP解析引擎为上层接口提供解析访问请求和查询数据的服务和为底层的分布式OLAP引擎或者数据库提供执行语句转换和数据提取的功能。根据配置好的模型，将接口层请求的多维度分析语句翻译成对应的数据库能够执行的语句。此引擎在应对不同数据源和不同类型的数据库时，能够做到很好的适配。如图3所示为OLAP解析引擎的工作流程图，OLAP解析引擎支持关系型数据库作为数据源，诸如MySQL，Oracle和SQLServer等，也支持对接Kylin和Hive等大数据平台类型的数据源。支持JDBC驱动方式查询数据。支持单个事实表构建Schema和星型模型结构，维度和指标支持中文命名，指标支持SUM,MIN,MAX,COUNT,COUNT DISTINCT等聚合函数。通过API获取MDX解析出来的SQL语句。

所述多维分析报表接口和数据挖掘接口具有多维度的数据分析和数据挖掘功能，提供完善的报表分析方法和数据挖掘算法模型。

所述多维分析报表接口具有开放的API接口，方便第三方系统接入。多维分别报表接口的工作流程如图4所示，所述多维分析报表接口可以通过拖拽方法来快速生成报表。报表生成后，通过调用接口中的方法，可对报表数据进行钻取、上卷、切片、切块、旋转、过滤、排序、基本数理统计和数据导出操作，让数据更精准更有意义地呈现给用户。所述对报表数据的钻取为在维的不同层次间，对报表中汇总数据的拆分，得到更细节的报表数据。所述对报表数据的上卷为钻取的逆向操作，对报表中细节的数据和分散的数据进行汇总。所述对报表数据的切片提供选择报表数据中特定的值进行分析。所述对报表数据的切块提供选择报表中特定区间的数据进行分析。所述对报表数据的旋转对报表数据行列互换，重新生成报表数据。所述对报表数据的过滤提供对报表数据过滤的方法，该方法中可进行特定条件的数据过滤，如:大于、小于、等于、前十、后十和文本数据的勾选。所述对报表数据的排序提供对报表数据中数据进行升序或者降序排序。所述对报表数据的数理统计提供对报表数据进行均值、最大值、最小值、中值、方差和标准差处理。所述对报表数据的数据导出：提供对报表数据导出成csv、txt和excel等格式的方法，供下载保存。

所述数据挖掘接口提供对报表数据进行数据挖掘，也可以供第三方系统调用，对输入的数据进行数据挖掘，探索数据的隐含价值。

数据挖掘的过程包括数据的获得、加工、处理和结果呈现。通过对已写入缓存的数据进行提取，得到用户选定的多维分析的数据；得到用户选定的多维分析的数据后，对数据集合中的数据进行遍历提取，提取数据中符合数据挖掘的部分。遍历数据时对需要进行数据挖掘的数据进行定位，定位采用坐标定位规则。对行坐标的提取，先获取列中最低层目标所在的行数，再获取两目标间行间隔的大小，从而在遍历时，对列上的数据能够做到精确的定位；精确提取数据后，满足数据挖掘的要求和格式的数据将被用来进行处理。数据的处理采用两种方式进行。前端处理旨在针对数据量小，能够满足即时的数据处理和数据处理的能力，该方式能够直接对加工后的数据直接进行数据的处理。后台处理，在数据量较大的情况下，往往采用后台处理的方式。在于后台进行通信时，为了提升通信效率，较少网络开支，加工后的数据不会传到后台。此时，将用户选择的目标数据的行、列、指标传入，通过对数据库的重新查找，得到相应的处理数据。后台系统将新建一个线程满足该数据挖掘的处理。如遇到大规模数据集，该系统将调用处理机集群，为该处理提供服务。在后台处理的同时，系统会有一个专门处理管理线程，通过对处理步骤和处理量的综合处理，得出任务完成情况比例和剩余时间，从而达到对处理完成情况进行监控，此时用户能够在前端对该任务进行跟踪。

如图5所示为数据挖掘可支持的模型，所述数据挖掘接口提供了分类、聚类、回归、预测等模型接口，每个算法模型接口下包含多种数据挖掘算方式。所述数据挖掘接口具有能够根据数据的类型，调用最适合的数据挖掘模型接口。某些模型接口可自定义参数的范围来满足特定应用场景的需求。并具有交互性数据挖掘模块，对于特定的模型实现方法，比如：Kmean聚类和多项式回归等，可以通过配置参数调试数据挖掘的结果。具有数据挖掘结果管理功能，使数据挖掘后的结果可以方便的通过图片形式供用户下载保存。

所述数据可视化工具为多维分析报表接口和数据挖掘接口中的报表分析和数据挖掘提供可视化服务,进行图表选择、智能图表适配、可视化图表管理、数据探针微显功能和图表社交分享。

图表展示是支持不同图形的显示，每一个图形以对象的形式存在，对对象中不同属性的赋值和设定，能够做到对2D、2.5D和3D图形的渲染。该方法中涉及到数据的处理、图表的处理和图表的生成。需要进行图表显示的数据主要来源于对后台进行请求得到的数据，通过遍历数据和分析数据结构，需要将数据处理成为图表所需要的数据。点集数据集是该图表唯一兼容的数据集，点集数据在2D图形绘制时处理形成(X,Y)形式的数据，在3D图形绘制时处理形成(X,Y,Z)形式的数据。通过遍历得到数据中的字段辨别其中的行数据和列数据通过两两组合拼接形成集合。图表的处理采用数据绘制图表的方式，通过构建虚拟绘画平面，提取选定图表的模板，将数据填充进模板中，形成图表最初的模型。对形成的模型进行相应的属性添加和主题渲染，使其具备美观、可读和易读性功能。

如图6所示为可视化工具支持的图表选择类型，所述数据可视化工具提供了基本的图表展示功能，如：折线图、柱状图、散点图和饼图等。同时支持仪表盘、漏斗图、雷达图、瀑布图、堆积图、面积图；多样性的2.5D数据可视化模型，如2.5D柱形图、2.5D饼图、2.5D堆积图和2.5D环形图；3D数据可视化模型，3D柱形图、3D散点图；以及地图类图表可视化模型。智能图表适配模块通过对报表数据的分析，能够根据数据的类型适配可视化模型，能够精确和直观的呈现数据形态。比如：针对地理位置信息的数据，系统将为其适配地图类图表来对数据进行直观的呈现。可视化工具可将数据可视化后的图表结果将保存在用户的管理界面中，同时后台保存相应的参数配置，方便用户再次查看编辑该图表。可视化工具针对密集型数据和数据量大的情况，合理的呈现数据。可视化系统支持对图表局部放大，以此来增加数据间的间隔，从而实现精确定位数据和显示数据的功能。可视化工具通过多种方式把当前报表分析图表和数据挖掘可视化结果保存下来，分享给其他人，且对所有用户开放查看报表分析图表和数据挖掘结果图表；如目标用户拥有该平台的账户，该用户可在登陆后，对报表进行编辑、加工或重新制作，从而达到不同用户间协同工作的目的。支持邮件发送、微信、QQ等分享。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种OLAP多维分析和数据挖掘系统，其特征在于，具有数据模型、分布式OLAP引擎、OLAP解析引擎、多维分析报表接口、数据挖掘接口和数据可视化工具，所述数据模型由可视化界面供用户通过拖拽完成数据建模，具有统一的模型配置，系统自动进行模型适配，使数据模型配合内部其他引擎或工具调用；所述分布式OLAP引擎为OLAP系统提供多维数据模型预处理能力；所述OLAP解析引擎支持大数据平台和关系型数据库的多维度查询解析引擎，将MDX语句解析为标准的SQL语言；所述多维分析报表接口和数据挖掘接口具有多维度的数据分析和数据挖掘功能，提供报表分析方法和数据挖掘算法模型；所述数据可视化工具为多维分析报表接口和数据挖掘接口中的报表分析和数据挖掘提供可视化操作,并提供可视化结果社交分享和图表管理功能。

2.如权利要求1所述的方法，其特征在于，所述数据模型构建的过程的前后顺序为：建立数据表、配置数据源、加载数据表、选择事实表和维表、选择维度和指标最终建立模型；所述数据源包括关系型数据库以及大数据平台的Hive数据仓库。

3.如权利要求2所述的方法，其特征在于，针对不同数据源所适配的配置文件不同，为使其格式化和规范化，在前端页面进行配置时该方法能让用户进行统一的配置，而不需针对不同的数据源进行配置，配置的步骤包括：步骤1，数据源配置文件的格式抽取；步骤2，配置文件的格式化处理；步骤3，配置文件的生成。

4.如权利要求1所述的方法，其特征在于，所述分布式OLAP引擎在大数据平台上构建数据立方体对大规模数据处理，并基于数据立方体，提供实时的查询统计，对存储在大数据平台中的大规模数据进行预处理，将数据进行提取、筛选和汇总，构建数据立方体并存储，供上层模块直接对结果数据进行查询。

5.如权利要求1所述的方法，其特征在于，所述多维分析报表接口可以通过拖拽来快速生成报表，报表生成后，通过调用接口中的方法，可对报表数据进行钻取、上卷、切片、切块、旋转、过滤、排序、基本数理统计和数据导出操作，让数据更精准更有意义地呈现给用户。所述对报表数据的钻取为在维的不同层次间，对报表中汇总数据的拆分，得到更细节的报表数据，所述对报表数据的上卷为钻取的逆向操作，对报表中细节的数据和分散的数据进行汇总，所述对报表数据的切片提供选择报表数据中特定的值进行分析，所述对报表数据的切块提供选择报表中特定区间的数据进行分析，所述对报表数据的旋转对报表数据行列互换，重新生成报表数据，所述对报表数据的过滤对报表数据过滤，进行特定条件的数据过滤，包括对调节为：大于、小于、等于、前十、后十和文本数据的勾选，所述对报表数据的排序对报表数据中数据进行升序或者降序排序，所述对报表数据的数理统计提供对报表数据进行均值、最大值、最小值、中值、方差和标准差的处理，所述对报表数据的数据导出对报表数据导出成csv、txt和excel等格式，供下载和保存。

6.如权利要求5所述的方法，所述拖拽的过程包括对象的定位、对象的抓取、对象的移动和对象实体的识别，拖拽的具体步骤为为：步骤1，通过鼠标单击处位置的计算，判断其位置是否具有对象，如果有对象，判断该对象是否具有拖动的属性；步骤2，当对象具有可拖动的属性，通过鼠标的点击和保持，保持该对象的持久性，并记录该点的起始位置数据；步骤3，抓取后的对象通过鼠标的移动，动态的计算该对象的位置坐标，当释放鼠标，判断该对象最后的位置是否具有放置该对象的容器和属性，如果具有放置的条件，则计算该对象的长、宽、高基本尺寸信息，结合现有的放置点所放置的对象信息，得到放置该对象的位置，通过类似于队列的排列方式，放置该对象，完成对该对象的移动，如果最后的位置不具备放置该对象的容器和属性，则返回起始位置点；步骤4，拖拽后的对象需进行识别，识别该对象中包含的实体，实体类型包括：行的名字、列的名字、指标的名字和数据库表的名字等，在该识别的过程中，每个对象都具有唯一的类型标识，该标识在所有的动作中保持一致，使得前端和后端的能够准确的识别。

7.如权利要求1所述的方法，其特征在于，所述数据挖掘接口提供了分类、聚类、回归和预测模型的接口，每个预测模型接口下包含多种数据挖掘方式的实现，所述数据挖掘接口能够根据数据的类型，调用最适合的数据挖掘模型接口，并可以通过配置参数调试数据挖掘的结果，所述模型包括Kmean聚类和多项式回归。

8.如权利要求1所述的方法，其特征在于，所述可视化工具提供基本的图表展示功能，2.5D数据可视化模型和3D数据可视化模型，对报表数据的分析，系统能够根据数据的类型适配可视化模型呈现数据形态，数据可视化后的图表结果保存在用户的管理界面中，同时后台保存相应的参数配置，对图表局部放大，增加数据间的间隔，通过多种方式把当前报表分析图表和数据挖掘可视化结果保存在网络上。