CN105786948A - 一种基于gpu的olap系统 - Google Patents

Abstract

本发明涉及一种基于GPU的OLAP系统，包括表示层、OLAP服务器、数据存储层，其中，表示层是为EXCEL作为GPUOLAP的客户端；OLAP服务器是通过EXCEL传递过来的查询请求进行解析，根据CPU和GPU的不同计算特点，分配任务到CPU和GPU，服务器内安装有WRITE‑BACK模块、ETL模块、建模模块以及Caching模块，WRITE‑BACK模块处理对数据的回写请求，ETL模块完成从生产数据中实时获取数据，并转化为系统数据存储格式，建模模块完成数据方体的定义和元数据存储、Caching模块用于缓存用户最近完成的计算结果；数据存储层中的存储信息包括：方体、维、层次及其他属性的元数据信息和基础数据。

Description

一种基于GPU的OLAP系统

技术领域

本发明属于计算机领域，尤其是一种基于GPU的OLAP系统。

背景技术

OLAP是一种重要的数据分析手段，为企业决策提供支持，在理论研究和实际应用中取得了长足的发展。但困扰OLAP在更广更深入范围应用的突出问题是OLAP的性能问题。所有OLAP用户抱怨最多的不是功能，不是易用性，而是性能(Performance)[PST08]。而且随着数据量的不断增长以及用户对性能要求的不断提高，性能问题会变得更加突出。同时，OLAP通常分析的是具有一定时效性的历史数据，已经不能满足当代商业企业对稍纵即逝商机的捕获要求，企业需要分析最新数据而不是历史数据。同时，用户驱动规划型查询(Driver-based planning)变的越来越重要，比如what-if分析，而传统OLAP对此支持不足，而这种查询需要OLAP系统具有实时交互能力。基于上述原因，一些学者提出了实时OLAP(Real-time OLAP)[RTO,RDW]来进一步提高OLAP的性能。Real-time OLAP已成为一个国内外的研究热点。实时联机分析处理面临的主要挑战是实时计算技术及生产数据和OLAP数据实时同步。

在OLAP技术发展的同时，计算机硬件技术发生了重大改变，主要两个特征是大内存和多个计算核心，与此同时随着现代图形处理器(GPU)可编程能力及性能的提高，开发人员希望图形硬件可以解决以前只有通用CPU才能完成的高密集计算任务。

过去十年中，通用CPU技术有了很大进展，但性能提高的速度却越来越慢，单线程程序性能在很大程度上受到了限制。这些限制一方面来自于通用计算程序中过低的指令级并行；另一方面CPU受制于功率墙(Power Wall)、存储墙(Memory Wall)和频率墙(Frequency Wall)，性能很难继续提高。处理器不会越来越快，而是越来越宽。当前设计的处理器中，大部分晶体管被用于制造高速缓存(Cache)，而不是用作计算单元。这样做虽然能把处理器功耗控制在合理的范围内，却阻碍了性能的进一步提高。

与此相反，GPU却有效的利用了数量巨大的晶体管资源。由于游戏玩家对图形显示的苛刻要求，GPU的性能按时间呈几何级数级增长。GPU已经从由若干专用的固定功能单元(Fixed Function Unit)组成的专用并行处理器，进化为了以通用计算资源为主，固定功能单元为辅的架构，称为GPU(General Purpose GPU，通用图形处理器)。研究表明，从1993年开始，GPU的性能以每年2.8倍的速度增长，这大大超过了同期CPU的发展速度。

OLAP作为一类数据和计算密集型应用，可以通过GPU来加速其计算量大、性能要求高的一些操作，这样可以有效地提高OLAP的处理效率，为实现实时OLAP提供有益的探索，于是我们提出了GPUOLAP(Graphic Process Units OLAP)原型系统，但目前尚未发现在其图形处理器(GPU)的应用系统或较为精确的计算方法。

发明内容

本发明的目的在于克服现有技术不足，提供一种实时从生产数据库中提取数据，并转化为系统内部数据的基于GPU的OLAP系统。

本发明采用的技术方案是：

一种基于GPU的OLAP系统，包括表示层、OLAP服务器、数据存储层，其中，表示层是为EXCEL作为GPUOLAP的客户端；OLAP服务器是通过EXCEL传递过来的查询请求进行解析，根据CPU和GPU的不同计算特点，分配任务到CPU和GPU，服务器内安装有WRITE-BACK模块、ETL模块、建模模块以及Caching模块，WRITE-BACK模块处理对数据的回写请求，ETL模块完成从生产数据中实时获取数据，并转化为系统数据存储格式，建模模块完成数据方体的定义和元数据存储、Caching模块用于缓存用户最近完成的计算结果；数据存储层中的存储信息包括：方体、维、层次及其他属性的元数据信息和基础数据。

而且，所述GPUOLAP的元数据存储在CPU端，而方体数据存储在GPU端。

而且，所述维信息的存储是以列数组结构体方式存储。

上述基于GPU的OLAP系统的操作步骤为：

⑴将用户通过EXCEL进行的查询请求封装为系统的API，这部分通过EXCEL插件完成；

⑵OLAP服务器对API进行验证，验证的格式是否规范，各种维及层次信息是否正确；

⑶OLAP服务器对API进行解析，获取对数据的请求；

⑷OLAP服务器判断数据是否存在Caching模块中，如果存在直接返回，否则调用GPU进行处理；

⑸在调用GPU进行处理时，对数据进行过滤；

⑹然后对过滤后的数据进行分组聚集；

⑺将分组聚集的数据结果返回到Caching，进而返回到EXCEL客户端。

而且，步骤⑴所述的查询请求选自上卷，下钻，切块，切面和旋转四个请求之一。

本发明的积极效果及优点是：

本发明提供的基于GPU的OLAP系统，目标在于利用新一代计算机硬件体系结构开发实时OLAP系统，从而全面提高OLAP的效率和应用范围，提供廉价、快捷的商务智能解决方案，主要体现在实时从生产数据库中提取数据，并转化为系统内部数据，完成用户的查询请求。

本发明提供的基于GPU的OLAP系统，通过完成OLAP的常用操作和建模功能，以EXCEL作为GPUOLAP的客户端，方便的展示用户查询结果，同时支持what-if分析，拓展了现有的OLAP系统的功能。

附图说明

图1为本发明中的GPUOLAP的客户端的EXCEL插件的工具栏界面图；

图2为本发明中的GPUOLAP的客户端的EXCEL插件的操作界面图；

图3为本发明的lineorder表存储格式图；

图4为本发明实施例中以SSB中的Q2.2说明GPUOLAP中Roll-up操作中的步骤一的运行过程图；

图5为本发明实施例中以SSB中的Q2.2说明GPUOLAP中Roll-up操作中的步骤二的运行过程图；

图6为本发明实施例中以SSB中的Q2.2说明GPUOLAP中Roll-up操作中的步骤三的运行过程图；

图7为本发明实施例中以SSB中的Q2.2说明GPUOLAP中Roll-up操作中的步骤四的运行过程图；

图8为本发明实施例中以SSB中的Q2.2说明GPUOLAP中Roll-up操作中的步骤五的运行过程图；

图9为本发明实施例中以SSB中的Q2.2说明GPUOLAP中Roll-up操作中的步骤六的运行过程图；

图10为本发明中的Caching模块的Mondrian的缓存数据格式图。

具体实施方式

下面通过附图结合具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

一种基于GPU的OLAP系统，包括表示层、OLAP服务器、数据存储层，其中，表示层是为EXCEL作为GPUOLAP的客户端；OLAP服务器是通过EXCEL传递过来的查询请求进行解析，根据CPU和GPU的不同计算特点，分配任务到CPU和GPU，服务器内安装有WRITE-BACK模块、ETL模块、建模模块以及Caching模块，WRITE-BACK模块处理对数据的回写请求，ETL模块完成从生产数据中实时获取数据，并转化为系统数据存储格式，建模模块完成数据方体的定义和元数据存储、Caching模块用于缓存用户最近完成的计算结果；数据存储层中的存储信息包括：方体、维、层次及其他属性的元数据信息和基础数据，GPUOLAP的元数据存储在CPU端，而方体数据存储在GPU端，维信息的存储是以列数组结构体方式存储。

上述基于GPU的OLAP系统的操作步骤为：

⑴将用户通过EXCEL进行的查询请求(选自上卷，下钻，切块，切面和旋转四个请求之一)封装为系统的API，这部分通过EXCEL插件完成；

⑵OLAP服务器对API进行验证，验证的格式是否规范，各种维及层次信息是否正确；

⑶OLAP服务器对API进行解析，获取对数据的请求；

⑷OLAP服务器判断数据是否存在Caching模块中，如果存在直接返回，否则调用GPU进行处理；

⑸在调用GPU进行处理时，对数据进行过滤；

⑹然后对过滤后的数据进行分组聚集；

⑺将分组聚集的数据结果返回到Caching，进而返回到EXCEL客户端。

具体的描述是：

表示层：为了使系统具有更强的易用性、可操作性，我们选择在商务智能领域应用广泛的EXCEL作为GPUOLAP的客户端，EXCEL作为一种广泛应用的表格处理工具，以其操作简便，功能强大，获得了用户的青睐。但EXCEL具有很多先天不足，EXCEL的优势在于数据展示，但大部分用户使用EXCEL作为数据存储，当数据量较大，文件较多时，就会出现常说的“EXCEL HELL”。但如果为EXCEL在后台添加一个数据管理服务器，则可以克服这些问题，进一步提升EXCEL的性能和易用性。同时，EXCEL具有很强的可编程性，通过VBA或其他插件开发工具，我们可以很容易的扩展EXCEL的功能，使EXCEL成为我们系统的一个前端展示工具，同时又可以利用EXCEL的数据展示功能。本发明初步开发了一个EXCEL插件[L10]，主界面如图1，图2所示。

随着WEB技术的发展，通过WEB方式展示和处理数据可以极大的扩展人们的办公空间，人们可以随时随地的进行日常办公。GPUOLAP也计划支持web方式访问。

OLAP服务器：GPUOLAP的核心部分是一个OLAP Server。将通过EXCEL传递过来的查询请求进行解析，根据CPU和GPU的不同计算特点，分配任务到CPU和GPU。为了更好处理用户驱动规划型查询，WRITE-BACK(回写)模块处理对数据的回写请求。ETL模块完成从生产数据中实时获取数据，并转化为系统数据存储格式。建模模块完成数据方体的定义和元数据存储。

GPUOLAP是一个内存OLAP(In-memory OLAP)，数据常驻内存，这里的内存既包括CPU内存也包括GPU显存。随着计算机硬件的快速发展，内存的价格越来越低而容量越来越大，具有4G或8G的普通台式机已很普及，而高端服务器具有更大的内存。由于不需要存储聚集数据，避免了数据爆炸(Data Explosion)[APJ98]，从而完全可以将企业的核心数据集存储在内存中。64位计算机理论上可以使用更大的内存。目前最新的GPU可以装配4G内存，并且可以通过GPU集群来进一步扩展容量。因此对于中小企业来说，将OLAP的基础数据级存储在GPU是可行的。

GPUOLAP的元数据(Meta data)存储在CPU端(host)，而方体数据存储在GPU端(device)。如果系统采用ROLAP的星型模式，则维表存储在host端，事实表存储在device端。系统采用列存储模式的关系表示。这里我们没有采用MOLAP模型，主要是出于三个方面的考虑：当维数较多和较大时，会造成数组下标越界，而且生成的多维数组非常稀疏；多维数据表示维的层次存在一定困难；MOLAP缺少权威测试数据集。

GPUOLAP的主要存储信息包括：方体、维、层次及其他属性等元数据信息和基础数据。

方体是OLAP的基础，系统中可以存在多个方体，用户可以通过建模工具构建自己的方体。

维表示人们分析数据的方式，也是组成方体的基本元素，可以包含多个层次。每个层次有多个成员。

方体模式文件(Schema File)，定义了系统中方体的信息，及方体包含的维及层次成员等，一个简单的示意模式如下：

系统建模部分主要是根据底层数据存储构建方体，为了方便描述系统的一些功能，我们以SSB(Star Schema Benchmark)[PEO+07]为数据模型。

维信息存储

以列数组结构体方式存储

比如CUSTOMER维可以存储为结构体

层次信息通过模式文件存储和表示。

事实表存储在GPU的全局内存，以列数组方式存储，比如lineorder表存储如图3所示：

查询执行

根据OLAP操作(上卷Roll-up、下钻Drill-down、切块Dicing和切片Slicing)的特点，用户的请求一般可以转化为以下的几种情况。

上卷Roll-up：主要就是聚集操作，类似SQL语言中的Group by操作。

我们以SSB中的Q2.2为例，简单说明GPUOLAP中Roll-up操作的流程。计算完全在原始数据集上进行。

查询描述如下：

select sum(lo_revenue),d_year,p_brand1

from lineorder,date,part,supplier

where lo_orderdate＝d_datekey

and lo_partkey＝p_partkey

and lo_suppkey＝s_suppkey

and p_brand1between'MFGR#2221'and'MFGR#2228'

and s_region＝'ASIA'

group by d_year,p_brand1

order by d_year,p_brand1；

第一步：根据p_brand1between'MFGR#2221'and'MFGR#2228'条件，在part表中获取p_partkey的集合{1114，1587，3631，4378…}。运行过程如图4所示；

第二步：根据s_region＝'ASIA'条件，在supplier表中获取s_suppkey的值的集合{11，12，15，23，26，27，…}，效果如图5所示；

第三步：将两个集合和(datakey，d_year)，(partkey，p_brand1)两个Key-Value表从CPU发送到GPU。这里需要对非整数型字段进行规约化，

比如这里p_brand1是一个字符数据，需要对其进行编码处理。数据转换过程和传输的键值对形式如图6所示；

第四步：启动kernal程序，完成数据过滤，过滤算法近似为，对存储在GPU上的事实表lo_revenue、d_year和p_brand1进行过滤。对p_partkey和s_suppkey两列中的每个元素是否满足要求，如果满足标识位置1，否则置0。然后通过前缀和扫描，获取过滤后的数据。过程如图7所示；

第五步：将过滤后的d_year和p_brand1两列按一定线性化处理。然后排序，前缀扫描，约简等步骤，最终得到结果。过程如图8所示；

第六部：将线性化排序结构逆线性化，并将结果从GPU端传回给CPU端，最终在前端显示，如图9所示，其中，步骤1、2、3、6在host端完成，步骤4、5在device端完成。

通过上述方式，避免了复杂耗时的星型Join操作，同时利用了GPU来进行聚集计算的 能力。

算法主要存在的问题是CPU和GPU之间数据传输量较大，传输的数据包括需要过滤的维信息和查询结果等。而有时这些维信息和查询结果可能很大。

下钻Drill-down是roll-up操作的一种特殊情况。

GPUOLAP将下钻操作转换为roll-up操作。

切块dicing和切片slicing：获取一部分数据。相当于处理where条件。比如如下语句：

Select d_datekey,lo_revenue

from lineorder,supplier

where lo_suppkey＝s_suppkey

and s_region＝'ASIA'；

首先根据条件s_region＝'ASIA'获取对应的s_suppkey的集合；

将上一步得到的集合发送到GPU

每个线程对s_suppkey列的值判断是否在集合中，考虑采用顺序查找或排序后二分法查找；

生成一个位向量，在满足条件的向量对应位置置1，否则置0；

对位向量prefix sum，确定最终结构大小n；

重新启动GPU,并分配2n空间；

将d_datekey,lo_revenue对应标志位为1的放到新空间中。

关于OLAP服务器的各模块的解释：

Caching模块

主要用于缓存用户的查询结果。虽然GPU具有较高的计算效率，但是启动GPU程序及GPU和CPU的数据传输具有较高的代价，所以GPUOLAP通过增加Caching模块，缓存用户最近完成的计算结果，避免重复计算，从而进一步提高GPUOLAP的效率。这种机制应用在许多OLAP系统，比如Mondrian。Mondrian的缓存数据格式如图10所示：

GPUOLAP采用类似于Mondrian的内存数据组织形式。

ETL模块

ETL(Extract-Transform-Load)，即填充、更新数据仓库的数据抽取、转换、装载的过程。在实时OLAP中，要尽量保持OLAP数据和生产数据一致，所以ETL工具尤为重要。因此一些学者提出了实时ETL(Real-time ETL)。但实时ETL是一项非常有挑战性的工作。

实时ETL无论是对生产数据库还是GPUOLAP系统都会产生很大的压力。需要生产数据库实时将新数据发送过来，GPUOLAP实时的处理新数据。

我们处理方式是在CPU的内存中开辟一块内存空间，专门用来存储新增量数据，当执行用户查询时，GPU和CPU同时处理，但操作不同的数据，最后两个结果合并，产生最后结果。

随着增量数据的增大，当数据超过某一阈值，GPUOLAP将增量数据刷新到存储在GPU的基础数据中。

回写(Write-back)模块

随着OLAP向更广更深入的领域应用，简单的分析型查询已不能满足用户决策支持要求的Forecasting、Planning、Budgeting等查询。传统OLAP对数据操作以读为主，数据进行周期性的更新。但用户驱动型规划类查询，需要对数据进行修改，比如What-if分析。因此系统提供了回写模块，允许用户对聚集数据进行实时修改。这些修改数据不实际更新到基础数据集中，而是存储在回写模块中，用户的查询结果由真实结果和用户的回写数据组合给出。

表示层与OLAP服务器的接口

GPUOLAP系统目前暂不实现某一个接口，而采用自己内部数据接口。考虑OLAP4j良好的发展前景。在系统的扩展版本中希望支持OLAP4j标准。

接口函数设计

GPUOLAP提供了API函数方便客户端程序调用。API主要是对常用OLAP操作的封装，主要包括：上卷、下钻、切块、切片和旋转及对What-if假设分析的支持。

Roll-up

Void**Rollup(string*aggfunction,string*measures,string*groupbys,string*orderbys,string*tables,string*where)

参数说明：

Aggfunction：上卷操作对应的聚集函数，比如sum，支持多个

Measures：聚集函数对应的测度字段

Groupbys：分组字段

Orderbys：排序字段

Tables：主要涉及的表

Wheres：主要涉及的WHERE条件包括(＝,>,<,>＝,<＝,between,in)条件之间通过AND连接。

Drill-down

在GPUOLAP系统中不存储聚集数据，通过实时计算获取聚集数据。所以下钻操作是一个上卷操作。

Void**drilldown(string*aggfunction,string*measures,string*drilldown)

参数说明：

Aggfunction：下钻函数

Measures：下钻对应的测度字段

Drilldown：下钻维层次信息，即下钻在那个维的那个层的那个值上进行

Dicing

切块操作就是获取一部分数据，相当于where条件

Void**Dicing(string*measures,string*dimensions1,string*dimensions2)

参数说明：

measures：需要获取的测度字段

dimensions1：切块的维属性组合-下界

dimensions2：切块的维属性组合-上界

Slicing

切片操作是切块操作的特例，切块是在多个维上进行的范围过滤，切片是在一个维上的等值过滤。

Void**Dicing(string*measures,string*dimensions)

参数说明：

measures：需要获取的测度字段

dimensions：切片的维属性组合

尽管为说明目的公开了本发明的实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换、变化和修改都是可能的，因此，本发明的范围不局限于实施例和附图所公开的内容。

Claims (5)

1.一种基于GPU的OLAP系统，其特征在于：包括表示层、OLAP服务器、数据存储层，其中，表示层是为EXCEL作为GPUOLAP的客户端；OLAP服务器是通过EXCEL传递过来的查询请求进行解析，根据CPU和GPU的不同计算特点，分配任务到CPU和GPU，服务器内安装有WRITE-BACK模块、ETL模块、建模模块以及Caching模块，WRITE-BACK模块处理对数据的回写请求，ETL模块完成从生产数据中实时获取数据，并转化为系统数据存储格式，建模模块完成数据方体的定义和元数据存储、Caching模块用于缓存用户最近完成的计算结果；数据存储层中的存储信息包括：方体、维、层次及其他属性的元数据信息和基础数据。

2.根据权利要求1所述的基于GPU的OLAP系统，其特征在于：所述GPUOLAP的元数据存储在CPU端，而方体数据存储在GPU端。

3.根据权利要求1所述的基于GPU的OLAP系统，其特征在于：所述维信息的存储是以列数组结构体方式存储。

4.根据权利要求1所述的基于GPU的OLAP系统，其特征在于：所述基于GPU的OLAP系统的运行步骤为：

⑴将用户通过EXCEL进行的查询请求封装为系统的API，这部分通过EXCEL插件完成；

⑵OLAP服务器对API进行验证，验证的格式是否规范，各种维及层次信息是否正确；

⑶OLAP服务器对API进行解析，获取对数据的请求；

⑷OLAP服务器判断数据是否存在Caching模块中，如果存在直接返回，否则调用GPU进行处理；

⑸在调用GPU进行处理时，对数据进行过滤；

⑹然后对过滤后的数据进行分组聚集；

⑺将分组聚集的数据结果返回到Caching，进而返回到EXCEL客户端。

5.根据权利要求1所述的基于GPU的OLAP系统，其特征在于：步骤⑴所述的查询请求选自上卷，下钻，切块，切面和旋转四个请求之一。