CN107729500A - 一种联机分析处理的数据处理方法、装置及后台设备 - Google Patents
一种联机分析处理的数据处理方法、装置及后台设备 Download PDFInfo
- Publication number
- CN107729500A CN107729500A CN201710986176.2A CN201710986176A CN107729500A CN 107729500 A CN107729500 A CN 107729500A CN 201710986176 A CN201710986176 A CN 201710986176A CN 107729500 A CN107729500 A CN 107729500A
- Authority
- CN
- China
- Prior art keywords
- data
- olap
- data acquisition
- tables
- inquiry request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例涉及数据处理技术领域,尤其涉及一种联机分析处理的数据处理方法、装置及后台设备,用以扩展OLAP的功能,提高OLAP使用的便捷性。本发明实施例中,接收数据查询请求;对所述数据查询请求进行解析;根据所述数据查询请求的解析结果,向数据库发送数据获取请求;根据所述数据库中存储的与所述数据查询请求相关的OLAP表及预定义的各OLAP表之间的关联模式,获取所述数据获取请求的处理结果,所述OLAP表之间的关联模式包括所述OLAP表之间的关联方式和关联条件。
Description
技术领域
本发明涉及通信技术领域,尤其涉及一种联机分析处理的数据处理方法、装置及后台设备。
背景技术
联机分析处理(On-Line Analytical Processing,简称OLAP),是一套以多维度方式分析数据,能弹性地提供积存(Roll-up)、下钻(Drill-down)、和透视分析(pivot)等操作,呈现集成性决策信息的方法,多用于决策支持系统、商务智能或数据仓库。其主要的功能,在于方便大规模数据分析及统计计算,对决策提供参考和支持。
OLAP需以大量历史数据为基础,配合上时间点的差异并对多维度及汇整型的信息进行复杂的分析。也需要用户有主观的信息需求定义,因此系统效率较佳。在大多数情况下OLAP是指多维分析相关,基于立方体(CUBE)计算而进行的分析。
在OLAP数据库中,通常采用星型关联模式和/或雪花型关联模式来进行事实表与维度表的建模。星型关联模式(星型模型)是指一张事实表对应多张单一的维度表,就像星星一样,而雪花型关联模式(雪花型模型)是指一张事实表对应多张维度表,有些维度表又可能指向多张其它的维度表,就像雪花一样。在这两种模式中,需指定出事实表和维度表,且关联方式和关联条件较为单一。
发明内容
本申请提供一种OLAP的数据处理方法、装置及后台设备,用以扩展OLAP的功能,提高OLAP使用的便捷性。
本发明实施例提供的一种OLAP的数据处理方法,包括:
接收数据查询请求;
对所述数据查询请求进行解析;
根据所述数据查询请求的解析结果,向数据库发送数据获取请求;
根据所述数据库中存储的与所述数据查询请求相关的OLAP表及预定义的各OLAP表之间的关联模式,获取所述数据获取请求的处理结果,所述OLAP表之间的关联模式包括所述OLAP表之间的关联方式和关联条件。
可选的,所述OLAP表之间的关联方式,包括以下至少一种:
内连接、左外连接、右外连接、全连接、交叉连接。
可选的,所述OLAP表之间的关联条件,包括以下至少一种:
等于、大于、小于、大于等于、小于等于。
可选的,所述对所述数据查询请求进行解析之后,所述向数据库发送数据获取请求之前,还包括:
将所述数据获取请求发送给缓存层,判断所述缓存层是否存储有所述数据获取请求对应的数据;
若是,则所述缓存层对所述数据获取请求进行处理,否则,将所述数据获取请求发送给所述数据库。
可选的,所述OLAP表之间的关联模式为可扩展标记语言XML格式的文件进行定义;所述数据查询请求为MDX语句。
一种OLAP的数据处理装置,包括:
交互单元,用于接收数据查询请求;
计算单元,用于对所述数据查询请求进行解析;
所述计算单元,还用于根据所述数据查询请求的解析结果,向存储单元发送数据获取请求;
存储单元,用于根据存储的与所述数据查询请求相关的OLAP表及预定义的各OLAP表之间的关联模式,获取所述数据获取请求的处理结果,所述OLAP表之间的关联模式包括所述OLAP表之间的关联方式和关联条件。
可选的,所述OLAP表之间的关联方式,包括以下至少一种:
内连接、左外连接、右外连接、全连接、交叉连接。
可选的,所述OLAP表之间的关联条件,包括以下至少一种:
等于、大于、小于、大于等于、小于等于。
可选的,还包括缓存单元,用于:
接收所述数据获取请求,判断是否存储有所述数据获取请求对应的数据;
若是,则对所述数据获取请求进行处理,否则,将所述数据获取请求发送给所述存储单元。
可选的,所述OLAP表之间的关联模式为可扩展标记语言XML格式的文件进行定义;所述数据查询请求为MDX语句。
一种后台设备,包括:处理器、存储器、收发机、总线接口,其中处理器、存储器与收发机之间通过总线接口连接;
所述处理器,用于读取所述存储器中的程序,执行下列方法:通过所述收发机接收数据查询请求;对所述数据查询请求进行解析;根据所述数据查询请求的解析结果,向所述存储器发送数据获取请求;根据所述存储器中存储的与所述数据查询请求相关的OLAP表及预定义的各OLAP表之间的关联模式,获取所述数据获取请求的处理结果,所述OLAP表之间的关联模式包括所述OLAP表之间的关联方式和关联条件;
所述存储器,用于存储一个或多个可执行程序,可以存储所述处理器在执行操作时所使用的数据;
所述收发机,用于在所述处理器的控制下接收数据查询请求;
所述总线接口,用于提供接口。
可选的,所述OLAP表之间的关联方式,包括以下至少一种:
内连接、左外连接、右外连接、全连接、交叉连接。
可选的,所述OLAP表之间的关联条件,包括以下至少一种:
等于、大于、小于、大于等于、小于等于。
可选的,所述处理器还用于:
将所述数据获取请求发送给缓存层,判断所述缓存层是否存储有所述数据获取请求对应的数据;
若是,则所述缓存层对所述数据获取请求进行处理,否则,将所述数据获取请求发送给所述存储器。
可选的,其特征在于,所述OLAP表之间的关联模式为可扩展标记语言XML格式的文件进行定义;所述数据查询请求为MDX语句。
本发明实施例中,OLAP的后台设备接收到用户发送的数据查询请求,对数据查询请求进行解析,并根据数据查询请求的解析结果,向数据库发送数据获取请求。数据库中存储有OLAP表,各个OLAP表之间的关联模式已被预先定义,其中OLAP表之间的关联模式包括OLAP表之间的关联方式和关联条件。数据库根据数据获取请求对OLAP表进行相应处理,并反馈处理结果。现有技术中,OLAP表之间的关联模式为星型关联模式或雪花型关联模式,需要指定出事实表和维度表,且关联方式和关联条件均已固定,关联方式为内连接(INNERJOIN),关联条件为相等。本发明实施例中OLAP表之间的关联模式为预先定义,可以按需定义表与表之间的关联方式和关联条件,扩展了OLAP的功能,且无需指定事实表和维度表,提高了OLAP使用的便捷性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种OLAP的数据处理方法的流程示意图;
图2为本发明实施例提供的一种OLAP的数据处理装置的结构示意图;
图3为本发明实施例提供的后台设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
OLAP是一种处理多维数据的方法,基于立方体(Cube)计算而进行的分析。Cube是数据分析的关键,它是一种多维结构,包括原始事实数据、维度数据,这些数据聚合允许用户快速进行复杂查询。Cube包含两个基本的概念:维度和度量,Cube的本质即一组维度和度量的集合。
在多维数据库中,保存度量值的详细值或事实的表称为“事实表”。事实表是用来记录具体事件的,包含了每个事件的具体要素,以及具体发生的事情;维度表则是对事实表中事件的要素的描述信息。比如一个事件会包含时间、地点、人物、事件,事实表记录了整个事件的信息,但对时间、地点和人物等要素只记录了一些关键标记,维度表包含事实记录的特性。
事实表里面主要包含两方面的信息:维度和度量。维度是指可指定不同值的对象的描述性属性或特征。例如,地理位置的维度可以包括“纬度”、“经度”或“城市名称”。“城市名称”维度的值可以为“旧金山”、“柏林”或“新加坡”维度的具体描述信息记录在维度表,提供了分类描述,表示一类分析的角度,用户通过维度来分析度量数据。事实表中的维度属性只是一个关联到维度表的键,并不记录具体信息;度量一般都会记录事件的相应数值,比如产品的销售数量、销售额等。
维度表可以看作是用来分析数据的窗口,维度表中包含事实表中事实记录的特性,有些特性提供描述性信息,有些特性指定如何汇总事实表数据,以便为分析者提供有用的信息,维度表包含帮助汇总数据的特性的层次结构。例如,包含产品信息的维度表通常包含将产品分为食品、饮料、非消费品等若干类的层次结构,这些产品中的每一类进一步多次细分,直到各产品达到最低级别。在维度表中,每个表都包含独立于其他维度表的事实特性,例如,客户维度表包含有关客户的数据。维度表中的列字段可以将信息分为不同层次的结构级。维度表包含了事实表中指定属性的相关详细信息,比如,详细的产品,客户属性,存储信息等。维度表中的信息一般是可以分层的,比如时间维的年月日、地域维的省市县等,这类分层的信息就是为了满足事实表中的度量可以在不同的粒度上完成聚合。
一般来说,一个事实表都要和一个或多个维度表相关联,用户在利用事实表创建多维数据集时,可以使用一个或多个维度表。
OLAP的数据库模式都是基于一个事实表、事实表上的维度以及连接到事实表的维度表构建。这是最普通的映射方式,即星型模式(Star Schema)。星型模式中只有一张事实表,有几张维度表直接链接到事实表上。在星形模式中,查询中可能用到的对象只需要与事实表进行不超过一次的连接即可获得。
一个维度可以关联不止一个维度表,只要这些维度表能有良好定义的路径连接到事实表。这样定义维度的方式就是一个雪花型模式(Snow flake Schema)。多张表可能涉及同一个维度,而这个维度直接链接到事实表上。可以把雪花状模式看成是星形模式的一个扩展,它更加规范一点,但是需要连接额外的表才能把所有数据关联起来。
数据库中,关联模式定义了一个多维数据库,该多维数据库中包含一个逻辑模型,并定义了逻辑模型到物理模型的映射。物理模型包含多维数据的存储方式:事实表、维度表及其结构等。逻辑模型包含了用于MDX(Multidimensional Expressions,多维表达式)查询的结构,如立方体、维度、层次、成员、度量等。传统的OLAP表的关联模式只能是星型模式或雪花型模式。其中事实表在中心,维度表围绕事实表,与事实表或者维度表相关联。此外,OLAP表的关联方式默认为INNER JOIN(内连接),无法更改为其它的关联方式,其关联条件也规定为相等,不能为其它非相等的关联条件。
为了解决上述现有技术中OLAP表存在的问题,本发明实施例提供了一种OLAP的数据处理方法。本发明实施例中的方案可以作为一个基础模块部署在各种BI(BusinessIntelligence,商务智能)系统中进行自助式的数据分析,也可以结合人工智能模块进行智能化的数据分析扩展。
如图1所示,本发明实施例提供的OLAP的数据处理方法,包括以下步骤:
步骤101、接收数据查询请求。
步骤102、对所述数据查询请求进行解析。
步骤103、根据所述数据查询请求的解析结果,向数据库发送数据获取请求。
步骤104、根据所述数据库中存储的与所述数据查询请求相关的OLAP表及预定义的各OLAP表之间的关联模式,获取所述数据获取请求的处理结果,所述OLAP表之间的关联模式包括所述OLAP表之间的关联方式和关联条件。
本发明实施例中,OLAP的后台设备接收到用户发送的数据查询请求,对数据查询请求进行解析,并根据数据查询请求的解析结果,向数据库发送数据获取请求。数据库中存储有OLAP表,各个OLAP表之间的关联模式已被预先定义,其中OLAP表之间的关联模式包括OLAP表之间的关联方式和关联条件。数据库根据数据获取请求对OLAP表进行相应处理,并反馈处理结果。现有技术中,OLAP表之间的关联模式为星型关联模式或雪花型关联模式,需要指定出事实表和维度表,且关联方式和关联条件均已固定,关联方式为内连接(INNERJOIN),关联条件为相等。本发明实施例中OLAP表之间的关联模式为预先定义,可以按需定义表与表之间的关联方式和关联条件,扩展了OLAP的功能,且无需指定事实表和维度表,提高了OLAP使用的便捷性。
为了提高数据查询和计算的效率,步骤102对所述数据查询请求进行解析之后,步骤103根据所述数据查询请求的解析结果,向数据库发送数据获取请求之前,还包括:
将所述数据获取请求发送给缓存层,判断所述缓存层是否存储有所述数据获取请求对应的数据;
若是,则所述缓存层对所述数据获取请求进行处理,否则,将所述数据获取请求发送给所述数据库。
具体来说,本发明实施例中将数据获取请求发送给数据库之前,先将该数据获取请求发送给缓存层,由缓存层判断是否可以处理该数据获取请求,或者是否可以通过旋转聚集导出该数据获取请求对应的处理结果。如果可以,缓存层直接对该数据获取请求进行处理,并向用户进行反馈;若不能,即表示缓存层中没有缓存相应的数据,则继续向数据库发送数据获取请求,由数据库对该数据获取请求进行处理。这样,可以提高数据处理的速度和效率,减轻数据库的处理压力。
本发明实施例中不限定OLAP表之中的事实表和维度表,对OLAP表之间的关联方式和关联条件进行预先定义。
其中,关联方式不限定于原有的内连接,本发明实施例中OLAP表之间的关联方式,包括以下至少一种:
内连接、左外连接、右外连接、全连接、交叉连接。
也就是说,可以将两个OLAP表之间的关联方式定义为内连接、左外连接、右外连接、全连接或交叉连接之中的任意一种。
其中,内连接也叫连接,是最早的一种连接,是从结果表中删除与其他被连接表中没有匹配行的所有行。
左外连接的结果集包括指定的左表的所有行,而不仅仅是连接列所匹配的行。如果左表的某行在右表中没有匹配行,则在相关联的结果集行中右表的所有选择列表列均为空值。
右外连接是左外连接的反向连接,即返回右表的所有行。如果右表的某行在左表中没有匹配行,则将为左表返回空值。
全连接返回左表和右表中的所有行。当某行在另一个表中没有匹配行时,则另一个表的选择列表列包含空值。如果表之间有匹配行,则整个结果集行包含表的数据值。
交叉连接返回被连接的两个表所有数据行的笛卡尔积,返回结果集合中的数据行数等于第一个表中符合查询条件的数据行数乘以第二个表中符合查询条件的数据行数。
其次,本发明实施例中的关联条件也不限定于原有的相等条件,OLAP表之间的关联条件,包括以下至少一种:
相等、大于、小于、大于等于、小于等于。
在各种连接中,使用比较运算符进行表间的比较操作,查询与连接条件相匹配的数据。根据比较运算符不同,分为等值连接和不等连接两种。其中,相等为在关联条件中使用等于号运算符比较被连接列的列值,其查询结果中列出被连接表中的所有列,包括其中的重复列。不等连接就是在关联条件使用除等于运算符以外的其它比较运算符比较被连接的列的列值。
在本发明实施例中,两个OLAP表之间的关联条件可以定义为等于、大于、小于、大于等于、小于等于之中的任意一种。
需要指出的是,本发明实施例中上述关联方式和关联条件仅为举例,不做限定,其它数据库中的关联方式和关联条件均在本发明实施例的保护范围之内。
本发明实施例中,OLAP表之间的关联模式为可扩展标记语言XML格式的文件进行定义。下面以一个具体的实施例对XML文件定义关联模式进行说明。
一种现有技术中OLAP表的关联模式定义如下所示,其中Table字段是数据库中物理表的命名和使用,ForeignKeyLink字段表示事实表和维度表之间的关联关系:
上述PhysicalSchema定义了Cube中使用到的一组表,以及它们之间的关系。表与表之间的关系为链接(Link)。PhysicalSchema的目标是将逻辑模式(多维数据集,维度,度量等)与实际数据库隔离。
其中,Table是数据库中物理表的命名和使用,Link定义了事实表和维度表,ForeignKeyLink定义了事实表和维度表之间关联的外键。
此外,通过Columns and calculated columns选择定义元素,定义物理表中没有的列。
Inline table构造允许在模式文件中定义数据集,必须声明列名称,列类型(“String”或“Numeric”)和一组行,必须提供一个唯一的别名来引用数据集。
Query元素通过执行SQL(Structured Query Language,结构化查询语言)语句来定义表。
DimensionLinks,用于定义事实表与维度表之间的链接集合。
FactLink,是当维度表与事实表使用同一个物理表时的声明。
ReferenceLink定义了维度表和维度表之间的关联关系。
在本发明实施例中,OLAP表的关联模式可以通过XML格式文件定义如下:
其中,Table确定了使用到的各个表的名称。AdvancedLink定义了表“earthquakes”与表“dim_date_copy”之间的关联方式是左连接,表“earthquakes”与表“dim_date”之间的关联方式是左连接。LinkCondition定义了表“earthquakes”与表“dim_date_copy”之间的关联条件是相等,表“earthquakes”与表“dim_date”之间的关联条件是相等。
总的来说,本发明实施例中OLAP表关联模式的定义与现有技术中OLAP表关联模式的定义既有相同之处,也有差异。具体如下:
(1)基本定义的保留:
由于只修改并扩展了表之间的关联方式和关联条件,因此PhysicalSchema中其他的基本定义均保留并且可以和本发明实施例中的关联模式整合集成。
(2)关联模式定义的简化:
现有技术中,DimensionLinks是用于定义事实表与维度表之间,以及维度表与维度表之间的链接,在具体实践中有可能与PhysicalSchema中的物理表的关联方式存在重复定义的情况,因此本发明实施例中直接把DimensionLinks字段舍弃,在定义中不区分事实表和维度表,所有表和表之间的关联方式统一在PhysicalSchema的AdvancedLinkGraph中进行定义。
(3)关联模式定义的扩展:
AdvancedLinkGranph用于描述新的关联模式;
AdvancedLink用于描述表与表之间的关联关系,无需指定事实表还是维度表;
LinkCondition用于定义表与表之间的关联条件(可以使用多种关联条件)。
此外,本发明实施例中,数据的查询请求为MDX语句。MDX是一种标准的OLAP查询语言。MDX在很多方面与结构化查询语言语法相似,支持多维对象与数据的定义和操作。在一个MDX语句中,每一个轴(Rows,Columns等)均对应一个由元组(Tuples)组成的集合(Set)。
本发明实施例中,预先通过XML文件对数据库中存储的数据进行建模。之后,用户可以向处理装置发送MDX语句,请求查询数据。处理装置对MDX语句进行解析,并根据XML模型对数据库中的数据进行查询,得出处理结果,向用户反馈。其中,利用MDX对关联模式的执行过程如下:
(1)、解析FROM语句,选定查询的Cube;
(2)、解析WHERE语句,对Cube做切块;
(3)、解析WITH语句中的集合,执行预定义计算;
(4)、解析每一个轴(Rows,Columns,…)上的元组,计算轴上的字段;
(5)、解析非空(NONEMPTY)函数,在轴的交叉点上计算出结果。
本发明实施例还提供了一种OLAP的数据处理装置,如图2所示,包括:
交互单元21,用于接收数据查询请求;
计算单元22,用于对所述数据查询请求进行解析;
所述计算单元22,还用于根据所述数据查询请求的解析结果,向存储单元发送数据获取请求;
存储单元23,用于根据存储的各联机分析处理OLAP表及预定义的各OLAP表之间的关联模式,获取所述数据获取请求的处理结果,所述OLAP表之间的关联模式包括所述OLAP表之间的关联方式和关联条件。
可选的,所述OLAP表之间的关联方式,包括以下至少一种:
内连接、左外连接、右外连接、全连接、交叉连接。
可选的,所述OLAP表之间的关联条件,包括以下至少一种:
等于、大于、小于、大于等于、小于等于。
可选的,还包括缓存单元24,用于:
接收所述数据获取请求,判断是否存储有所述数据获取请求对应的数据;
若是,则对所述数据获取请求进行处理,否则,将所述数据获取请求发送给所述存储单元。
可选的,所述OLAP表之间的关联模式为可扩展标记语言XML格式的文件进行定义;所述数据查询请求为MDX语句。
本发明实施例中,交互单元21有许多方法来展现多维数据,包括数据透视表、饼、柱、线状图等。计算单元22用于分析,验证,执行MDX查询语句,为了效率起见,计算单元22批量将数据查询请求发送到缓存单元24,请求缓存单元24中的转换器允许程序操作存在的请求,而不是为每个请求重新构造MDX请求。
需要说明的是,本发明实施例中,计算单元22和缓存单元24必须在同一个设备或装置中,交互单元21、存储单元23与计算单元22、缓存单元24可以在同一个设备或装置中,也可以不在同一个设备或装置中。
基于相同的原理,本发明实施例还提供了一种后台设备,如图3所示,该后台设备主要包括:处理器31、存储器32,收发机33、总线接口34,其中处理器31、存储器32与收发机33之间通过总线接口34连接;
处理器31,用于读取存储器32中的程序,执行下列方法:通过所述收发机接收数据查询请求;对所述数据查询请求进行解析;根据所述数据查询请求的解析结果,向所述存储器发送数据获取请求;根据所述存储器中存储的与所述数据查询请求相关的联机分析处理OLAP表及预定义的各OLAP表之间的关联模式,获取所述数据获取请求的处理结果,所述OLAP表之间的关联模式包括所述OLAP表之间的关联方式和关联条件;
存储器32,用于存储一个或多个可执行程序,可以存储处理器111在执行操作时所使用的数据;
收发机33,用于在处理器111的控制下接收数据查询请求;
总线接口34提供接口,处理器负责管理总线架构和通常的处理。
其中,在图3中,总线构架可以包括任意数量的互联的总线和桥,具体由处理器31代表的一个或多个处理器和存储器32代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。
可选地,所述OLAP表之间的关联方式,包括以下至少一种:
内连接、左外连接、右外连接、全连接、交叉连接。
可选地,所述OLAP表之间的关联条件,包括以下至少一种:
等于、大于、小于、大于等于、小于等于。
可选地,处理器31还用于:将所述数据获取请求发送给缓存层,判断所述缓存层是否存储有所述数据获取请求对应的数据;若是,则所述缓存层对所述数据获取请求进行处理,否则,将所述数据获取请求发送给所述存储器。
可选地,所述OLAP表之间的关联模式为可扩展标记语言XML格式的文件进行定义;所述数据查询请求为MDX语句。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包括这些改动和变型在内。
Claims (12)
1.一种联机分析处理的数据处理方法,其特征在于,包括:
接收数据查询请求;
对所述数据查询请求进行解析;
根据所述数据查询请求的解析结果,向数据库发送数据获取请求;
根据所述数据库中存储的与所述数据查询请求相关的OLAP表及预定义的各OLAP表之间的关联模式,获取所述数据获取请求的处理结果,所述OLAP表之间的关联模式包括所述OLAP表之间的关联方式和关联条件。
2.如权利要求1所述的方法,其特征在于,所述OLAP表之间的关联方式,包括以下至少一种:
内连接、左外连接、右外连接、全连接、交叉连接。
3.如权利要求1所述的方法,其特征在于,所述OLAP表之间的关联条件,包括以下至少一种:
相等、大于、小于、大于等于、小于等于。
4.如权利要求1所述的方法,其特征在于,所述对所述数据查询请求进行解析之后,所述向数据库发送数据获取请求之前,还包括:
将所述数据获取请求发送给缓存层,判断所述缓存层是否存储有所述数据获取请求对应的数据;
若是,则所述缓存层对所述数据获取请求进行处理,否则,将所述数据获取请求发送给所述数据库。
5.如权利要求1至4任一项所述的方法,其特征在于,所述OLAP表之间的关联模式为可扩展标记语言XML格式的文件进行定义;所述数据查询请求为MDX语句。
6.一种联机分析处理的数据处理装置,其特征在于,包括:
交互单元,用于接收数据查询请求;
计算单元,用于对所述数据查询请求进行解析;
所述计算单元,还用于根据所述数据查询请求的解析结果,向存储单元发送数据获取请求;
存储单元,用于根据存储的与所述数据查询请求相关的OLAP表及预定义的各OLAP表之间的关联模式,获取所述数据获取请求的处理结果,所述OLAP表之间的关联模式包括所述OLAP表之间的关联方式和关联条件。
7.如权利要求1所述的装置,其特征在于,所述OLAP表之间的关联方式,包括以下至少一种:
内连接、左外连接、右外连接、全连接、交叉连接。
8.如权利要求1所述的装置,其特征在于,所述OLAP表之间的关联条件,包括以下至少一种:
等于、大于、小于、大于等于、小于等于。
9.如权利要求1所述的装置,其特征在于,还包括缓存单元,用于:
接收所述数据获取请求,判断是否存储有所述数据获取请求对应的数据;
若是,则对所述数据获取请求进行处理,否则,将所述数据获取请求发送给所述存储单元。
10.如权利要求6至9任一项所述的装置,其特征在于,所述OLAP表之间的关联模式为可扩展标记语言XML格式的文件进行定义;所述数据查询请求为MDX语句。
11.一种后台设备,其特征在于,包括:处理器、存储器、收发机、总线接口,其中处理器、存储器与收发机之间通过总线接口连接;
所述处理器,用于读取所述存储器中的程序,执行权利要求1至6任一项所述的方法;
所述存储器,用于存储一个或多个可执行程序,可以存储所述处理器在执行操作时所使用的数据;
所述收发机,用于在所述处理器的控制下接收数据查询请求;
所述总线接口,用于提供接口。
12.一种非易失性计算机存储介质,所述非易失性计算机存储介质用于存储有计算机可执行指令,所述计算机可执行指令用于使所述计算机执行权利要求1至6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710986176.2A CN107729500B (zh) | 2017-10-20 | 2017-10-20 | 一种联机分析处理的数据处理方法、装置及后台设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710986176.2A CN107729500B (zh) | 2017-10-20 | 2017-10-20 | 一种联机分析处理的数据处理方法、装置及后台设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107729500A true CN107729500A (zh) | 2018-02-23 |
CN107729500B CN107729500B (zh) | 2021-01-05 |
Family
ID=61213000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710986176.2A Active CN107729500B (zh) | 2017-10-20 | 2017-10-20 | 一种联机分析处理的数据处理方法、装置及后台设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107729500B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109408535A (zh) * | 2018-09-28 | 2019-03-01 | 中国平安财产保险股份有限公司 | 大数据量匹配方法、装置、计算机设备及存储介质 |
WO2020187023A1 (zh) * | 2019-03-20 | 2020-09-24 | 跬云(上海)信息科技有限公司 | 数据配置查询方法和装置 |
CN113407587A (zh) * | 2021-07-19 | 2021-09-17 | 北京百度网讯科技有限公司 | 用于联机分析处理引擎的数据处理方法、装置、设备 |
CN113656430A (zh) * | 2021-08-12 | 2021-11-16 | 上海二三四五网络科技有限公司 | 一种批量表数据自动扩充的控制方法及装置 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5940818A (en) * | 1997-06-30 | 1999-08-17 | International Business Machines Corporation | Attribute-based access for multi-dimensional databases |
US6205447B1 (en) * | 1997-06-30 | 2001-03-20 | International Business Machines Corporation | Relational database management of multi-dimensional data |
CN1641637A (zh) * | 2004-01-02 | 2005-07-20 | 联想(北京)有限公司 | 联机分析处理系统及方法 |
CN101799830A (zh) * | 2010-03-25 | 2010-08-11 | 北京国双科技有限公司 | 可实现多维度自由剖析的流量数据处理方法 |
CN102521374A (zh) * | 2011-12-20 | 2012-06-27 | 南京捷梭软件科技有限公司 | 基于关系型联机分析处理的智能数据聚集方法及其系统 |
CN103106188A (zh) * | 2013-02-21 | 2013-05-15 | 用友软件股份有限公司 | 数据模型的图形化分析系统和图形化分析方法 |
CN103324724A (zh) * | 2013-06-26 | 2013-09-25 | 华为技术有限公司 | 数据处理方法及装置 |
CN103886038A (zh) * | 2014-03-10 | 2014-06-25 | 中标软件有限公司 | 数据缓存方法及装置 |
CN103927337A (zh) * | 2014-03-26 | 2014-07-16 | 北京国双科技有限公司 | 用于联机分析处理中关联关系的数据处理方法和装置 |
CN103995879A (zh) * | 2014-05-27 | 2014-08-20 | 华为技术有限公司 | 基于olap系统的数据查询方法、装置及系统 |
CN104182405A (zh) * | 2013-05-22 | 2014-12-03 | 阿里巴巴集团控股有限公司 | 一种连接查询方法及装置 |
CN104933115A (zh) * | 2015-06-05 | 2015-09-23 | 北京京东尚科信息技术有限公司 | 一种多维分析方法和系统 |
CN106126604A (zh) * | 2016-06-20 | 2016-11-16 | 华南理工大学 | 一种基于分布式数据仓库的社保数据联机分析处理系统 |
CN106372114A (zh) * | 2016-08-23 | 2017-02-01 | 电子科技大学 | 一种基于大数据的联机分析处理系统和方法 |
CN106844541A (zh) * | 2016-12-30 | 2017-06-13 | 晶赞广告(上海)有限公司 | 一种联机分析处理方法及装置 |
-
2017
- 2017-10-20 CN CN201710986176.2A patent/CN107729500B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6205447B1 (en) * | 1997-06-30 | 2001-03-20 | International Business Machines Corporation | Relational database management of multi-dimensional data |
US5940818A (en) * | 1997-06-30 | 1999-08-17 | International Business Machines Corporation | Attribute-based access for multi-dimensional databases |
CN1641637A (zh) * | 2004-01-02 | 2005-07-20 | 联想(北京)有限公司 | 联机分析处理系统及方法 |
CN101799830A (zh) * | 2010-03-25 | 2010-08-11 | 北京国双科技有限公司 | 可实现多维度自由剖析的流量数据处理方法 |
CN102521374A (zh) * | 2011-12-20 | 2012-06-27 | 南京捷梭软件科技有限公司 | 基于关系型联机分析处理的智能数据聚集方法及其系统 |
CN103106188A (zh) * | 2013-02-21 | 2013-05-15 | 用友软件股份有限公司 | 数据模型的图形化分析系统和图形化分析方法 |
CN104182405A (zh) * | 2013-05-22 | 2014-12-03 | 阿里巴巴集团控股有限公司 | 一种连接查询方法及装置 |
CN103324724A (zh) * | 2013-06-26 | 2013-09-25 | 华为技术有限公司 | 数据处理方法及装置 |
CN103886038A (zh) * | 2014-03-10 | 2014-06-25 | 中标软件有限公司 | 数据缓存方法及装置 |
CN103927337A (zh) * | 2014-03-26 | 2014-07-16 | 北京国双科技有限公司 | 用于联机分析处理中关联关系的数据处理方法和装置 |
CN103995879A (zh) * | 2014-05-27 | 2014-08-20 | 华为技术有限公司 | 基于olap系统的数据查询方法、装置及系统 |
CN104933115A (zh) * | 2015-06-05 | 2015-09-23 | 北京京东尚科信息技术有限公司 | 一种多维分析方法和系统 |
CN106126604A (zh) * | 2016-06-20 | 2016-11-16 | 华南理工大学 | 一种基于分布式数据仓库的社保数据联机分析处理系统 |
CN106372114A (zh) * | 2016-08-23 | 2017-02-01 | 电子科技大学 | 一种基于大数据的联机分析处理系统和方法 |
CN106844541A (zh) * | 2016-12-30 | 2017-06-13 | 晶赞广告(上海)有限公司 | 一种联机分析处理方法及装置 |
Non-Patent Citations (2)
Title |
---|
LOULL: "【datamining】OLTP,OLAP,维度数据库,事实表,维度表、星形和雪花模式、数据立方体、概念分层", 《 HTTPS://WWW.CNBLOGS.COM/549294286/ARCHIVE/2012/12/12/2815262.HTML》 * |
于敏: "联机分析处理(OLAP)建模方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑 》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109408535A (zh) * | 2018-09-28 | 2019-03-01 | 中国平安财产保险股份有限公司 | 大数据量匹配方法、装置、计算机设备及存储介质 |
CN109408535B (zh) * | 2018-09-28 | 2024-04-09 | 中国平安财产保险股份有限公司 | 大数据量匹配方法、装置、计算机设备及存储介质 |
WO2020187023A1 (zh) * | 2019-03-20 | 2020-09-24 | 跬云(上海)信息科技有限公司 | 数据配置查询方法和装置 |
US11281698B2 (en) | 2019-03-20 | 2022-03-22 | Kuyun (Shanghai) Information Technology Co., Ltd. | Data configuration query method and device |
CN113407587A (zh) * | 2021-07-19 | 2021-09-17 | 北京百度网讯科技有限公司 | 用于联机分析处理引擎的数据处理方法、装置、设备 |
CN113407587B (zh) * | 2021-07-19 | 2023-10-27 | 北京百度网讯科技有限公司 | 用于联机分析处理引擎的数据处理方法、装置、设备 |
CN113656430A (zh) * | 2021-08-12 | 2021-11-16 | 上海二三四五网络科技有限公司 | 一种批量表数据自动扩充的控制方法及装置 |
CN113656430B (zh) * | 2021-08-12 | 2024-02-27 | 上海二三四五网络科技有限公司 | 一种批量表数据自动扩充的控制方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107729500B (zh) | 2021-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10817534B2 (en) | Systems and methods for interest-driven data visualization systems utilizing visualization image data and trellised visualizations | |
US10459940B2 (en) | Systems and methods for interest-driven data visualization systems utilized in interest-driven business intelligence systems | |
CN105683956B (zh) | 密集分组的维度数据 | |
US9798772B2 (en) | Using persistent data samples and query-time statistics for query optimization | |
US10452668B2 (en) | Smart defaults for data visualizations | |
US9934299B2 (en) | Systems and methods for interest-driven data visualization systems utilizing visualization image data and trellised visualizations | |
CN104205039B (zh) | 使用兴趣驱动数据管线进行数据分析的兴趣驱动商业智能系统和方法 | |
CN107729500A (zh) | 一种联机分析处理的数据处理方法、装置及后台设备 | |
US6748394B2 (en) | Graphical user interface for relational database | |
US7668860B2 (en) | Apparatus and method for constructing and using a semantic abstraction for querying hierarchical data | |
CN107193967A (zh) | 一种多源异构行业领域大数据处理全链路解决方案 | |
US20110055250A1 (en) | Method and system for generating and sharing dataset segmentation schemes | |
US10824614B2 (en) | Custom query parameters in a database system | |
JP2003526159A (ja) | 多次元データベースおよび統合集約サーバ | |
US20080288524A1 (en) | Filtering of multi attribute data via on-demand indexing | |
CN106372114A (zh) | 一种基于大数据的联机分析处理系统和方法 | |
US20110055214A1 (en) | Method and System for Pivoting a Multidimensional Dataset | |
CN106372190A (zh) | 实时olap查询方法和装置 | |
CN106708996A (zh) | 用于对关系数据库进行全文搜索的方法及系统 | |
CN105117442B (zh) | 一种基于概率的大数据查询方法 | |
US11803865B2 (en) | Graph based processing of multidimensional hierarchical data | |
CN104050213B (zh) | 包括数据分类的查询处理系统 | |
CN110083605A (zh) | 业务表查询方法、装置、服务器及计算机可读存储介质 | |
CN107357812A (zh) | 一种数据查询方法及装置 | |
WO2015041731A1 (en) | Interest-driven business intelligence systems including segment data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |