CN104462430B - 关系型数据库的数据处理方法及装置 - Google Patents

Abstract

本发明提供了一种关系型数据库的数据处理方法及装置。该方法包括：获取关系型数据库中存储数据的维度属性；将维度属性保存入维度表；从维度表中读取维度属性的主键；按照主键检索关系型数据库中维度属性的存储区域值；保存主键和存储区域值的映射关系至维度表。通过保存主键和存储区域值的映射关系，可以在一定程度上解决相关技术中ROLAP模式下需查询每个分区而导致的效率低的问题，避免了手动写slice的麻烦，提高了ROLAP下MDX查询效率。

Description

关系型数据库的数据处理方法及装置

技术领域

本发明涉及互联网领域，具体而言，涉及一种关系型数据库的数据处理方法及装置。

背景技术

随着Sql Server数据库查询性能的不断提升，在联机分析处理(OnlineAnalytical Processing，简称为OLAP)领域中，关系型联机分析处理(Relational OnlineAnalytical Processing，简称为ROLAP)存储方案开始变得越来越流行。在ROLAP模式中，数据是高实时性的，关系型数据库中的数据无需被Process到多维数据集里，OLAP使用者的多维表达式(Multi-Dimensional expressions，简称为MDX)查询语句会通过OLAP服务器转换成Sql语句，直接从关系数据库里获取所需数据。能否为OLAP服务器提供足够的信息，以将MDX转换成高效的Sql查询，将很大程度上影响ROLAP模式下的查询性能。

在ROLAP模式下，若通过sql为多维数据集设定分区，那么，当执行一条MDX查询的时候，很可能会去查询每个分区。原因是，若通过关系数据库中某个维度表主键来划分分区，即使通过该维度表中的属性去查询多维数据集，由于OLAP引擎中不存在关系型数据库的数据，导致OLAP引擎也无法知晓该维度属性所对应的维度主键是多少，从而需要查询每个分区。

针对相关技术中ROLAP模式下需查询每个分区而导致的效率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种关系型数据库的数据处理方法及装置，以在一定程度上解决相关技术中ROLAP模式下需查询每个分区而导致的效率低的问题。

为了实现上述目的，根据本发明实施例的一个方面，提供了一种关系型数据库的数据处理方法。根据本发明的关系型数据库的数据处理方法包括：获取关系型数据库中存储数据的维度属性；将所述维度属性保存入维度表；从所述维度表中读取所述维度属性的主键；按照所述主键检索所述关系型数据库中所述维度属性的存储区域值；保存所述主键和所述存储区域值的映射关系至所述维度表。

进一步地，在从所述维度表中读取所述维度属性的主键之后，所述数据处理方法还包括：将所述主键作为分区键；生成携带有所述分区键和所述维度属性的第一指令；将所述第一指令发送至所述关系型数据库。

进一步地，按照所述主键检索所述关系型数据库中所述维度属性的存储区域值包括：从接收到的所述第一指令中提取所述分区键和所述维度属性；在所述关系型数据库中检索所述维度属性的存储区域值；生成所述分区键与所述存储区域值的所述映射关系。

进一步地，在保存所述主键和所述存储区域值的映射关系至所述维度表之后，所述数据处理方法还包括：接收数据查询请求，其中，所述数据查询请求中携带有请求查询的维度属性；从所述维度表中读取所述维度属性对应的主键；按照所述映射关系确定所述主键对应的所述存储区域值；从所述存储区域值指示的区域内读取请求查询的事实数据。

进一步地，在接收数据查询请求之后，所述数据处理方法还包括：从所述查询请求中解析出所述维度属性；从所述存储区域值指示的区域内读取请求查询的事实数据包括：生成携带有所述存储区域值的查询指令，使用所述查询指令在所述关系型数据库中与所述存储区域值对应的区域中查询所述事实数据。

为了实现上述目的，根据本发明实施例的另一方面，提供了一种关系型数据库的数据处理装置。根据本发明的关系型数据库的数据处理装置包括：获取模块，用于获取关系型数据库中存储数据的维度属性；第一保存模块，用于将所述维度属性保存入维度表；第一读取模块，用于从所述维度表中读取所述维度属性的主键；检索模块，用于按照所述主键检索所述关系型数据库中所述维度属性的存储区域值；第二保存模块，用于保存所述主键和所述存储区域值的映射关系至所述维度表。

进一步地，所述数据处理装置还包括：生成模块，用于在从所述维度表中读取所述维度属性的主键之后，将所述主键作为分区键，生成携带有所述分区键和所述维度属性的第一指令；发送模块，用于将所述第一指令发送至所述关系型数据库。

进一步地，所述检索模块包括：提取单元，用于从接收到的所述第一指令中提取所述分区键和所述维度属性；检索单元，用于在所述关系型数据库中检索所述维度属性的存储区域值；第一生成单元，用于生成所述分区键与所述存储区域值的所述映射关系。

进一步地，所述数据处理装置还包括：接收模块，在保存所述主键和所述存储区域值的映射关系至所述维度表之后，用于接收数据查询请求，其中，所述数据查询请求中携带有请求查询的维度属性；第二读取模块，用于从所述维度表中读取所述维度属性对应的主键；确定模块，用于按照所述映射关系确定所述主键对应的所述存储区域值；第三读取模块，用于从所述存储区域值指示的区域内读取请求查询的事实数据。

进一步地，所述数据处理装置还包括：解析模块，在接收数据查询请求之后，用于从所述查询请求中解析出所述维度属性；所述第三读取模块包括：第二生成单元，用于生成携带有所述存储区域值的查询指令；查询单元，用于使用所述查询指令在所述关系型数据库中与所述存储区域值对应的区域中查询所述事实数据。

根据发明实施例，通过获取关系型数据库中存储数据的维度属性；将所述维度属性保存入维度表；从所述维度表中读取所述维度属性的主键；按照所述主键检索所述关系型数据库中所述维度属性的存储区域值；保存所述主键和所述存储区域值的映射关系至所述维度表的方式，在一定程度上解决相关技术中ROLAP模式下需查询每个分区而导致的效率低的问题，避免了手动写slice的麻烦，提高了ROLAP下MDX查询效率。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的关系型数据库的数据处理方法的流程图；

图2是根据本发明实施例的关系型数据库的数据处理装置的示意图；

图3是根据本发明可选实施例的关系型数据库的数据处理方法的原理示意图；

图4是根据本发明可选实施例的关系型数据库的数据处理方法的流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供了一种关系型数据库的数据处理方法。

图1是根据本发明实施例的关系型数据库的数据处理方法的流程图。如图1所示，该关系型数据库的数据处理方法包括步骤如下：

步骤S102，获取关系型数据库中存储数据的维度属性；

步骤S104，将维度属性保存入维度表；

步骤S106，从维度表中读取维度属性的主键；

步骤S108，按照主键检索关系型数据库中维度属性的存储区域值；

步骤S110，保存主键和存储区域值的映射关系至维度表。

上述各个步骤，通过获取关系型数据库中存储数据的维度属性；将维度属性保存入维度表；从维度表中读取维度属性的主键；按照主键检索关系型数据库中维度属性的存储区域值；保存主键和存储区域值的映射关系至维度表。通过从维度表中读取维度属性的主键，可以利用上述的映射关系获取对应的分区，从相应的分区中检索数据，而无需从数据库的所有分区中查找数据，从而可以在一定程度上解决相关技术中ROLAP模式下需查询每个分区而导致的效率低的问题，提高了ROLAP下MDX查询效率。

其中，上述的ROLAP联机分析处理(OLAP)的一种，它对存储在关系数据库(而非多维数据库)中的数据作动态多维分析。MDX为数据库的查询语句，多维表达式(multi-dimensional expressions)的英文缩写词，是一种编程语言语法，支持多维对象与数据的定义和操作。

在一个可选的实施例中，步骤S106之后，本发明的数据处理方法还包括：将主键作为分区键；生成携带有分区键和维度属性的第一指令；将第一指令发送至关系型数据库。从而可以将分区键和维度属性发送至关系数据库，避免了手动写slice的麻烦。

在一个可选的实施例中，步骤S108按照主键检索关系型数据库中维度属性的存储区域值，可以根据如下方式实现：从接收到的第一指令中提取分区键和维度属性；在关系型数据库中检索维度属性的存储区域值；生成分区键与存储区域值的映射关系。通过获取第一指令中的分区键和维度属性，从而可以在关系型数据库中根据第一指令找出相应的分区，在相应的分区中进行检索，提高了检索效率，实现了按照主键检索关系型数据库中维度属性的存储区域值。

在一个可选的实施例中，步骤S110保存主键和存储区域值的映射关系至维度表之后，本发明的数据处理方法还可以包括：接收数据查询请求，其中，该数据查询请求中携带有请求查询的维度属性；从维度表中读取维度属性对应的主键；按照映射关系确定主键对应的存储区域值；从存储区域值指示的区域内读取请求查询的事实数据。从而可以直接根据预先存储的映射关系，找到需要查询的事实数据，节省了查询时间，提高了查询效率。

在一个上述可选的实施例中，在接收数据查询请求之后，该可选实施例还可以包括：从查询请求中解析出维度属性，从而可以从查询请求中获得维度属性信息，再根据映射关系中维度属性对应的主键，利用分区检索要查询的数据。此外，该可选实施例中从存储区域值指示的区域内读取请求查询的事实数据，可以根据如下方式实现：生成携带有存储区域值的查询指令，使用查询指令在关系型数据库中与存储区域值对应的区域中查询事实数据。从而可以根据查询指令中的存储区域值，直接在相应的存储区域查询事实数据，节省了查询时间，提高了查询效率。

本发明实施例还提供了一种关系型数据库的数据处理装置。该装置可以通过各个模块及单元实现其功能。需要说明的是，本发明实施例的关系型数据库的数据处理装置可以用于执行本发明实施例所提供的关系型数据库的数据处理方法，本发明实施例的关系型数据库的数据处理方法也可以通过本发明实施例所提供的关系型数据库的数据处理装置来执行。

图2是根据本发明实施例的关系型数据库的数据处理装置的示意图。如图2所示，该装置包括：

获取模块20，用于获取关系型数据库中存储数据的维度属性；

第一保存模块22，用于将维度属性保存入维度表；

第一读取模块24，用于从维度表中读取维度属性的主键；

检索模块26，用于按照主键检索关系型数据库中维度属性的存储区域值；

第二保存模块28，用于保存主键和存储区域值的映射关系至维度表。

上述各个模块，利用获取模块20获取关系型数据库中存储数据的维度属性；第一保存模块22将维度属性保存入维度表；第一读取模块24从维度表中读取维度属性的主键；检索模块26按照主键检索关系型数据库中维度属性的存储区域值；第二保存模块28保存主键和存储区域值的映射关系至维度表，通过第一读取模块24从维度表中读取维度属性的主键，可以利用上述的映射关系获取对应的分区，从相应的分区中检索数据，而无需从数据库的所有分区中查找数据，从而可以在一定程度上解决相关技术中ROLAP模式下需查询每个分区而导致的效率低的问题，提高了ROLAP下MDX查询效率。

在一个可选的实施例中，数据处理装置还可以包括：生成模块，在从维度表中读取维度属性的主键之后，用于将主键作为分区键，生成携带有分区键和维度属性的第一指令；发送模块，用于将第一指令发送至关系型数据库。从而可以将分区键和维度属性发送至关系数据库，避免了手动写slice的麻烦。

在一个可选的实施例中，检索模块26包括：提取单元，用于从接收到的第一指令中提取分区键和维度属性；检索单元，用于在关系型数据库中检索维度属性的存储区域值；第一生成单元，用于生成分区键与所述存储区域值的所述映射关系。通过提取单元获取第一指令中的分区键和维度属性，从而检索单元可以在关系型数据库中根据第一指令找出相应的分区，在相应的分区中进行检索，提高了检索效率，实现了按照主键检索关系型数据库中维度属性的存储区域值。

在一个可选的实施例中，数据处理装置还可以包括：接收模块，在保存主键和存储区域值的映射关系至维度表之后，用于接收数据查询请求，其中，该数据查询请求中携带有请求查询的维度属性；第二读取模块，用于从维度表中读取维度属性对应的主键；确定模块，用于按照映射关系确定主键对应的存储区域值；第三读取模块，用于从存储区域值指示的区域内读取请求查询的事实数据。从而可以直接根据预先存储的映射关系，找到需要查询的事实数据，节省了查询时间，提高了查询效率。

在一个可选的实施例中，数据处理装置还可以包括：解析模块，在接收数据查询请求之后，用于从查询请求中解析出维度属性，从而可以从查询请求中获得维度属性信息，再根据映射关系中维度属性对应的主键，利用分区检索要查询的数据。

此外，在一个可选的实施例中，第三读取模块可以采取如下单元实现：第二生成单元，用于生成携带有存储区域值的查询指令；查询单元，用于使用查询指令在关系型数据库中与存储区域值对应的区域中查询事实数据。从而可以根据查询指令中的存储区域值，直接在相应的存储区域查询事实数据，节省了查询时间，提高了查询效率。

本实施例中所提供的各个模块与方法实施例对应步骤所提供的使用方法相同、应用场景也可以相同。当然，需要注意的是，上述模块涉及的方案可以不限于上述实施例中的内容和场景，且上述模块可以运行在计算机终端或移动终端，可以通过软件或硬件实现。

从以上的描述中，可以看出，本发明实现了如下技术效果：在ROLAP模式下，自动为分区生成slice(即映射关系)，免去了用户手动去为每个分区指定slice的麻烦，提高了ROLAP模式下的查询效率。通过保存映射关系，可以直接对相应区域进行检索，进一步减少了查询时间。

下面结合具体的应用环境，对本发明的关系型数据库的数据处理方法进行描述。

图3是根据本发明可选实施例的关系型数据库的数据处理方法的原理示意图，如图3所示，根据事实数据的某个外键进行分区，该外键对应某维度表DimA的主键。DimA包含主键和属性SA。当MDX查询时，若通过属性SA来查询，在相关技术中，由于OLAP中没有sql数据，导致无法知道SA对应的主键值是多少，也就没法利用分区了。而本发明的关系型数据库的数据处理方法就是去自动指定该映射(slice的实质就是该映射)，也就是红色部分的映射，这样，就可以根据MDX指定的属性来直接定位分区了。

其中，sql：结构化查询语言(Structured Query Language)简称SQL()，结构化查询语言是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。

图4是根据本发明可选实施例的关系型数据库的数据处理方法的流程图，如图4所示，该方法包括如下步骤：

步骤S402，选择一个维度属性作为slice属性；

该维度属性在MDX中最常被作为查询条件。也就是图3中Slice属性SA。图3中，SA的值包括A、B、C。

步骤S404，指定slice属性所在维度的主键作为分区键，根据该分区键，生成sql分区语句，并生成相应xmla命令；

图3中，主键的值包括1、2和3，每个值对应一个分区的值，即外键的值1、2和3。

步骤S406，根据分区键，检索关系型数据库，获得分区键对应的slice属性的值，并生成相应xmla命令；

在图3中，这步的作用就是指定A->1，B->2，C->3的映射，该映射就是Slice。

步骤S408，把slice属性的xmla命令添加到分区的xmla命令中；

步骤S410，向SSAS发送并执行xmla命令。其中的xmla命令为关系型数据库与数据分析系统之间的指令。

其中，SSAS为数据分析系统。

经过上述各个步骤后，假如一个MDX查询通过SA属性作为过滤条件，比如指定SA属性值为B，那么就会直接从事实数据的分区2里检索数据。而在原来没指定slice的情况下，虽然查询中指定了SA属性值为B，依然会从三个分区里去检索相应数据。

在本发明中的步骤S406中，根据分区键，去数据库里自动获得slice属性的值，根据该值来生成分区的slice。这种方式下，生成的slice可以提升ROLAP下的MDX查询效率，又避免了手动写slice的麻烦。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、移动终端、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种关系型数据库的数据处理方法，其特征在于，包括：

获取关系型数据库中存储数据的维度属性；

将所述维度属性保存入维度表；

从所述维度表中读取所述维度属性的主键；

按照所述主键检索所述关系型数据库中所述维度属性的存储区域值；

保存所述主键和所述存储区域值的映射关系至所述维度表；

在保存所述主键和所述存储区域值的映射关系至所述维度表之后，所述数据处理方法还包括：

接收数据查询请求，其中，所述数据查询请求中携带有请求查询的维度属性；

从所述维度表中读取所述维度属性对应的主键；

按照所述映射关系确定所述主键对应的所述存储区域值；

从所述存储区域值指示的区域内读取请求查询的事实数据。

2.根据权利要求1所述的数据处理方法，其特征在于，在从所述维度表中读取所述维度属性的主键之后，所述数据处理方法还包括：

将所述主键作为分区键；

生成携带有所述分区键和所述维度属性的第一指令；

将所述第一指令发送至所述关系型数据库。

3.根据权利要求2所述的数据处理方法，其特征在于，按照所述主键检索所述关系型数据库中所述维度属性的存储区域值包括：

从接收到的所述第一指令中提取所述分区键和所述维度属性；

在所述关系型数据库中检索所述维度属性的存储区域值；

生成所述分区键与所述存储区域值的所述映射关系。

4.根据权利要求1所述的数据处理方法，其特征在于，

在接收数据查询请求之后，所述数据处理方法还包括：从所述查询请求中解析出所述维度属性；

从所述存储区域值指示的区域内读取请求查询的事实数据包括：生成携带有所述存储区域值的查询指令，使用所述查询指令在所述关系型数据库中与所述存储区域值对应的区域中查询所述事实数据。

5.一种关系型数据库的数据处理装置，其特征在于，包括：

获取模块，用于获取关系型数据库中存储数据的维度属性；

第一保存模块，用于将所述维度属性保存入维度表；

第一读取模块，用于从所述维度表中读取所述维度属性的主键；

检索模块，用于按照所述主键检索所述关系型数据库中所述维度属性的存储区域值；

第二保存模块，用于保存所述主键和所述存储区域值的映射关系至所述维度表；

所述数据处理装置还包括：

接收模块，在保存所述主键和所述存储区域值的映射关系至所述维度表之后，用于接收数据查询请求，其中，所述数据查询请求中携带有请求查询的维度属性；

第二读取模块，用于从所述维度表中读取所述维度属性对应的主键；

确定模块，用于按照所述映射关系确定所述主键对应的所述存储区域值；

第三读取模块，用于从所述存储区域值指示的区域内读取请求查询的事实数据。

6.根据权利要求5所述的数据处理装置，其特征在于，所述数据处理装置还包括：

生成模块，用于在从所述维度表中读取所述维度属性的主键之后，将所述主键作为分区键，生成携带有所述分区键和所述维度属性的第一指令；

发送模块，用于将所述第一指令发送至所述关系型数据库。

7.根据权利要求6所述的数据处理装置，其特征在于，所述检索模块包括：

提取单元，用于从接收到的所述第一指令中提取所述分区键和所述维度属性；

检索单元，用于在所述关系型数据库中检索所述维度属性的存储区域值；

第一生成单元，用于生成所述分区键与所述存储区域值的所述映射关系。

8.根据权利要求5所述的数据处理装置，其特征在于，

所述数据处理装置还包括：解析模块，在接收数据查询请求之后，用于从所述查询请求中解析出所述维度属性；

所述第三读取模块包括：第二生成单元，用于生成携带有所述存储区域值的查询指令；查询单元，用于使用所述查询指令在所述关系型数据库中与所述存储区域值对应的区域中查询所述事实数据。