CN105701200A - 一种内存云计算平台上的数据仓库安全olap方法 - Google Patents

一种内存云计算平台上的数据仓库安全olap方法 Download PDF

Info

Publication number
CN105701200A
CN105701200A CN201610016726.3A CN201610016726A CN105701200A CN 105701200 A CN105701200 A CN 105701200A CN 201610016726 A CN201610016726 A CN 201610016726A CN 105701200 A CN105701200 A CN 105701200A
Authority
CN
China
Prior art keywords
data
packet
dimension
cloud computing
security
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610016726.3A
Other languages
English (en)
Other versions
CN105701200B (zh
Inventor
张延松
张宇
王珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renmin University of China
Original Assignee
Renmin University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renmin University of China filed Critical Renmin University of China
Priority to CN201610016726.3A priority Critical patent/CN105701200B/zh
Publication of CN105701200A publication Critical patent/CN105701200A/zh
Application granted granted Critical
Publication of CN105701200B publication Critical patent/CN105701200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2264—Multidimensional index structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Bioethics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种内存云计算平台上的数据仓库安全OLAP方法，在OLAP计算模型上消除事实表语义信息，事实表只存储数值型数据而不存储数据描述信息；在OLAP计算模型上采用基于编码的计算方法，在企业内部私有数据平台上进行维表查询和编码，在事实表存储云平台上实现基于无语义编码上的多维计算，编码的OLAP查询结果返回企业内部私有数据平台后进行语义解析，返回真实的查询结果；云平台事实表存储通过增加安全维度对度量属性进行编码，改变原始度量属性存储方式，防止对事实表度量属性的非法访问。本发明能够支持企业数据仓库数据在云平台上的存储和计算，提高OLAP计算的性价比并保证企业数据安全，能够应用于企业内存OLAP云计算或其他OLAP计算应用中。

Description

一种内存云计算平台上的数据仓库安全OLAP方法
技术领域
本发明涉及一种数据仓库领域中的查询处理方法，特别是关于一种面向企业敏感数据分析处理的内存云计算平台上的数据仓库安全OLAP(分析型查询处理)方法。
背景技术
内存计算是一种大数据解决方案，虽然当前商业的内存数据库集群已经达到非常大的规模和数据存储、处理能力，但内存计算在现阶段仍然是一种昂贵的解决方案，内存计算平台的配置和运营成本非常高，未来内存计算的一个趋势是内存云计算服务。数据仓库巨大的数据量要求云平台成为数据的持久存储平台，减少数据迁移代价，但数据仓库存储的是企业及部门最核心的业务数据，对数据的安全性有极高的要求。内存云计算服务面临两个矛盾性的问题：一是为提高内存计算的性能和减少大数据移动代价，需要将尽可能多的数据持久地存储于云计算平台；二是为提高数据的安全性需要将尽可能少的可能造成数据安全隐患的关键业务数据存储在云计算平台。为解决这个矛盾，首先需要将数据仓库的数据按数据安全性要求进行分类，然后需要在企业内部系统平台和云计算平台之间进行数据的分布存储设计，最后按存储模型设计协同的内存云计算模型，由企业内部系统完成敏感数据上的计算，由云计算平台完成在非敏感大数据上的计算，协同完成分析处理任务。
从数据仓库的结构来看，维表存储的是描述维度的信息，包括企业重要的用户、产品、促销方式、供应商等敏感信息，数据的安全性要求较高；事实表是多维数据存储结构，包括维表外键和度量属性，通常为数值型数据，单独的事实表不包含数据的语义信息，当事实数据不包含语义信息或者数据只有按预设的方式才能正确解读时，数据的安全性能够得到一定的保证。
从数据存储需求来看，较小的维表通常是敏感性数据，其存储开销较小，并不需要内存云计算平台存储来降低存储成本，适合于存储在企业内部系统平台上由企业保证其数据的安全性。庞大的事实表存储适合利用内存云计算平台降低其数据存储成本，但需要数据安全机制保证事实数据难以被非法分析和解读，还需要数据通过安全性需要划分而产生的多平台协同计算问题。
云计算是一种共享的数据存储和计算服务，优化的是硬件资源和成本，但其商业化的运营模式难以满足企业或重要部门特殊的数据安全性需求，因此需要一种敏感性数据和非敏感性数据在企业私有系统平台和云计算平台上“分而治之”的存储和计算策略。
发明内容
针对上述问题，本发明的目的是提供一种内存云计算平台上的数据仓库安全OLAP方法，该方法充分利用了内存云平台的高性能和高性价比的特点，保证了数据存储与计算的安全，可以有效地保证企业级数据企业在内存云计算平台上的安全分析处理。
为实现上述目的，本发明采取以下技术方案：一种内存云计算平台上的数据仓库安全OLAP方法，其特征在于包括以下步骤：1)划分云计算数据集：将整个OLAP数据集按维表和事实表划分为两个数据集，维表存储描述信息，集中存储于企业内部私有数据平台；事实表由维表外键属性和数值型度量属性组成，不包含语义和数据描述信息，存储于云计算平台，实现基于无语义编码上的多维云计算；2)生成维表编码向量：OLAP查询在执行时分解为维表上的操作和事实表上的操作两个执行阶段，企业内部私有数据平台维表上的操作为在各个维表上根据where子句的选择条件投影出维分组向量，维分组向量与维表等长，维分组向量中的编码位置记录维表中满足谓词条件记录对应的分组属性，不满足维表谓词条件的分组属性记录为NULL空值；然后对维分组向量进行编码，用不含语义的字典数组编码代替维表分组属性；当维表中包含多个分组属性时，将分组属性组统一编码；数据仓库的维表采用代理键，维分组向量与维表代理键是一一映射关系，事实表外键直接映射到维分组向量相应的位置上，替代传统的连接操作；各个维表生成的维分组向量构成事实表上的多维过滤器，而且维分组向量的分组编码构成一个多维数组，用于事实表上的分组聚集计算；3)事实表多维过滤，创建度量索引：企业内部私有数据平台上创建的维分组向量通过网络传输到云计算平台，将云计算平台事实表的外键值映射到维过滤向量对应的位置，完成多维过滤操作，并且根据维过滤向量中的维坐标确定事实表记录在分组数组中的多维坐标值，将满足多维过滤条件的事实表记录对应的分组多维坐标值记录在与事实表等长的度量索引向量中，指示度量属性列上需要进行聚集计算的记录位置及聚集结果在分组多维数组中的位置；事实表外键列参照维分组向量完成多维过滤操作后，根据度量索引按位置访问查询相关的度量属性列，完成聚集计算，并将聚集计算结果存储于对应的分组器多维数组中，完成分组聚集计算；4)查询结果解析：OLAP查询的分组聚集结果对应多维数组，不包含语义信息；将云计算平台上生成的分组器多维数组通过网络传输回企业内部私有数据平台，根据维分组向量创建阶段生成的维分组编码反向解析出分组多维数组各坐标对应的分组属性值，将分组器多维数组的各个单元维坐标转换为分组属性值，生成OLAP查询结果。
进一步，所述步骤1)中，所述数值型度量属性的安全云存储采用以下策略中的一种或任意两种策略的组合：改变度量属性顺序存储策略、基于delta值映射的数据安全策略、基于哈希函数的delta映射数据安全策略和基于位压缩编码重组的数据安全策略；所述步骤3)中，访问事实表度量属性时，根据事实表的数值型度量属性存储策略，对应采用以下一种或任意两种策略解析安全存储的度量属性值：改变度量属性顺序存储解析策略、基于delta值映射的数据安全解析策略、基于哈希函数的delta映射数据安全解析策略和基于位压缩编码重组的数据安全解析策略。
进一步，所述改变度量属性顺序存储策略为：当度量属性具有相同的数据类型时，通过周期性地改变度量数据在属性列的存储顺序来隐藏真实的数据。
进一步，所述基于delta值映射的数据安全策略为在真实数据上乘以或加上一个delta值改变原始数据以达到数据安全的目标：存储到云计算平台的事实数据按预先设定的规则分配分组号创建数据安全维Safe_Dim，属性为ID和delta，delta表示当前数据安全策略分组对应的数据偏移量，表示为乘以或加上一个delta值，在delta属性值中的最高位置1表示乘法，置0表示加法；事实数据在存入云计算平台时，事实表按数据安全分组外键S_Dim的分组值对度量属性进行delta映射。
进一步，所述基于哈希函数的delta映射数据安全策略：在事实表数据存储时增加一个delta列，宽度为n位，delta列中的数据为随机数，每个事实表记录的delta值各不相同；预设m个哈希函数，哈希函数将键值映射到delta值对应的一位；对事实表进行分组，每个分组对应一组哈希函数映射，每一个哈希函数映射到事实表记录delta列的一位，构成n位的deltakey，然后将deltakey扩展到与键值相同的位宽，然后键值与位宽执行异或计算，生成编码键值替代原始键值存储在云计算平台。
进一步，所述基于位压缩编码重组的数据安全策略：事实表的度量属性是数值型的，通过位压缩方法将原始的度量属性缩减存储位宽；事实表中的度量属性经过数据压缩后形成一个长位串，以预先设定的大小为单位对事实记录位串进行组合存储，并改变属性存储顺序。
进一步，所述改变度量属性顺序存储解析策略：首先通过其他维过滤向量生成度量索引，在聚集计算阶段按度量索引位置扫描数据安全维S_Dim，映射到数据安全过滤向量，解析向量中度量属性位置值，访问相应的度量列进行聚集计算；对云计算平台存储的度量数据按照安全策略分组，组内调整度量列顺序相当于在事实表分组间的shuffer过程，将真实的数据乱序存储，将每个数据安全分组的度量列顺序存储在企业内部数据平台的数据安全维中，为每个查询生成相应的度量属性位置向量，在云计算平台的聚集计算时动态在不同的数据安全分组中选择查询度量属性相匹配的数据，还原原始的数据访问顺序。
进一步，所述基于delta值映射的数据安全解析策略：查询执行时动态生成安全维过滤向量，通过外键映射实时地将事实表度量属性映射为原始数据以进行正确的聚集计算。
进一步，所述基于哈希函数的delta映射数据安全解析策略：生成数据安全维过滤向量并传输到云计算平台，云计算平台进行聚集计算时，首先根据数据安全维外键映射到相应的维向量位置，然后根据哈希函数映射指定的哈希函数序号使用哈希函数将键值映射到delta值，生成deltakey，扩展为与编码键值等宽位串后与编码键值进行异或计算，得到原始键值进行聚集计算。
进一步，所述基于位压缩编码重组的数据安全解析策略：解析数据所需要的度量属性元数据存储在企业内部数据平台的数据安全维表中，记录每个数据安全分组中各度量属性的访问元数据，在查询处理时根据查询中访问的度量属性动态生成维过滤向量，向量由查询访问的各个度量属性位置及长度信息的位编码构成，在云计算平台的聚集计算阶段由相应的API解析后完成对度量属性数据的抽取和访问。
本发明由于采取以上技术方案，其具有以下优点：1、本发明采用二级平台架构将企业敏感数据管理和非敏感的大数据计算任务分离在安全的企业私有数据平台和安全性相对较弱的公用内存云计算平台，降低了云平台上的数据安全管理复杂性与成本。2、本发明采用基于编码向量的OLAP计算方法，在两个数据平台之间传输的数据量很小，能够有效地降低查询处理时的网络传输延迟。3、本发明采用将企业数据仓库海量事实数据存储在云平台，描述性属性采用字典表压缩，将语义信息存储于企业私有数据平台，云平台只存储属性的编码数据，度量属性采用多种编码技术屏蔽原始信息，提高数据存储的安全性。4、本发明将云平台数据存储策略作为数据仓库一个附加的安全维度，数据安全存储策略可以定期或不定期更新，存储策略的解析信息存储在企业私有数据平台，在查询处理时首先通过企业私有数据平台为数据存储策略维度编码，然后作为维向量发送到云计算平台，在云计算平台通过数据存储策略安全维度进行度量数据的解析与计算。5、本发明在OLAP计算模型上消除事实表语义信息，事实表只存储数值型数据而不存储数据描述信息；在OLAP计算模型上采用基于编码的计算方法，在企业内部私有数据平台上进行维表查询和编码，在事实表存储云平台上实现基于无语义编码上的多维计算，编码的OLAP查询结果返回企业内部私有数据平台后进行语义解析，返回真实的查询结果；云平台事实表存储通过增加安全维度对度量属性进行编码，改变原始度量属性存储方式，防止对事实表度量属性的非法访问。既充分利用了内存云平台的高性能和高性价比的特点又保证了数据存储与计算的安全，可以有效地保证企业级数据企业在内存云计算平台上的安全分析处理。本发明适用于企业数据仓库内存云计算应用场景，也适用于通用的企业数据仓库云计算应用。
附图说明
图1是本发明采用的编码向量OLAP计算示意图；
图2(A)是本发明改变度量属性顺序存储策略时，事实数据编码及基于数据安全策略维度的事实数据存储访问示意图；
图2(B)是本发明改变度量属性顺序解析策略时，事实数据编码及基于数据安全策略维度的事实数据存储访问示意图；
图3是本发明基于delta值映射的数据安全策略及解析策略时，事实数据编码及基于数据安全策略维度的事实数据存储访问示意图；
图4(A)是本发明基于哈希函数的delta映射数据安全策略时，事实数据编码及基于数据安全策略维度的事实数据存储访问示意图；
图4(B)是本发明基于哈希函数的解析策略时，事实数据编码及基于数据安全策略维度的事实数据存储访问示意图；
图5是本发明基于位压缩编码重组的数据安全策略及解析策略时，事实数据编码及基于数据安全策略维度的事实数据存储访问示意图。
具体实施方式
通过云计算解决企业数据仓库海量数据的高性能分析处理是一个技术发展趋势，内存数据库强大的实时处理能力成为企业数据仓库实时分析处理的技术选择，但其昂贵的价格成为内存数据仓库应用的障碍，当前内存数据库厂商积极推动内存云计算平台来提供具有更高性价比的内存计算服务。本发明基于编码向量OLAP计算模型，将查询中涉及的敏感数据编码化，在OLAP计算过程中通过不包含语义的编码向量完成分析查询处理，OLAP查询结果集也表示为编码结果集。在数据存储模型基础上采用企业私有数据平台和公有内存云平台结构的协同存储、计算平台，企业私有数据平台存储敏感的企业数据，并对OLAP查询进行解析与转换，生成编码的向量并发送给存储海量非敏感数据的内存云计算平台，内存云计算平台根据查询的编码向量提供高性能的OLAP计算能力，生成的查询结果也为编码形式，计算的过程和结果中不包含数据语义信息，最后将编码的查询结果返回企业内部数据平台，由企业内部数据平台将编码的OLAP查询结果解析为正常的查询结果。
企业数据仓库是面向分析主题构建的、具有多维数据特征的数据库，由大量的维表和少量的事实表构成。其中，维表描述多维数据的维度特征，包含有大量企业敏感的用户、产品、供应商等信息；事实表由维表连接外键属性和数值型的度量属性构成，不包含事实的描述性信息，由一系列数值构成。数据仓库中事实表所占的比重极大，代表性数据仓库测试基准(Benchmark)SSB、TPC-H、TPC-DS中事实表所占的比较超过95％，因此，庞大事实表的存储和计算更加适合云平台提供的廉价存储和高性能计算能力。与庞大的事实表相对，维表虽然数量较多，但数据量相对很小，维表信息大多是企业内部敏感信息，存储在云平台时面临着较大的数据安全问题。数据仓库的多维分析OLAP查询需要在维表和事实表连接的基础上按维表的层次结构完成分析处理任务，通常情况下需要维表与事实表存储在一起以提高查询处理性能，但在云平台存储企业完整的数据面临着数据安全风险。
制约企业云计算应用的一个重要的障碍是企业数据的安全性，敏感的数据语义信息不适合存储在公有云平台，不带有语义信息的数据计算则适合通过云平台提供的存储与计算能力，因此企业数据仓库云计算技术必须要解决数据与语义分离，敏感数据管理与非敏感数据计算分而治之的协同计算问题。为此，本发明提出了一种基于企业内部私有数据平台和公有内存云计算平台的二级数据仓库存储模型，将企业数据仓库中敏感的、但数据量较小的维信息与不带有语义信息的、庞大的事实数据存储在分离的平台上，将企业OLAP分析查询分布在二级存储平台上，云存储平台只负责数据计算任务，不对查询进行语义解析，从而提高云平台上OLAP分析处理时的数据安全性。下面结合附图和实施例对本发明进行详细的描述。
如图1所示，本发明提供一种内存云计算平台上的数据仓库安全OLAP方法，将OLAP处理过程划分为维表生成编码向量、事实表基于编码向量的多维计算和查询结果编码解析三个过程，实现事实表上基于无语义编码的OLAP计算，其包括以下步骤：
1)划分云计算数据集。
将整个OLAP数据集按维表和事实表划分为两个数据集，维表较小且存储描述信息，集中存储于企业内部私有数据平台；事实表庞大，由维表外键属性和数值型度量属性组成，不包含语义和数据描述信息，存储于云计算平台，实现基于无语义编码上的多维云计算。
其中，多维云计算将表示敏感语义信息的维表存储在企业内部数据平台上，存储代价较低，事实数据通过字典压缩方法将带有语义信息的属性(如linestatus等退化维度，即只包含一个属性的维度)转换为无语义的数值型数据，存储于云计算平台，而代表语义的编码信息存储于企业内部数据平台上。这种存储模型相当于对多维数据集进行编码，包含语义的编码全部存储于企业内部数据平台，编码后无语义的数据存储于云计算平台，查询任务转换为在编码上的计算，计算全部在云计算平台完成，计算后的结果为无语义编码形式，最后通过企业内部数据平台解析编码，转换为常规的查询输出结果。
2)生成维表编码向量。
OLAP查询在执行时分解为维表上的操作和事实表上的操作两个执行阶段：企业内部私有数据平台维表上的操作为在各个维表上根据where子句的选择条件投影出维分组向量，维分组向量与维表等长，维分组向量中的编码位置记录维表中满足谓词条件记录对应的分组属性，不满足维表谓词条件的分组属性记录为NULL空值。然后对维分组向量进行编码，用不含语义的字典数组编码代替维表分组属性。当维表中包含多个分组属性时，将分组属性组统一编码。数据仓库的维表采用代理键，即连续的整数0，1，2…，维分组向量与维表代理键是一一映射关系，事实表外键可以直接映射到维分组向量相应的位置上，替代传统的连接操作。各个维表生成的维分组向量构成事实表上的多维过滤器，而且不同维表生成的维分组向量的分组编码构成一个多维数组，用于事实表上的分组聚集计算。
例如，图1中customer表的分组编码包含两个成员，supplier表的分组编码包含三个成员，两个维分组向量构建一个二维数组Agg[2][3]用于实现在事实表上的分组聚集计算。因此，维分组向量一方面用作事实表在维上的过滤器，另一方面预构建了分组器，维向量中包含了分组器的维坐标。
3)事实表多维过滤，创建度量索引。
维分组向量通常较小，企业内部私有数据平台上创建的维分组向量通过网络传输到云计算平台，将云计算平台事实表的外键值映射到维过滤向量对应的位置，完成多维过滤操作，并且根据维过滤向量中的维坐标可以确定事实表记录在分组数组中的多维坐标值，将满足多维过滤条件的事实表记录对应的分组多维坐标值记录在与事实表等长的度量索引向量中，指示度量属性列上需要进行聚集计算的记录位置及聚集结果在分组多维数组中的位置。
事实表外键列参照维分组向量完成多维过滤操作后，根据度量索引按位置访问查询相关的度量属性列，完成聚集计算，并将聚集计算结果存储于对应的分组器多维数组中，完成分组聚集计算。
4)查询结果解析。
OLAP查询的分组聚集结果对应多维数组，不包含语义信息。将云计算平台上生成的较小的分组器多维数组通过网络传输回企业内部私有数据平台，最后根据维分组向量创建阶段生成的维分组编码反向解析出分组多维数组各坐标对应的分组属性值，将分组器多维数组的各个单元维坐标转换为分组属性值，生成OLAP查询结果。
上述步骤1)中，数值型度量属性的安全云存储包括以下几种策略：
①改变度量属性顺序存储策略：
当度量属性具有相同的数据类型时，通过周期性地改变度量数据在属性列的存储顺序来隐藏真实的数据。在图2(A)中，为多维数据集增加一个数据安全维度，维记录表示数据安全策略周期，维属性由代理键和表示度量属性顺序的字段组成。图2(A)中事实记录划分为两个安全策略周期，每条维记录中记录了事实度量属性在当前安全策略周期中的顺序号，如第一条记录中对应的四个度量属性M1、M2、M3、M4在云计算平台的存储顺序为1、2、3、4，也就是说云计算平台上存储的事实数据需要附加一个数据安全维外键列，四个度量列C1、C2、C3、C4与原始事实表中的度量属性M1、M2、M3、M4对应；而第二条记录中对应的四个度量属性在云计算平台的存储顺序为2、3、4、1，即云计算平台的四个度量列C1、C2、C3、C4与原始事实表中的度量属性M4、M1、M2、M3对应。云计算平台上的事实表按数据安全策略周期分组，各个分组中的度量列顺序交错，如图2(B)所示。当试图对列汇总非法获得数据总量信息时会由于相同的列在事实表中交错存储而得到错误的累加结果，从而保证了云计算平台上存储数据的安全使用。
②基于delta值映射的数据安全策略：
在真实数据上乘以或加上一个delta值改变原始数据以达到数据安全的目标。存储到云计算平台的事实数据按预先设定的规则分配分组号(按固定或不固定时间周期、数据量或其他规则)，创建数据安全维Safe_Dim，属性为ID和delta，delta表示当前数据安全策略分组对应的数据偏移量，可以表示为乘以或者加上一个delta值。在delta属性值中的最高位置1表示乘法，置0表示加法。如图3中数据安全维表第一个记录的二进制10000101表示度量值乘以5，第二个记录的二进制00100110表示加上38。事实数据在存入云计算平台时，事实表按数据安全分组外键S_Dim的分组值对度量属性进行delta映射，不同的分组对应不同的delta映射方法。通过对事实表记录的动态分组设置动态变化的数据安全策略，delta映射的规则存储于企业内部数据平台。
③基于哈希函数的delta映射数据安全策略：
提高数据安全的另一个方法是为每记录分配一个delta值，而事实表上的delta值较大，如存储在企业内部数据平台则数据量较大，计算时的网络传输量较大，因此需要与事实数据一起存储在云计算平台。delta值的计算方法可以存储在企业内部数据平台，通过实时的计算方法与数据相结合产生动态的数据转换。
图4(A)、图4(B)描述了一种基于哈希函数的delta(对应图中RandomKey)映射数据安全策略。在事实表数据存储时增加一个delta列，宽度为n位(8、16、32等典型数据类型宽度，示例中为16)，delta列中的数据为随机数，每个事实表记录的delta值各不相同。如图4(A)所示，预设m个哈希函数，哈希函数将键值映射到delta值对应的一位，如h(x)＝x*13mod16将键值x映射到16位delta值的某一位。对事实表进行分组，每个分组对应一组哈希函数映射，如11111111对应为使用8个哈希函数h1、h2、h3、h4、h5、h6、h7、h8，每一个哈希函数映射到事实表记录delta列的一位，构成8位的deltakey，然后将deltakey扩展到与键值相同的位宽(通过复制deltakey构造与键值相同位数的extdeltakey)，然后键值与extdeltakey执行异或计算，生成编码键值encodedkey，替代原始键值存储在云计算平台。
通过编码方法，编码的度量属性值和delta值存储在云计算平台，分组对应的哈希函数映射值存储在企业内部数据平台的数据安全维中，每个维记录代表一个分组的哈希函数映射。
④基于位压缩编码重组的数据安全策略：
事实表的度量属性是数值型的，可以通过位压缩方法提高数据存储效率，如int型数据可以按log2MAX(key)计算出数据的最大位宽，小数位较少的数据可以通过比例法将其存储为int型数据并使用位压缩缩减存储位宽。事实表中的度量属性经过数据压缩后形成一个长位串，以预先设定的大小(如32位、64位或512位)为单位对事实记录位串进行组合存储，并改变属性存储顺序。经过压缩转换后，原始事实数据转换为不可直接读取的压缩数据，而记录压缩属性宽度、起始位置的元数据则成为解析事实数据的“钥匙”，压缩数据元数据可以周期性改变，即改变压缩度量属性的顺序，使压缩数据更加难以被非法解析。
图5描述了基于位压缩编码重组的数据安全策略示意图。原始的度量属性M1、M2、M3、M4经过位压缩缩减了数据存储位宽，事实表度量属性按设定的位宽(如32位、64位或512位)重新组合为云计算平台存储的事实表度量列C1、C2，事实记录划分为两个数据安全策略分组，两个分组使用不同的度量属性顺序，从而使存储列中的数据更加难以被非法解析。
上述步骤3)中，访问事实表度量属性时，根据事实表的数值型度量属性存储策略，对应采用如下步骤解析安全存储的度量属性值：
①改变度量属性顺序存储解析策略：
在查询处理时，对查询SQL命令进行解析，按查询中使用的度量属性生成安全数据维向量，向量由查询访问的度量属性顺序的二进制编码组合而成。维向量宽度根据度量属性的数量确定属性位置编码长度k＝log2n+1(n表示度量属性数量)，如图2(B)所示，四个度量属性对应的位置编码长度为3，维过滤向量的使用shortint类型，一共16位，从低位起，每三位对应一个度量属性位置值。查询中的度量属性M2、M1、M4在数据安全维表第一个记录对应的编码为010(2)、001(1)、100(4)，第二个记录对应的编码为011(3)、010(2)、001(1)，生成的维过滤向量为[140,209]。
在云计算平台上的OLAP查询处理时，首先通过其他维过滤向量生成度量索引，在聚集计算阶段按度量索引位置扫描数据安全维S_Dim，映射到数据安全过滤向量，解析向量中度量属性位置值，访问相应的度量列进行聚集计算。
对云计算平台存储的度量数据按照安全策略分组，组内调整度量列顺序相当于在事实表分组间的shuffer过程，将真实的数据乱序存储，将每个数据安全分组的度量列顺序存储在企业内部数据平台的数据安全维中，为每个查询生成相应的度量属性位置向量，在云计算平台的聚集计算时动态在不同的数据安全分组中选择查询度量属性相匹配的数据，还原原始的数据访问顺序。
当不同的度量属性在值域上具有较明显的特点，如度量属性有较显著的取值范围时，容易根据数据推测出其代表的语义，该策略适合值域较为接近的度量属性的安全存储。
②基于delta值映射的数据安全解析策略：
查询执行时动态生成安全维过滤向量，通过外键映射实时地将事实表度量属性映射为原始数据以进行正确的聚集计算。
由于每个分组内使用相同的delta映射，对于SUM聚集计算可以直接在映射后的度量属性上聚集计算，然后再统一映射。如图3分组1的映射为乘以5，在分组1上对M2的SUM操作可以直接计算，然后将SUM结果除以5。分组2的映射为加38，在计算SUM(M2)时同步计算COUNT结果，然后用SUM结果减去38乘以COUNT结果。对于SUM(M1*M4)聚集计算，基于乘法的delta映射可以直接计算，而基于加法的聚集计算则需要先完成delta映射再计算聚集表达式结果。
由于不同度量属性有不同的值域和数据取值范围，采用固定delta映射算法时需要根据属性值域范围设计delta映射算法，以免造成数据溢出。
③基于哈希函数的delta映射数据安全解析策略：
图4(B)描述了基于编码键的数据访问。在OLAP查询处理时，生成数据安全维过滤向量并传输到云计算平台，云计算平台进行聚集计算时，首先根据数据安全维外键映射到相应的维向量位置，然后根据哈希函数映射指定的哈希函数序号使用哈希函数将键值映射到delta值，生成deltakey，扩展为与编码键值等宽位串后与编码键值进行异或计算，得到原始键值进行聚集计算。
数据安全策略由三个层次提供支持：随机生成的事实记录delta值提供记录间不同的编码方式；哈希函数提供delta值的映射方法；哈希函数映射选择哈希函数。其中，事实记录delta值存储在云计算平台，通过消除属性名语义隐藏其功能，哈希函数是编译的API，对delta值进行二次处理，哈希函数映射存储在企业内部数据平台，对delta值的哈希映射函数再次改变delta值映射的位图，最后通过异或运算对原始键值进行编码，隐藏原始数据。
④基于位压缩编码重组的数据安全解析策略：
在查询处理时，每个数据安全策略分组中的数据在进行聚集计算时需要获得查询中度量属性的位置和长度信息，即存储列名、在列中的起始位置及位宽。在各组数据重组时，度量属性列宽可以动态增加以提升数据解析的难度。解析数据所需要的度量属性元数据存储在企业内部数据平台的数据安全维表中，记录每个数据安全分组中各度量属性的访问元数据，在查询处理时根据查询中访问的度量属性动态生成维过滤向量，向量由查询访问的各个度量属性位置及长度信息的位编码构成，在云计算平台的聚集计算阶段由相应的API解析后完成对度量属性数据的抽取和访问。
位压缩编码方法是将数据压缩和数据安全策略相结合，虽然云计算平台存储的是真实的数据，但位压缩改变了数据宽度，属性重组改变了数据访问顺序，属性的位宽也可以动态增加，而且数据存储在不同的数据安全分组中还可以重新配置，在没有度量属性元数据的情况下数据很难被解析。解析数据需要的元数据以数据安全分组为单位，数据量较小，存储在企业内部数据平台以提高数据安全性，在查询处理时动态生成查询对应的维向量，实时解析云计算平台存储的事实度量属性值，完成聚集计算。
综上所述，与现有技术相比，本发明采用企业内部私有数据平台和云计算平台二级存储模式和计算模型，解决了企业敏感信息安全存储和大数据云存储问题，通过对云平台存储的大事实表度量属性的安全存储策略进一步保证企业数据的安全性，通过OLAP查询多阶段处理技术和维向量编码方法在两个平台之间通过没有语义的向量计算实现异构平台上的OLAP查询处理，既保证了数据仓库的敏感数据又实现了基于云平台的高性价比查询处理。通过将云平台事实表度量属性安全存储策略构建为维度，实现灵活的数据安全存储策略，通过安全维表的动态管理实现数据安全存储策略的动态更新，通过安全维向量处理方法以常规OLAP查询处理的方法实现云平台安全存储的度量属性列的可靠访问。
上述各实施例仅用于说明本发明，各部件的结构、尺寸、设置位置及形状都是可以有所变化的，在本发明技术方案的基础上，凡根据本发明原理对个别部件进行的改进和等同变换，均不应排除在本发明的保护范围之外。

Claims (10)

1.一种内存云计算平台上的数据仓库安全OLAP方法，其特征在于包括以下步骤：
1)划分云计算数据集：将整个OLAP数据集按维表和事实表划分为两个数据集，维表存储描述信息，集中存储于企业内部私有数据平台；事实表由维表外键属性和数值型度量属性组成，不包含语义和数据描述信息，存储于云计算平台，实现基于无语义编码上的多维云计算；
2)生成维表编码向量：OLAP查询在执行时分解为维表上的操作和事实表上的操作两个执行阶段，企业内部私有数据平台维表上的操作为在各个维表上根据where子句的选择条件投影出维分组向量，维分组向量与维表等长，维分组向量中的编码位置记录维表中满足谓词条件记录对应的分组属性，不满足维表谓词条件的分组属性记录为NULL空值；然后对维分组向量进行编码，用不含语义的字典数组编码代替维表分组属性；当维表中包含多个分组属性时，将分组属性组统一编码；数据仓库的维表采用代理键，维分组向量与维表代理键是一一映射关系，事实表外键直接映射到维分组向量相应的位置上，替代传统的连接操作；各个维表生成的维分组向量构成事实表上的多维过滤器，而且维分组向量的分组编码构成一个多维数组，用于事实表上的分组聚集计算；
3)事实表多维过滤，创建度量索引：企业内部私有数据平台上创建的维分组向量通过网络传输到云计算平台，将云计算平台事实表的外键值映射到维过滤向量对应的位置，完成多维过滤操作，并且根据维过滤向量中的维坐标确定事实表记录在分组数组中的多维坐标值，将满足多维过滤条件的事实表记录对应的分组多维坐标值记录在与事实表等长的度量索引向量中，指示度量属性列上需要进行聚集计算的记录位置及聚集结果在分组多维数组中的位置；事实表外键列参照维分组向量完成多维过滤操作后，根据度量索引按位置访问查询相关的度量属性列，完成聚集计算，并将聚集计算结果存储于对应的分组器多维数组中，完成分组聚集计算；
4)查询结果解析：OLAP查询的分组聚集结果对应多维数组，不包含语义信息；将云计算平台上生成的分组器多维数组通过网络传输回企业内部私有数据平台，根据维分组向量创建阶段生成的维分组编码反向解析出分组多维数组各坐标对应的分组属性值，将分组器多维数组的各个单元维坐标转换为分组属性值，生成OLAP查询结果。
2.如权利要求1所述的一种内存云计算平台上的数据仓库安全OLAP方法，其特征在于：所述步骤1)中，所述数值型度量属性的安全云存储采用以下策略中的一种或任意两种策略的组合：改变度量属性顺序存储策略、基于delta值映射的数据安全策略、基于哈希函数的delta映射数据安全策略和基于位压缩编码重组的数据安全策略；
所述步骤3)中，访问事实表度量属性时，根据事实表的数值型度量属性存储策略，对应采用以下一种或任意两种策略解析安全存储的度量属性值：改变度量属性顺序存储解析策略、基于delta值映射的数据安全解析策略、基于哈希函数的delta映射数据安全解析策略和基于位压缩编码重组的数据安全解析策略。
3.如权利要求2所述的一种内存云计算平台上的数据仓库安全OLAP方法，其特征在于：所述改变度量属性顺序存储策略为：当度量属性具有相同的数据类型时，通过周期性地改变度量数据在属性列的存储顺序来隐藏真实的数据。
4.如权利要求2所述的一种内存云计算平台上的数据仓库安全OLAP方法，其特征在于：所述基于delta值映射的数据安全策略为在真实数据上乘以或加上一个delta值改变原始数据以达到数据安全的目标：存储到云计算平台的事实数据按预先设定的规则分配分组号创建数据安全维Safe_Dim，属性为ID和delta，delta表示当前数据安全策略分组对应的数据偏移量，表示为乘以或加上一个delta值，在delta属性值中的最高位置1表示乘法，置0表示加法；事实数据在存入云计算平台时，事实表按数据安全分组外键S_Dim的分组值对度量属性进行delta映射。
5.如权利要求2所述的一种内存云计算平台上的数据仓库安全OLAP方法，其特征在于：所述基于哈希函数的delta映射数据安全策略：在事实表数据存储时增加一个delta列，宽度为n位，delta列中的数据为随机数，每个事实表记录的delta值各不相同；预设m个哈希函数，哈希函数将键值映射到delta值对应的一位；对事实表进行分组，每个分组对应一组哈希函数映射，每一个哈希函数映射到事实表记录delta列的一位，构成n位的deltakey，然后将deltakey扩展到与键值相同的位宽，然后键值与位宽执行异或计算，生成编码键值替代原始键值存储在云计算平台。
6.如权利要求2所述的一种内存云计算平台上的数据仓库安全OLAP方法，其特征在于：所述基于位压缩编码重组的数据安全策略：事实表的度量属性是数值型的，通过位压缩方法将原始的度量属性缩减存储位宽；事实表中的度量属性经过数据压缩后形成一个长位串，以预先设定的大小为单位对事实记录位串进行组合存储，并改变属性存储顺序。
7.如权利要求2所述的一种内存云计算平台上的数据仓库安全OLAP方法，其特征在于：所述改变度量属性顺序存储解析策略：首先通过其他维过滤向量生成度量索引，在聚集计算阶段按度量索引位置扫描数据安全维S_Dim，映射到数据安全过滤向量，解析向量中度量属性位置值，访问相应的度量列进行聚集计算；对云计算平台存储的度量数据按照安全策略分组，组内调整度量列顺序相当于在事实表分组间的shuffer过程，将真实的数据乱序存储，将每个数据安全分组的度量列顺序存储在企业内部数据平台的数据安全维中，为每个查询生成相应的度量属性位置向量，在云计算平台的聚集计算时动态在不同的数据安全分组中选择查询度量属性相匹配的数据，还原原始的数据访问顺序。
8.如权利要求2所述的一种内存云计算平台上的数据仓库安全OLAP方法，其特征在于：所述基于delta值映射的数据安全解析策略：查询执行时动态生成安全维过滤向量，通过外键映射实时地将事实表度量属性映射为原始数据以进行正确的聚集计算。
9.如权利要求2所述的一种内存云计算平台上的数据仓库安全OLAP方法，其特征在于：所述基于哈希函数的delta映射数据安全解析策略：生成数据安全维过滤向量并传输到云计算平台，云计算平台进行聚集计算时，首先根据数据安全维外键映射到相应的维向量位置，然后根据哈希函数映射指定的哈希函数序号使用哈希函数将键值映射到delta值，生成deltakey，扩展为与编码键值等宽位串后与编码键值进行异或计算，得到原始键值进行聚集计算。
10.如权利要求2所述的一种内存云计算平台上的数据仓库安全OLAP方法，其特征在于：所述基于位压缩编码重组的数据安全解析策略：解析数据所需要的度量属性元数据存储在企业内部数据平台的数据安全维表中，记录每个数据安全分组中各度量属性的访问元数据，在查询处理时根据查询中访问的度量属性动态生成维过滤向量，向量由查询访问的各个度量属性位置及长度信息的位编码构成，在云计算平台的聚集计算阶段由相应的API解析后完成对度量属性数据的抽取和访问。
CN201610016726.3A 2016-01-12 2016-01-12 一种内存云计算平台上的数据仓库安全olap方法 Active CN105701200B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610016726.3A CN105701200B (zh) 2016-01-12 2016-01-12 一种内存云计算平台上的数据仓库安全olap方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610016726.3A CN105701200B (zh) 2016-01-12 2016-01-12 一种内存云计算平台上的数据仓库安全olap方法

Publications (2)

Publication Number Publication Date
CN105701200A true CN105701200A (zh) 2016-06-22
CN105701200B CN105701200B (zh) 2019-08-20

Family

ID=56226174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610016726.3A Active CN105701200B (zh) 2016-01-12 2016-01-12 一种内存云计算平台上的数据仓库安全olap方法

Country Status (1)

Country Link
CN (1) CN105701200B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106372190A (zh) * 2016-08-31 2017-02-01 华北电力大学（保定） 实时olap查询方法和装置
CN106448157A (zh) * 2016-09-05 2017-02-22 天津中兴智联科技有限公司 一种交通数据平台适配器的实现方法及系统
CN111626682A (zh) * 2020-08-03 2020-09-04 南昌梦想软件有限公司 一种成本的核算方法、装置、计算机设备和存储介质
CN111694839A (zh) * 2020-04-28 2020-09-22 平安科技（深圳）有限公司 基于大数据的时间序列指数构建方法、装置及计算机设备
CN112269797A (zh) * 2020-10-28 2021-01-26 国家卫星气象中心(国家空间天气监测预警中心) 一种卫星遥感数据在异构计算平台上的多维查询方法
CN112559128A (zh) * 2020-12-15 2021-03-26 跬云(上海)信息科技有限公司 一种基于云计算的Apache Kylin托管系统及方法
CN113064841A (zh) * 2021-01-04 2021-07-02 统信软件技术有限公司 一种数据存储方法、处理方法、计算设备及可读存储介质
CN113468202A (zh) * 2021-06-30 2021-10-01 深圳软牛科技有限公司 内存数据的筛选方法、装置、设备及存储介质
US20220263844A1 (en) * 2021-02-17 2022-08-18 Saudi Arabian Oil Company Systems, methods and computer-readable media for monitoring a computer network for threats using olap cubes
CN115001852A (zh) * 2022-07-18 2022-09-02 之江实验室 一种网络操作系统中应用内生安全数据库存取方法和装置
CN117435629A (zh) * 2023-12-18 2024-01-23 天津神舟通用数据技术有限公司 一种数据处理方法、装置、设备及介质
CN117972098A (zh) * 2024-04-01 2024-05-03 北京永洪商智科技有限公司 一种对于维度模型大数据量数据分析加速方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001029690A2 (en) * 1999-10-15 2001-04-26 University Of Strathclyde Database processor for on-line analytical processing of multidimensional data
CN101561854A (zh) * 2009-05-22 2009-10-21 江苏大学 一种序列模式挖掘隐私数据保护方法
US20120016835A1 (en) * 2010-07-15 2012-01-19 Amarjit Singh Universal database - cDB
CN102663117A (zh) * 2012-04-18 2012-09-12 中国人民大学 面向数据库与Hadoop混合平台的OLAP查询处理方法
CN102663114A (zh) * 2012-04-17 2012-09-12 中国人民大学 面向并发olap的数据库查询处理方法
CN102663116A (zh) * 2012-04-11 2012-09-12 中国人民大学 面向列存储数据仓库的多维olap查询处理方法
CN103631911A (zh) * 2013-11-27 2014-03-12 中国人民大学 基于数组存储和向量处理的olap查询处理方法
CN104517069A (zh) * 2015-01-12 2015-04-15 联想(北京)有限公司 一种信息处理方法及电子设备
CN104657494A (zh) * 2015-03-06 2015-05-27 四川智羽软件有限公司 一种网站数据库访问方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001029690A2 (en) * 1999-10-15 2001-04-26 University Of Strathclyde Database processor for on-line analytical processing of multidimensional data
CN101561854A (zh) * 2009-05-22 2009-10-21 江苏大学 一种序列模式挖掘隐私数据保护方法
US20120016835A1 (en) * 2010-07-15 2012-01-19 Amarjit Singh Universal database - cDB
CN102663116A (zh) * 2012-04-11 2012-09-12 中国人民大学 面向列存储数据仓库的多维olap查询处理方法
CN102663114A (zh) * 2012-04-17 2012-09-12 中国人民大学 面向并发olap的数据库查询处理方法
CN102663117A (zh) * 2012-04-18 2012-09-12 中国人民大学 面向数据库与Hadoop混合平台的OLAP查询处理方法
CN103631911A (zh) * 2013-11-27 2014-03-12 中国人民大学 基于数组存储和向量处理的olap查询处理方法
CN104517069A (zh) * 2015-01-12 2015-04-15 联想(北京)有限公司 一种信息处理方法及电子设备
CN104657494A (zh) * 2015-03-06 2015-05-27 四川智羽软件有限公司 一种网站数据库访问方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BREZANY P等: "An Elastic OLAP Cloud Platform", 《NINTH INTERNATIONAL CONFERENCE ON DEPENDABLE, AUTONOMIC AND SECURE COMPUTING》 *
张宇 等: "向量计算Array OLAP查询处理技术", 《计算机工程与应用》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106372190A (zh) * 2016-08-31 2017-02-01 华北电力大学（保定） 实时olap查询方法和装置
CN106448157A (zh) * 2016-09-05 2017-02-22 天津中兴智联科技有限公司 一种交通数据平台适配器的实现方法及系统
CN111694839A (zh) * 2020-04-28 2020-09-22 平安科技（深圳）有限公司 基于大数据的时间序列指数构建方法、装置及计算机设备
CN111626682A (zh) * 2020-08-03 2020-09-04 南昌梦想软件有限公司 一种成本的核算方法、装置、计算机设备和存储介质
CN112269797A (zh) * 2020-10-28 2021-01-26 国家卫星气象中心(国家空间天气监测预警中心) 一种卫星遥感数据在异构计算平台上的多维查询方法
CN112269797B (zh) * 2020-10-28 2024-02-27 国家卫星气象中心(国家空间天气监测预警中心) 一种卫星遥感数据在异构计算平台上的多维查询方法
CN112559128A (zh) * 2020-12-15 2021-03-26 跬云(上海)信息科技有限公司 一种基于云计算的Apache Kylin托管系统及方法
CN113064841B (zh) * 2021-01-04 2023-06-06 统信软件技术有限公司 一种数据存储方法、处理方法、计算设备及可读存储介质
CN113064841A (zh) * 2021-01-04 2021-07-02 统信软件技术有限公司 一种数据存储方法、处理方法、计算设备及可读存储介质
US20220263844A1 (en) * 2021-02-17 2022-08-18 Saudi Arabian Oil Company Systems, methods and computer-readable media for monitoring a computer network for threats using olap cubes
US11641371B2 (en) * 2021-02-17 2023-05-02 Saudi Arabian Oil Company Systems, methods and computer-readable media for monitoring a computer network for threats using OLAP cubes
CN113468202A (zh) * 2021-06-30 2021-10-01 深圳软牛科技有限公司 内存数据的筛选方法、装置、设备及存储介质
CN113468202B (zh) * 2021-06-30 2024-05-17 深圳软牛科技有限公司 内存数据的筛选方法、装置、设备及存储介质
CN115001852A (zh) * 2022-07-18 2022-09-02 之江实验室 一种网络操作系统中应用内生安全数据库存取方法和装置
CN117435629A (zh) * 2023-12-18 2024-01-23 天津神舟通用数据技术有限公司 一种数据处理方法、装置、设备及介质
CN117972098A (zh) * 2024-04-01 2024-05-03 北京永洪商智科技有限公司 一种对于维度模型大数据量数据分析加速方法

Also Published As

Publication number Publication date
CN105701200B (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
CN105701200A (zh) 一种内存云计算平台上的数据仓库安全olap方法
Maccioni et al. Scalable pattern matching over compressed graphs via dedensification
Xie et al. Simba: Efficient in-memory spatial analytics
CN102737033B (zh) 数据处理设备及其数据处理方法
CN106452450B (zh) 数据压缩的方法和系统
Sidirourgos et al. Column imprints: a secondary index structure
Rusu et al. A survey on array storage, query languages, and systems
Jensen et al. Modelardb: Modular model-based time series management with spark and cassandra
WO2012072364A1 (en) Method and data processing system for encoding data stored in a column-oriented manner, data processing program and computer program product
CN104937593A (zh) 用于数据库搜索的系统和方法
CN105955999A (zh) 一种大规模RDF图的ThetaJoin查询处理方法
Whitman et al. Spatio-temporal join on apache spark
CN105930388A (zh) 一种基于函数依赖关系的olap分组聚集方法
Wang et al. Efficient query processing framework for big data warehouse: an almost join-free approach
Saleem Storage, indexing, query processing, and benchmarking in centralized and distributed RDF engines: a survey
Wang et al. Rencoder: A space-time efficient range filter with local encoder
de Castro Lima et al. Multidimensional cyclic graph approach: representing a data cube without common sub-graphs
CN106933909B (zh) 多维度数据的查询方法及装置
Serrano et al. From relations to multi-dimensional maps: A SQL-to-hbase transformation methodology
Krishna et al. On Compressing Time-Evolving Networks
Rodrigues et al. Virtual partitioning ad-hoc queries over distributed XML databases
CN112667859A (zh) 基于内存的数据处理方法及装置
Li et al. Optimal Representation of Large‐Scale Graph Data Based on Grid Clustering and K2‐Tree
Zimniak et al. Deriving composite periodic patterns from database audit trails
Madduri et al. Efficient joins with compressed bitmap indexes

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20160622

Assignee: Beijing wisdom Data Technology Co., Ltd.

Assignor: Renmin University of China

Contract record no.: X2020980000218

Denomination of invention: Data warehouse security OLAP method on memory cloud computing platform

Granted publication date: 20190820

License type: Common License

Record date: 20200205

EE01 Entry into force of recordation of patent licensing contract