CN112148719A - 基于olap预计算模型的数据加工查询方法及装置 - Google Patents

基于olap预计算模型的数据加工查询方法及装置 Download PDF

Info

Publication number
CN112148719A
CN112148719A CN202010950451.7A CN202010950451A CN112148719A CN 112148719 A CN112148719 A CN 112148719A CN 202010950451 A CN202010950451 A CN 202010950451A CN 112148719 A CN112148719 A CN 112148719A
Authority
CN
China
Prior art keywords
dimension
query
metadata
olap
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010950451.7A
Other languages
English (en)
Other versions
CN112148719B (zh
Inventor
郭小龙
孙迁
桑强
郑尧峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suning Cloud Computing Co Ltd
Original Assignee
Suning Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suning Cloud Computing Co Ltd filed Critical Suning Cloud Computing Co Ltd
Priority to CN202010950451.7A priority Critical patent/CN112148719B/zh
Publication of CN112148719A publication Critical patent/CN112148719A/zh
Priority to CA3130648A priority patent/CA3130648A1/en
Application granted granted Critical
Publication of CN112148719B publication Critical patent/CN112148719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Abstract

本发明公开一种基于OLAP预计算模型的数据加工查询方法及装置，涉及大数据技术领域，能够灵活支持多种维度组合的预计算任务，不仅形式灵活而且节省计算和存储资源。该方法包括：从数据仓库中提取多条原始数据，清洗处理后得到元数据缓存入公共集群；基于预计算模型中的维度列表，将公共集群中的每条元数据进行维度编码后迁移至计算引擎；将从报表系统中获取的查询指标转换成与维度编码维度一致的查询条件语句，从计算引擎中查询符合条件的元数据并返回查询结果。该装置应用有上述方案所提的方法。

Description

基于OLAP预计算模型的数据加工查询方法及装置
技术领域
本发明涉及大数据技术领域，尤其涉及一种基于OLAP预计算模型的数据加工查询方法及装置。
背景技术
在数据快速膨胀的互联网时代，企业收集数据的规模越来越大，收集数据的分类越来越细致。如何有效地利用这些数据，挖掘数据中的潜在规律，最终给企业的经营提供前瞻性指导性的意见，成为了一个亟待解决的问题。OLAP，中文含义叫联机分析处理系统，它能够让分析人员高效、迅速、一致、精确的从各个方面观察信息，以达到深入理解数据的目的，挖掘数据的最大价值。OLAP的主要特点在于能够直接仿照用户的多角度思考模式，预先为用户组建多维的数据模型。例如对销售数据的分析，时间周期是一个维度，产品类别、分销渠道、地理分布、客户群类也分别是一个维度。一旦多维数据模型建立完成，用户可以快速地从各个分析角度获取数据，也能动态的在各个角度之间切换或者进行多角度综合分析，具有较佳地分析灵活性。
传统预计算模型属于OLAP众多模型的一种，其存在维度组合较为固定、形式单一、计算存储资源消耗大的缺陷，比如传统预计算模型有10个维度，当前预计算模型只能根据这10个维度进行值的计算，也即只有一种组合，如果要实现10个维度的各种维度组合的预计算，则需要对应建立多个预计算模型。
发明内容
本发明的目的在于提供一种基于OLAP预计算模型的数据加工查询方法及装置，能够灵活支持多种维度组合的预计算条件，不仅形式灵活而且节省计算和存储资源。
为了实现上述目的，本发明的第一方面提供一种基于OLAP预计算模型的数据加工查询方法，包括：
从数据仓库中提取多条原始数据，清洗处理后得到元数据缓存入公共集群；
基于预计算模型中的维度列表，将公共集群中的每条元数据进行维度编码后迁移至计算引擎；
将从报表系统中获取的查询指标转换成与所述维度编码维度一致的查询条件语句，从计算引擎中查询符合条件的元数据并返回查询结果。
优选地，从数据仓库中提取多条原始数据，清洗处理后得到元数据缓存入公共集群的方法包括：
通过OLAP系统从数据仓库提取原始数据，清洗处理后将多条元数据缓存入公共集群的hive表中；
通过OLAP系统定时将公共集群中的hive表迁移到OLAP专属集群中；
通过OLAP系统定时将OLAP专属集群中的hive表加工至专属集群的parquet文件中。
较佳地，将公共集群中的每条元数据进行维度编码后迁移至计算引擎的方法包括：
通过OLAP系统定时将专属集群的parquet文件加工到druid计算引擎中。
优选地，所述维度列表包括顺序排列的多个维度字段，或者同时包括与所述维度字段一一对应的维度编码。
较佳地，将公共集群中的元数据进行维度编码的方法包括：
将元数据中的维值字段与所述维度列表中的维度字段进行匹配，当维度字段匹配的维值字段有值则在维度编码中对应位置处的标记值为1，当维度字段匹配的维值字段无值则在维度编码中对应位置处的标记值为0；
依序汇总标记值，生成与所述元数据对应的维度编码。
进一步地，将从报表系统中获取的查询指标转换成与所述维度编码维度一致的查询条件语句，从计算引擎中查询符合条件的元数据返回查询结果的方法包括：
在报表系统选择一个或多个查询维度，形成维度查询组合；
OLAP系统根据所述维度查询组合生成与所述维度编码维度一致的查询编码，同时在查询语句中增加基于查询编码的过滤条件；
OLAP系统将所述查询语句转换成查询json，从计算引擎中查询符合条件的元数据并返回查询结果。
进一步地，从计算引擎中查询符合条件元数据的方法包括：
根据所述查询编码从计算引擎中搜寻维度编码一致的元数据，计算后返回查询结果。
与现有技术相比，本发明提供的基于OLAP预计算模型的数据加工查询方法具有以下有益效果：
本发明提供的基于OLAP预计算模型的数据加工查询方法中，业务系统从上游数据仓库中获取原始数据，按照预设的计算规则对原始数据进行清洗处理得到元数据后放入公共集群(HDFS)中存储，然后基于预计算模型中的维度列表，将公共集群中的每条元数据进行维度编码后迁移至计算引擎(druid)，用户利用报表系统进行相关查询时，通过将查询指标转换成与维度编码维度一致的查询条件语句，然后根据查询条件语句从计算引擎的报表中匹配相关的元数据，并在计算后返回查询结果。
可见，由于报表中的元数据全部都是按照维度列表中的维度字段顺序进行的维度编码，在元数据查询过程中可根据维度编码实现快速查询，而且通过计算引擎的应用能够进一步提升查询效率。另外，报表中的维度列表包括多个常用的维度字段，使用时还可针对其中的维度字段按需进行增减，由于该报表为一张维度齐全的大表，故针对当前的预计算模型仅需一张报表即可满足各种维度查询组合的查询需求，相比较传统预计算模型中需构建与维度查询组合一一对应维度组合的报表而言，不仅能够灵活支持多种维度组合的预计算，还能大幅节约存储计算资源。
本发明的第二方面提供一种基于OLAP预计算模型的数据加工查询装置，应用于上述技术方案所述的基于OLAP预计算模型的数据加工查询方法中，所述装置包括：
数据提取单元，用于从数据仓库中提取多条原始数据，清洗处理后得到元数据缓存入公共集群；
数据加工单元，用于基于预计算模型中的维度列表，将公共集群中的每条元数据进行维度编码后迁移至计算引擎；
数据查询单元，用于将从报表系统中获取的查询指标转换成与所述维度编码维度一致的查询条件语句，从计算引擎中查询符合条件的元数据并返回查询结果。
优选地，所述数据查询单元包括：
查询模块，用于在报表系统选择一个或多个查询维度，形成维度查询组合；
查询语句改造模块，用于OLAP系统根据所述维度查询组合生成与所述维度编码维度一致的查询编码，同时在查询语句中增加基于查询编码的过滤条件；
查询语句转换模块，用于OLAP系统将所述查询语句转换成查询json，从计算引擎中查询符合条件的元数据并返回查询结果。
与现有技术相比，本发明提供的基于OLAP预计算模型的数据加工查询装置的有益效果与上述技术方案提供的基于OLAP预计算模型的数据加工查询方法的有益效果相同，在此不做赘述。
本发明的第三方面提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述基于OLAP预计算模型的数据加工查询方法的步骤。
与现有技术相比，本发明提供的计算机可读存储介质的有益效果与上述技术方案提供的基于OLAP预计算模型的数据加工查询方法的有益效果相同，在此不做赘述。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例中基于OLAP预计算模型的数据加工查询方法的流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。
实施例一
请参阅图1，本实施例提供一种基于OLAP预计算模型的数据加工查询方法，包括：
从数据仓库中提取多条原始数据，清洗处理后得到元数据缓存入公共集群；基于预计算模型中的维度列表，将公共集群中的每条元数据进行维度编码后迁移至计算引擎；将从报表系统中获取的查询指标转换成与所述维度编码维度一致的查询条件语句，从计算引擎中查询符合条件的元数据并返回查询结果。
本实施例提供的基于OLAP预计算模型的数据加工查询方法中，业务系统从上游数据仓库中获取原始数据，按照预设的计算规则对原始数据进行清洗处理得到元数据后放入公共集群(HDFS)中存储，然后基于预计算模型中的维度列表，将公共集群中的每条元数据进行维度编码后迁移至计算引擎(druid)，用户利用报表系统进行相关查询时，通过将查询指标转换成与维度编码维度一致的查询条件语句，然后根据查询条件语句从计算引擎的报表中匹配相关的元数据，并在计算后返回查询结果。
可见，由于报表中的元数据全部都是按照维度列表中的维度字段顺序进行的维度编码，在元数据查询过程中可根据维度编码实现快速查询，而且通过计算引擎的应用能够进一步提升查询效率。另外，报表中的维度列表包括多个常用的维度字段，使用时还可针对其中的维度字段按需进行增减，由于该报表为一张维度齐全的大表，故针对当前的预计算模型仅需一张报表即可满足各种维度查询组合的查询需求，相比较传统预计算模型中需构建与维度查询组合一一对应维度组合的报表而言，不仅能够灵活支持多种维度组合的预计算，还能大幅节约存储计算资源。
示例性地，传统预计算模型每天计算的维度组合比较固定，只能通过A、B、C维度组合进行计算。本实施例中的预计算模型可以根据实际业务场景任意选择需要计算的维度组合，比如某一天是根据维度组合A、B、C进行预计算，某一天是根据维度组合A、C或者维度组合B、C或者维度组合A、C进行预计算，以实现支持多种维度组合的预计算。
上述实施例中，从数据仓库中提取多条原始数据，清洗处理后得到元数据缓存入公共集群的方法包括：
通过OLAP系统从数据仓库提取原始数据，清洗处理后将多条元数据缓存入公共集群的hive表中；通过OLAP系统定时将公共集群中的hive表迁移到OLAP专属集群中；通过OLAP系统定时将OLAP专属集群中的hive表加工至专属集群的parquet文件中。通过OLAP系统定时将专属集群的parquet文件加工到druid计算引擎中。
具体实施时，创建预计算模型时会同步创建预计算模型的元数据信息，该元数据信息主要包括维度列表，维度列表中包括顺序排列的多个维度字段，或者同时包括与所述维度字段一一对应的维度编码。该预计算模型是时序化聚合的离线模型，根据维度列表每天凌晨加工昨天的业务数据，数据的度量都是预聚合过的，每天存储一份数据加工至druid计算引擎中。可选地，加工是通过IDE任务管理系统定时拉spark任务定时处理来实现。
上述实施例中，将公共集群中的元数据进行维度编码的方法包括：
将元数据中的维值字段与维度列表中的维度字段进行匹配，当维度字段匹配的维值字段有值则在维度编码中对应位置处的标记值为1，当维度字段匹配的维值字段无值则在维度编码中对应位置处的标记值为0；依序汇总标记值，生成与元数据一一对应的维度编码。
具体实施时，上述所说的维度编码为cuboid，通过对每条元数据按照维度列表中的维度字段顺序依次进行匹配，当元数据中的某一维度字段存在维值，则维度编码中对应位置处的标记值为1，当元数据中的某一维度字段不存在维值，则维度编码中对应位置处的标记值为0，按照上传逻辑，针对各条元数据从第一个维度字段至最后一个维度字段依次匹配，最终生成与元数据一一对应的维度编码。
一般来讲，主时间字段(time字段)在每条元数据中都是必要存在的，通过主时间字段来保证数据的时序性。另外，每条元数据中的维度字段(度量)可能相同也可能不同，这主要和业务特点有一定关系，比如财务相关的预计算模型维度字段都是和财务相关，物流相关的预计算模型维度字段都是和物流相关。
举例说明：以下是一个预计算模型的维度列表，维度字段的顺序为main_time、str_prop_cd、cros_str_prop_cd、chnl_cd、city_cmpy_cd和area_cd。
如果main_time，str_prop_cd，chnl_cd有对应维值，cros_str_prop_cd，city_cmpy_cd和area_cd没有对应维值，则维度编码为110100。
如果main_time，str_prop_cd，cros_str_prop_cd有值，chnl_cd，city_cmpy_cd和area_cd没有对应维值，则维度编码为111000。
上述实施例中，将从报表系统中获取的查询指标转换成与所述维度编码维度一致的查询条件语句，从计算引擎中查询符合条件的元数据返回查询结果的方法包括：
在报表系统选择一个或多个查询维度，形成维度查询组合；OLAP系统根据所述维度查询组合生成与所述维度编码维度一致的查询编码，同时在查询语句中增加基于查询编码的过滤条件；OLAP系统将所述查询语句转换成查询json，从计算引擎中查询符合条件的元数据并返回查询结果。
从计算引擎中查询符合条件元数据的方法包括：根据查询编码从计算引擎中搜寻维度编码一致的元数据，计算后返回查询结果。
具体实施时，用户在报表系统中选择查询维度构成维度查询组合，例如选择了main_time和str_prop_cd这两个查询维度，则这两个维度字段对应的维度编码标记值为1，考虑到维度列表的中存在有6个维度，也即6位数编码，OLAP系统自动生成本次维度查询组合的编码110000，动态改造查询语句的spark逻辑计划，在查询语句中增加编码110000的过滤条件(filter条件)，接着OLAP系统根据改造过的spark计划转化成druid的查询json，查询json中包含有过滤条件，druid计算引擎基于110000查询编码搜索维度编码一致的元数据，计算后返回查询结果。其中，查询json的转化是通过spark-druid开源插件将计划映射成druid的查询api来实现的，通过将计划的维度查询组合的过滤条件转化成druid查询json中的过程条件，由于增加了维度查询组合的过滤条件，druid在筛选数据的时候，又快又准，性能会提高很多。
相比较于传统的预计算模型只会按照一组维度组合进行预计算，如果要实现多组维度组合预计算则需要构建多种预计算模型，多种维度组合对应的预计算模型被重复存储，浪费了存储空间。
示例性地，OLAP系统利用spark2.3版本作为SQL处理引擎，SQL经过spark parse解析后转化成LogicalPlan对象，LogicalPlan是一个树形结构。OLAP系统能够分析LogicalPlan对象，分析维度queryGroupByAttributeNames为time，str_prop_cd、cros_str_prop_cd等。
实施例二
本实施例提供一种基于OLAP预计算模型的数据加工查询装置，包括：
数据提取单元，用于从数据仓库中提取多条原始数据，清洗处理后得到元数据缓存入公共集群；
数据加工单元，用于基于预计算模型中的维度列表，将公共集群中的每条元数据进行维度编码后迁移至计算引擎；
数据查询单元，用于将从报表系统中获取的查询指标转换成与所述维度编码维度一致的查询条件语句，从计算引擎中查询符合条件的元数据并返回查询结果。
优选地，所述数据查询单元包括：
查询模块，用于在报表系统选择一个或多个查询维度，形成维度查询组合；
查询语句改造模块，用于OLAP系统根据所述维度查询组合生成与所述维度编码维度一致的查询编码，同时在查询语句中增加基于查询编码的过滤条件；
查询语句转换模块，用于OLAP系统将所述查询语句转换成查询json，从计算引擎中查询符合条件的元数据并返回查询结果。
与现有技术相比，本发明实施例提供的基于OLAP预计算模型的数据加工查询装置的有益效果与上述实施例一提供的基于OLAP预计算模型的数据加工查询方法的有益效果相同，在此不做赘述。
实施例三
本实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述基于OLAP预计算模型的数据加工查询方法的步骤。
与现有技术相比，本实施例提供的计算机可读存储介质的有益效果与上述技术方案提供的基于OLAP预计算模型的数据加工查询方法的有益效果相同，在此不做赘述。
本领域普通技术人员可以理解，实现上述发明方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，上述程序可以存储于计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于OLAP预计算模型的数据加工查询方法，其特征在于，包括：
从数据仓库中提取多条原始数据，清洗处理后得到元数据缓存入公共集群；
基于预计算模型中的维度列表，将公共集群中的每条元数据进行维度编码后迁移至计算引擎；
将从报表系统中获取的查询指标转换成与所述维度编码维度一致的查询条件语句，从计算引擎中查询符合条件的元数据并返回查询结果。
2.根据权利要求1所述的方法，其特征在于，从数据仓库中提取多条原始数据，清洗处理后得到元数据缓存入公共集群的方法包括：
通过OLAP系统从数据仓库提取原始数据，清洗处理后将多条元数据缓存入公共集群的hive表中；
通过OLAP系统定时将公共集群中的hive表迁移到OLAP专属集群中；
通过OLAP系统定时将OLAP专属集群中的hive表加工至专属集群的parquet文件中。
3.根据权利要求2所述的方法，其特征在于，将公共集群中的每条元数据进行维度编码后迁移至计算引擎的方法包括：
通过OLAP系统定时将专属集群的parquet文件加工到druid计算引擎中。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述维度列表包括顺序排列的多个维度字段，或者同时包括与所述维度字段一一对应的维度编码。
5.根据权利要求4所述的方法，其特征在于，将公共集群中的元数据进行维度编码的方法包括：
将元数据中的维值字段与所述维度列表中的维度字段进行匹配，当维度字段匹配的维值字段有值则在维度编码中对应位置处的标记值为1，当维度字段匹配的维值字段无值则在维度编码中对应位置处的标记值为0；
依序汇总标记值，生成与所述元数据一一对应的维度编码。
6.根据权利要求5所述的方法，其特征在于，将从报表系统中获取的查询指标转换成与所述维度编码维度一致的查询条件语句，从计算引擎中查询符合条件的元数据返回查询结果的方法包括：
在报表系统选择一个或多个查询维度，形成维度查询组合；
OLAP系统根据所述维度查询组合生成与所述维度编码维度一致的查询编码，同时在查询语句中增加基于查询编码的过滤条件；
OLAP系统将所述查询语句转换成查询json，从计算引擎中查询符合条件的元数据并返回查询结果。
7.根据权利要求6所述的方法，其特征在于，从计算引擎中查询符合条件元数据的方法包括：
根据所述查询编码从计算引擎中搜寻维度编码一致的元数据，计算后返回查询结果。
8.一种基于OLAP预计算模型的数据加工查询装置，其特征在于，包括：
数据提取单元，用于从数据仓库中提取多条原始数据，清洗处理后得到元数据缓存入公共集群；
数据加工单元，用于基于预计算模型中的维度列表，将公共集群中的每条元数据进行维度编码后迁移至计算引擎；
数据查询单元，用于将从报表系统中获取的查询指标转换成与所述维度编码维度一致的查询条件语句，从计算引擎中查询符合条件的元数据并返回查询结果。
9.根据权利要求8所述的装置，其特征在于，所述数据查询单元包括：
查询模块，用于在报表系统选择一个或多个查询维度，形成维度查询组合；
查询语句改造模块，用于OLAP系统根据所述维度查询组合生成与所述维度编码维度一致的查询编码，同时在查询语句中增加基于查询编码的过滤条件；
查询语句转换模块，用于OLAP系统将所述查询语句转换成查询json，从计算引擎中查询符合条件的元数据并返回查询结果。
10.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，计算机程序被处理器运行时执行上述权利要求1至7任一项所述方法的步骤。
CN202010950451.7A 2020-09-11 2020-09-11 基于olap预计算模型的数据加工查询方法及装置 Active CN112148719B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010950451.7A CN112148719B (zh) 2020-09-11 2020-09-11 基于olap预计算模型的数据加工查询方法及装置
CA3130648A CA3130648A1 (en) 2020-09-11 2021-09-13 Data processing query method and device based on olap pre-calculation model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010950451.7A CN112148719B (zh) 2020-09-11 2020-09-11 基于olap预计算模型的数据加工查询方法及装置

Publications (2)

Publication Number Publication Date
CN112148719A true CN112148719A (zh) 2020-12-29
CN112148719B CN112148719B (zh) 2022-11-18

Family

ID=73890031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010950451.7A Active CN112148719B (zh) 2020-09-11 2020-09-11 基于olap预计算模型的数据加工查询方法及装置

Country Status (2)

Country Link
CN (1) CN112148719B (zh)
CA (1) CA3130648A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112685421A (zh) * 2020-12-31 2021-04-20 浪潮云信息技术股份公司 一种基于大数据和预计算的热线分析方法及模型

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040122646A1 (en) * 2002-12-18 2004-06-24 International Business Machines Corporation System and method for automatically building an OLAP model in a relational database
CN107133342A (zh) * 2017-05-16 2017-09-05 广州舜飞信息科技有限公司 一种IndexR实时数据分析库
CN109684352A (zh) * 2018-12-29 2019-04-26 江苏满运软件科技有限公司 数据分析系统、方法、存储介质及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040122646A1 (en) * 2002-12-18 2004-06-24 International Business Machines Corporation System and method for automatically building an OLAP model in a relational database
CN107133342A (zh) * 2017-05-16 2017-09-05 广州舜飞信息科技有限公司 一种IndexR实时数据分析库
CN109684352A (zh) * 2018-12-29 2019-04-26 江苏满运软件科技有限公司 数据分析系统、方法、存储介质及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112685421A (zh) * 2020-12-31 2021-04-20 浪潮云信息技术股份公司 一种基于大数据和预计算的热线分析方法及模型

Also Published As

Publication number Publication date
CA3130648A1 (en) 2022-03-11
CN112148719B (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
CN109684352B (zh) 数据分析系统、方法、存储介质及电子设备
Kamat et al. Distributed and interactive cube exploration
JP6697392B2 (ja) 半構造データスキーマのトランスペアレントディスカバリ
JP6117378B2 (ja) 分散型データベースクエリ・エンジン用のシステムおよび方法
Angles et al. Benchmarking database systems for social network applications
CN108376143B (zh) 一种新型的olap预计算系统及生成预计算结果的方法
CN104700190B (zh) 一种用于项目与专业人员匹配的方法和装置
CN105320756A (zh) 一种基于改进Apriori算法的数据库关联规则挖掘方法
CN111177178A (zh) 一种数据处理方法及相关设备
CN107016501A (zh) 一种高效的工业大数据多维分析方法
CN112286961B (zh) Sql优化查询方法及装置
CN105302730A (zh) 一种检测计算模型的方法、测试服务器及业务平台
CN105786996A (zh) 一种用电信息数据质量分析系统
Papadakis et al. Domain-and structure-agnostic end-to-end entity resolution with jedai
Chambi et al. Optimizing druid with roaring bitmaps
CN106599189A (zh) 基于云计算的动态Skyline查询装置
US20160154805A1 (en) Estimating most frequent values for a data set
CN112148719B (zh) 基于olap预计算模型的数据加工查询方法及装置
TWI436222B (zh) Real - time multi - dimensional analysis system and method on cloud
CN105242873A (zh) 云计算系统的性能数据的采集与存储方法及装置
Xie et al. OLAP over probabilistic data cubes II: parallel materialization and extended aggregates
Chawla et al. JOTR: Join-optimistic triple reordering approach for SPARQL query optimization on big RDF data
Shah et al. Performance Study of Time Series Databases
Chou et al. The implementation of a data-accessing platform built from big data warehouse of electric loads
CN111984625B (zh) 数据库负载特征处理方法、装置、介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant