CN111241211A - 一种适配多类大数据库的多维分析方法 - Google Patents

一种适配多类大数据库的多维分析方法 Download PDF

Info

Publication number
CN111241211A
CN111241211A CN202010048019.9A CN202010048019A CN111241211A CN 111241211 A CN111241211 A CN 111241211A CN 202010048019 A CN202010048019 A CN 202010048019A CN 111241211 A CN111241211 A CN 111241211A
Authority
CN
China
Prior art keywords
query
database
multidimensional analysis
multidimensional
analysis method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010048019.9A
Other languages
English (en)
Inventor
潘博存
鞠强
朱诗严
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Special Call Cloud Technology Co Ltd
Qingdao Teld New Energy Technology Co Ltd
Original Assignee
Qingdao Special Call Cloud Technology Co Ltd
Qingdao Teld New Energy Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Special Call Cloud Technology Co Ltd, Qingdao Teld New Energy Technology Co Ltd filed Critical Qingdao Special Call Cloud Technology Co Ltd
Priority to CN202010048019.9A priority Critical patent/CN111241211A/zh
Publication of CN111241211A publication Critical patent/CN111241211A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2452—Query translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种适配多类大数据库的多维分析方法，包括如下步骤：(1)规划业务分析模型；(2)定义查询方案，保存成统一的多维分析表达式；(3)多维分析表达式转换为每类大数据库支持的查询语句；(4)大数据查询语句的执行；(5)查询结果的返回展现。本发明所公开的多维分析方法屏蔽了不同类型的大数据库的差异，并实现了不同大数据库下多维分析模型的统一管理，指标和维度的跨数据库复用。既充分发挥了不同数据库的特长，又降低了运维成本，提升了运维效率，很好的支持了公司的运营和运维。

Description

一种适配多类大数据库的多维分析方法
技术领域
本发明涉及大数据多维分析领域，特别涉及一种适配多类大数据库的多维分析方法。
背景技术
随着云计算大数据技术的发展，在大数据分析领域，大数据库呈现了百花齐放的态势，每类大数据库都有最佳的适用场景。例如：
针对时序数据库下的多维分析优先选择Druid,Influxdb.Hbase
对于OLTP下的大数据库的多维分析会优先选择Elasticserach、Tidb
针对OLAP下的大数据库的多维分析会优先选择GreenPlum、ClickHouse。
大数据领域统一所有场景的大数据库还未出现。目前大部分企业在搭建大数据平台进行大数据分析时，都部署了多钟不同的数据库。如果针对每类数据库都去开发对应的多维分析系统，成本会变的很昂贵，并且无法实现多维分析模型的统一管理。因此，针对种类繁多的大数据库需要有一个可以适配多类数据库的多维分析方法。
大数据下的多维分析系统需要面向多类大数据库，充分发挥每个数据库的特长，满足大数据下的多种不同的场景。
发明内容
为解决上述技术问题，本发明提供了一种适配多类大数据库的多维分析方法，以达到可以适配多类大数据库，实现统一管理和多类数据库之间的复用的目的。
为达到上述目的，本发明的技术方案如下：
一种适配多类大数据库的多维分析方法，包括如下步骤：
(1)规划业务分析模型；
(2)定义查询方案，保存成统一的多维分析表达式；
(3)多维分析表达式转换为每类大数据库支持的查询语句；
(4)大数据查询语句的执行；
(5)查询结果的返回展现。
上述方案中，所述步骤(1)的业务分析模型包括业务的数据源、数据结构、分析模型的维度表和事实表。
上述方案中，所述多维分析表达式为基于通用多维分析语言MDX的统一多维分析表达式。
上述方案中，所述步骤(3)通过不同的数据库适配器实现查询方案向大数据库查询语句的转换。
上述方案中，所述步骤(4)具体为：步骤(3)中解析之后的查询语句，按照映射关系分别通过不同的形式传递到对应的大数据库，每个不同的数据库将查询语句传递给后台的数据库引擎进行执行。
上述方案中，所述步骤(6)中，数据库适配器根据每个数据库查询结果的格式转换为统一的数据格式返回到前台页面。
通过上述技术方案，本发明提供的适配多类大数据库的多维分析方法屏蔽了不同类型的大数据库的差异，并实现了不同大数据库下多维分析模型的统一管理，指标和维度的跨数据库复用。既充分发挥了不同数据库的特长，又降低了运维成本，提升了运维效率，很好的支持了公司的运营和运维。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例所公开的一种适配多类大数据库的多维分析方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
本发明提供了一种适配多类大数据库的多维分析方法，如图1所示，具体实施例如下：
基于电站、用户、充电订单数据、电站运营数据建立充电订单和电站运营多维分析模型。其中数据分别存储在大数据领域的2个开源数据库Elasticsearch和GreenPlum。其中Elasticsearch存储充电订单数据。GreenPlum存储电站、用户、充电订单数据。考虑到2类数据库的各自特点，Elasticsearch主要进行低基数维度的多维分析,电站运营分析采用Elasticsearch。订单涉及的用户属于高基数维度，采用GreenPlum构建订单的多维分析模型。
1)建立多维分析模型
基于多维分析系统，建立电站运营分析模型，事实表为Elasticsearch数据库充电订单。建立充电订单分析模型，维度表GreenPlum数据库的电站、用户，事实表为GreenPlum的充电订单。在此实例中充电订单表实现了统一的数据结构，并实现了在GreenPlum和Elasticsearch中数据库的复用。
2)建立查询方案
基于电站运营分析模型，选择行为电站名称，列为充电日期-月，指标为电量。保存查询方案-电站运营分析；
基于充电订单分析模型，选择行位客户名称，列为充电日期-日，指标为充电量。保存查询方案-用户充电分析。
3)转换为多维分析表达式
电站运营分析方案转换为MDX:
WITH
SET[～COLUMNS]AS
{[002充电日期-月].[002充电日期-月].[充电日期-月].Members}
SET[～ROWS]AS
{[102电站名称].[102电站名称].[电站名称].Members}
SELECT
NON EMPTY CrossJoin([～COLUMNS],{[Measures].[001充电量]})ON COLUMNS,
NON EMPTY[～ROWS]ON ROWS
FROM[gp_etldaystarpt_cube]
用户充电订单分析模型转换为MDX
WITH
SET[～COLUMNS]AS
{[004充电日期-日].[004充电日期-日].[20191225]}
SET[～ROWS]AS
{[306客户名称].[306客户名称].[客户名称].Members}
SELECT
NON EMPTY CrossJoin([～COLUMNS],{[Measures].[002订单数],[Measures].[003总费用]})ON COLUMNS,
NON EMPTY[～ROWS]ON ROWS
FROM[gp_chargebillsolap_cube]
4)多维分析表达式转换为数据库查询语言
电站运营分析对应的表达式将调用本发明的数据查询条件转换器找到Elasticsearch和GreenPlum对应的2个数据库适配器。数据库适配器负责将上述的承载查询条件的多维分析表达式转换为Elasticsearch和GreenPlum所支持的查询语法。
5)查询条件的执行
本发明的Elasticsearch和GreenPlum 2个数据库适配器将转换后的查询sql分别传递给对应的数据库集群，进行查询语句的执行。
6)查询结果的封装
本发明的Elasticsearch和GreenPlum 2个数据库适配器将对应的数据库执行之后的结果进行数据格式统一。Elasticsearch数据返回的数据格式为json。GreenPlum数据返回的数据格式为二维数组。适配器负责将结果数据统一转换为与前端UI约定的数据库格式
7)查询结果的展示
前端界面接收到查询结果，将通过调用对应的数据展示控件，将电站运营分析模型和用户充电分析模型的查询结果进行展示。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种适配多类大数据库的多维分析方法，其特征在于，包括如下步骤：
(1)规划业务分析模型；
(2)定义查询方案，保存成统一的多维分析表达式；
(3)多维分析表达式转换为每类大数据库支持的查询语句；
(4)大数据查询语句的执行；
(5)查询结果的返回展现。
2.根据权利要求1所述的一种适配多类大数据库的多维分析方法，其特征在于，所述步骤(1)的业务分析模型包括业务的数据源、数据结构、分析模型的维度表和事实表。
3.根据权利要求1所述的一种适配多类大数据库的多维分析方法，其特征在于，所述多维分析表达式为基于通用多维分析语言MDX的统一多维分析表达式。
4.根据权利要求1所述的一种适配多类大数据库的多维分析方法，其特征在于，所述步骤(3)通过不同的数据库适配器实现查询方案向大数据库查询语句的转换。
5.根据权利要求1所述的一种适配多类大数据库的多维分析方法，其特征在于，所述步骤(4)具体为：步骤(3)中解析之后的查询语句，按照映射关系分别通过不同的形式传递到对应的大数据库，每个不同的数据库将查询语句传递给后台的数据库引擎进行执行。
6.根据权利要求4所述的一种适配多类大数据库的多维分析方法，其特征在于，所述步骤(6)中，数据库适配器根据每个数据库查询结果的格式转换为统一的数据格式返回到前台页面。
CN202010048019.9A 2020-01-16 2020-01-16 一种适配多类大数据库的多维分析方法 Pending CN111241211A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010048019.9A CN111241211A (zh) 2020-01-16 2020-01-16 一种适配多类大数据库的多维分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010048019.9A CN111241211A (zh) 2020-01-16 2020-01-16 一种适配多类大数据库的多维分析方法

Publications (1)

Publication Number Publication Date
CN111241211A true CN111241211A (zh) 2020-06-05

Family

ID=70872695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010048019.9A Pending CN111241211A (zh) 2020-01-16 2020-01-16 一种适配多类大数据库的多维分析方法

Country Status (1)

Country Link
CN (1) CN111241211A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114741412A (zh) * 2021-01-07 2022-07-12 厦门美柚股份有限公司 用户行为自助分析系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899291A (zh) * 2015-06-05 2015-09-09 北京京东尚科信息技术有限公司 关系型数据库的多维分析的方法及装置
CN106021486A (zh) * 2016-05-18 2016-10-12 广东源恒软件科技有限公司 一种基于大数据的数据多维分析处理方法
CN106066895A (zh) * 2016-06-30 2016-11-02 广东亿迅科技有限公司 一种智能查询系统
CN107704608A (zh) * 2017-10-17 2018-02-16 北京览群智数据科技有限责任公司 一种olap多维分析和数据挖掘系统
CN109144982A (zh) * 2018-09-29 2019-01-04 北京友友天宇系统技术有限公司 多维全息数据库动态构建技术系统
CN109408689A (zh) * 2018-10-24 2019-03-01 北京金山云网络技术有限公司 数据获取方法、装置、系统及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899291A (zh) * 2015-06-05 2015-09-09 北京京东尚科信息技术有限公司 关系型数据库的多维分析的方法及装置
CN106021486A (zh) * 2016-05-18 2016-10-12 广东源恒软件科技有限公司 一种基于大数据的数据多维分析处理方法
CN106066895A (zh) * 2016-06-30 2016-11-02 广东亿迅科技有限公司 一种智能查询系统
CN107704608A (zh) * 2017-10-17 2018-02-16 北京览群智数据科技有限责任公司 一种olap多维分析和数据挖掘系统
CN109144982A (zh) * 2018-09-29 2019-01-04 北京友友天宇系统技术有限公司 多维全息数据库动态构建技术系统
CN109408689A (zh) * 2018-10-24 2019-03-01 北京金山云网络技术有限公司 数据获取方法、装置、系统及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114741412A (zh) * 2021-01-07 2022-07-12 厦门美柚股份有限公司 用户行为自助分析系统
CN114741412B (zh) * 2021-01-07 2024-04-16 厦门美柚股份有限公司 用户行为自助分析系统

Similar Documents

Publication Publication Date Title
US10275475B2 (en) Scalable analysis platform for semi-structured data
US7366730B2 (en) Registration of solved cubes within a relational database management system
CA2860322C (en) Scalable analysis platform for semi-structured data
US8650181B2 (en) OLAP execution model using relational operations
CN108292315A (zh) 储存和检索数据立方体中的数据
CN110968579B (zh) 执行计划的生成与执行方法、数据库引擎及存储介质
CN106951552A (zh) 一种基于Hadoop的用户行为数据处理方法
CN101866350A (zh) 报表生成方法、装置及web服务器
CN106599052A (zh) 一种基于ApacheKylin的数据查询系统及其方法
CN103177094A (zh) 一种物联网数据清洗方法
EP4064066A1 (en) Aggregation operations in a distributed database
CN109408540A (zh) 一种可视化sql查询系统及方法
Khan et al. Efficient data access and performance improvement model for virtual data warehouse
CN111241211A (zh) 一种适配多类大数据库的多维分析方法
CN105550333A (zh) 基于MongoDB的测试数据存储查询方法及系统
CN101901277A (zh) 一种基于用户情景的动态本体建模方法及系统
CN110825775B (zh) 一种Gaia系统中支持流数据与批数据交互的数据交换系统
CN109241153A (zh) 一种异构数据库集成接入方法
CN115994146A (zh) 一种混合式数据存储引擎系统及数据存储方法、访问方法
CN116049193A (zh) 数据存储方法及装置
CN110032574A (zh) Sql语句的处理方法及装置
CN109933622A (zh) 一种数据可视化系统及实现方法
CN114138821A (zh) 一种数据库查询方法、系统和电子设备
CN115422898A (zh) 一种基于容器云的可视化自定义报表分析系统
Kazi et al. MOLAP data warehouse of a software products servicing Call center

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 266000 room 208, floor 2, No. 187, Jinshui Road, Licang District, Qingdao City, Shandong Province

Applicant after: Qingdao Telai big data Co.,Ltd.

Applicant after: Qingdao teltel New Energy Technology Co.,Ltd.

Address before: 266000 room 208, floor 2, No. 187, Jinshui Road, Licang District, Qingdao City, Shandong Province

Applicant before: Qingdao special call cloud Technology Co.,Ltd.

Applicant before: Qingdao teltel New Energy Technology Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200605