CN110232055B - Olap数据分析迁移方法及系统 - Google Patents

Olap数据分析迁移方法及系统 Download PDF

Info

Publication number
CN110232055B
CN110232055B CN201910381283.1A CN201910381283A CN110232055B CN 110232055 B CN110232055 B CN 110232055B CN 201910381283 A CN201910381283 A CN 201910381283A CN 110232055 B CN110232055 B CN 110232055B
Authority
CN
China
Prior art keywords
data source
information
original
data
olap
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910381283.1A
Other languages
English (en)
Other versions
CN110232055A (zh
Inventor
刘文政
李栋
李扬
韩卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunyun Shanghai Information Technology Co ltd
Original Assignee
Yunyun Shanghai Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunyun Shanghai Information Technology Co ltd filed Critical Yunyun Shanghai Information Technology Co ltd
Priority to CN201910381283.1A priority Critical patent/CN110232055B/zh
Publication of CN110232055A publication Critical patent/CN110232055A/zh
Application granted granted Critical
Publication of CN110232055B publication Critical patent/CN110232055B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G06F16/212—Schema design and management with details for data modelling support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例公开一种OLAP数据分析迁移方法及系统，其中方法包括如下步骤：提取原始分析应用模型中的原始信息，该原始信息包括原始数据源信息和报表信息，将原始数据源信息和报表信息转换成基于新数据源的分析应用模型，将基于原始数据源的原始分析应用模型转换成基于新数据源的OLAP模型。采用本发明，通过转换分析应用模型和OLAP模型，可以提高数据迁移的效率，使迁移后OLAP分析性能得到保证。

Description

OLAP数据分析迁移方法及系统
技术领域
本发明涉及互联网信息数据处理技术领域，尤其涉及一种OLAP数据分析迁移方法及系统。
背景技术
在这个数据快速增长的时代，人们通常会迁移数据存储引擎以存储或处理更大规模的数据。随着数据引擎的变更，基于这个数据引擎的联机数据分析(OLAP数据分析)应用也需要重新制作；而且随着数据存储体量的增大，OLAP分析的性能也存在一定的挑战。如何高效地迁移OLAP数据分析应用，是一个非常有价值的技术问题。
目前，业界通常的做法是，参考之前的数据源模型以及数据分析应用(如报表)，手动创建基于新数据源的模型以及数据分析应用。大量重复性地手工创建模型和报表非常消耗人力成本，且手工操作难免也会失误，反复修改也会带来不可预期的时间成本。而且即使数据分析应用迁移完成了，由于数据体量的日益增大，OLAP分析的性能也是难以保证的。
发明内容
本发明实施例提供一种OLAP数据分析迁移方法及系统，通过提取原始分析应用模型中的原始信息，再转换基于新数据源的分析应用模型以及OLAP模型，可以提高数据迁移的效率，使迁移后OLAP分析性能得到保证。
本发明实施例第一方面提供了一种OLAP数据分析迁移方法，可包括：
提取原始分析应用模型中的原始信息，所述原始信息包括原始数据源信息和报表信息；
将所述原始数据源信息和所述报表信息转换成基于新数据源的分析应用模型；
将基于原始数据源的所述原始分析应用模型转换成基于新数据源的OLAP模型。
进一步的，上述将所述原始数据源信息和所述报表信息转换成基于新数据源的分析应用模型，包括：
采用所述新数据源替换所述原始分析应用模型中的原始数据源，生成基于新数据源的分析应用模型。
进一步的，上述将基于原始数据源的所述原始分析应用模型转换成基于新数据源的OLAP模型，包括：
按照所述报表信息指示的报表使用的维度、度量以及过滤方式对所述原始数据源信息进行信息解析，生成基于新数据源的OLAP模型。
进一步的，上述方法还包括：
根据所述OLAP模型的模型信息创建Cube预计算结果集。
进一步的，上述根据所述OLAP模型的模型信息创建Cube预计算结果集，包括：
检测所述OLAP模型所描述的数据之间的数据关系，所述数据关系为数据源表之间的连接信息、维度、度量以及层级的定义信息；
根据所述数据关系创建Cube预计算结果集。
本发明实施例第二方面提供了一种OLAP数据分析迁移系统，可包括：
数据提取模块，用于提取原始分析应用模型中的原始信息，所述原始信息包括原始数据源信息和报表信息；
应用模型转换模块，用于将所述原始数据源信息和所述报表信息转换成基于新数据源的分析应用模型；
OLAP模型转换模块，用于将基于原始数据源的所述原始分析应用模型转换成基于新数据源的OLAP模型。
进一步的，上述应用模型转换模块，具体用于采用所述新数据源替换所述原始分析应用模型中的原始数据源，生成基于新数据源的分析应用模型。
进一步的，上述OLAP模型转换模块，具体用于按照所述报表信息指示的报表使用的维度、度量以及过滤方式对所述原始数据源信息进行信息解析，生成基于新数据源的OLAP模型。
进一步的，上述系统还包括：
结果集创建模块，用于基于所述OLAP模型的模型信息创建Cube预计算结果集。
进一步的，上述结果集创建模块包括：
数据关系检测单元，用于检测所述OLAP模型所描述的数据之间的数据关系，所述数据关系为数据源表之间的连接信息、维度、度量以及层级的定义信息；
结果集创建单元，用于根据所述数据关系创建Cube预计算结果集。
在本发明实施例中，通过提取原始分析应用模型中的原始信息，再转换基于新数据源的分析应用模型以及OLAP模型，提高了数据迁移的效率，使迁移后OLAP分析性能得到了保证。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明实施例提供的一种OLAP数据分析迁移方法的流程示意图；
图2是本发明实施例提供的一种OLAP数据分析迁移系统的结构示意图；
图3是本发明实施例提供的结果集创建模块的结构示意图；
图4是本发明实施例提供的另一种OLAP数据分析迁移系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
本发明实施例提供的OLAP数据分析迁移方法可以应用于将商业智能(BusinessIntelligence，BI)报表从传统数据库平台迁移至大数据平台的应用场景。
下面将结合附图1，对本发明实施例提供的OLAP数据分析迁移方法进行详细介绍。
请参见图1，为本发明实施例提供了一种OLAP数据分析迁移方法的流程示意图。如图1所示，本发明实施例的所述方法可以包括以下步骤S101-步骤S103。
S101，提取原始分析应用模型中的原始信息。
具体的，上述系统可以提取原始分析应用模型中的原始信息，可以理解的是，上述原始信息可以包括原始数据源信息以及报表信息。通常的，原始数据源信息包括数据源类型(类型可以是传统的数据库平台或者数仓平台)，数据源的连接方式、数据源的OLAP模型信息(比如雪花模型和星型模型)，以及数据源的表结构信息(如表名，字段名和别名等信息)。报表信息包括报表使用的维度、度量、过滤方式等。这些信息主要是通过编程的方式从数据分析应用平台提供的接口或者可导出模型文件中分析得到的。
S102，将原始数据源信息和报表信息转换成基于新数据源的分析应用模型。
具体的，上述系统可以采用新数据源替换原始分析应用模型中的原始数据源，生成基于新数据源的分析应用模型。可以理解的是，原始分析应用模型与基于新数据源的分析应用模型的报表信息是一样的，不同是的数据源。
可选的，上述系统可以通过文件或者接口的方式将新数据源导入到数据分析应用平台，数据分析应用平台包括但不限于常见的各种BI工具，如Tableau、Power BI等，实现数据分析应用的数据源无缝替换的效果。
S103，将基于原始数据源的原始分析应用模型转换成基于新数据源的OLAP模型。
具体的，上述系统可以按照上述报表信息指示的报表使用的维度、度量以及过滤方式对原始数据源信息进行信息解析，生成基于新数据源的OOLAP模型。可以理解的是，所生成的OLAP模型可以是描述当前大数据平台中数据源表之间数据关系的模型，维度度量的定义等。
在可选实施例中，上述系统可以根据导出的OLAP模型，自动化创建多维数据集Cube预计算结果集，可以理解的是，Cube预计算结果集可以是真实存在的高性能的OLAP分析存储介质。
在可选实施例中，上述系统可以检测OLAP模型所描述的数据之间的数据关系，其中，所说的数据关系为数据源表之间的连接信息、维度、度量以及层级的定义信息，进一步的，可以根据上述数据关系创建Cube预计算结果集。
在本发明实施例中，通过提取原始分析应用模型中的原始信息，再转换基于新数据源的分析应用模型以及OLAP模型，提高了数据迁移的效率，使迁移后OLAP分析性能得到了保证。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
下面将结合附图2-附图4，对本发明实施例提供的OLAP数据分析迁移系统进行详细介绍。需要说明的是，附图2-附图4所示的OLAP数据分析迁移系统，用于执行本发明图1所示实施例的方法，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明图1所示的实施例。
请参见图2，为本发明实施例提供了一种OLAP数据分析迁移系统的结构示意图。如图2所示，本发明实施例的数据分析迁移系统1可以包括：数据提取模块11、应用模型转换模块12、OLAP模型转换模块13和结果集创建模块14。其中，结果集创建模块14如图3所示，数据关系检测单元141以及结果集创建单元142。
数据提取模块11，用于提取原始分析应用模型中的原始信息。
具体实现中，数据提取模块11可以提取原始分析应用模型中的原始信息，可以理解的是，上述原始信息可以包括原始数据源信息以及报表信息。通常的，原始数据源信息包括数据源类型(类型可以是传统的数据库平台或者数仓平台)、数据源的连接方式、数据源的OLAP模型信息(比如雪花模型和星型模型)，以及数据源的表结构信息(如表名，字段名和别名等信息)。报表信息包括报表使用的维度、度量、过滤方式等。这些信息主要是通过编程的方式从数据分析应用平台提供的接口或者可导出模型文件中分析得到的。
应用模型转换模块12，用于将原始数据源信息和报表信息转换成基于新数据源的分析应用模型。
具体实现中，应用模型转换模块12可以采用新数据源替换原始分析应用模型中的原始数据源，生成基于新数据源的分析应用模型。可以理解的是，原始分析应用模型与基于新数据源的分析应用模型的报表信息是一样的，不同是的数据源。
可选的，上述系统1可以通过文件或者接口的方式将新数据源导入到数据分析应用平台，数据分析应用平台包括但不限于常见的各种BI工具，如Tableau、Power BI等，实现数据分析应用的数据源无缝替换的效果。
OLAP模型转换模块13，用于将基于原始数据源的原始分析应用模型转换成基于新数据源的OLAP模型。
具体实现中，OLAP模型转换模块13可以按照上述报表信息指示的报表使用的维度、度量以及过滤方式对原始数据源信息进行信息解析，生成基于新数据源的OLAP模型。可以理解的是，所生成的OLAP模型可以是描述当前大数据平台中数据源表之间数据关系的模型，维度度量的定义等。
在可选实施例中，结果集创建模块14可以根据导出的OLAP模型，自动化创建多维数据集Cube预计算结果集，可以理解的是，Cube预计算结果集可以是真实存在的高性能的OLAP分析存储介质。
在可选实施例中，数据关系检测单元141可以检测OLAP模型所描述的数据之间的数据关系，其中，所说的数据关系为数据源表之间的连接信息、维度、度量以及层级的定义信息，进一步的，结果集创建单元142可以根据上述数据关系创建Cube预计算结果集。
在本发明实施例中，通过提取原始分析应用模型中的原始信息，再转换基于新数据源的分析应用模型以及OLAP模型，提高了数据迁移的效率，使迁移后OLAP分析性能得到了保证。
图4为本发明实施例提供的另一种OLAP数据分析迁移系统的结构示意图，如图4所示本发明实施例的迁移系统2可以包括：数据分析应用平台21、数据提取模块22、模型转换模块23以及建模模块24。
数据分析应用平台21，用于确定原始数据对应的分析应用模型，并将该模型导出至数据提取模块23。
数据提取模块22，用于提取分析应用模型中的原始信息，将数据源和报表的分析等反馈至模型转换模块23。
模型转换模块23，用于根据上述数据源和报表分析等数据生成新式分析应用模型，并将该模型转换为OLAP模型。
可以理解的是，模型转换模块23可以将新式分析应用模型反馈至上述数据分析应用平台，用于更新其中的分析应用模型。
建模模块24，用于根据OALP模型创建Cube预计算结果集。
可以理解的是，用户可以基于数据分析应用平台21输入OLAP查询至建模模块24，通过该模块进行数据分析得到查询结果。
需要说明的是，本发明实施例中涉及的具体的数据分析迁移过程，可以参将上述实施例中的具体描述，此处不再赘述。
在本发明实施例中，通过提取原始分析应用模型中的原始信息，再转换基于新数据源的分析应用模型以及OLAP模型，提高了数据迁移的效率，使迁移后OLAP分析性能得到了保证。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (6)

1.一种OLAP数据分析迁移方法，其特征在于，所述方法用于将报表从传统数据库平台迁移至大数据平台，包括：
提取原始分析应用模型中的原始信息，所述原始信息包括原始数据源信息和报表信息；
将所述原始数据源信息和所述报表信息转换成基于新数据源的分析应用模型，包括：采用新数据源替换所述原始分析应用模型中的原始数据源，生成基于新数据源的分析应用模型；
将基于原始数据源的所述原始分析应用模型转换成基于新数据源的OLAP模型包括：按照所述报表信息指示的报表使用的维度、度量以及过滤方式对原始数据源信息进行信息解析，生成基于新数据源的OLAP模型；所述基于新数据源的OLAP模型可用于描述当前大数据平台中数据源表之间数据关系的模型；基于所述数据关系创建Cube预计算结果集。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述OLAP模型的模型信息创建Cube预计算结果集。
3.根据权利要求2所述的方法，其特征在于，所述根据所述OLAP模型的模型信息创建Cube预计算结果集，包括：
检测所述OLAP模型所描述的数据之间的数据关系，所述数据关系为数据源表之间的连接信息、维度、度量以及层级的定义信息；
根据所述数据关系创建Cube预计算结果集。
4.一种OLAP数据分析迁移系统，其特征在于，所述系统用于将报表从传统数据库平台迁移至大数据平台，包括：
数据提取模块，用于提取原始分析应用模型中的原始信息，所述原始信息包括原始数据源信息和报表信息；
应用模型转换模块，用于将所述原始数据源信息和所述报表信息转换成基于新数据源的分析应用模型，包括：采用新数据源替换所述原始分析应用模型中的原始数据源，生成基于新数据源的分析应用模型；
OLAP模型转换模块，用于将基于原始数据源的所述原始分析应用模型转换成基于新数据源的OLAP模型，包括：按照所述报表信息指示的报表使用的维度、度量以及过滤方式对原始数据源信息进行信息解析，生成基于新数据源的OLAP模型；所述基于新数据源的OLAP模型可用于描述当前大数据平台中数据源表之间数据关系的模型；基于所述数据关系创建Cube预计算结果集。
5.根据权利要求4所述的系统，其特征在于，所述系统还包括：
结果集创建模块，用于基于所述OLAP模型的模型信息创建Cube预计算结果集。
6.根据权利要求5所述的系统，其特征在于，所述结果集创建模块包括：
数据关系检测单元，用于检测所述OLAP模型所描述的数据之间的数据关系，所述数据关系为数据源表之间的连接信息、维度、度量以及层级的定义信息；
结果集创建单元，用于根据所述数据关系创建Cube预计算结果集。
CN201910381283.1A 2019-05-08 2019-05-08 Olap数据分析迁移方法及系统 Active CN110232055B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910381283.1A CN110232055B (zh) 2019-05-08 2019-05-08 Olap数据分析迁移方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910381283.1A CN110232055B (zh) 2019-05-08 2019-05-08 Olap数据分析迁移方法及系统

Publications (2)

Publication Number Publication Date
CN110232055A CN110232055A (zh) 2019-09-13
CN110232055B true CN110232055B (zh) 2021-07-02

Family

ID=67860448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910381283.1A Active CN110232055B (zh) 2019-05-08 2019-05-08 Olap数据分析迁移方法及系统

Country Status (1)

Country Link
CN (1) CN110232055B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017127484A1 (en) * 2016-01-20 2017-07-27 Russell Changing Heard System and method for domain-specific analytics
CN106997386A (zh) * 2017-03-28 2017-08-01 上海跬智信息技术有限公司 一种olap预计算模型、自动建模方法及自动建模系统
CN108052522A (zh) * 2017-11-02 2018-05-18 上海跬智信息技术有限公司 一种对olap预计算模型进行动态优化的方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017127484A1 (en) * 2016-01-20 2017-07-27 Russell Changing Heard System and method for domain-specific analytics
CN106997386A (zh) * 2017-03-28 2017-08-01 上海跬智信息技术有限公司 一种olap预计算模型、自动建模方法及自动建模系统
CN108052522A (zh) * 2017-11-02 2018-05-18 上海跬智信息技术有限公司 一种对olap预计算模型进行动态优化的方法及系统

Also Published As

Publication number Publication date
CN110232055A (zh) 2019-09-13

Similar Documents

Publication Publication Date Title
CN110019218B (zh) 数据存储与查询方法及设备
CN102135938B (zh) 一种软件产品测试方法及系统
Sun et al. IFCCompressor: A content-based compression algorithm for optimizing Industry Foundation Classes files
CN111462327A (zh) 三维造型软件三维检验模型非结构化数据解析方法
CN102999524B (zh) 一种文档关联检索方法及系统
CN112434024B (zh) 面向关系型数据库的数据字典生成方法、装置、设备及介质
WO2021253641A1 (zh) 着色语言翻译方法
CN109446704B (zh) 一种基于正则文法的产品族有限元模型参数化方法
CN110569230A (zh) 数据库设计模型与设计文档互相转换方法、系统及设备
CN113157978B (zh) 数据的标签建立方法和装置
US20070282804A1 (en) Apparatus and method for extracting database information from a report
CN111984625B (zh) 数据库负载特征处理方法、装置、介质和电子设备
CN110232055B (zh) Olap数据分析迁移方法及系统
CN115567166B (zh) 一种利用gpu进行总线数据并行计算译码的方法
Sun et al. SETL: A scalable and high performance ETL system
CN116975116A (zh) 一种大数据分析系统的数据条件筛选方法
CN111104422A (zh) 一种数据推荐模型的训练方法、装置、设备及存储介质
CN111046054A (zh) 一种电力营销业务数据分析的方法和系统
WO2019010277A2 (en) HIGHLY ATOMIZED INTERVIEWABLE AND SEGMENTED DATA SYSTEMS (HASIDS)
CN106407266B (zh) 一种三维计算结果格式化提取方法和装置
CN114547231A (zh) 一种数据溯源的方法和系统
CN111881182A (zh) 一种基于多源异构特征的数据集概况测评方法
CN113342862B (zh) 查询推荐方法、装置、电子设备及可读存储介质
CN111581184B (zh) 基于数据库迁移的语义对比方法及装置
US20240176791A1 (en) Automatic documentation enhancement using organization queries

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant