CN115630117B - 数据分析方法、物化视图生成方法及相关设备 - Google Patents

数据分析方法、物化视图生成方法及相关设备 Download PDF

Info

Publication number
CN115630117B
CN115630117B CN202211646159.1A CN202211646159A CN115630117B CN 115630117 B CN115630117 B CN 115630117B CN 202211646159 A CN202211646159 A CN 202211646159A CN 115630117 B CN115630117 B CN 115630117B
Authority
CN
China
Prior art keywords
materialized view
data
node
query condition
data model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211646159.1A
Other languages
English (en)
Other versions
CN115630117A (zh
Inventor
余利华
郭忆
胡雪亮
张佃鹏
胡凡
顾平
杨林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202211646159.1A priority Critical patent/CN115630117B/zh
Publication of CN115630117A publication Critical patent/CN115630117A/zh
Application granted granted Critical
Publication of CN115630117B publication Critical patent/CN115630117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26Visual data mining; Browsing structured data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2433Query languages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开的实施方式涉及计算机技术领域,更具体地,本公开的实施方式涉及数据分析方法、物化视图生成方法及相关设备。数据分析方法包括:接收用户对图表的配置操作,生成第一查询条件,所述第一查询条件采用第一数据库语言生成,以自目标数据模型中查询数据;将所述第一查询条件转换为第二查询条件,所述第二查询条件采用第二数据库语言生成,以自所述目标数据模型的物化视图中查询数据,所述目标数据模型以及所述目标数据模型的物化视图于商业智能系统中生成;基于所述第二查询条件自所述目标数据模型的物化视图中查询数据;基于所查询的数据,生成图表。本公开的技术方案能够提高商业智能的数据处理效率。

Description

数据分析方法、物化视图生成方法及相关设备
技术领域
本公开的实施方式涉及计算机技术领域,更具体地,本公开的实施方式涉及数据分析方法、物化视图生成方法及相关设备。
背景技术
本部分旨在为权利要求中陈述的本公开的实施方式提供背景或上下文,此处的描述不因为包括在本部分中就承认是现有技术。
商业智能(Business Intelligence,简称BI),又称商业智慧或商务智能,指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。
然而,基于商业智能的数据分析和查询效率有待提高。
发明内容
目前,商业智能系统通过对多个数据源进行关联配置,从而生成数据模型,以在生成图表时,根据图表配置生成数据模型的查询条件,并将查询条件转换各数据源的查询语言的查询条件,以根据数据模型中数据源的关联关系,自数据源中查询用来生成图表的数据。
然而:
一方面,用户在商业智能系统生成和查看图表时,需通过数据源的查询语言,自数据源中查询数据,从而商业智能系统数据查询性能依赖数据源的查询性能,当数据源的查询效率较低时,会极大地影响商业智能系统的图表生成效率。
另一方面,商业智能系统在生成数据模型时,通常会有多数据源的表连接和聚合操作,在将数据模型的查询条件转换各数据源的查询语言的查询条件时,实时运算效率较低。
为此,非常需要一种数据分析方法、物化视图生成方法及相关设备,提高商业智能系统的图表生成效率。
在本上下文中,本公开的实施方式期望提供一种数据分析方法、物化视图生成方法及相关设备。
根据本公开的一个方面,提供基于商业智能的数据分析方法,包括:
接收用户对图表的配置操作,生成第一查询条件,所述第一查询条件采用第一数据库语言生成,以自目标数据模型中查询数据;
将所述第一查询条件转换为第二查询条件,所述第二查询条件采用第二数据库语言生成,以自所述目标数据模型的物化视图中查询数据,所述目标数据模型以及所述目标数据模型的物化视图于商业智能系统中生成;
基于所述第二查询条件自所述目标数据模型的物化视图中查询数据;
基于所查询的数据,生成图表。
根据本公开的一个方面,提供一种基于商业智能的物化视图生成方法,包括:
接收数据源的配置信息;
接收物化视图的配置信息;
根据所述数据源的配置信息以及所述物化视图的配置信息,生成目标数据模型以及所述目标数据模型的物化视图。
根据本公开的一个方面,提供一种基于商业智能的数据分析装置,包括:
第一查询条件生成模块,用于接收用户对图表的配置操作,生成第一查询条件,所述第一查询条件采用第一数据库语言生成,以自目标数据模型中查询数据;
第一转换模块,用于将所述第一查询条件转换为第二查询条件,所述第二查询条件采用第二数据库语言生成,以自所述目标数据模型的物化视图中查询数据,所述目标数据模型以及所述目标数据模型的物化视图于商业智能系统中生成;
查询模块,用于基于所述第二查询条件自所述目标数据模型的物化视图中查询数据;
图表生成模块,用于基于所查询的数据,生成图表。
根据本公开的一个方面,提供一种基于商业智能的物化视图生成装置,包括:
第一接收模块,用于接收数据源的配置信息;
第二接收模块,用于接收物化视图的配置信息;
物化视图生成模块,用于根据所述数据源的配置信息以及所述物化视图的配置信息,生成目标数据模型以及所述目标数据模型的物化视图。
根据本公开的一个方面,提供一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时上述的基于商业智能的数据分析方法和/或基于商业智能的物化视图生成方法。
根据本公开的一个方面,提供一种电子设备,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的基于商业智能的数据分析方法和/或基于商业智能的物化视图生成方法。
根据本公开实施方式的基于商业智能的数据分析方法中,一方面,基于商业智能系统进行数据分析,以借由商业智能系统的图形用户界面,便于用户直接进行图表配置,且用户无需具有数据库的编程能力;另一方面,基于图表的配置操作所生成的第一查询条件通过转换后,可以直接在物化视图中进行查询,无需转换为数据源的查询条件,从而不依赖数据源的查询性能,提高商业智能系统的图表生成效率。
根据本公开实施方式的基于商业智能的物化视图生成方法中,一方面,借由商业智能系统的图形用户界面,便于用户通过直接进行数据源和物化视图的配置,且用户无需具有数据库的编程能力;另一方面,通过预先配置在商业智能系统中生成目标数据模型以及目标数据模型的物化视图,可以预先实现跨数据源的数据获取和物化视图的生成,以便于在商业智能系统进行数据分析时,直接从目标数据模型以及目标数据模型的物化视图获取数据,而无需自对应数据源中获取数据,以提高数据分析效率。
附图说明
通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,其中:
图1示意性地示出了根据本公开实施方式的基于商业智能的数据分析方法的流程图;
图2示意性地示出了根据本公开实施方式的商业智能系统的图表生成界面的界面图;
图3示意性地示出了根据本公开实施方式的基于商业智能的物化视图生成方法的流程图;
图4示意性地示出了根据本公开实施方式的生成物化视图的示意图;
图5示意性地示出了根据本公开实施方式的目标数据模型的数据表以及连接关系的示意图;
图6示意性地示出了根据本公开实施方式的执行节点树的示意图;
图7示意性地示出了根据本公开实施方式的商业智能系统的物化视图配置界面的界面图;
图8示意性地示出了根据本公开实施方式的基于商业智能的数据分析装置的模块图;
图9示意性地示出了根据本公开实施方式的基于商业智能的物化视图生成装置的模块图;
图10示出了根据本公开实施方式的存储介质的示意图;以及
图11示意性示出了根据公开实施方式的电子设备的方框图。
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开,而并非以任何方式限制本公开的范围。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道,本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
根据本公开的实施方式,提供一种数据分析方法、物化视图生成方法及相关设备。
在本文中,附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。
下面参考本公开的若干代表性实施方式,详细阐述本公开的原理和精神。
发明概述
发明人发现,现有的商业智能系统通过对多个数据源进行关联配置,从而生成数据模型,以在生成图表时,根据图表配置生成数据模型的查询条件,并将查询条件转换各数据源的查询语言的查询条件,以根据数据模型中数据源的关联关系,自数据源中查询用来生成图表的数据。
然而:
一方面,用户在商业智能系统生成和查看图表时,需通过数据源的查询语言,自数据源中查询数据,从而商业智能系统数据查询性能依赖数据源的查询性能,当数据源的查询效率较低时,会极大地影响商业智能系统的图表生成效率。
另一方面,商业智能系统在生成数据模型时,通常会有多数据源的表连接和聚合操作,在将数据模型的查询条件转换各数据源的查询语言的查询条件时,实时运算效率较低。
另外,部分数据库提供有物化视图的生成和查询,然而,数据库的物化视图生成于该数据库内,仅能基于该数据库内数据生成,无法跨数据源地充分利用数据来生成物化视图。同时,基于数据库直接生成的物化视图也仅用于在该数据库中进行数据查询,无法实现跨数据源的数据查询和分析。
鉴于上述内容,本公开的技术方案在于:
在基于商业智能的数据分析方法中,一方面,基于商业智能系统进行数据分析,以借由商业智能系统的图形用户界面,便于用户直接进行图表配置,且用户无需具有数据库的编程能力;另一方面,基于图表的配置操作所生成的第一查询条件通过转换后,可以直接在物化视图中进行查询,无需转换为数据源的查询条件,从而不依赖数据源的查询性能,提高商业智能系统的图表生成效率。
在基于商业智能的物化视图生成方法中,一方面,借由商业智能系统的图形用户界面,便于用户通过直接进行数据源和物化视图的配置,且用户无需具有数据库的编程能力;另一方面,通过预先配置在商业智能系统中生成目标数据模型以及目标数据模型的物化视图,可以预先实现跨数据源的数据获取和物化视图的生成,以便于在商业智能系统进行数据分析时,直接从目标数据模型以及目标数据模型的物化视图获取数据,而无需自对应数据源中获取数据,以提高数据分析效率。
在介绍了本公开的基本原理之后,下面具体介绍本公开的各种非限制性实施方式。
示例性方法
下面结合图1来描述根据本公开示例性实施方式的基于商业智能的数据分析方法。
参考图1所示,基于商业智能的数据分析方法可以包括以下步骤:
步骤S110:接收用户对图表的配置操作,生成第一查询条件,所述第一查询条件采用第一数据库语言生成,以自目标数据模型中查询数据;
步骤S120:将所述第一查询条件转换为第二查询条件,所述第二查询条件采用第二数据库语言生成,以自所述目标数据模型的物化视图中查询数据,所述目标数据模型以及所述目标数据模型的物化视图于商业智能系统中生成;
步骤S130:基于所述第二查询条件自所述目标数据模型的物化视图中查询数据;
步骤S140:基于所查询的数据,生成图表。
在本公开实施方式的基于商业智能的数据分析方法中,一方面,基于商业智能系统进行数据分析,以借由商业智能系统的图形用户界面,便于用户直接进行图表配置,且用户无需具有数据库的编程能力;另一方面,基于图表的配置操作所生成的第一查询条件通过转换后,可以直接在物化视图中进行查询,无需转换为数据源的查询条件,从而不依赖数据源的查询性能,提高商业智能系统的图表生成效率。
根据本公开的示例性实施例,物化视图可以理解为包括查询结果的数据库对象,以作为远程数据的本地副本;或者物化视图也可以理解为数据汇总表,以能够基于该数据汇总表来进行数据分析。
根据本公开的示例性实施例,商业智能系统可以提供便于用户操作的界面。用户可以通过鼠标、键盘或者触控屏等进行点选、拖曳等操作,来完成商业智能系统中的各项操作。在步骤S110中,商业智能系统可以向用户提供图表生成界面。图表生成界面中,用户可以对图表的类型;所要查询的目标数据模型;图表涉及的维度、度量、聚合方式;图表的样式(诸如标题、线条、文字)等进行配置。其中,维度例如可以包括但不限于时间、位置、类型、标识等,本申请并非以此为限制。度量为维度的具体数值(如销售量、库存量等)。聚合方式为对一组数据的计算方式,如求和、求平均值、求最大值、求最小值等。如图2示出的图表生成界面103,用户可以在界面103右侧的点选图表设置以及数据模型的设置,来生成图表,或对图表进行更新。在一些变化例中,用户也可以通过拖曳的方式,将界面103右侧选择的内容拖曳至图表生成区域,以按所拖曳的字段、属性等生成图表或更新图表。图2仅仅是示意性地,本申请并非以此为限制。
根据本公开的示例性实施例,基于用户所配置的目标数据模型、图表涉及的维度、度量、聚合方式等,可以生成第一查询条件。第一查询条件采用第一数据库语言生成,以自目标数据模型中查询数据。第一数据库语言例如可以为商业智能系统的数据库语言。在一些具体的实现中,所述第一查询条件可以为QueryDSL。QueryDSL是基于通用的查询框架的SQL(Structured Query Language,结构化查询语言)查询条件。在本公开的示例性实施例中,QueryDSL可以描述基于目标数据模型的数据查询条件,包含维度查询(dimensions)、度量查询(measures)、模型宽表信息查询(wideTable)、维度筛选(dimensionFilters)、度量筛选(measureFilters)、排序(orderBy)、偏移量查询(offset)、数据量查询(limit)、字段映射(environment)等查询条件,本公开并非以此为限制。
根据本公开的示例性实施例,物化视图储存于数据库中,如图4示出的数据库A中。数据库A可以不同于数据源a、b、c。第二查询条件用以自储存物化视图的数据库A中进行数据查询,从而第二数据库语言可以是能够对数据库A进行数据处理的数据库语言,以便于实现自物化视图中查询数据。进一步地,由于可以直接从数据库A中查询物化视图,从而无需将第一查询条件转换为不同的数据源(如数据源a、b、c)的数据库语言,进行数据提取,无需依赖各数据源的查询性能。由此,可以基于所述第二查询条件自所述目标数据模型的物化视图中查询数据,在获得数据后,按用户配置的图表的类型、图表的样式等,来生成所需的图表,并进行显示。用户可以基于所显示的图表进行数据分析。
下面结合图3来说明本公开可能的实施方式的生成所述目标数据模型以及所述目标数据模型的物化视图的流程图。图3共示出如下步骤:
步骤S210:接收数据源的配置信息。
步骤S220:接收物化视图的配置信息。
步骤S230:根据所述数据源的配置信息以及所述物化视图的配置信息,生成所述目标数据模型以及所述目标数据模型的物化视图。
根据本公开的示例性实施例,所述数据源的配置信息可以包括自一个或多个数据源获取的多个数据表以及多个数据表之间的连接关系。进一步地,所述数据源的配置信息还可以包括所要连接的数据源的数据库类型、数据源连接信息(如数据源的服务器地址、端口、用户名、密码等)以供商业智能系统完成数据源的连接。用户可以自已连接的数据源中选择一个或多个数据表,并对数据表和数据表之间的连接关系进行设置。连接关系可以包括对设定字段的左连接、对设定字段的右连接、对设定字段的内连接和对设定字段的外连接等。以数据表a和数据表b为例:左连接表示,当数据表a中有设定字段,且数据表b中没有设定字段时,显示数据表a中该设定字段的数据;右连接表示,当数据表a中有没设定字段,且数据表b中有设定字段时,显示数据表b中该设定字段的数据;内连接表示,当数据表a中有设定字段,且数据表b中也有设定字段时,显示数据表a和b中该设定字段的数据;外连接表示,当数据表a中有设定字段,或者数据表b中有设定字段时,显示具有该设定字段的数据表中该设定字段的数据。
根据本公开的示例性实施例,物化视图的配置信息可以包括所述物化视图的第一配置信息以及第二配置信息。所述第一配置信息可以包括用于生成所述物化视图的配置项,所述第二配置信息可以用于确定所述物化视图的执行计划。参见图7,图7示出了物化视图的配置界面104。在物化视图的配置界面104可以对物化视图的配置信息进行配置。
根据本公开的示例性实施例,物化视图的第一配置信息可以包括:所述物化视图的类型;所述物化视图的数据范围;所述物化视图的表储存方式;所述物化视图的维度;以及所述物化视图的度量中的一项或多项。其中,所述物化视图的类型可以包括全量物化视图、带设定条件的物化视图以及自定义物化视图。全量物化视图包括所述目标数据模型的所有数据。带设定条件的物化视图包括设定条件下,所述目标数据模型的数据。具体而言,设定条件例如为设定时间段、设定地理范围等常用的数据范围的限定,以便于用户直接对设定条件进行设置,提高设置效率。自定义物化视图包括自定义设定条件下,所述目标数据模型的数据。当用户需要通过其它条件对目标数据模型的数据进行筛选时,可以通过自定义设定条件的方式,由此,实现灵活的数据筛选。物化视图的数据范围可以是在选定物化视图的类型为带设定条件的物化视图或者自定义物化视图后,用户对设定条件的数据范围的设置。物化视图的表储存方式可以包括行储存、列储存、表分区字段等。物化视图的维度以及所述物化视图的度量的设置可以与目标数据模型设置的维度和度量类似,在此不予赘述。
根据本公开的示例性实施例,执行计划可以包括定时执行以及依赖执行。所述定时执行用于指示所述物化视图按设定时间生成。具体而言,设定时间可以由用户指定,也可以由商业智能系统按设定的频率/周期来确定。所述依赖执行用于指示生成所述物化视图所依赖的事件。换言之,当生成所述物化视图所依赖的事件完成后,执行物化视图的生成。例如,依赖执行指示的事件为指定的数据模型中设定数据表的生成,则当指定的数据模型中设定数据表的生成后,执行物化视图的生成。其中,设定数据表可以是数据模型中指定的一个或多个数据表。
根据本公开的示例性实施例,如图4的示意图100,上述步骤S210至步骤S230自一个或多个数据源(如数据源a、b、c)获取数据以生成目标数据模型,并基于目标数据模型来生成一个或多个物化视图,然后,将目标数据模型以及物化视图储存至数据库中,以供查询。所储存的数据库可以为MMP (Massively Parallel Processing,大规模并行处理)数据库。MPP数据库的大规模并行计算更利于执行图表的生成以及数据分析。本公开并非以此为限制,也可以按需设置储存物化视图的数据库。
根据本公开的示例性实施例,步骤S230可以通过如下步骤来实现:根据所述数据源的配置信息以及所述物化视图的配置信息,生成节点执行树;根据所生成的节点执行树,生成所述目标数据模型以及所述目标数据模型的物化视图。由此,通过所生成的节点执行树,以便于通过数据仓库中的ETL(Extract-Transform-Load)技术来实现目标数据模型以及所述目标数据模型的物化视图的生成。
根据本公开的示例性实施例,节点执行树可以根据如下步骤生成:自所述多个数据表中选择一个数据表,生成对应该数据表的输入节点,所述输入节点用于自对应的数据表中获取数据;将所述输入节点作为待连接节点;遍历所述多个数据表中的其余数据表,对所遍历的数据表:生成对应该数据表的输入节点;根据多个数据表之间的连接关系,确定该数据表与待连接节点的关联关系;根据所确定的关联关系,生成连接该输入节点与待连接节点的第一节点,所述第一节点用于按所述关联关系将所述输入节点获取的数据与所述待连接节点获取的数据进行关联;将所述第一节点作为待连接节点。进一步地,在遍历所述多个数据表中的其余数据表之后,还包括如下步骤;生成连接至待连接节点的第二节点,并生成连接至所述第二节点的输出节点,所述第二节点用于按所述物化视图的配置信息对连接至所述第二节点的待连接节点输出的数据进行筛选,所述输出节点用于将所述第二节点输出的数据输出为物化视图。
具体而言,结合图5以及图6描述本公开的示例性实施例的节点执行树生成方式。
如图5所示的目标数据模型的数据表以及连接关系101,经用户配置,使得数据表a和数据表b左连接,数据表a和数据表c左连接,数据表c与数据表d内连接以获得目标数据模型。
如图6示出的节点执行树102,其在生成过程中:首先基于目标数据模型的数据表以及连接关系101,自所述多个数据表中选择一个数据表(如数据表a),生成对应该数据表a的输入节点,通过该输入节点可以自对应的数据表a中获取数据;将该输入节点(数据表a)作为待连接节点。然后遍历所述多个数据表中的其余数据表。首先遍历至数据表b,生成对应该数据表b的输入节点;根据数据表a和数据表b之间的连接关系,确定该数据表b与待连接节点(数据表a的输入节点)的关联关系为左连接,根据所确定的关联关系,生成连接该输入节点(数据表b)与待连接节点的第一节点a,所述第一节点a用于按所述关联关系将所述输入节点(数据表b)获取的数据与所述待连接节点(数据表a的输入节点)获取的数据进行关联;将所述第一节点a作为待连接节点。然后,遍历至数据表c,生成对应该数据表c的输入节点;根据数据表c和数据表a之间的连接关系,确定该数据表c与待连接节点(第一节点a)的关联关系为左连接,根据所确定的关联关系,生成连接该输入节点(数据表c)与待连接节点的第一节点b,所述第一节点b用于按所述关联关系将所述输入节点(数据表c)获取的数据与所述待连接节点(第一节点a)获取的数据进行关联;将所述第一节点b作为待连接节点。由于第一节点a连接数据表a的输入节点,从而可以获取到数据表a的数据,第一节点b可以通过第一节点a执行输入节点(数据表a)和输入节点(数据表c)的连接。依此类推,获得输入节点(数据表d)以及第一节点c,从而完成数据表的遍历。由此,可以获得目标数据模型。
进一步地,在遍历所述多个数据表中的数据表之后,生成连接至最末生成的第一节点(如图6中示出的第一节点c)的第二节点,并生成连接至所述第二节点的输出节点。所述第二节点用于按所述物化视图的配置信息(如所述物化视图的数据范围、所述物化视图的维度以及所述物化视图的度量等)对连接至所述第二节点的待连接节点输出的数据进行筛选以自目标数据模型中筛选所需的数据来生成物化视图,所述输出节点用于将所述第二节点输出的数据输出为物化视图,并储存于设定数据库中。
根据本公开的示例性实施例,生成节点执行树后,可以根据所生成的节点执行树,依次执行所述输入节点、第一节点、第二节点以及输出节点的操作,生成所述目标数据模型以及所述目标数据模型的物化视图。具体而言,各节点可以基于数据仓库技术转换为对应的数据库语言,以便于商业智能系统执行。例如,所述数据源包括多个不同类型的数据库时,所述输入节点的操作被转换为对应数据库的数据库语言,以被执行。第一节点可以转换为商业智能系统能够执行的语言,以在商业智能系统中完成数据表之间的连接关系。第二节点以及输出节点也可以转换为商业智能系统能够执行的语言,以在商业智能系统中完成数据筛选以及物化视图的输出和储存。
对于物化视图于各自的数据源生成的方案中,响应于商业智能系统进行多个数据源的物化视图查询,需要将查询条件转换为不同数据源的数据库语言自数据源查询其物化视图,且查询效率依赖物化视图所在数据库,商业智能系统在查询数据时需同时与多个数据源交互,数据查询效率较低。
对于商业智能系统基于各数据源生成数据模型的方案中,由于商业智能系统仅维护数据模型中不同数据源之间的关联关系,而并不储存各数据源的数据,从而响应于商业智能系统进行多个数据源的物化视图查询,商业智能系统仍需将查询条件转换为不同数据源的数据库语言自数据源查询数据,且查询效率依赖物化视图所在数据库,商业智能系统在查询数据时也需同时与多个数据源交互,数据查询效率较低。
相较于物化视图于各自的数据源生成的方案以及商业智能系统基于各数据源生成数据模型的方案,本实施例在生成物化视图时,预先基于数据仓库技术转换为对应的数据库语言,以由商业智能系统自多个数据源获取数据,生成物化视图并储存在数据库中,由此,响应于商业智能系统进行多个数据源的物化视图查询,仅需要将查询条件转换为物化视图所在数据库对应的数据库语言,从而即可完成物化视图的数据查询,在查询时无需转换为各数据源的查询条件,从而不依赖数据源的查询性能,提高商业智能系统的图表生成效率。
根据本公开的示例性实施例,响应于所述数据模型的物化视图的数量为多个,可以根据多个所述物化视图的配置信息,生成连接至根节点的多个第二节点,并生成分别连接至所述第二节点的多个输出节点,从而可以基于同一目标数据模型生成多个物化视图。
以上仅仅是示意性地描述本公开的目标数据模型以及物化视图的生成方式,本公开的商业智能系统还可以提供物化视图的管理功能,以便于查看物化视图的占用空间、调度信息(如物化视图的生成时间、物化视图的执行频率等)和执行状态。进一步地,物化视图的更新方式可以与物化视图的生成方式类似。例如,基于用户对目标数据模型以及物化视图的配置,再次生成执行节点树,以完成执行节点树中的各节点的操作,从而更新物化视图,在此不予赘述。
基于前述目标数据模型和物化视图的生成,第一查询条件无需转换为多个数据源的数据库语言,仅需转换为物化视图所在数据库对应的数据库语言即可。下面将对图1中步骤S130中第一查询条件转换为第二查询条件的具体实现进行展开描述。
根据本公开的示例性实施例,步骤S130可以通过如下步骤来实现:将第一查询条件转换为第三查询条件,所述第三查询条件用于查询所述物化视图以及所述物化视图所属的目标数据模型中的数据;将所述第三查询条件转换为第二查询条件。由于商业智能系统常常用于处理和分析复杂数据,从而用户存在较为灵活的查询需求。因此,存在第一查询条件中,部分第一查询条件可以在物化视图查询到目标数据,部分第一查询条件可能无法在物化视图中查询到目标数据的情况。对于该情况,还需要自目标数据模型查询到目标数据,以满足用户在商业智能系统中的查询需求。由此,需要将第一查询条件转换为能够查询所述物化视图以及所述物化视图所属的目标数据模型中的数据的第三查询条件,以保证第一查询条件中的查询能够被执行,避免查询出错或者查询卡顿,提高查询效率。第三查询条件可以是Lod(Level of Detail,详细等级)查询条件,从而能够实现诸如Include(包含)/Exclude(除外)/Fixed(固定)等Lod(Level of Detail,详细等级)表达式、筛选器中的条件筛选和高级筛选、条件格式中的TOPN(在数据中取最大的N个元素)等特殊表达式,由此,通过第三查询条件以辅助第一查询条件满足用户灵活的数据查询需求。
根据本公开的示例性实施例,所述将第一查询条件转换为第三查询条件可以通过如下步骤来实现:响应于所要查询的物化视图中包括所述第一查询条件所查询的目标数据,将第一查询条件转换为第三查询条件,将所述第三查询条件关联所述物化视图;响应于所要查询的物化视图中不包括所述目标数据,将第一查询条件转换为第三子查询条件,将所述第三子查询条件关联所要查询的物化视图及所述目标数据模型。由此,可以将第一查询条件转换为能够在物化视图中进行数据查询的第三查询条件,以及需要在目标数据模型中进行查询的第三子查询条件,从而能够实现不同的查询条件,避免查询错误。
根据本公开的示例性实施例,为了保证第三查询条件以及第三子查询条件能够进行查询,还可以在对第三查询条件以及第三子查询条件进行转换之前,对所述第三查询条件以及第三子查询条件进行校验,其中,响应于所述第三查询条件以及第三子查询条件校验通过,将所述第三查询条件以及第三子查询条件转换为第二查询条件,以避免第三查询条件错误时,额外执行不必要的查询条件转换,由此,提高商业智能系统的整体查询效率。
根据本公开的示例性实施例,所述对所述第三查询条件以及第三子查询条件进行校验包括字段校验、筛选校验以及关联表校验中的一种或多种,以实现不同维度的校验。
根据本公开的示例性实施例,字段校验可以通过如下方式实现:响应于所要查询的物化视图中包含第一查询字段,且所要查询的目标数据模型中包含第二查询字段,则确定所述第三查询条件以及第三子查询条件通过所述字段校验,其中,所述第一查询字段为所述第三查询条件所查询的字段,所述第二查询字段为所述第三子查询条件所查询的字段。进一步地,当第三查询条件/第三子查询条件所要查询的字段为度量字段时,还可以对第三查询条件/第三子查询条件以及物化视图/目标数据模型中该度量字段的聚合方式是否一致进行校验。由此,通过第一查询字段和物化视图之间的字段校验,保证第三查询条件能够在物化视图中查询到所需的第一查询字段的数据。通过第二查询字段和目标数据模型之间的字段校验,保证第三子查询条件能够在目标数据模型中查询到所需的第二查询字段的数据。物化视图的字段以及目标数据模型的字段可以基于用户在进行目标数据模型和物化视图配置时提供的配置信息获取,从而可以提高字段校验的校验效率。同时,由于物化视图以及目标数据模型的配置以及第三查询条件的转换,皆在商业智能数据库处执行,从而能够保证字段的一致性,避免由于物化视图及目标数据模型位于不同数据源,导致所查询的字段和物化视图及目标数据模型命名不统一,无法进行字段校验的情况。
根据本公开的示例性实施例,筛选校验可以通过如下方式实现:响应于第三查询条件符合第一筛选校验条件且所述第三子查询条件符合第二筛选校验条件,所述第三查询条件以及第三子查询条件通过所述筛选校验,其中,所述第一筛选校验条件为:所要查询的物化视图中包含第一维度,且所述第一维度的第一度量范围包含所述物化视图中所述第一维度的度量范围;所述第二筛选校验条件为,所要查询的所述目标数据模型中包含第二维度,且所述第二维度的第二度量范围包含所述目标数据模中所述第二维度的度量范围,所述第一维度为所述第三查询条件所要查询的维度,所述第二维度为所述第三子查询条件所要查询的维度。由此,通过第一维度以及第一度量范围和物化视图之间的筛选校验,保证第三查询条件能够在物化视图中查询到所需的维度和度量范围。通过第二维度以及第二度量范围和目标数据模型之间的筛选校验,保证第三子查询条件能够在目标数据模型中查询到所需的维度和度量范围。物化视图的维度以及度量范围可以基于用户在进行目标数据模型和物化视图配置时提供的配置信息获取,从而可以提高筛选校验的校验效率。同时,由于物化视图以及目标数据模型的配置以及第三查询条件的转换,皆在商业智能数据库处执行,从而能够保证维度和度量范围的一致性,避免由于物化视图及目标数据模型位于不同数据源,导致所查询的维度和度量范围与物化视图及目标数据模型的维度和度量范围不统一,无法进行筛选校验的情况。
根据本公开的示例性实施例,关联表校验可以通过如下方式实现:响应于所述第一关联关系和第二关联关系一致,所述第三查询条件以及第三子查询条件通过所述关联表校验,其中,所述第一关联关系为第三查询条件与所述第三子查询条件的关联关系,所述第二关联关系为所要查询的物化视图及目标数据模型的关联关系。由此,第三查询条件与所述第三子查询条件的关联关系与所要查询的物化视图及目标数据模型的关联关系一致,保证第三查询条件能够自对应的物化视图进行查询,第三子查询条件能够自对应的目标数据模型进行查询,以避免关联错误导致的查询失败。所要查询的物化视图及目标数据模型的关联关系可以基于用户在进行目标数据模型和物化视图配置时提供的配置信息获取,从而可以提高关联表校验的校验效率。同时,由于物化视图以及目标数据模型的配置以及第三查询条件的转换,皆在商业智能数据库处执行,从而能够保证物化视图的名称及目标数据模型的名称在使用时具有一致性,避免由于物化视图及目标数据模型位于不同数据源从而可能具有不同的命名,导致所查询的物化视图的名称与所储存的物化视图的名称不统一;所查询的目标数据模型的名称与所储存的目标数据模型的名称不统一,无法进行关联表校验的情况。
根据本公开的示例性实施例,在生成第一查询条件时,还可以接收物化视图的配置信息,所述物化视图的配置信息用于校验所述第三查询条件以及第三子查询条件。物化视图的配置信息可以包括物化视图的维度、度量、聚合方式、物化视图所在的数据库的名称、物化视图的名称、字段信息等。由此,可以通过所获取的物化视图的配置信息来完成字段校验、筛选校验以及关联表校验中的一种或多种。
根据本公开的示例性实施例,将所述第三查询条件转换为第二查询条件可以通过如下步骤来实现:将所述第三查询条件中的数据模型替换为所要查询的物化视图(例如,将第三查询条件的FROM表达式中的数据模型(即baseJoinedTables)替换为所要查询的物化视图);将所述第三子查询条件中的数据模型替换为所述目标数据模型(例如,将第三查询条件的FROM表达式中的数据模型(即baseJoinedTables)替换为目标数据模型);将所述第三查询条件以及所述第三子查询条件的表达式中的原始字段替换为所要查询的物化视图及所述目标数据模型的字段。由此,通过对第三查询条件以及第三子查询条件中的查询对象进行替换,从而使得第二查询条件能够自物化视图所在数据库进行目标数据模型以及物化视图中进行查询。
根据本公开的示例性实施例,所述将所述第三查询条件以及所述第三子查询条件的表达式中的原始字段替换为所要查询的物化视图及所述目标数据模型的字段可以将第三查询条件以及所述第三子查询条件(查询维度、查询度量、表关联字段、维度筛选、度量筛选、排序)中所有的Expr表达式的字段都基于物化视图以及目标数据模型进行替换。具体而言。响应于所述第三查询条件或者所述第三子查询条件为非聚合查询条件,所述第三查询条件以及所述第三子查询条件的表达式中的所有原始字段替换为所要查询的物化视图及所述目标数据模型的字段。由于所要替换的查询条件为非聚合查询条件,从而所要查询的字段与物化视图以及所述目标数据模型的字段(维度字段和度量字段)一致,从而需要将所有Expr表达式的字段都进行替换。响应于所述第三查询条件或者所述第三子查询条件为聚合查询条件,将所述第三查询条件以及所述第三子查询条件的表达式中的原始维度字段,替换为所要查询的物化视图及所述目标数据模型的维度字段。由于所要替换的查询条件为聚合查询条件,而聚合查询需要对度量字段进行计算,因此,所要查询的字段与物化视图以及所述目标数据模型的维度字段一致,从而需要将所有Expr表达式的维度字段都进行替换。而第三查询条件以及所述第三子查询条件中的Expr表达式的度量字段需要根据具体的聚合方式进行调整。进一步地,响应于聚合查询条件的聚合层级与所要查询的物化视图的聚合层级相同时,使所述第三查询条件或者所述第三子查询条件作为非聚合查询条件,以提高字段替换效率。
在上述字段替换的过程中,若不存在于物化视图,则可以使得第三查询条件以及所述第三子查询条件的各字段保持不变。
根据本公开的示例性实施例,由于部分目标数据模型包括多个物化视图,从而基于所述第二查询条件自所述数据模型的物化视图中查询数据可以通过如下步骤来实现:自所述数据模型的物化视图中选择所要查询的目标物化视图。目标物化视图可以由用户进行选择,也可以由商业智能系统通过预设的选择方式自动选择。具体而言,预设的选择方式可以包括:自所述数据模型的物化视图中选择已聚合的物化视图作为所要查询的目标物化视图;自所述数据模型的物化视图中选择维度的个数最少的物化视图作为所要查询的目标物化视图;自所述数据模型的物化视图中选择筛选条件的个数最多的物化视图作为所要查询的目标物化视图;自所述数据模型的物化视图中选择筛选条件的范围最小的物化视图作为所要查询的目标物化视图中的一种或多种。已聚合的物化视图、维度的个数最少的物化视图、筛选条件的个数最多或者筛选条件的范围最小的物化视图的数据量相对较小,从而通过上述物化视图的选择方式,能够有效提高查询效率。
以上仅仅是示意性地描述本公开的基于商业智能的数据分析方法提供的多种实施例,本公开并非以此为限制,各实施例可以单独或者组合来使用。
下面结合图3来描述根据本公开示例性实施方式的基于商业智能的物化视图生成方法。
参考图3所示,所述基于商业智能的物化视图生成方法可以包括以下步骤:
步骤S210:接收数据源的配置信息;
步骤S220:接收物化视图的配置信息;
步骤S230:根据所述数据源的配置信息以及所述物化视图的配置信息,生成所述目标数据模型以及所述目标数据模型的物化视图。
根据本公开实施方式的基于商业智能的物化视图生成方法中,一方面,借由商业智能系统的图形用户界面,便于用户通过直接进行数据源和物化视图的配置,且用户无需具有数据库的编程能力;另一方面,通过预先配置在商业智能系统中生成目标数据模型以及目标数据模型的物化视图,可以预先实现跨数据源的数据获取和物化视图的生成,以便于在商业智能系统进行数据分析时,直接从目标数据模型以及目标数据模型的物化视图获取数据,而无需自对应数据源中获取数据,以提高数据分析效率。
根据本公开的示例性实施例,所述数据源的配置信息可以包括自一个或多个数据源获取的多个数据表以及多个数据表之间的连接关系。进一步地,所述数据源的配置信息还可以包括所要连接的数据源的数据库类型、数据源连接信息(如数据源的服务器地址、端口、用户名、密码等)以供商业智能系统完成数据源的连接。用户可以自已连接的数据源中选择一个或多个数据表,并对数据表和数据表之间的连接关系进行设置。连接关系可以包括对设定字段的左连接、对设定字段的右连接、对设定字段的内连接和对设定字段的外连接等。以数据表a和数据表b为例:左连接表示,当数据表a中有设定字段,且数据表b中没有设定字段时,显示数据表a中该设定字段的数据;右连接表示,当数据表a中有没设定字段,且数据表b中有设定字段时,显示数据表b中该设定字段的数据;内连接表示,当数据表a中有设定字段,且数据表b中也有设定字段时,显示数据表a和b中该设定字段的数据;外连接表示,当数据表a中有设定字段,或者数据表b中有设定字段时,显示具有该设定字段的数据表中该设定字段的数据。
根据本公开的示例性实施例,物化视图的配置信息可以包括所述物化视图的第一配置信息以及第二配置信息。所述第一配置信息可以包括用于生成所述物化视图的配置项,所述第二配置信息可以用于确定所述物化视图的执行计划。参见图7,图7示出了物化视图的配置界面104。在物化视图的配置界面104可以对物化视图的配置信息进行配置。
根据本公开的示例性实施例,物化视图的第一配置信息可以包括:所述物化视图的类型;所述物化视图的数据范围;所述物化视图的表储存方式;所述物化视图的维度;以及所述物化视图的度量中的一项或多项。其中,所述物化视图的类型可以包括全量物化视图、带设定条件的物化视图以及自定义物化视图。全量物化视图包括所述目标数据模型的所有数据。带设定条件的物化视图包括设定条件下,所述目标数据模型的数据。具体而言,设定条件例如为设定时间段、设定地理范围等常用的数据范围的限定,以便于用户直接对设定条件进行设置,提高设置效率。自定义物化视图包括自定义设定条件下,所述目标数据模型的数据。当用户需要通过其它条件对目标数据模型的数据进行筛选时,可以通过自定义设定条件的方式,由此,实现灵活的数据筛选。物化视图的数据范围可以是在选定物化视图的类型为带设定条件的物化视图或者自定义物化视图后,用户对设定条件的数据范围的设置。物化视图的表储存方式可以包括行储存、列储存、表分区字段等。物化视图的维度以及所述物化视图的度量的设置可以与目标数据模型设置的维度和度量类似,在此不予赘述。
根据本公开的示例性实施例,执行计划可以包括定时执行以及依赖执行。所述定时执行用于指示所述物化视图按设定时间生成。具体而言,设定时间可以由用户指定,也可以由商业智能系统按设定的频率/周期来确定。所述依赖执行用于指示生成所述物化视图所依赖的事件。换言之,当生成所述物化视图所依赖的事件完成后,执行物化视图的生成。例如,依赖执行指示的事件为指定的数据模型中设定数据表的生成,则当指定的数据模型中设定数据表的生成后,执行物化视图的生成。其中,设定数据表可以是数据模型中指定的一个或多个数据表。
根据本公开的示例性实施例,如图4的示意图100,上述步骤S210至步骤S230自一个或多个数据源(如数据源a、b、c)获取数据以生成目标数据模型,并基于目标数据模型来生成一个或多个物化视图,然后,将目标数据模型以及物化视图储存至数据库中,以供查询。所储存的数据库可以为MMP (Massively Parallel Processing,大规模并行处理)数据库。MPP数据库的大规模并行计算更利于执行图表的生成以及数据分析。本公开并非以此为限制,也可以按需设置储存物化视图的数据库。
根据本公开的示例性实施例,步骤S230可以通过如下步骤来实现:根据所述数据源的配置信息以及所述物化视图的配置信息,生成节点执行树;根据所生成的节点执行树,生成所述目标数据模型以及所述目标数据模型的物化视图。由此,通过所生成的节点执行树,以便于通过数据仓库中的ETL(Extract-Transform-Load)技术来实现目标数据模型以及所述目标数据模型的物化视图的生成。
根据本公开的示例性实施例,节点执行树可以根据如下步骤生成:自所述多个数据表中选择一个数据表,生成对应该数据表的输入节点,所述输入节点用于自对应的数据表中获取数据;将所述输入节点作为待连接节点;遍历所述多个数据表中的其余数据表,对所遍历的数据表:生成对应该数据表的输入节点;根据多个数据表之间的连接关系,确定该数据表与待连接节点的关联关系;根据所确定的关联关系,生成连接该输入节点与待连接节点的第一节点,所述第一节点用于按所述关联关系将所述输入节点获取的数据与所述待连接节点获取的数据进行关联;将所述第一节点作为待连接节点。进一步地,在遍历所述多个数据表中的其余数据表之后,还包括如下步骤;生成连接至待连接节点的第二节点,并生成连接至所述第二节点的输出节点,所述第二节点用于按所述物化视图的配置信息对连接至所述第二节点的待连接节点输出的数据进行筛选,所述输出节点用于将所述第二节点输出的数据输出为物化视图。
具体而言,结合图5以及图6描述本公开的示例性实施例的节点执行树生成方式。
如图5所示的目标数据模型的数据表以及连接关系101,经用户配置,使得数据表a和数据表b左连接,数据表a和数据表c左连接,数据表c与数据表d内连接以获得目标数据模型。
如图6示出的节点执行树102,其在生成过程中:首先基于目标数据模型的数据表以及连接关系101,自所述多个数据表中选择一个数据表(如数据表a),生成对应该数据表a的输入节点,通过该输入节点可以自对应的数据表a中获取数据;将该输入节点(数据表a)作为待连接节点。然后遍历所述多个数据表中的其余数据表。首先遍历至数据表b,生成对应该数据表b的输入节点;根据数据表a和数据表b之间的连接关系,确定该数据表b与待连接节点(数据表a的输入节点)的关联关系为左连接,根据所确定的关联关系,生成连接该输入节点(数据表b)与待连接节点的第一节点a,所述第一节点a用于按所述关联关系将所述输入节点(数据表b)获取的数据与所述待连接节点(数据表a的输入节点)获取的数据进行关联;将所述第一节点a作为待连接节点。然后,遍历至数据表c,生成对应该数据表c的输入节点;根据数据表c和数据表a之间的连接关系,确定该数据表c与待连接节点(第一节点a)的关联关系为左连接,根据所确定的关联关系,生成连接该输入节点(数据表c)与待连接节点的第一节点b,所述第一节点b用于按所述关联关系将所述输入节点(数据表c)获取的数据与所述待连接节点(第一节点a)获取的数据进行关联;将所述第一节点b作为待连接节点。由于第一节点a连接数据表a的输入节点,从而可以获取到数据表a的数据,第一节点b可以通过第一节点a执行输入节点(数据表a)和输入节点(数据表c)的连接。依此类推,获得输入节点(数据表d)以及第二节点c,从而完成数据表的遍历。由此,可以获得目标数据模型。
进一步地,在遍历所述多个数据表中的数据表之后,生成连接至最末生成的第一节点(如图6中示出的第一节点c)的第二节点,并生成连接至所述第二节点的输出节点。所述第二节点用于按所述物化视图的配置信息(如所述物化视图的数据范围、所述物化视图的维度以及所述物化视图的度量等)对连接至所述第二节点的待连接节点输出的数据进行筛选以自目标数据模型中筛选所需的数据来生成物化视图,所述输出节点用于将所述第二节点输出的数据输出为物化视图,并储存于设定数据库中。
根据本公开的示例性实施例,生成节点执行树后,可以根据所生成的节点执行树,依次执行所述输入节点、第一节点、第二节点以及输出节点的操作,生成所述目标数据模型以及所述目标数据模型的物化视图。具体而言,各节点可以基于数据仓库技术转换为对应的数据库语言,以便于商业执行系统执行。例如,所述数据源包括多个不同类型的数据库时,所述输入节点的操作被转换为对应数据库的数据库语言,以被执行。第一节点可以转换为商业智能系统能够执行的语言,以在商业智能系统中完成数据表之间的连接关系。第二节点以及输出节点也可以转换为商业智能系统能够执行的语言,以在商业智能系统中完成数据筛选以及物化视图的输出和储存。
对于物化视图于各自的数据源生成的方案中,响应于商业智能系统进行多个数据源的物化视图查询,需要将查询条件转换为不同数据源的数据库语言自数据源查询其物化视图,且查询效率依赖物化视图所在数据库,商业智能系统在查询数据时需同时与多个数据源交互,数据查询效率较低。
对于商业智能系统基于各数据源生成数据模型的方案中,由于商业智能系统仅维护数据模型中不同数据源之间的关联关系,而并不储存各数据源的数据,从而响应于商业智能系统进行多个数据源的物化视图查询,商业智能系统仍需将查询条件转换为不同数据源的数据库语言自数据源查询数据,且查询效率依赖物化视图所在数据库,商业智能系统在查询数据时也需同时与多个数据源交互,数据查询效率较低。
相较于物化视图于各自的数据源生成的方案以及商业智能系统基于各数据源生成数据模型的方案,本实施例在生成物化视图时,预先基于数据仓库技术转换为对应的数据库语言,以由商业智能系统自多个数据源获取数据,生成物化视图并储存在数据库中,由此,响应于商业智能系统进行多个数据源的物化视图查询,仅需要将查询条件转换为物化视图所在数据库对应的数据库语言,从而即可完成物化视图的数据查询,在查询时无需转换为各数据源的查询条件,从而不依赖数据源的查询性能,提高商业智能系统的图表生成效率。
根据本公开的示例性实施例,响应于所述数据模型的物化视图的数量为多个,可以根据多个所述物化视图的配置信息,生成连接至根节点的多个第二节点,并生成分别连接至所述第二节点的多个输出节点,从而可以基于同一目标数据模型生成多个物化视图。
以上仅仅是示意性地描述本公开的目标数据模型以及物化视图的生成方式,本公开的商业智能系统还可以提供物化视图的管理功能,以便于查看物化视图的占用空间、调度信息(如物化视图的生成时间、物化视图的执行频率等)和执行状态。进一步地,物化视图的更新方式可以与物化视图的生成方式类似。例如,基于用户对目标数据模型以及物化视图的配置,再次生成执行节点树,以完成执行节点树中的各节点的操作,从而更新物化视图,在此不予赘述。
以上仅仅是示意性地描述本公开的基于商业智能的物化视图生成方法提供的多种实施例,本公开并非以此为限制,各实施例可以单独或者组合来使用。
示例性装置
在介绍了本公开示例性实施方式的基于商业智能的数据分析方法和基于商业智能的物化视图生成方法之后,接下来,参考图8对本公开示例性实施方式的基于商业智能的数据分析装置进行描述。
参考图8所示,本公开示例性实施方式的基于商业智能的数据分析装置300可以包括:第一查询条件生成模块310,第一转换模块320、查询模块330以及图表生成模块340。其中,
第一查询条件生成模块310用于接收用户对图表的配置操作,生成第一查询条件,所述第一查询条件采用第一数据库语言生成,以自目标数据模型中查询数据;
第一转换模块320用于将所述第一查询条件转换为第二查询条件,所述第二查询条件采用第二数据库语言生成,以自所述目标数据模型的物化视图中查询数据,所述目标数据模型以及所述目标数据模型的物化视图于商业智能系统中生成;
查询模块330用于基于所述第二查询条件自所述目标数据模型的物化视图中查询数据;
图表生成模块340用于基于所查询的数据,生成图表。
根据本公开的示例性实施例,所述目标数据模型以及所述目标数据模型的物化视图基于如下步骤生成:接收数据源的配置信息;接收物化视图的配置信息;根据所述数据源的配置信息以及所述物化视图的配置信息,生成所述目标数据模型以及所述目标数据模型的物化视图。
根据本公开的示例性实施例,所述根据所述数据源的配置信息以及所述物化视图的配置信息,生成所述目标数据模型以及所述目标数据模型的物化视图包括:根据所述数据源的配置信息以及所述物化视图的配置信息,生成节点执行树;根据所生成的节点执行树,生成所述目标数据模型以及所述目标数据模型的物化视图。
根据本公开的示例性实施例,所述数据源的配置信息包括自一个或多个数据源获取的多个数据表以及多个数据表之间的连接关系,所述根据所述数据源的配置信息以及所述物化视图的配置信息,生成节点执行树包括:自所述多个数据表中选择一个数据表,生成对应该数据表的输入节点,所述输入节点用于自对应的数据表中获取数据;将所述输入节点作为待连接节点;遍历所述多个数据表中的其余数据表,对所遍历的数据表:生成对应该数据表的输入节点;根据多个数据表之间的连接关系,确定该数据表与待连接节点的关联关系;根据所确定的关联关系,生成连接该输入节点与待连接节点的第一节点,所述第一节点用于按所述关联关系将所述输入节点获取的数据与所述待连接节点获取的数据进行关联;将所述第一节点作为待连接节点。
根据本公开的示例性实施例,所述遍历所述多个数据表中的其余数据表之后,还包括;生成连接至待连接节点的第二节点,并生成连接至所述第二节点的输出节点,所述第二节点用于按所述物化视图的配置信息对连接至所述第二节点的待连接节点输出的数据进行筛选,所述输出节点用于将所述第二节点输出的数据输出为物化视图。
根据本公开的示例性实施例,所述根据所生成的节点执行树,生成所述目标数据模型以及所述目标数据模型的物化视图包括:根据所生成的节点执行树,依次执行所述输入节点、第一节点、第二节点以及输出节点的操作,生成所述目标数据模型以及所述目标数据模型的物化视图。
根据本公开的示例性实施例,响应于所述数据模型的物化视图的数量为多个,所述生成连接至待连接节点的第二节点,并生成连接至所述第二节点的输出节点包括:根据多个所述物化视图的配置信息,生成连接至根节点的多个第二节点,并生成分别连接至所述第二节点的多个输出节点。
根据本公开的示例性实施例,所述根据所生成的节点执行树,生成所述目标数据模型以及所述目标数据模型的物化视图还包括:将所述物化视图储存于MMP数据库中。
根据本公开的示例性实施例,所述数据源包括多个不同类型的数据库,所述输入节点的操作被转换为对应数据库的数据库语言,以被执行。
根据本公开的示例性实施例,所述物化视图的配置信息包括:所述物化视图的第一配置信息以及第二配置信息,所述第一配置信息包括用于生成所述物化视图的配置项,所述第二配置信息用于确定所述物化视图的执行计划。
根据本公开的示例性实施例,所述执行计划包括定时执行以及依赖执行,所述定时执行用于指示所述物化视图按设定时间生成,所述依赖执行用于指示生成所述物化视图所依赖的事件。
根据本公开的示例性实施例,物化视图的第一配置信息包括如下信息中的一项或多项:所述物化视图的类型;所述物化视图的数据范围;所述物化视图的表储存方式;所述物化视图的维度;以及所述物化视图的度量。
根据本公开的示例性实施例,所述物化视图的类型包括:全量物化视图,包括所述目标数据模型的所有数据;带设定条件的物化视图,包括设定条件下,所述目标数据模型的数据;自定义物化视图,包括自定义设定条件下,所述目标数据模型的数据。
根据本公开的示例性实施例,所述第一转换模块包括:第二转换模块,用于将第一查询条件转换为第三查询条件,所述第三查询条件用于查询所述物化视图以及所述物化视图所属的目标数据模型中的数据;第三转换模块,用于将所述第三查询条件转换为第二查询条件。
根据本公开的示例性实施例,所述第二转换模块包括:第四转换模块,用于响应于所要查询的物化视图中包括所述第一查询条件所查询的目标数据,将第一查询条件转换为第三查询条件,将所述第三查询条件关联所述物化视图;第五转换模块,用于响应于所要查询的物化视图中不包括所述目标数据,将第一查询条件转换为第三子查询条件,将所述第三子查询条件关联所要查询的物化视图及所述目标数据模型。
根据本公开的示例性实施例,所述第三转换模块还包括:校验模块,用于对所述第三查询条件以及第三子查询条件进行校验;第六转换模块,用于响应于所述第三查询条件以及第三子查询条件校验通过,将所述第三查询条件以及第三子查询条件转换为第二查询条件。
根据本公开的示例性实施例,所述对所述第三查询条件以及第三子查询条件进行校验包括字段校验、筛选校验以及关联表校验中的一种或多种。
根据本公开的示例性实施例,响应于所要查询的物化视图中包含第一查询字段,且所要查询的目标数据模型中包含第二查询字段,则确定所述第三查询条件以及第三子查询条件通过所述字段校验,其中,所述第一查询字段为所述第三查询条件所查询的字段,所述第二查询字段为所述第三子查询条件所查询的字段。
根据本公开的示例性实施例,响应于第三查询条件符合第一筛选校验条件且所述第三子查询条件符合第二筛选校验条件,所述第三查询条件以及第三子查询条件通过所述筛选校验,其中,所述第一筛选校验条件为:所要查询的物化视图中包含第一维度,且所述第一维度的第一度量范围包含所述物化视图中所述第一维度的度量范围;所述第二筛选校验条件为,所要查询的所述目标数据模型中包含第二维度,且所述第二维度的第二度量范围包含所述目标数据模中所述第二维度的度量范围,所述第一维度为所述第三查询条件所要查询的维度,所述第二维度为所述第三子查询条件所要查询的维度。
根据本公开的示例性实施例,响应于所述第一关联关系和第二关联关系一致,所述第三查询条件以及第三子查询条件通过所述关联表校验,其中,所述第一关联关系为第三查询条件与所述第三子查询条件的关联关系,所述第二关联关系为所要查询的物化视图及目标数据模型的关联关系。
根据本公开的示例性实施例,所述生成第一查询条件包括:接收物化视图的配置信息,所述物化视图的配置信息用于校验所述第三查询条件以及第三子查询条件。
根据本公开的示例性实施例,所述第三转换模块包括:第一替换模块,用于将所述第三查询条件中的数据模型替换为所要查询的物化视图;第二替换模块,用于将所述第三子查询条件中的数据模型替换为所述目标数据模型;第三替换模块,用于将所述第三查询条件以及所述第三子查询条件的表达式中的原始字段替换为所要查询的物化视图及所述目标数据模型的字段。
根据本公开的示例性实施例,所述将所述第三查询条件以及所述第三子查询条件的表达式中的原始字段替换为所要查询的物化视图及所述目标数据模型的字段包括:响应于所述第三查询条件或者所述第三子查询条件为非聚合查询条件,所述第三查询条件以及所述第三子查询条件的表达式中的所有原始字段替换为所要查询的物化视图及所述目标数据模型的字段;响应于所述第三查询条件或者所述第三子查询条件为聚合查询条件,将所述第三查询条件以及所述第三子查询条件的表达式中的原始维度字段,替换为所要查询的物化视图及所述目标数据模型的维度字段。
根据本公开的示例性实施例,所述基于所要查询的物化视图及其所述的数据模型的字段,替换所述第三查询条件以及所述第三子查询条件的表达式中的原始字段包括:响应于聚合查询条件的聚合层级与所要查询的物化视图的聚合层级相同时,使所述第三查询条件或者所述第三子查询条件作为非聚合查询条件。
根据本公开的示例性实施例,所述第一查询条件为QueryDSL。
根据本公开的示例性实施例,基于所述第二查询条件自所述数据模型的物化视图中查询数据包括:自所述数据模型的物化视图中选择所要查询的目标物化视图。
根据本公开的示例性实施例,所述自所述数据模型的物化视图中选择所要查询的目标物化视图包括如下步骤的中一种或多种:自所述数据模型的物化视图中选择已聚合的物化视图作为所要查询的目标物化视图;自所述数据模型的物化视图中选择维度的个数最少的物化视图作为所要查询的目标物化视图;自所述数据模型的物化视图中选择筛选条件的个数最多的物化视图作为所要查询的目标物化视图;自所述数据模型的物化视图中选择筛选条件的范围最小的物化视图作为所要查询的目标物化视图。
由于本公开实施方式的基于商业智能的数据分析装置的各个功能模块与上述基于商业智能的数据分析方法公开实施方式中相同,因此在此不再赘述。
接下来,参考图9对本公开示例性实施方式的基于商业智能的物化视图生成装置进行描述。
参考图9所示,本公开示例性实施方式的基于商业智能的物化视图生成装置400可以包括:第一接收模块410,第二接收模块420以及物化视图生成模块430。其中,
第一接收模块410用于接收数据源的配置信息;
第二接收模块420用于接收物化视图的配置信息;
物化视图生成模块430用于根据所述数据源的配置信息以及所述物化视图的配置信息,生成目标数据模型以及所述目标数据模型的物化视图。
根据本公开的示例性实施例,所述物化视图生成模块包括:节点执行树生成模块,用于根据所述数据源的配置信息以及所述物化视图的配置信息,生成节点执行树;节点执行树执行模块,用于根据所生成的节点执行树,生成所述目标数据模型以及所述目标数据模型的物化视图。
根据本公开的示例性实施例,所述数据源的配置信息包括自一个或多个数据源获取的多个数据表以及多个数据表之间的连接关系,所述节点执行树生成模块用于:自所述多个数据表中选择一个数据表,生成对应该数据表的输入节点,所述输入节点用于自对应的数据表中获取数据;将所述输入节点作为待连接节点;遍历所述多个数据表中的其余数据表,对所遍历的数据表:生成对应该数据表的输入节点;根据多个数据表之间的连接关系,确定该数据表与待连接节点的关联关系;根据所确定的关联关系,生成连接该输入节点与待连接节点的第一节点,所述第一节点用于按所述关联关系将所述输入节点获取的数据与所述待连接节点获取的数据进行关联;将所述第一节点作为待连接节点。
根据本公开的示例性实施例,所述节点执行树生成模块在遍历所述多个数据表中的其余数据表之后,还用于:生成连接至待连接节点的第二节点,并生成连接至所述第二节点的输出节点,所述第二节点用于按所述物化视图的配置信息对连接至所述第二节点的待连接节点输出的数据进行筛选,所述输出节点用于将所述第二节点输出的数据输出为物化视图。
根据本公开的示例性实施例,所述节点执行树执行模块还用于:根据所生成的节点执行树,依次执行所述输入节点、第一节点、第二节点以及输出节点的操作,生成所述目标数据模型以及所述目标数据模型的物化视图。
根据本公开的示例性实施例,响应于所述数据模型的物化视图的数量为多个,所述生成连接至待连接节点的第二节点,并生成连接至所述第二节点的输出节点包括:根据多个所述物化视图的配置信息,生成连接至根节点的多个第二节点,并生成分别连接至所述第二节点的多个输出节点。
根据本公开的示例性实施例,所述节点执行树执行模块还用于包括:将所述物化视图储存于MMP数据库中。
根据本公开的示例性实施例,所述数据源包括多个不同类型的数据库,所述输入节点的操作被转换为对应数据库的数据库语言,以被执行。
根据本公开的示例性实施例,所述物化视图的配置信息包括:所述物化视图的第一配置信息以及第二配置信息,所述第一配置信息包括用于生成所述物化视图的配置项,所述第二配置信息用于确定所述物化视图的执行计划。
根据本公开的示例性实施例,所述执行计划包括定时执行以及依赖执行,所述定时执行用于指示所述物化视图按设定时间生成,所述依赖执行用于指示生成所述物化视图所依赖的事件。
根据本公开的示例性实施例,物化视图的第一配置信息包括如下信息中的一项或多项:所述物化视图的类型;所述物化视图的数据范围;所述物化视图的表储存方式;所述物化视图的维度;以及所述物化视图的度量。
根据本公开的示例性实施例,所述物化视图的类型包括:全量物化视图,包括所述目标数据模型的所有数据;带设定条件的物化视图,包括设定条件下,所述目标数据模型的数据;自定义物化视图,包括自定义设定条件下,所述目标数据模型的数据。
由于本公开实施方式的基于商业智能的物化视图生成装置的各个功能模块与上述基于商业智能的物化视图生成方法公开实施方式中相同,因此在此不再赘述。
示例性存储介质
在介绍了本公开示例性实施方式的基于商业智能的数据分析方法、基于商业智能的物化视图生成方法和装置之后,接下来,参考图10对本公开示例性实施方式的存储介质进行说明。
参考图10所示,描述了根据本公开的实施方式的用于实现上述方法的程序产品1000,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言-诸如Java、C++等,还包括常规的过程式程序设计语言-诸如"C"语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
示例性电子设备
在介绍了本公开示例性实施方式的存储介质之后,接下来,参考图11对本公开示例性实施方式的电子设备进行说明。
图11显示的电子设备800仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图11所示,电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于:上述至少一个处理单元810、上述至少一个存储单元820、连接不同系统组件(包括存储单元820和处理单元810)的总线830、显示单元840。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元810执行,使得所述处理单元810执行本说明书上述"示例性方法"部分中描述的根据本公开各种示例性实施方式的步骤。例如,所述处理单元810可以执行如图1和/或图3中所示的步骤。
存储单元820可以包括易失性存储单元,例如随机存取存储单元(RAM)8201和/或高速缓存存储单元8202,还可以进一步包括只读存储单元(ROM)8203。
存储单元820还可以包括具有一组(至少一个)程序模块8205的程序/实用工具8204,这样的程序模块8205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线830可以包括数据总线、地址总线和控制总线。
电子设备800也可以与一个或多个外部设备900(例如键盘、指向设备、蓝牙设备等)通信,这种通信可以通过输入/输出(I/O)接口850进行。电子设备800还包括显示单元840,其连接到输入/输出(I/O)接口850,用于进行显示。并且,电子设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器860通过总线830与电子设备800的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备800使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
应当注意,尽管在上文详细描述中提及了基于商业智能的数据分析装置、基于商业智能的物化视图生成装置的若干模块或子模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
此外,尽管在附图中以特定顺序描述了本公开方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本公开的精神和原理,但是应该理解,本公开并不限于所公开的具体实施方式,对各方面的划分也不意味着这些方面中的特征不能组合以进行受益,这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (66)

1.一种基于商业智能的数据分析方法,其特征在于,包括:
接收用户对图表的配置操作,生成第一查询条件,所述第一查询条件采用第一数据库语言生成,以自目标数据模型中查询数据;
将所述第一查询条件转换为第三查询条件,所述第三查询条件用于查询物化视图以及所述物化视图所属的目标数据模型中的数据,将所述第一查询条件转换为第三查询条件包括:响应于所要查询的物化视图中包括所述第一查询条件所查询的目标数据,将第一查询条件转换为第三查询条件,将所述第三查询条件关联所述物化视图;响应于所要查询的物化视图中不包括所述目标数据,将第一查询条件转换为第三子查询条件,将所述第三子查询条件关联所要查询的物化视图及所述目标数据模型;
将所述第三查询条件转换为第二查询条件,所述第二查询条件采用第二数据库语言生成,以自所述目标数据模型的物化视图中查询数据,所述目标数据模型以及所述目标数据模型的物化视图于商业智能系统中、基于多个不同类型的数据库的数据源生成,所述数据源的配置信息包括自一个或多个数据源获取的多个数据表以及多个数据表之间的连接关系,所述目标数据模型以及所述目标数据模型的物化视图根据如下步骤生成:根据所接收的数据源的配置信息以及所接收的物化视图的配置信息,生成节点执行树;根据所生成的节点执行树,生成所述目标数据模型以及所述目标数据模型的物化视图;
基于所述第二查询条件自所述目标数据模型的物化视图中查询数据;
基于所查询的数据,生成图表。
2.根据权利要求1所述的基于商业智能的数据分析方法,其特征在于,所述根据所接收的数据源的配置信息以及所接收的物化视图的配置信息,生成节点执行树包括:
自所述多个数据表中选择一个数据表,生成对应该数据表的输入节点,所述输入节点用于自对应的数据表中获取数据;
将所述输入节点作为待连接节点;
遍历所述多个数据表中的其余数据表,对所遍历的数据表:
生成对应该数据表的输入节点;
根据多个数据表之间的连接关系,确定该数据表与待连接节点的关联关系;
根据所确定的关联关系,生成连接该输入节点与待连接节点的第一节点,所述第一节点用于按所述关联关系将所述输入节点获取的数据与所述待连接节点获取的数据进行关联;
将所述第一节点作为待连接节点。
3.根据权利要求2所述的基于商业智能的数据分析方法,其特征在于,所述遍历所述多个数据表中的其余数据表之后,还包括;
生成连接至待连接节点的第二节点,并生成连接至所述第二节点的输出节点,所述第二节点用于按所述物化视图的配置信息对连接至所述第二节点的待连接节点输出的数据进行筛选,所述输出节点用于将所述第二节点输出的数据输出为物化视图。
4.根据权利要求3所述的基于商业智能的数据分析方法,其特征在于,所述根据所生成的节点执行树,生成所述目标数据模型以及所述目标数据模型的物化视图包括:
根据所生成的节点执行树,依次执行所述输入节点、第一节点、第二节点以及输出节点的操作,生成所述目标数据模型以及所述目标数据模型的物化视图。
5.根据权利要求3所述的基于商业智能的数据分析方法,其特征在于,响应于所述数据模型的物化视图的数量为多个,所述生成连接至待连接节点的第二节点,并生成连接至所述第二节点的输出节点包括:
根据多个所述物化视图的配置信息,生成连接至根节点的多个第二节点,并生成分别连接至所述第二节点的多个输出节点。
6.根据权利要求1至5任一项所述的基于商业智能的数据分析方法,其特征在于,所述根据所生成的节点执行树,生成所述目标数据模型以及所述目标数据模型的物化视图还包括:
将所述物化视图储存于MMP数据库中。
7.根据权利要求4所述的基于商业智能的数据分析方法,其特征在于,所述数据源包括多个不同类型的数据库,所述输入节点的操作被转换为对应数据库的数据库语言,以被执行。
8.根据权利要求1至5任一项所述的基于商业智能的数据分析方法,其特征在于,所述物化视图的配置信息包括:所述物化视图的第一配置信息以及第二配置信息,所述第一配置信息包括用于生成所述物化视图的配置项,所述第二配置信息用于确定所述物化视图的执行计划。
9.根据权利要求8所述的基于商业智能的数据分析方法,其特征在于,所述执行计划包括定时执行以及依赖执行,所述定时执行用于指示所述物化视图按设定时间生成,所述依赖执行用于指示生成所述物化视图所依赖的事件。
10.根据权利要求8所述的基于商业智能的数据分析方法,其特征在于,物化视图的第一配置信息包括如下信息中的一项或多项:
所述物化视图的类型;
所述物化视图的数据范围;
所述物化视图的表储存方式;
所述物化视图的维度;以及
所述物化视图的度量。
11.根据权利要求10所述的基于商业智能的数据分析方法,其特征在于,所述物化视图的类型包括:
全量物化视图,包括所述目标数据模型的所有数据;
带设定条件的物化视图,包括设定条件下,所述目标数据模型的数据;
自定义物化视图,包括自定义设定条件下,所述目标数据模型的数据。
12.根据权利要求1所述的基于商业智能的数据分析方法,其特征在于,所述将所述第三查询条件转换为第二查询条件之前,还包括:
对所述第三查询条件以及第三子查询条件进行校验,
响应于所述第三查询条件以及第三子查询条件校验通过,将所述第三查询条件以及第三子查询条件转换为第二查询条件。
13.根据权利要求12所述的基于商业智能的数据分析方法,其特征在于,所述对所述第三查询条件以及第三子查询条件进行校验包括字段校验、筛选校验以及关联表校验中的一种或多种。
14.根据权利要求13所述的基于商业智能的数据分析方法,其特征在于,响应于所要查询的物化视图中包含第一查询字段,且所要查询的目标数据模型中包含第二查询字段,则确定所述第三查询条件以及第三子查询条件通过所述字段校验,其中,所述第一查询字段为所述第三查询条件所查询的字段,所述第二查询字段为所述第三子查询条件所查询的字段。
15.根据权利要求13所述的基于商业智能的数据分析方法,其特征在于,响应于第三查询条件符合第一筛选校验条件且所述第三子查询条件符合第二筛选校验条件,所述第三查询条件以及第三子查询条件通过所述筛选校验,
其中,所述第一筛选校验条件为:所要查询的物化视图中包含第一维度,且所述第一维度的第一度量范围包含所述物化视图中所述第一维度的度量范围;所述第二筛选校验条件为,所要查询的所述目标数据模型中包含第二维度,且所述第二维度的第二度量范围包含所述目标数据模中所述第二维度的度量范围,所述第一维度为所述第三查询条件所要查询的维度,所述第二维度为所述第三子查询条件所要查询的维度。
16.根据权利要求13所述的基于商业智能的数据分析方法,其特征在于,响应于第一关联关系和第二关联关系一致,所述第三查询条件以及第三子查询条件通过所述关联表校验,
其中,所述第一关联关系为第三查询条件与所述第三子查询条件的关联关系,所述第二关联关系为所要查询的物化视图及目标数据模型的关联关系。
17.根据权利要求13所述的基于商业智能的数据分析方法,其特征在于,所述生成第一查询条件包括:接收物化视图的配置信息,所述物化视图的配置信息用于校验所述第三查询条件以及第三子查询条件。
18.根据权利要求1所述的基于商业智能的数据分析方法,其特征在于,将所述第三查询条件转换为第二查询条件包括:
将所述第三查询条件中的数据模型替换为所要查询的物化视图;
将所述第三子查询条件中的数据模型替换为所述目标数据模型;
将所述第三查询条件以及所述第三子查询条件的表达式中的原始字段替换为所要查询的物化视图及所述目标数据模型的字段。
19.根据权利要求18所述的基于商业智能的数据分析方法,其特征在于,所述将所述第三查询条件以及所述第三子查询条件的表达式中的原始字段替换为所要查询的物化视图及所述目标数据模型的字段包括:
响应于所述第三查询条件或者所述第三子查询条件为非聚合查询条件,所述第三查询条件以及所述第三子查询条件的表达式中的所有原始字段替换为所要查询的物化视图及所述目标数据模型的字段;
响应于所述第三查询条件或者所述第三子查询条件为聚合查询条件,将所述第三查询条件以及所述第三子查询条件的表达式中的原始维度字段,替换为所要查询的物化视图及所述目标数据模型的维度字段。
20.根据权利要求19所述的基于商业智能的数据分析方法,其特征在于,所述基于所要查询的物化视图及其所述的数据模型的字段,替换所述第三查询条件以及所述第三子查询条件的表达式中的原始字段包括:
响应于聚合查询条件的聚合层级与所要查询的物化视图的聚合层级相同时,使所述第三查询条件或者所述第三子查询条件作为非聚合查询条件。
21.根据权利要求1至5、9至20任一项所述的基于商业智能的数据分析方法,其特征在于,所述第一查询条件为QueryDSL。
22.根据权利要求1至5、9至20任一项所述的基于商业智能的数据分析方法,其特征在于,基于所述第二查询条件自所述数据模型的物化视图中查询数据包括:
自所述数据模型的物化视图中选择所要查询的目标物化视图。
23.根据权利要求22所述的基于商业智能的数据分析方法,其特征在于,所述自所述数据模型的物化视图中选择所要查询的目标物化视图包括如下步骤的中一种或多种:
自所述数据模型的物化视图中选择已聚合的物化视图作为所要查询的目标物化视图;
自所述数据模型的物化视图中选择维度的个数最少的物化视图作为所要查询的目标物化视图;
自所述数据模型的物化视图中选择筛选条件的个数最多的物化视图作为所要查询的目标物化视图;
自所述数据模型的物化视图中选择筛选条件的范围最小的物化视图作为所要查询的目标物化视图。
24.一种基于商业智能的物化视图生成方法,其特征在于,包括:
接收多个不同类型的数据库的数据源的配置信息,所述数据源的配置信息包括自一个或多个数据源获取的多个数据表以及多个数据表之间的连接关系;
接收物化视图的配置信息;
根据所述数据源的配置信息以及所述物化视图的配置信息,生成节点执行树,包括:自所述多个数据表中选择一个数据表,生成对应该数据表的输入节点,所述输入节点用于自对应的数据表中获取数据;将所述输入节点作为待连接节点;遍历所述多个数据表中的其余数据表,对所遍历的数据表:生成对应该数据表的输入节点;根据多个数据表之间的连接关系,确定该数据表与待连接节点的关联关系;根据所确定的关联关系,生成连接该输入节点与待连接节点的第一节点,所述第一节点用于按所述关联关系将所述输入节点获取的数据与所述待连接节点获取的数据进行关联;将所述第一节点作为待连接节点,其中,所述遍历所述多个数据表中的其余数据表之后,还包括:生成连接至待连接节点的第二节点,并生成连接至所述第二节点的输出节点,所述第二节点用于按所述物化视图的配置信息对连接至所述第二节点的待连接节点输出的数据进行筛选,所述输出节点用于将所述第二节点输出的数据输出为物化视图;
根据所生成的节点执行树,生成目标数据模型以及所述目标数据模型的物化视图。
25.根据权利要求24所述的基于商业智能的物化视图生成方法,其特征在于,所述根据所生成的节点执行树,生成所述目标数据模型以及所述目标数据模型的物化视图包括:
根据所生成的节点执行树,依次执行所述输入节点、第一节点、第二节点以及输出节点的操作,生成所述目标数据模型以及所述目标数据模型的物化视图。
26.根据权利要求25所述的基于商业智能的物化视图生成方法,其特征在于,响应于所述数据模型的物化视图的数量为多个,所述生成连接至待连接节点的第二节点,并生成连接至所述第二节点的输出节点包括:
根据多个所述物化视图的配置信息,生成连接至根节点的多个第二节点,并生成分别连接至所述第二节点的多个输出节点。
27.根据权利要求24至26任一项所述的基于商业智能的物化视图生成方法,其特征在于,所述根据所生成的节点执行树,生成所述目标数据模型以及所述目标数据模型的物化视图还包括:
将所述物化视图储存于MMP数据库中。
28.根据权利要求25所述的基于商业智能的物化视图生成方法,其特征在于,所述数据源包括多个不同类型的数据库,所述输入节点的操作被转换为对应数据库的数据库语言,以被执行。
29.根据权利要求24至26任一项所述的基于商业智能的物化视图生成方法,其特征在于,所述物化视图的配置信息包括:所述物化视图的第一配置信息以及第二配置信息,所述第一配置信息包括用于生成所述物化视图的配置项,所述第二配置信息用于确定所述物化视图的执行计划。
30.根据权利要求29所述的基于商业智能的物化视图生成方法,其特征在于,所述执行计划包括定时执行以及依赖执行,所述定时执行用于指示所述物化视图按设定时间生成,所述依赖执行用于指示生成所述物化视图所依赖的事件。
31.根据权利要求29所述的基于商业智能的物化视图生成方法,其特征在于,物化视图的第一配置信息包括如下信息中的一项或多项:
所述物化视图的类型;
所述物化视图的数据范围;
所述物化视图的表储存方式;
所述物化视图的维度;以及
所述物化视图的度量。
32.根据权利要求31所述的基于商业智能的物化视图生成方法,其特征在于,所述物化视图的类型包括:
全量物化视图,包括所述目标数据模型的所有数据;
带设定条件的物化视图,包括设定条件下,所述目标数据模型的数据;
自定义物化视图,包括自定义设定条件下,所述目标数据模型的数据。
33.一种基于商业智能的数据分析装置,其特征在于,包括:
第一查询条件生成模块,用于接收用户对图表的配置操作,生成第一查询条件,所述第一查询条件采用第一数据库语言生成,以自目标数据模型中查询数据;
第一转换模块,包括:
第二转换模块,用于将所述第一查询条件转换为第三查询条件,所述第三查询条件用于查询物化视图以及所述物化视图所属的目标数据模型中的数据,所述第二转换模块包括:第四转换模块,用于响应于所要查询的物化视图中包括所述第一查询条件所查询的目标数据,将第一查询条件转换为第三查询条件,将所述第三查询条件关联所述物化视图;第五转换模块,用于响应于所要查询的物化视图中不包括所述目标数据,将第一查询条件转换为第三子查询条件,将所述第三子查询条件关联所要查询的物化视图及所述目标数据模型;
第三转换模块,用于将所述第三查询条件转换为第二查询条件,所述第二查询条件采用第二数据库语言生成,以自所述目标数据模型的物化视图中查询数据,所述目标数据模型以及所述目标数据模型的物化视图于商业智能系统中、基于多个不同类型的数据库的数据源生成,所述数据源的配置信息包括自一个或多个数据源获取的多个数据表以及多个数据表之间的连接关系,所述目标数据模型以及所述目标数据模型的物化视图根据如下步骤生成:根据所接收的数据源的配置信息以及所接收的物化视图的配置信息,生成节点执行树;根据所生成的节点执行树,生成所述目标数据模型以及所述目标数据模型的物化视图;
查询模块,用于基于所述第二查询条件自所述目标数据模型的物化视图中查询数据;
图表生成模块,用于基于所查询的数据,生成图表。
34.根据权利要求33所述的基于商业智能的数据分析装置,其特征在于,所述根据所述数据源的配置信息以及所述物化视图的配置信息,生成节点执行树包括:
自所述多个数据表中选择一个数据表,生成对应该数据表的输入节点,所述输入节点用于自对应的数据表中获取数据;
将所述输入节点作为待连接节点;
遍历所述多个数据表中的其余数据表,对所遍历的数据表:
生成对应该数据表的输入节点;
根据多个数据表之间的连接关系,确定该数据表与待连接节点的关联关系;
根据所确定的关联关系,生成连接该输入节点与待连接节点的第一节点,所述第一节点用于按所述关联关系将所述输入节点获取的数据与所述待连接节点获取的数据进行关联;
将所述第一节点作为待连接节点。
35.根据权利要求34所述的基于商业智能的数据分析装置,其特征在于,所述遍历所述多个数据表中的其余数据表之后,还包括;
生成连接至待连接节点的第二节点,并生成连接至所述第二节点的输出节点,所述第二节点用于按所述物化视图的配置信息对连接至所述第二节点的待连接节点输出的数据进行筛选,所述输出节点用于将所述第二节点输出的数据输出为物化视图。
36.根据权利要求35所述的基于商业智能的数据分析装置,其特征在于,所述根据所生成的节点执行树,生成所述目标数据模型以及所述目标数据模型的物化视图包括:
根据所生成的节点执行树,依次执行所述输入节点、第一节点、第二节点以及输出节点的操作,生成所述目标数据模型以及所述目标数据模型的物化视图。
37.根据权利要求35所述的基于商业智能的数据分析装置,其特征在于,响应于所述数据模型的物化视图的数量为多个,所述生成连接至待连接节点的第二节点,并生成连接至所述第二节点的输出节点包括:
根据多个所述物化视图的配置信息,生成连接至根节点的多个第二节点,并生成分别连接至所述第二节点的多个输出节点。
38.根据权利要求33至37任一项所述的基于商业智能的数据分析装置,其特征在于,所述根据所生成的节点执行树,生成所述目标数据模型以及所述目标数据模型的物化视图还包括:
将所述物化视图储存于MMP数据库中。
39.根据权利要求36所述的基于商业智能的数据分析装置,其特征在于,所述数据源包括多个不同类型的数据库,所述输入节点的操作被转换为对应数据库的数据库语言,以被执行。
40.根据权利要求33至37任一项所述的基于商业智能的数据分析装置,其特征在于,所述物化视图的配置信息包括:所述物化视图的第一配置信息以及第二配置信息,所述第一配置信息包括用于生成所述物化视图的配置项,所述第二配置信息用于确定所述物化视图的执行计划。
41.根据权利要求40所述的基于商业智能的数据分析装置,其特征在于,所述执行计划包括定时执行以及依赖执行,所述定时执行用于指示所述物化视图按设定时间生成,所述依赖执行用于指示生成所述物化视图所依赖的事件。
42.根据权利要求40所述的基于商业智能的数据分析装置,其特征在于,物化视图的第一配置信息包括如下信息中的一项或多项:
所述物化视图的类型;
所述物化视图的数据范围;
所述物化视图的表储存方式;
所述物化视图的维度;以及
所述物化视图的度量。
43.根据权利要求42所述的基于商业智能的数据分析装置,其特征在于,所述物化视图的类型包括:
全量物化视图,包括所述目标数据模型的所有数据;
带设定条件的物化视图,包括设定条件下,所述目标数据模型的数据;
自定义物化视图,包括自定义设定条件下,所述目标数据模型的数据。
44.根据权利要求33所述的基于商业智能的数据分析装置,其特征在于,所述第三转换模块还包括:
校验模块,用于对所述第三查询条件以及第三子查询条件进行校验;
第六转换模块,用于响应于所述第三查询条件以及第三子查询条件校验通过,将所述第三查询条件以及第三子查询条件转换为第二查询条件。
45.根据权利要求44所述的基于商业智能的数据分析装置,其特征在于,所述对所述第三查询条件以及第三子查询条件进行校验包括字段校验、筛选校验以及关联表校验中的一种或多种。
46.根据权利要求45所述的基于商业智能的数据分析装置,其特征在于,响应于所要查询的物化视图中包含第一查询字段,且所要查询的目标数据模型中包含第二查询字段,则确定所述第三查询条件以及第三子查询条件通过所述字段校验,其中,所述第一查询字段为所述第三查询条件所查询的字段,所述第二查询字段为所述第三子查询条件所查询的字段。
47.根据权利要求45所述的基于商业智能的数据分析装置,其特征在于,响应于第三查询条件符合第一筛选校验条件且所述第三子查询条件符合第二筛选校验条件,所述第三查询条件以及第三子查询条件通过所述筛选校验,
其中,所述第一筛选校验条件为:所要查询的物化视图中包含第一维度,且所述第一维度的第一度量范围包含所述物化视图中所述第一维度的度量范围;所述第二筛选校验条件为,所要查询的所述目标数据模型中包含第二维度,且所述第二维度的第二度量范围包含所述目标数据模中所述第二维度的度量范围,所述第一维度为所述第三查询条件所要查询的维度,所述第二维度为所述第三子查询条件所要查询的维度。
48.根据权利要求45所述的基于商业智能的数据分析装置,其特征在于,响应于第一关联关系和第二关联关系一致,所述第三查询条件以及第三子查询条件通过所述关联表校验,
其中,所述第一关联关系为第三查询条件与所述第三子查询条件的关联关系,所述第二关联关系为所要查询的物化视图及目标数据模型的关联关系。
49.根据权利要求45所述的基于商业智能的数据分析装置,其特征在于,所述生成第一查询条件包括:接收物化视图的配置信息,所述物化视图的配置信息用于校验所述第三查询条件以及第三子查询条件。
50.根据权利要求45所述的基于商业智能的数据分析装置,其特征在于,所述第三转换模块包括:
第一替换模块,用于将所述第三查询条件中的数据模型替换为所要查询的物化视图;
第二替换模块,用于将所述第三子查询条件中的数据模型替换为所述目标数据模型;
第三替换模块,用于将所述第三查询条件以及所述第三子查询条件的表达式中的原始字段替换为所要查询的物化视图及所述目标数据模型的字段。
51.根据权利要求50所述的基于商业智能的数据分析装置,其特征在于,所述将所述第三查询条件以及所述第三子查询条件的表达式中的原始字段替换为所要查询的物化视图及所述目标数据模型的字段包括:
响应于所述第三查询条件或者所述第三子查询条件为非聚合查询条件,所述第三查询条件以及所述第三子查询条件的表达式中的所有原始字段替换为所要查询的物化视图及所述目标数据模型的字段;
响应于所述第三查询条件或者所述第三子查询条件为聚合查询条件,将所述第三查询条件以及所述第三子查询条件的表达式中的原始维度字段,替换为所要查询的物化视图及所述目标数据模型的维度字段。
52.根据权利要求51所述的基于商业智能的数据分析装置,其特征在于,所述基于所要查询的物化视图及其所述的数据模型的字段,替换所述第三查询条件以及所述第三子查询条件的表达式中的原始字段包括:
响应于聚合查询条件的聚合层级与所要查询的物化视图的聚合层级相同时,使所述第三查询条件或者所述第三子查询条件作为非聚合查询条件。
53.根据权利要求33至37、41至52任一项所述的基于商业智能的数据分析装置,其特征在于,所述第一查询条件为QueryDSL。
54.根据权利要求33至37、41至52任一项所述的基于商业智能的数据分析装置,其特征在于,基于所述第二查询条件自所述数据模型的物化视图中查询数据包括:
自所述数据模型的物化视图中选择所要查询的目标物化视图。
55.根据权利要求54所述的基于商业智能的数据分析装置,其特征在于,所述自所述数据模型的物化视图中选择所要查询的目标物化视图包括如下步骤的中一种或多种:
自所述数据模型的物化视图中选择已聚合的物化视图作为所要查询的目标物化视图;
自所述数据模型的物化视图中选择维度的个数最少的物化视图作为所要查询的目标物化视图;
自所述数据模型的物化视图中选择筛选条件的个数最多的物化视图作为所要查询的目标物化视图;
自所述数据模型的物化视图中选择筛选条件的范围最小的物化视图作为所要查询的目标物化视图。
56.一种基于商业智能的物化视图生成装置,其特征在于,包括:
第一接收模块,用于接收多个不同类型的数据库的数据源的配置信息,所述数据源的配置信息包括自一个或多个数据源获取的多个数据表以及多个数据表之间的连接关系;
第二接收模块,用于接收物化视图的配置信息;
物化视图生成模块,用于根据所述数据源的配置信息以及所述物化视图的配置信息,生成目标数据模型以及所述目标数据模型的物化视图,所述物化视图生成模块包括:节点执行树生成模块,用于根据所述数据源的配置信息以及所述物化视图的配置信息,生成节点执行树;节点执行树执行模块,用于根据所生成的节点执行树,生成所述目标数据模型以及所述目标数据模型的物化视图,所述节点执行树生成模块用于:自所述多个数据表中选择一个数据表,生成对应该数据表的输入节点,所述输入节点用于自对应的数据表中获取数据;将所述输入节点作为待连接节点;遍历所述多个数据表中的其余数据表,对所遍历的数据表:生成对应该数据表的输入节点;根据多个数据表之间的连接关系,确定该数据表与待连接节点的关联关系;根据所确定的关联关系,生成连接该输入节点与待连接节点的第一节点,所述第一节点用于按所述关联关系将所述输入节点获取的数据与所述待连接节点获取的数据进行关联;将所述第一节点作为待连接节点,所述节点执行树生成模块在遍历所述多个数据表中的其余数据表之后,还用于:生成连接至待连接节点的第二节点,并生成连接至所述第二节点的输出节点,所述第二节点用于按所述物化视图的配置信息对连接至所述第二节点的待连接节点输出的数据进行筛选,所述输出节点用于将所述第二节点输出的数据输出为物化视图。
57.根据权利要求56所述的基于商业智能的物化视图生成装置,其特征在于,所述节点执行树执行模块还用于:
根据所生成的节点执行树,依次执行所述输入节点、第一节点、第二节点以及输出节点的操作,生成所述目标数据模型以及所述目标数据模型的物化视图。
58.根据权利要求56所述的基于商业智能的物化视图生成装置,其特征在于,响应于所述数据模型的物化视图的数量为多个,所述生成连接至待连接节点的第二节点,并生成连接至所述第二节点的输出节点包括:
根据多个所述物化视图的配置信息,生成连接至根节点的多个第二节点,并生成分别连接至所述第二节点的多个输出节点。
59.根据权利要求56至58任一项所述的基于商业智能的物化视图生成装置,其特征在于,所述节点执行树执行模块还用于包括:
将所述物化视图储存于MMP数据库中。
60.根据权利要求57所述的基于商业智能的物化视图生成装置,其特征在于,所述数据源包括多个不同类型的数据库,所述输入节点的操作被转换为对应数据库的数据库语言,以被执行。
61.根据权利要求56至58任一项所述的基于商业智能的物化视图生成装置,其特征在于,所述物化视图的配置信息包括:所述物化视图的第一配置信息以及第二配置信息,所述第一配置信息包括用于生成所述物化视图的配置项,所述第二配置信息用于确定所述物化视图的执行计划。
62.根据权利要求61所述的基于商业智能的物化视图生成装置,其特征在于,所述执行计划包括定时执行以及依赖执行,所述定时执行用于指示所述物化视图按设定时间生成,所述依赖执行用于指示生成所述物化视图所依赖的事件。
63.根据权利要求61所述的基于商业智能的物化视图生成装置,其特征在于,物化视图的第一配置信息包括如下信息中的一项或多项:
所述物化视图的类型;
所述物化视图的数据范围;
所述物化视图的表储存方式;
所述物化视图的维度;以及
所述物化视图的度量。
64.根据权利要求63所述的基于商业智能的物化视图生成装置,其特征在于,所述物化视图的类型包括:
全量物化视图,包括所述目标数据模型的所有数据;
带设定条件的物化视图,包括设定条件下,所述目标数据模型的数据;
自定义物化视图,包括自定义设定条件下,所述目标数据模型的数据。
65.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现:
权利要求1~23中任一项所述的基于商业智能的数据分析方法;和/或
权利要求24~32中任一项所述的基于商业智能的物化视图生成方法。
66.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行:
权利要求1~23中任一项所述的基于商业智能的数据分析方法;和/或
权利要求24~32中任一项所述的基于商业智能的物化视图生成方法。
CN202211646159.1A 2022-12-21 2022-12-21 数据分析方法、物化视图生成方法及相关设备 Active CN115630117B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211646159.1A CN115630117B (zh) 2022-12-21 2022-12-21 数据分析方法、物化视图生成方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211646159.1A CN115630117B (zh) 2022-12-21 2022-12-21 数据分析方法、物化视图生成方法及相关设备

Publications (2)

Publication Number Publication Date
CN115630117A CN115630117A (zh) 2023-01-20
CN115630117B true CN115630117B (zh) 2023-04-07

Family

ID=84910372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211646159.1A Active CN115630117B (zh) 2022-12-21 2022-12-21 数据分析方法、物化视图生成方法及相关设备

Country Status (1)

Country Link
CN (1) CN115630117B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2249096A1 (en) * 1998-09-30 2000-03-30 Ibm Canada Limited-Ibm Canada Limitee Method for determining optimal database materializations using a query optimizer
CN112740199A (zh) * 2018-09-21 2021-04-30 华为技术有限公司 用于数据库查询优化的物化视图
DE202021102300U1 (de) * 2021-04-29 2021-09-13 Snowflake Inc. Durchführen von Joins mit georäumlicher Funktion unter Verwendung von einzelnen Intervall-Joins
CN113515539A (zh) * 2021-06-02 2021-10-19 清华大学 一种数据库中数据的查询方法
CN114547076A (zh) * 2022-02-21 2022-05-27 京东方科技集团股份有限公司 数据处理方法和数据处理系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874366B (zh) * 2018-08-31 2024-06-25 阿里巴巴集团控股有限公司 数据处理、查询方法和装置
CN111104453A (zh) * 2019-12-18 2020-05-05 深圳市中农易讯信息技术有限公司 数据的查询方法、装置、终端及存储介质
CN112286953B (zh) * 2020-09-25 2023-02-24 北京邮电大学 多维数据查询方法、装置和电子设备
CN112015775B (zh) * 2020-09-27 2023-11-21 北京百度网讯科技有限公司 标签数据处理方法、装置、设备和存储介质
CN113297212A (zh) * 2021-04-28 2021-08-24 上海淇玥信息技术有限公司 一种基于物化视图的Spark查询方法、装置及电子设备
CN114547086B (zh) * 2022-04-22 2022-07-22 网易(杭州)网络有限公司 数据处理方法、装置、设备及计算机可读存储介质
CN114968348A (zh) * 2022-05-26 2022-08-30 中国平安人寿保险股份有限公司 数据分析方法及装置、电子设备、存储介质
CN115062046A (zh) * 2022-06-24 2022-09-16 北京小米移动软件有限公司 数据库查询方法、装置、电子设备及存储介质
CN115357671B (zh) * 2022-10-19 2023-01-10 成都飞机工业(集团)有限责任公司 一种飞机装配数据构建方法、装置、设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2249096A1 (en) * 1998-09-30 2000-03-30 Ibm Canada Limited-Ibm Canada Limitee Method for determining optimal database materializations using a query optimizer
CN112740199A (zh) * 2018-09-21 2021-04-30 华为技术有限公司 用于数据库查询优化的物化视图
DE202021102300U1 (de) * 2021-04-29 2021-09-13 Snowflake Inc. Durchführen von Joins mit georäumlicher Funktion unter Verwendung von einzelnen Intervall-Joins
CN113515539A (zh) * 2021-06-02 2021-10-19 清华大学 一种数据库中数据的查询方法
CN114547076A (zh) * 2022-02-21 2022-05-27 京东方科技集团股份有限公司 数据处理方法和数据处理系统

Also Published As

Publication number Publication date
CN115630117A (zh) 2023-01-20

Similar Documents

Publication Publication Date Title
US11620286B2 (en) Continuous cloud-scale query optimization and processing
US10372492B2 (en) Job-processing systems and methods with inferred dependencies between jobs
US10210240B2 (en) Systems and methods for code parsing and lineage detection
US8005818B2 (en) Apparatus and method for maintaining metadata version awareness during set evaluation for OLAP hierarchies
US20170154057A1 (en) Efficient consolidation of high-volume metrics
US8412735B2 (en) Data quality enhancement for smart grid applications
US10223388B2 (en) Avoid double counting of mapped database data
JP2016519810A (ja) 半構造データのためのスケーラブルな分析プラットフォーム
US10296505B2 (en) Framework for joining datasets
US9706005B2 (en) Providing automatable units for infrastructure support
CN109376153B (zh) 一种基于NiFi的数据写入图数据库的系统及方法
KR20150118963A (ko) 큐 모니터링 및 시각화
CN115617834A (zh) 数据处理方法、装置、设备及存储介质
US10417234B2 (en) Data flow modeling and execution
US10762291B2 (en) Automatic translation of spreadsheets into scripts
US11106526B1 (en) Architecture-based root cause analysis
US20190004775A1 (en) Systems and methods for code parsing and lineage detection
CN115630117B (zh) 数据分析方法、物化视图生成方法及相关设备
US11636421B1 (en) Model driven reporting
US20230004574A1 (en) A system and method for etl pipeline processing
EP3086244A1 (en) Database system and method of operation thereof
US11475017B2 (en) Asynchronous data enrichment for an append-only data store
CN112732704B (zh) 一种数据处理方法、装置及存储介质
Koyama et al. Log message with JSON item count for root cause analysis in microservices
CN113127558B (zh) 元数据同步方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant