CN111104453A - 数据的查询方法、装置、终端及存储介质 - Google Patents

数据的查询方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN111104453A
CN111104453A CN201911312216.0A CN201911312216A CN111104453A CN 111104453 A CN111104453 A CN 111104453A CN 201911312216 A CN201911312216 A CN 201911312216A CN 111104453 A CN111104453 A CN 111104453A
Authority
CN
China
Prior art keywords
target
composition
data
materialized view
queried
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911312216.0A
Other languages
English (en)
Inventor
莫可京
齐志平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhongnong Yixun Information Technology Co ltd
Original Assignee
Shenzhen Zhongnong Yixun Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhongnong Yixun Information Technology Co ltd filed Critical Shenzhen Zhongnong Yixun Information Technology Co ltd
Priority to CN201911312216.0A priority Critical patent/CN111104453A/zh
Publication of CN111104453A publication Critical patent/CN111104453A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种数据的查询方法、装置、终端及存储介质，该方法包括：针对待查询数据库，构建数据模型；对所述数据模型进行预计算，生成与所述数据模型中组成维度与组成度量对应的至少一个待查询物化视图；接收数据查询指令，确定与所述数据查询指令对应的目标维度和/或目标度量；在所述至少一个所述待查询物化视图中，确定与所述目标维度和/或目标度量对应的待查询物化视图作为目标物化视图，根据所述目标物化视图获取与所述数据查询指令对应的目标查询数据。另外，在本发明实施例还公开了一种数据查询的装置、终端以及一种计算机可读存储介质。采用本发明，加快了数据的查询速度，实现了对海量数据的秒级交互查询。

Description

数据的查询方法、装置、终端及存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据的查询方法、装置、终端及存储介质。
背景技术
在大数据时代，数据的种类和数量都越来越大，例如交互式数据等。在现实工作和生活中，需要对数据进行统计，以满足不同的需求。如目前实时风控、数据大屏等场景对交互式查询的实时要求非常高，传统的方法主要通过“大规模并行处理”(Massive ParallelProcessing，APP)和“列式存储”(Columnar Storage)对数据进行计算和统计。
但是“大规模并行处理”和“列式存储”只能实现分钟级的数据查询，依然无法满足实际中实时事中风控、交互式分析等场景对查询效率的要求从而导致分析员工作效率极其低下。
发明内容
有鉴于此，本发明提供了一种数据的查询方法、装置、终端及存储介质，用于解决现有技术中对数据查询的速度比较慢，导致工作效率低的问题。
本发明实施例的具体技术方案为：
第一方面，本发明实施例提供一种数据的查询方法，包括：
针对待查询数据库，构建数据模型；
对所述数据模型进行预计算，生成与所述数据模型中组成维度与组成度量对应的至少一个待查询物化视图；
接收数据查询指令，确定与所述数据查询指令对应的目标维度和/或目标度量；
在所述至少一个所述待查询物化视图中，确定与所述目标维度和/或目标度量对应的待查询物化视图作为目标物化视图，根据所述目标物化视图获取与所述数据查询指令对应的目标查询数据。
进一步地，所述构建所述数据模型之前，还包括：
对所述待查询数据库进行分析，确定与所述待查询数据库对应的组成维度和/或组成度量；
基于所述组成维度和/或所述组成度量构建所述数据模型。
进一步地，所述对所述数据模型进行预计算，生成与所述数据模型中组成维度与组成度量对应的至少一个待查询物化视图，包括：
计算所有组成维度与组成度量的聚合值，根据所述组成维度和聚合值生成所述待查询物化视图。
进一步地，所述计算所有组成维度与组成度量的聚合值，包括：
计算所述组成维度之间任意组合后与所述组成度量的聚合值。
进一步地，所述对所述数据模型进行预计算，生成与所述数据模型中组成维度与组成度量对应的至少一个待查询物化视图之后，还包括：
对所述待查询物化视图中的所述组成度量进行升序排列或降序排列；以及
保存所述待查询物化视图至预设的存储位置。
进一步地，所述确定与所述目标维度和/或目标度量对应的待查询物化视图作为目标物化视图，获取与所述目标物化视图对应的目标查询数据，包括：
判断所述目标维度为单一的所述组成维度还是多个所述组成维度之间的组合；
在所述目标维度为单一所述组成维度时，获取通过唯一所述组成维度聚合计算得到的所述目标度量；
在所述目标维度为多个所述组成维度之间的组合时，获取通过多个所述组成维度聚合计算得到的所述目标度量。
第二方面，本发明实施例提供一种数据查询装置，包括：
预计算模块，用于对数据模型进行预计算，生成与所述数据模型中组成维度与组成度量对应的至少一个待查询物化视图；
指令接收模块，用于接收查询指令；
类型确定模块，用于确定与所述查询指令相适配的目标维度和/或目标度量；
数据查询模块，用于在所述至少一个所述待查询物化视图中，确定与所述目标维度和/或目标度量对应的待查询物化视图作为目标物化视图，获取与所述目标物化视图对应的目标查询数据。
进一步地，所述数据查询装置还包括：
计算模块，用于计算所有所述组成维度与所述组成度量的聚合值；以及计算所述组成维度之间的任意组合后与所述组成度量的聚合值；
排序模块，用于对所述物化视图中的所述组成度量进行升序排列或降序排列；
判断模块，用于判断所述目标维度为单一的所述组成维度还是多个所述组成维度之间的组合。
第三方面，本发明实施例提供一种终端，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的数据的查询方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，包括计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如上所述的数据的查询方法的步骤。
实施本发明实施例，将具有如下有益效果：
采用了上述数据的查询方法、装置、终端及存储介质之后，通过对待查询数据库的数据按照组成维度和组成度量构建对应的数据模型，并对数据模型经过预计算得到不同组成维度和不同组成度量之间的待查询物化视图；在查询过程中，基于查询指令即可确定所要查询数据的目标维度和/或目标度量，根据目标维度和/或目标度量从所有待查询物化视图中获取目标物化视图，即可得到对应的目标查询数据，实现数据查询。本发明通过以物化视图的方式代替待查询数据库中的所有数据，有利于减少数据查询过程中的查询目标，提升查询的速度，实现对海量数据的秒级交互查询。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为一个实施例中所述数据的查询方法的流程示意图；
图2为另一个实施例中所述数据的查询方法的流程示意图；
图3为一个实施例中所述物化视图的生成和处理流程示意图；
图4为一个实施例中所述目标度量的类型判断流程示意图；
图5为一个实施例中所述数据查询装置的结构示意图；
图6为一个实施例中运行上述数据的查询方法的计算机设备的内部结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为解决传统技术中对数据集的查询过程中，由于查询的速度不够快而导致效率较低的问题，在本实施例中，特提出了一种数据的查询方法。该方法的实现可依赖于计算机程序，该计算机程序可运行于基于冯诺依曼体系的计算机系统之上。
本实施例的数据的查询方法适用于对数据集的交互式查询操作，具体通过对指定的数据集构建对应的数据模型，并生成对应的物化视图，以实现通过获取对应目标维度和目标度量的目标物化视图，即可实现通过目标物化视图获取对应的目标查询数据，实现数据查询操作。
如图1所示，本实施例提供的数据的查询方法包括步骤S20-S80：
步骤S20：针对待查询数据库，构建数据模型。
其中，待查询数据库指对某一类型的所有数据记录的统计，例如电商订单数据、员工工作量数据等。数据模型指对上述数据记录的统计按照设定的规则进行数据建模，进而实现对数据的特征的反映。
在本实施例中，为了实现数据模型的构建，在构建数据模型之前，还需要对该待查询数据库进行分析，以确定与该待查询数据库中数据对应的组成维度和组成度量；如图2所示，包括：步骤S10：分析待查询数据库，确定与数据对应的组成维度和组成度量；以及步骤S11：基于组成维度和组成度量构建所述数据模型。
其中，组成维度指观察待查询数据库中所有数据的角度，组成度量指设定的组成维度被聚合的统计值。在确定待查询数据库的组成维度和组成度量后，基于该组成维度和组成度量即可构建对应的数据模型，即数据模型包含了组成维度和组成度量。
示例性地，假设待查询数据库中的数据记录为包括买家、商品、下单时间、销售额的电商订单数据。其中，买家、商品和下单时间构成该待查询数据库中数据的组成维度，销售额为该待查询数据库中数据的组成度量；则基于买家、商品、下单时间和销售额可构建如表一所示的数据模型。
表一
买家 商品 销售额
张三 白糖 10K
李四 白糖 3K
李四 大米 4K
王五 大米 5K
王五 油 6K
张三 油 7K
本实施例的数据的查询方法通过构建待查询数据库中数据的数据模型，能够将待查询数据库中所有数据的进行有效整合，进而有利于提高数据查询的速度，且便于后续生成对应的待查询物化视图。
步骤S40：对数据模型预计算，生成待查询物化视图。
其中，预计算指对数据模型中的组成维度和组成度量按照不同的方式结合生成物化视图，以表示指定的组成维度和组成度量之间的关系。示例性地，假设数据模型如表一所示，则可生成如表二、表三和表四所示的查询物化视图。
表二
买家 销售额
李四 7K
王五 11K
张三 17K
表三
商品 销售额
大米 9K
白糖 13K
油 13K
表四
买家 商品 销售额
李四 白糖 3K
李四 大米 4K
王五 大米 5K
王五 油 6K
张三 油 7K
张三 白糖 10K
具体的，表二以买家为该组成维度、以销售额为该组成度量组成另一物化视图，表三以商品为该组成维度、以销售额为该组成度量组成又一物化视图，表四以买家和商品的组合为该组成维度、以销售额为该组成度量组成一物化视图。
由此可知，本实施例的数据的查询方法通过对数据模型进行预计算后，可以生成与构建该数据模型的组成维度和组成度量对应的至少一个物化视图；由于本实施例的数据的查询方法通过物化视图实现，本实施例将生成的物化视图记为待查询物化视图。
本实施例的数据的查询方法基于数据模型的组成维度和组成度量，生成对应的若干待查询物化视图，可有效减少待查询数据库中的数据量，进而提升对海量数据的查询数据。例如，若需要查询上述数据模型中商品的销售额，只需要获取如表二所示的物化视图即可，而不需要对商品的销售额进行一一查询。
在一个可选实施例中，如图3所示，对数据模型进行预计算生成至少一个待查询物化视图包括步骤S401：计算所有组成维度与组成度量的聚合值，生成待查询物化视图；步骤S402：对待查询物化视图中的组成度量进行升序排列或降序排列；以及步骤S403：保存所述待查询物化视图至预设的存储位置。
具体的，在生成该待查询物化视图的过程中，通过计算组成维度与组成度量的聚合值确定，即通过组成维度与组成度量一一对应的方式确定该待查询物化视图，具体通过组成维度和对应的聚合值构成对应的待查询物化视图，如表二、表三所示；或者通过计算组成维度之间任意组合后与组成度量的聚合值，即可由至少一个该组成维度与组成度量组合后组成度量确定该待查询物化视图，如表四所示。
在具体实施例中，为了进一步提升数据查询的速度，便于对海量数据进行更加高效地查询，本实施例在生成该待查询物化视图后，还对该待查询物化视图中的组成度量进行升序排列或者降序排列。如表二、表三和表四中对以销售额作为组成度量，即按照销售额的值从小到大进行排列生成对应的待查询物化视图。并在对组成度量进行顺序排列后，将该待查询物化视图保存至预设的存储位置，例如内存单元、计算机的运存单元等等。
本实施例的数据的查询方法通过对待查询物化视图中的组成度量进行顺序排列，便于对该待查询物化视图的组成度量进行更加清晰地辨识，从而能够进一步优化数据查询的过程，提升查询的速率。
步骤S60：接收数据查询指令，确定目标维度和/或目标度量。
其中，查询指令指在实际操作过程中的输入的指令数据，具体可通过键盘输入、发送信息的方式实现，目标维度指在实际数据查询过程中，用户指定的维度信息，目标度量指在实际数据查询过程中，用户指定的度量信息。本实施例可通过数据查询指令确定对应的目标维度和/或目标度量。
具体的，继续以上述电商订单为例进行说明，则首先在指定的查询系统中输入查询指令，若查询各种商品的销售额，则可输入“商品”+“销售额”，即以商品作为目标维度，以销售额作为目标度量；若要查询不同买家的销售额，则输入“买家”+“销售额”，即以买家作为目标维度，以销售额作为目标度量。
本实施例的数据的查询方法基于数据查询指令，可获取与数据查询指令相对应的目标维度和/或目标度量，实现在查询过程中，只提取与该目标维度和/或目标度量对应的待查询物化视图，从而减少查询的数据量，有利于提升查询的效率。
步骤S80：根据目标维度或目标度量从待查询物化视图中获取目标物化视图。
其中，目标物化视图由目标维度和目标度量构成，用以表示查询的目标数据；具体的，因为一般由构成数据模型均包括若干的组成维度和/或组成度量，因此，可获取至少一个待查询物化视图。本实施例在基于数据查询指令确定目标维度和/或目标度量后，即可根据目标维度和/或目标度量获取对应的待查询物化视图作为目标物化视图，进而获取目标查询数据。
具体的，可举例进行说明，以上述电商订单进行说明，假设要查询的是目标数据是各种商品的销售额，可知目标维度为“商品”，目标度量为“销售额”，则获取的目标物化视图如表三所示。其中，通过如表三所示的目标物化视图，可以很清晰地反映商品的类型及对应的销售额，如大米的销售额为9K、白糖的销售额为13K、油的销售额为13K。
本实施例的数据的查询方法基于数据模型生成的若干待查询物化视图，通过确定目标维度和/或目标度量，可只提取与目标维度和/或目标度量对应的目标物化视图，即可过滤不包含目标维度和/或目标度量的待查询物化视图，从而减少查询的数据量，有利于提升查询的效率。
示例性地，如果上述电商订单中历史订单有1亿个，商品只有1万种，若使用传统的大规模并行处理或列式存储技术进行数据查询，那么查询必须读取并累计至少1亿条记录，且这个查询速度会随着时间而增长，如果历史订单达到2亿时，查询执行的时间也会可能会增加1倍。而使用本实施例的数据的查询方法，通过预计算后得到的以“商品”作为目标维度的目标物化视图只有1万条记录，直接查询物化视图只需要累计查询最多1万条记录。
在一个可选实施例中，如图4所示，在通过目标维度和/或目标度量确定目标物化视图的过程中，为了保证数据查询的准确性，本实施例需对目标维度进行判断。具体的，包括如下步骤：
步骤S801：判断目标维度是否是单一的组成维度；步骤S802：获取通过唯一所述组成维度聚合计算得到的所述目标度量；以及步骤S803：获取通过多个所述组成维度聚合计算得到的所述目标度量。
其中，判断目标维度是否是单一的组成维度，即判断由几个目标维度构成目标物化视图，从而获取与一个或多个目标维度对应的目标度量，构成对应的目标物化视图，进而获取对应的目标查询数据。
示例性地，如表二由单一目标维度“商品”和与该目标维度对应的目标度量“销售额”构成该目标物化视图，并且从该目标物化视图中可以很直观得到不同商品对应的不同销售额。如表三，则由两个目标维度“商品”、“买家”和与该两个目标维度对应的目标度量“销售额”构成对应的目标物化视图，同样可以从该目标物化视图中直观得到不同买家对应不同商品的销售额。
本实施例的数据的查询方法，在查询目标数据的过程中，通过判断目标维度为单一的组成维度还是多个组成维度之间的组合；并在目标维度为单一组成维度时，获取通过唯一组成维度聚合计算得到的目标度量；在目标维度为多个组成维度之间的组合时，获取通过多个组成维度聚合计算得到的目标度量；可实现对目标查询数据的精准和快速查询操作。
基于同一发明构思，本发明实施例提供一种数据查询装置100，如图5所示，该数据查询装置100包括：预计算模块101，用于对数据模型进行预计算，生成与数据模型中组成维度与组成度量对应的至少一个待查询物化视图；指令接收模块102，用于接收查询指令，如键盘输入、信息发送的方式等；类型确定模块103，用于确定与查询指令相适配的目标维度和/或目标度量；数据查询模块104，用于在至少一个所述待查询物化视图中，确定与目标维度和/或目标度量对应的待查询物化视图作为目标物化视图，获取与目标物化视图对应的目标查询数据。
此外，为了通过该数据查询装置100实现上述数据的查询方法的功能，本实施例的数据查询装置100还包括排序模块105，通过排序模块105对待查询物化视图中的组成度量进行升序排列或降序排列，以提升查询速率；计算模块106，用于计算所有组成维度与组成度量的聚合值；以及计算组成维度之间的任意组合后与组成度量的聚合值；判断模块107，用于判断目标维度为单一的组成维度还是多个组成维度之间的组合，进而确定与目标维度和/或目标度量对应的目标物化视图。
本实施例的数据查询装置100通过结合预计算模块101、指令接收模块102、类型确定模块103、数据查询模块104、排序模块105、计算模块106以及判断模块107能够实现对大量数据的快速查询，提升数据的查询效率。
如图5所示，在本实施例中，待查询数据库200中存储有预设的数据，基于该待查询数据库200构建对应的数据模型，通过预计算模块101对数据模型进行预计算得到对应的至少一个待查询物化视图，并通过排序模块105对待查询物化视图中的组成度量进行顺序排列。在查询动作开始后，通过指令输入模块300输入对应的指令信息，例如通过键盘输入、信息发送等；指令接收模块102接收对应的数据查询指令，通过类型确定模块103确定该数据查询指令中的目标维度和目标度量，并通过计算模块106计算组成维度和组成度量之间的聚合值，以及通过判断模块107确定目标度量是否由单一的组成度量构成；随后，即可通过数据查询模块104进行数据查询操作，得到与目标维度和目标度量对应的目标物化视图，获取对应的目标查询数据。
需要说明的是，本实施例中数据查询装置的实现与上述数据的查询方法的实现思想一致，其实现原理在此不再进行赘述，可具体参阅上述方法中对应内容。
采用了上述数据的查询方法、装置、终端及存储介质之后，通过对待查询数据库的数据按照组成维度和组成度量构建对应的数据模型，并对数据模型经过预计算得到不同组成维度和不同组成度量之间的待查询物化视图；在查询过程中，基于查询指令即可确定所要查询数据的目标维度和/或目标度量，根据目标维度和/或目标度量从所有待查询物化视图中获取目标物化视图，即可得到对应的目标查询数据，实现数据查询。本发明通过以物化视图的方式代替待查询数据库中的所有数据，有利于减少数据查询过程中的查询目标，提升查询的速度，实现对海量数据的秒级交互查询。
此外，图6示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是服务器，也可以是终端。如图6所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现数据的查询方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行数据的查询方法。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图6中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的数据的查询方法可以实现为一种计算机程序的形式，计算机程序可在如图6所示的计算机设备上运行。计算机设备的存储器中可存储组成该数据查询装置的各个程序模块。比如，预计算模块101等。
在一个实施例中，提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：针对待查询数据库，构建数据模型；对数据模型进行预计算，生成与数据模型中组成维度与组成度量对应的至少一个待查询物化视图；接收数据查询指令，确定与数据查询指令对应的目标维度和/或目标度量；在至少一个所述待查询物化视图中，确定与目标维度和/或目标度量对应的待查询物化视图作为目标物化视图，获取与目标物化视图对应的目标查询数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种数据的查询方法，其特征在于，包括：
针对待查询数据库，构建数据模型；
对所述数据模型进行预计算，生成与所述数据模型中组成维度与组成度量对应的至少一个待查询物化视图；
接收数据查询指令，确定与所述数据查询指令对应的目标维度和/或目标度量；
在所述至少一个所述待查询物化视图中，确定与所述目标维度和/或目标度量对应的待查询物化视图作为目标物化视图，根据所述目标物化视图获取与所述数据查询指令对应的目标查询数据。
2.如权利要求1所述的数据的查询方法，其特征在于，所述构建所述数据模型之前，还包括：
对所述待查询数据库进行分析，确定与所述待查询数据库对应的组成维度和/或组成度量；
基于所述组成维度和/或所述组成度量构建所述数据模型。
3.如权利要求2所述的数据的查询方法，其特征在于，所述对所述数据模型进行预计算，生成与所述数据模型中组成维度与组成度量对应的至少一个待查询物化视图，包括：
计算所有组成维度与组成度量的聚合值，根据所述组成维度和聚合值生成所述待查询物化视图。
4.如权利要求3所述的数据的查询方法，其特征在于，所述计算所有组成维度与组成度量的聚合值，包括：
计算所述组成维度之间任意组合后与所述组成度量的聚合值。
5.如权利要求3或4所述的数据的查询方法，其特征在于，所述对所述数据模型进行预计算，生成与所述数据模型中组成维度与组成度量对应的至少一个待查询物化视图之后，还包括：
对所述待查询物化视图中的所述组成度量进行升序排列或降序排列；以及
保存所述待查询物化视图至预设的存储位置。
6.如权利要求1所述的数据的查询方法，其特征在于，所述确定与所述目标维度和/或目标度量对应的待查询物化视图作为目标物化视图，获取与所述目标物化视图对应的目标查询数据，包括：
判断所述目标维度为单一的所述组成维度还是多个所述组成维度之间的组合；
在所述目标维度为单一所述组成维度时，获取通过唯一所述组成维度聚合计算得到的所述目标度量；
在所述目标维度为多个所述组成维度之间的组合时，获取通过多个所述组成维度聚合计算得到的所述目标度量。
7.一种数据查询装置，其特征在于，包括：
预计算模块，用于对数据模型进行预计算，生成与所述数据模型中组成维度与组成度量对应的至少一个待查询物化视图；
指令接收模块，用于接收查询指令；
类型确定模块，用于确定与所述查询指令相适配的目标维度和/或目标度量；
数据查询模块，用于在所述至少一个所述待查询物化视图中，确定与所述目标维度和/或目标度量对应的待查询物化视图作为目标物化视图，获取与所述目标物化视图对应的目标查询数据。
8.如权利要求7所述的数据查询装置，其特征在于，所述数据查询装置还包括：
计算模块，用于计算所有所述组成维度与所述组成度量的聚合值；以及计算所述组成维度之间的任意组合后与所述组成度量的聚合值；
排序模块，用于对所述物化视图中的所述组成度量进行升序排列或降序排列；
判断模块，用于判断所述目标维度为单一的所述组成维度还是多个所述组成维度之间的组合。
9.一种终端，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的数据的查询方法的步骤。
10.一种计算机可读存储介质，包括计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1-7中任一项所述的数据的查询方法的步骤。
CN201911312216.0A 2019-12-18 2019-12-18 数据的查询方法、装置、终端及存储介质 Pending CN111104453A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911312216.0A CN111104453A (zh) 2019-12-18 2019-12-18 数据的查询方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911312216.0A CN111104453A (zh) 2019-12-18 2019-12-18 数据的查询方法、装置、终端及存储介质

Publications (1)

Publication Number Publication Date
CN111104453A true CN111104453A (zh) 2020-05-05

Family

ID=70422342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911312216.0A Pending CN111104453A (zh) 2019-12-18 2019-12-18 数据的查询方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN111104453A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112685443A (zh) * 2021-01-12 2021-04-20 树根互联技术有限公司 数据查询方法、装置、电子设备和计算机可读存储介质
CN113704284A (zh) * 2021-08-27 2021-11-26 北京房江湖科技有限公司 一种基于数据模型查询数据的方法及装置
CN113792087A (zh) * 2021-08-26 2021-12-14 唯品会(广州)软件有限公司 数据分析方法、装置、电子设备以及计算机可读存储介质
CN115048542A (zh) * 2022-06-10 2022-09-13 杭州行芯科技有限公司 图形信息查询方法、装置、系统、电子装置和存储介质
CN115630117A (zh) * 2022-12-21 2023-01-20 网易（杭州）网络有限公司 数据分析方法、物化视图生成方法及相关设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5970493A (en) * 1997-05-29 1999-10-19 Oracle Corporation Method, article of manufacture, and apparatus for generating a multi-dimensional record display
US5991754A (en) * 1998-12-28 1999-11-23 Oracle Corporation Rewriting a query in terms of a summary based on aggregate computability and canonical format, and when a dimension table is on the child side of an outer join
US20010013030A1 (en) * 1998-03-27 2001-08-09 Informix Software, Inc. Defining and characterizing an analysis space for precomputed views
US6345272B1 (en) * 1999-07-27 2002-02-05 Oracle Corporation Rewriting queries to access materialized views that group along an ordered dimension
KR20020046786A (ko) * 2000-12-15 2002-06-21 윤덕용 데이터 웨어하우스에서 실체 뷰와 차원 계층을 이용한집계 질의의 재작성 방법
US6493708B1 (en) * 2000-03-02 2002-12-10 Oracle Corporation Techniques for handling function-defined hierarchical dimensions
US20040034616A1 (en) * 2002-04-26 2004-02-19 Andrew Witkowski Using relational structures to create and support a cube within a relational database system
US7440963B1 (en) * 2002-05-08 2008-10-21 Oracle International Corporation Rewriting a query to use a set of materialized views and database objects
US20090024571A1 (en) * 2007-07-18 2009-01-22 Oracle International Corporation Supporting aggregate expressions in query rewrite
US7822712B1 (en) * 2007-10-18 2010-10-26 Google Inc. Incremental data warehouse updating
US20150134593A1 (en) * 2013-11-11 2015-05-14 Tata Consultancy Services Limited System and method for optimizing computation of metrics facilitating monitoring of service level agreements (sla)
US20160350305A1 (en) * 2015-05-29 2016-12-01 Oracle International Corporation Prefetching analytic results across multiple levels of data

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5970493A (en) * 1997-05-29 1999-10-19 Oracle Corporation Method, article of manufacture, and apparatus for generating a multi-dimensional record display
US20010013030A1 (en) * 1998-03-27 2001-08-09 Informix Software, Inc. Defining and characterizing an analysis space for precomputed views
US5991754A (en) * 1998-12-28 1999-11-23 Oracle Corporation Rewriting a query in terms of a summary based on aggregate computability and canonical format, and when a dimension table is on the child side of an outer join
US6345272B1 (en) * 1999-07-27 2002-02-05 Oracle Corporation Rewriting queries to access materialized views that group along an ordered dimension
US6493708B1 (en) * 2000-03-02 2002-12-10 Oracle Corporation Techniques for handling function-defined hierarchical dimensions
KR20020046786A (ko) * 2000-12-15 2002-06-21 윤덕용 데이터 웨어하우스에서 실체 뷰와 차원 계층을 이용한집계 질의의 재작성 방법
US20040034616A1 (en) * 2002-04-26 2004-02-19 Andrew Witkowski Using relational structures to create and support a cube within a relational database system
US7440963B1 (en) * 2002-05-08 2008-10-21 Oracle International Corporation Rewriting a query to use a set of materialized views and database objects
US20090024571A1 (en) * 2007-07-18 2009-01-22 Oracle International Corporation Supporting aggregate expressions in query rewrite
US7822712B1 (en) * 2007-10-18 2010-10-26 Google Inc. Incremental data warehouse updating
US20150134593A1 (en) * 2013-11-11 2015-05-14 Tata Consultancy Services Limited System and method for optimizing computation of metrics facilitating monitoring of service level agreements (sla)
US20160350305A1 (en) * 2015-05-29 2016-12-01 Oracle International Corporation Prefetching analytic results across multiple levels of data

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112685443A (zh) * 2021-01-12 2021-04-20 树根互联技术有限公司 数据查询方法、装置、电子设备和计算机可读存储介质
CN112685443B (zh) * 2021-01-12 2023-11-10 树根互联股份有限公司 数据查询方法、装置、电子设备和计算机可读存储介质
CN113792087A (zh) * 2021-08-26 2021-12-14 唯品会(广州)软件有限公司 数据分析方法、装置、电子设备以及计算机可读存储介质
CN113704284A (zh) * 2021-08-27 2021-11-26 北京房江湖科技有限公司 一种基于数据模型查询数据的方法及装置
CN115048542A (zh) * 2022-06-10 2022-09-13 杭州行芯科技有限公司 图形信息查询方法、装置、系统、电子装置和存储介质
CN115630117A (zh) * 2022-12-21 2023-01-20 网易（杭州）网络有限公司 数据分析方法、物化视图生成方法及相关设备

Similar Documents

Publication Publication Date Title
CN111104453A (zh) 数据的查询方法、装置、终端及存储介质
CN109902708B (zh) 一种推荐模型训练方法及相关装置
US20070061144A1 (en) Batch statistics process model method and system
CN110287103B (zh) 软件产品测评处理方法、装置、计算机设备及存储介质
CN110009502B (zh) 理财数据分析方法、装置、计算机设备和存储介质
CN110689355A (zh) 客户分类方法、装置、计算机设备和存储介质
Glasserman et al. Forward and future implied volatility
WO2024067387A1 (zh) 基于特征变量评分的用户画像生成方法，设备、汽车及存储介质
CN109933507B (zh) 一种程序性能检测方法、系统、设备及存储介质
CN110647995A (zh) 规则训练方法、装置、设备及存储介质
CN105975486A (zh) 信息推荐方法及装置
CN113468034A (zh) 数据质量评估方法、装置、存储介质和电子设备
CN108428138B (zh) 一种基于客户分群的客户生存率分析装置及分析方法
CN113465734B (zh) 一种结构振动的实时估计方法
CN103455509A (zh) 一种获取时间窗口模型参数的方法和系统
CN108664605B (zh) 一种模型评估方法及系统
CN114066261A (zh) 一种电表的篡改检测方法、装置、计算机设备和存储介质
CN110580265B (zh) Etl任务的处理方法、装置、设备及存储介质
CN113553341A (zh) 多维数据分析方法、装置、设备及计算机可读存储介质
WO2020124977A1 (zh) 生产数据处理方法、装置、计算机设备和存储介质
CN116088333A (zh) 工业设备控制方法、装置、计算机设备、存储介质和产品
CN116204396A (zh) 一种针对分析型数据库性能的测试方法和装置
US11762562B2 (en) Performance analysis apparatus and performance analysis method
CN112348055A (zh) 一种聚类评估度量方法、系统、装置和存储介质
CN113779116A (zh) 对象排序方法、相关设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination