CN115729961A - 数据查询方法、装置、设备和计算机可读存储介质 - Google Patents

数据查询方法、装置、设备和计算机可读存储介质 Download PDF

Info

Publication number
CN115729961A
CN115729961A CN202211442003.1A CN202211442003A CN115729961A CN 115729961 A CN115729961 A CN 115729961A CN 202211442003 A CN202211442003 A CN 202211442003A CN 115729961 A CN115729961 A CN 115729961A
Authority
CN
China
Prior art keywords
data
node
query
target
established
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211442003.1A
Other languages
English (en)
Inventor
谷兰芝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Bank of China
Original Assignee
Agricultural Bank of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Bank of China filed Critical Agricultural Bank of China
Priority to CN202211442003.1A priority Critical patent/CN115729961A/zh
Publication of CN115729961A publication Critical patent/CN115729961A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种数据查询方法、装置、设备和计算机可读存储介质,该方法包括:在所述数据查询装置的状态为空闲状态时,获取各个第一中间数据,所述第一中间数据是已执行的第一查询任务的中间阶段的输出数据,所述中间阶段位于所述第一查询任务的初始阶段之后;根据各个所述第一中间数据构建物化视图;在所述数据查询装置的状态由所述空闲状态转换为繁忙状态时,停止构建所述物化视图,并获取第二查询任务;从所述物化视图中获取所述第二查询任务对应的第二中间数据。本发明提高了数据的查询效率。

Description

数据查询方法、装置、设备和计算机可读存储介质
技术领域
本发明涉及通信技术,尤其涉及一种数据查询方法、装置、设备和计算机可读存储介质。
背景技术
随着企业的发展,企业的数据库中的数据越来越多。在进行查询时,需要从大量的数据中找到所需的数据。
目前,装置将已执行的查询任务获取已查询的数据,并基于已查询的数据构建物化视图。在后续执行相同的查询任务时,可从物化视图中寻找数据,而不需要从数据库中查询数据。
若是查询任务不是已执行的查询任务,则查询任务查询的数据无法从物化视图得到,需要从数据库中获取,从而出现了新的查询数据,新的查询数据会并入至物化视图中。由此可知,物化视图的构建是持续不断的,因此,在执行查询任务时,物化视图可能处于构建中,需要等待物化视图构建完毕才可从物化视图中查询到查询任务所需的数据,导致数据的查询时长过长,也即数据的查询效率较低。
发明内容
本发明提供一种数据查询方法、装置、设备和计算机可读存储介质,用以解决数据的查询效率较低的问题。
一方面,本发明提供一种数据查询方法,应用于数据查询装置,包括:
在所述数据查询装置的状态为空闲状态时,获取各个第一中间数据,所述第一中间数据是已执行的第一查询任务的中间阶段的输出数据,所述中间阶段位于所述第一查询任务的初始阶段之后;
根据各个所述第一中间数据构建物化视图;在所述数据查询装置的状态由所述空闲状态转换为繁忙状态时,停止构建所述物化视图,并获取第二查询任务,并从所述物化视图中获取所述第二查询任务对应的第二中间数据。
在一实施例中,所述根据各个所述第一中间数据构建物化视图的步骤包括;
确定每个所述第一中间数据对应的待建立节点的目标权重;
根据所述目标权重,在各个所述待建立节点中确定各个目标节点;
根据各个所述目标节点构建物化视图。
在一实施例中,所述确定每个所述第一中间数据对应的待建立节点的目标权重的步骤包括:
根据所述第一中间数据的数据量确定所述第一中间数据对应的待建立节点的生成时长,并根据所述生成时长确定待建立节点的第一权重;
在各个所述待建立节点中,确定每个所述待建立节点相似的节点;
根据所述待建立节点的相似的节点的数量确定权重修改值;
根据所述待建立节点对应的权重修改值,修正所述待建立节点对应的第一权重,得到所述待建立节点对应的目标权重。
在一实施例中,所述根据所述目标权重,在各个所述待建立节点中确定各个目标节点的步骤包括:
获取所述数据查询装置处于空闲状态的预测时长;
根据所述预测时长、所述目标权重以及所述待建立节点的生成时长,在各个所述待建立节点中确定目标节点,各个所述目标节点的生成时长之和小于或等于所述预测时长,且所述目标节点对应的目标权重大于第一节点的目标权重,所述第一节点是未确定为目标节点的所述待建立节点。
在一实施例中,所述根据各个所述目标节点构建物化视图的步骤包括:
将具有关联关系的所述目标节点进行连接,得到有向无环图;
将所述目标节点与所述目标节点的相似的节点进行合并,以将所述目标节点所在的有向无环图,与所述目标节点的相似的节点所在的有向无环图进行合并,得到所述物化视图。
在一实施例中,所述获取各个第一中间数据的步骤包括:
获取所述数据查询装置在繁忙状态下的查询日志;
根据所述查询日志,获取每个第一查询任务的中间阶段对应的第三中间数据;
确定每个所述第三中间数据的查询频次;
将大于预设频次的所述查询频次对应的第三中间数据,确定为所述第一中间数据。
在一实施例中,还包括:
获取目标参数,所述目标参数包括当前时间点或所述数据查询装置的当前计算资源;
在所述当前时间点处于预设时间段和/或所述当前计算资源小于预设阈值时,确定所述数据查询装置的状态为空闲状态。
在另一方面,本发明还提供一种数据查询装置,包括:
获取模块,用于在数据查询装置的状态为空闲状态时,获取各个第一中间数据,所述第一中间数据是已执行的第一查询任务的中间阶段的输出数据,所述中间阶段位于所述第一查询任务的初始阶段之后;
构建模块,用于根据各个所述第一中间数据构建物化视图;
所述获取模块,还用于在所述数据查询装置的状态由所述空闲状态转换为繁忙状态时,停止构建所述物化视图,并获取第二查询任务,并从所述物化视图中获取所述第二查询任务对应的第二中间数据。
在另一方面,本发明还提供一种数据查询设备,包括:存储器以及处理器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,使得所述处理器执行如上所述的数据查询方法。
在另一方面,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如上所述的数据查询方法。
本发明提供的数据查询方法、装置、设备和计算机可读存储介质,在数据查询装置的状态为空闲状态时,获取各个第一中间数据,并根据各个第一中间数据构建物化视图,而在到数据查询装置的状态由空闲状态切换为繁忙状态时,停止构建物化视图,并获取查询任务,且在物化视图中获取查询任务所对应的中间数据。本发明中,在数据查询装置空闲时构建物化视图,而在数据查询装置繁忙时,停止构建物化视图以便于及时的从物化视图中查询数据,避免等待物化视图构建完成再进行数据查询,提高了数据的查询效率;此外,用于构建物化视图的数据是已执行的查询任务的中间阶段所输出的数据,在执行查询任务时,可以直接获取中间阶段输出的数据,也即查询任务的执行从初始阶段跳转到中间阶段,进一步提高了数据的查询效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1为本发明数据查询方法涉及的应用场景图;
图2为本发明数据查询方法第一实施例的流程示意图;
图3为本发明数据查询方法第二实施例的流程示意图;
图4为本发明数据查询方法第三实施例的流程示意图;
图5为本发明数据查询方法第四实施例的流程示意图;
图6为本发明数据查询系统的模块示意图;
图7为本发明数据查询装置的硬件结构示意图。
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
随着企业的发展,企业的数据库中的数据越来越多。在进行查询时,需要从大量的数据中找到所需的数据。
目前,装置将已执行的查询任务获取已查询的数据,并基于已查询的数据构建物化视图。在后续执行相同的查询任务时,可从物化视图中寻找数据,而不需要从数据库中查询数据。
本专利发明人发现,若是查询任务不是已执行的查询任务,则查询任务查询的数据无法从物化视图得到,需要从数据库中获取,从而出现了新的查询数据,新的查询数据会并入至物化视图中。由此可知,物化视图的构建是持续不断的,因此,在执行查询任务时,物化视图可能处于构建中,需要等待物化视图构建完毕才可从物化视图中查询到查询任务所需的数据,导致数据的查询时长过长,也即数据的查询效率较低。
本专利发明人因此想到,在数据查询装置空闲时构建物化视图,而在数据查询装置繁忙时,停止构建物化视图以便于及时的从物化视图中查询数据,避免等待物化视图构建完成再进行数据查询,提高了数据的查询效率;此外,用于构建物化视图的数据是已执行的查询任务的中间阶段所输出的数据,在执行查询任务时,可以直接获取中间阶段输出的数据,也即查询任务的执行从初始阶段跳转到中间阶段,进一步提高了数据的查询效率。
参照图1,图1为本发明数据查询方法的应用场景图。参照图1,数据查询装置100有两种状态,一种为空闲状态,另一种为繁忙状态。空闲状态下,数据查询装置100构建物化视图;繁忙状态下,数据查询装置100停止构建物化视图,且接收客户端200向数据查询装置100发送查询任务,数据查询装置100基于查询任务从物化视图中获取数据,并将数据发送至客户端200。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本发明的实施例进行描述。
参照图2,图2为本发明数据查询方法的第一实施例,数据查询方法包括以下步骤:
步骤S201,在数据查询装置的状态为空闲状态时,获取各个第一中间数据,第一中间数据是已执行的第一查询任务的中间阶段的输出数据,中间阶段位于第一查询任务的初始阶段之后。
在本实施例中,执行主体为数据查询装置,为了便于描述,以下采用装置指代数据查询装置。装置可以是具有大型数据存储能力的设备,例如,装置可为服务器。
装置具有状态,且状态包括空闲状态以及繁忙状态。装置可获取目标参数,从而通过目标参数获取装置的状态。
在一示例中,目标参数包括当前时间点,若是当前时间点处于预设时间段,则确定装置的状态为空闲状态。例如,凌晨时间段内,装置接收到的查询任务较少,因而装置是空闲的,因而将归属于凌晨的时间段设置为预设时间段,也即将0:00am-6:00am作为预设时间段。若是当前时间点不处于预设时间段,则确定装置的状态为空闲状态。
在另一示例中,目标参数包括数据查询装置的当前计算资源。在当前计算资源小于预设阈值时,则确定数据查询装置的状态为空闲状态;若是当前计算资源大于或等于预设阈值,则确定数据查询装置的状态为空闲状态。
可以理解的是,在当前时间点处于预设时间段和/或当前计算资源小于预设阈值时,则确定数据查询装置的状态为空闲状态。
装置设有数据库,数据库可为关系型数据仓库和Hadoop。装置在空闲时,可以从数据库中获取数据进行物化视图的构建。
查询任务在提到装置的数据库进行查询时,查询任务会被分割为多个阶段,且各个阶段具有对应的执行顺序,第一个执行的阶段为初始阶段,初始阶段之后的阶段均可被定义为中间阶段,也即中间阶段是位于第一查询任务的初始阶段之后。装置收集已经执行过的第一查询任务,且装置记录有第一查询任务的中间阶段所输出的数据,中间阶段所输出的数据定义为第一中间数据,装置获取各个第一中间数据。
步骤S202,根据各个第一中间数据构建物化视图。
装置在得到多个第一中间数据后,则基于各个中间数据构建物化视图。物化视图本身存储各个第一中间数据,可以理解为物化的视图,也即将虚拟的数据转化为可视化的图。
步骤S203,在数据查询装置的状态由空闲状态转换为繁忙状态时,停止构建物化视图,并获取第二查询任务。
在当装置的状态由空闲状态转换为繁忙状态时,装置停止构建物化视图,并接收客户端发送的第二查询任务。
步骤S204,从物化视图中获取第二查询任务对应的第二中间数据。
装置会检测第二查询任务是否是以往执行过的查询任务,若第二查询任务是以往执行过的查询任务,则可以从物化视图中获取第二查询任务对应的中间数据,该中间数据定义为第二中间数据。装置基于第二中间数据进行第二查询任务中的后续阶段的执行,直至查询到第二执行任务所需的数据,再将数据反馈至客户端。
在本实施例中,在数据查询装置的状态为空闲状态时,获取各个第一中间数据,并根据各个第一中间数据构建物化视图,而在到数据查询装置的状态由空闲状态切换为繁忙状态时,停止构建物化视图,并获取查询任务,且在物化视图中获取查询任务所对应的中间数据。在数据查询装置空闲时构建物化视图,而在数据查询装置繁忙时,停止构建物化视图以便于及时的从物化视图中查询数据,避免等待物化视图构建完成再进行数据查询,提高了数据的查询效率;此外,用于构建物化视图的数据是已执行的查询任务的中间阶段所输出的数据,在执行查询任务时,可以直接获取中间阶段输出的数据,也即查询任务的执行从初始阶段跳转到中间阶段,进一步提高了数据的查询效率。
参照图3,图3为本发明数据查询方法第二实施例,基于第一实施例,步骤S202包括:
步骤S301,确定每个第一中间数据对应的待建立节点的目标权重。
在本实施例中,装置处于空闲状态的时间是有限的,而各个第一中间数据的数量较多,装置无法在空闲状态下将所有的第一中间数据构建为物化视图。对此,装置需要在多个第一中间数据中选择部分中间数据,构建物化视图。
在构建物化视图时,需要将构建第一中间数据对应的节点,再将各个节点进行连接,且节点与第一中间数据进行关联,从而可以构建为物化视图。装置先确定每个第一中间数据对应的待建立节点的目标权重。待建立节点指的是即将建立的节点。装置可以根据第一中间数据被查询的次数来确定目标权重,次数越多,则目标权重设置的越大。由此,可以确定每个待建立节点所对应的目标权重。
步骤S302,根据目标权重,在各个待建立节点中确定各个目标节点。
装置基于目标权重在各个待建立节点中确定各个目标节点。具体的,可按照目标权重从大到小的顺序对各个待建立节点进行排序,得到各个待建立节点得到对应的排序序号,装置将小于预设序号的排序序号所对应的待建立节点确定为目标节点,排序序号越小,则排序序号对应的待建立节点对应的目标权重越大。
步骤S303,根据各个目标节点构建物化视图。
在确定各个目标节点后,装置则基于各个目标节点构建物化视图。示例性的,可将各个目标节点进行连线,即可得到物化视图。
在本实施例中,装置确定每个第一中间数据对应的待建立节点的目标权重,再通过目标权重在各个待建立节点中确定目标节点,从而根据各个目标节点构建物化视图。
参照图4,图4为本发明数据查询方法第三实施例,基于第二实施例,步骤S301包括:
步骤S401,根据第一中间数据的数据量确定第一中间数据对应的待建立节点的生成时长,并根据生成时长确定待建立节点的第一权重。
在本实施例中,待建立节点的目标节点通过第一中间数据来确定的。具在一示例中,装置基于第一中间数据的数据量确定第一中间数据对应的待建立节点的生成时长。第一中间数据的数据量越大,则待建立节点的生成时长越长。
在另一示例中,装置基于第一中间数据对应的第一查询任务的数据吞吐量以及输入的数据的数据量来估算待建立节点的生成时长,吐出量以及输入的数据的数据量越大,则生成时长越大。
装置基于生成时长来确定待建立节点的第一权重,生成时长越长,则第一权重越小。
步骤S402,在各个待建立节点中,确定每个待建立节点相似的节点。
装置在各个待建立节点中,确定每个待建立节点所相似的节点。具体的,装置设置每个待建立节点对应的节点标识,节点标识可以表征待建立节点对应的第一中间数据的类型等属性,装置基于各个待建立节点的节点标识,确定每个待建立节点所相似的节点。示例性的,若是各个待建立节点的节点标识均表示对应的第一中间数据的类型相同,则这些待建立节点互为相似的节点。
步骤S403,根据待建立节点的相似的节点的数量确定权重修改值。
装置在确定每个待建立节点所相似的节点后,基于相似的节点的数据确定该待建立节点的权重修改值。
步骤S404,根据待建立节点对应的权重修改值,修正待建立节点对应的第一权重,得到待建立节点对应的目标权重。
在得到待建立节点对应的权重修改值后,则可基于权重修改值修改待建立节点的第一权重得到目标权重。示例性的,若是待建立节点所相似的节点为3个,则权重修改值为3N,N为一个预设的权重,且待建立节点的目标权重=M+3N,M为第一权重。可以理解的是,待建立节点每多一个相似的节点,第一权重则加N。
进一步的,在基于各个目标节点构建物化视图时,装置将具有关联关系的目标节点进行连接,得到有向无环图。目标节点表征一个第一中间数据。装置可以得到多个有向无环图。目标节点具有相似的节点,装置将目标节点与目标节点的相似节点进行合并,也即将目标节点所在的有向无环图与目标节点的相似节点所在的有向无环图进行合并,从而得到物化视图。
在本实施例中,通过待建立节点生成所需的时长得到初始权重,再通过待建立节点所相似的节点的数量修改初始权重得到目标权重,使得装载机优先将重要的第一中间数据生成物化视图。
参照图5,图5为本发明数据查询方法第四实施例,基于第三实施例,步骤S302包括:
步骤S501,获取数据查询装置处于空闲状态的预测时长。
在本实施例中,装置需要在繁忙状态之前生成物化视图。具体的,装置获取自身处于空闲状态的预测时长。预测时长可以是预设时间段的时长。例如,预设时间段为0:00am-6:00am,则预测时长为6h。此外,装置可以基于以往的查询任务的执行来获得预测时长,例如,基于查询任务的执行记录,装置在0:00am-8:00am内执行过极少的查询任务,则空闲状态的时长是8消息,也即预测时长为8h。
步骤S502,根据预测时长、目标权重以及待建立节点的生成时长,在各个待建立节点中确定目标节点,各个目标节点的生成时长之和小于或等于预测时长,且目标节点对应的目标权重大于第一节点的目标权重,第一节点是未确定为目标节点的待建立节点。
装置根据预测时长、目标权重以及待建立节点的生成时长,在各个待建立节点中确定目标节点。而各个目标节点的生成时长之和小于或等于预测时长,且目标节点对应的目标权重大于第一节点的目标权重,第一节点是未确定为目标节点的待建立节点。可以理解的是,装置筛选出目标权重较大的待建立节点,再从这些待建立节点中选择目标节点,且各个目标节点的生成时长之和小于预测时长,从而使得装置能够在繁忙状态之前生成物化视图。
在本实施例中,装置基于自身处于空闲状态的时长、待建立节点的目标权重以及生成时长,在各个待建立节点中确定目标节点,使得使得装置能够在繁忙状态之前生成物化视图。
在一实施例中,装置获取自身在繁忙状态下的查询日志,装置根据查询日志获取每个第一查询任务的中间时间段对应的第三中间数据。装置确定各个第三中间数据的查询频次,再将大于预设频次的查询频次对应的第三中间数据确定为第一中间数据。
在本实施例中,装置选取高频出现的中间数据作为第一中间数据,在装置先是进行物化视图的提前构建,在忙时有查询任务来到时,通过已经构建的物化视图进行查询任务的查询,减少查询任务的中间结果处理得过程,提高了查询效率。
本发明还提供一种数据查询装置,参照图6,数据查询装置600包括:
获取模块610,用于在数据查询装置的状态为空闲状态时,获取各个第一中间数据,第一中间数据是已执行的第一查询任务的中间阶段的输出数据,中间阶段位于第一查询任务的初始阶段之后;
构建模块620,用于根据各个第一中间数据构建物化视图;
控制模块630,用于在数据查询装置的状态由空闲状态转换为繁忙状态时,停止构建物化视图,并获取第二查询任务;
获取模块610,用于从物化视图中获取第二查询任务对应的第二中间数据。
在一实施例中,数据查询装置600包括:
确定模块,用于确定每个第一中间数据对应的待建立节点的目标权重;
确定模块,用于根据目标权重,在各个待建立节点中确定各个目标节点;
构建模块620,用于根据各个目标节点构建物化视图。
在一实施例中,数据查询装置600包括:
确定模块,用于根据第一中间数据的数据量确定第一中间数据对应的待建立节点的生成时长,并根据生成时长确定待建立节点的第一权重;
确定模块,用于在各个待建立节点中,确定每个待建立节点相似的节点;
确定模块,用于根据待建立节点的相似的节点的数量确定权重修改值;
修正模块,用于根据待建立节点对应的权重修改值,修正待建立节点对应的第一权重,得到待建立节点对应的目标权重。
在一实施例中,数据查询装置600包括:
获取模块610,用于获取数据查询装置处于空闲状态的预测时长;
确定模块,用于根据预测时长、目标权重以及待建立节点的生成时长,在各个待建立节点中确定目标节点,各个目标节点的生成时长之和小于或等于预测时长,且目标节点对应的目标权重大于第一节点的目标权重,第一节点是未确定为目标节点的待建立节点。
在一实施例中,数据查询装置600包括:
连接模块,用于将具有关联关系的目标节点进行连接,得到有向无环图;
合并模块,用于将目标节点与目标节点的相似的节点进行合并,以将目标节点所在的有向无环图,与目标节点的相似的节点所在的有向无环图进行合并,得到物化视图。
在一实施例中,数据查询装置600包括:
获取模块610,用于获取数据查询装置在繁忙状态下的查询日志;
获取模块610,用于根据查询日志,获取每个第一查询任务的中间阶段对应的第三中间数据;
确定模块,用于确定每个第三中间数据的查询频次;
确定模块,用于将大于预设频次的查询频次对应的第三中间数据,确定为第一中间数据。
在一实施例中,数据查询装置600包括:
获取模块610,用于获取目标参数,目标参数包括当前时间点或数据查询装置的当前计算资源;
确定模块,用于在当前时间点处于预设时间段和/或当前计算资源小于预设阈值时,确定数据查询装置的状态为空闲状态。
图7是根据一示例性实施例示出的一种数据查询设备的硬件结构图。
数据查询设备700可以包括:处理器701,例如CPU,存储器702以及收发器703。本领域技术人员可以理解,图7中示出的结构并不构成对数据查询设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
处理器701可以调用存储器702内存储的计算机程序,以完成上述的数据查询方法的全部或部分步骤。
收发器703用于接收外部设备发送的信息以及向外部设备发送信息。
一种非临时性计算机可读存储介质,当该存储介质中的指令由数据查询设备的处理器执行时,使得数据查询设备能够执行上述数据查询方法。
一种计算机程序产品,包括计算机程序,当该计算机程序由数据查询设备的处理器执行时,使得数据查询设备能够执行上述数据查询方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种数据查询方法,其特征在于,应用于数据查询装置,包括:
在所述数据查询装置的状态为空闲状态时,获取各个第一中间数据,所述第一中间数据是已执行的第一查询任务的中间阶段的输出数据,所述中间阶段位于所述第一查询任务的初始阶段之后;
根据各个所述第一中间数据构建物化视图;
在所述数据查询装置的状态由所述空闲状态转换为繁忙状态时,停止构建所述物化视图,并获取第二查询任务;
从所述物化视图中获取所述第二查询任务对应的第二中间数据。
2.根据权利要求1所述的数据查询方法,其特征在于,所述根据各个所述第一中间数据构建物化视图的步骤包括;
确定每个所述第一中间数据对应的待建立节点的目标权重;
根据所述目标权重,在各个所述待建立节点中确定各个目标节点;
根据各个所述目标节点构建物化视图。
3.根据权利要求2所述的数据查询方法,其特征在于,所述确定每个所述第一中间数据对应的待建立节点的目标权重的步骤包括:
根据所述第一中间数据的数据量确定所述第一中间数据对应的待建立节点的生成时长,并根据所述生成时长确定待建立节点的第一权重;
在各个所述待建立节点中,确定每个所述待建立节点相似的节点;
根据所述待建立节点的相似的节点的数量确定权重修改值;
根据所述待建立节点对应的权重修改值,修正所述待建立节点对应的第一权重,得到所述待建立节点对应的目标权重。
4.根据权利要求3所述的数据查询方法,其特征在于,所述根据所述目标权重,在各个所述待建立节点中确定各个目标节点的步骤包括:
获取所述数据查询装置处于空闲状态的预测时长;
根据所述预测时长、所述目标权重以及所述待建立节点的生成时长,在各个所述待建立节点中确定目标节点,各个所述目标节点的生成时长之和小于或等于所述预测时长,且所述目标节点对应的目标权重大于第一节点的目标权重,所述第一节点是未确定为目标节点的所述待建立节点。
5.根据权利要求3所述的数据查询方法,其特征在于,所述根据各个所述目标节点构建物化视图的步骤包括:
将具有关联关系的所述目标节点进行连接,得到有向无环图;
将所述目标节点与所述目标节点的相似的节点进行合并,以将所述目标节点所在的有向无环图,与所述目标节点的相似的节点所在的有向无环图进行合并,得到所述物化视图。
6.根据权利要求1所述的数据查询方法,其特征在于,所述获取各个第一中间数据的步骤包括:
获取所述数据查询装置在繁忙状态下的查询日志;
根据所述查询日志,获取每个第一查询任务的中间阶段对应的第三中间数据;
确定每个所述第三中间数据的查询频次;
将大于预设频次的所述查询频次对应的第三中间数据,确定为所述第一中间数据。
7.根据权利要求1-6中任一项所述的数据查询方法,其特征在于,还包括:
获取目标参数,所述目标参数包括当前时间点或所述数据查询装置的当前计算资源;
在所述当前时间点处于预设时间段和/或所述当前计算资源小于预设阈值时,确定所述数据查询装置的状态为空闲状态。
8.一种数据查询装置,其特征在于,包括:
获取模块,用于在数据查询装置的状态为空闲状态时,获取各个第一中间数据,所述第一中间数据是已执行的第一查询任务的中间阶段的输出数据,所述中间阶段位于所述第一查询任务的初始阶段之后;
构建模块,用于根据各个所述第一中间数据构建物化视图;
控制模块,用于在所述数据查询装置的状态由所述空闲状态转换为繁忙状态时,停止构建所述物化视图,并获取第二查询任务;
所述获取模块,还用于从所述物化视图中获取所述第二查询任务对应的第二中间数据。
9.一种数据查询设备,其特征在于,包括:存储器以及处理器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,使得所述处理器执行如权利要求1-7中任一项所述的数据查询方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-7中任一项所述的数据查询方法。
CN202211442003.1A 2022-11-17 2022-11-17 数据查询方法、装置、设备和计算机可读存储介质 Pending CN115729961A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211442003.1A CN115729961A (zh) 2022-11-17 2022-11-17 数据查询方法、装置、设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211442003.1A CN115729961A (zh) 2022-11-17 2022-11-17 数据查询方法、装置、设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN115729961A true CN115729961A (zh) 2023-03-03

Family

ID=85296301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211442003.1A Pending CN115729961A (zh) 2022-11-17 2022-11-17 数据查询方法、装置、设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115729961A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116541377A (zh) * 2023-04-27 2023-08-04 阿里巴巴(中国)有限公司 任务的物化视图的处理方法、系统和电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116541377A (zh) * 2023-04-27 2023-08-04 阿里巴巴(中国)有限公司 任务的物化视图的处理方法、系统和电子设备
CN116541377B (zh) * 2023-04-27 2024-05-14 阿里巴巴(中国)有限公司 任务的物化视图的处理方法、系统和电子设备

Similar Documents

Publication Publication Date Title
CN106302632B (zh) 一种基础镜像的下载方法以及管理节点
WO2019037203A1 (zh) 应用程序的性能测试方法、装置、计算机设备和存储介质
WO2021238796A1 (zh) 下载任务异步处理方法、装置、系统和存储介质
EP2985730A1 (en) Method and device for partially-upgrading
US20220083375A1 (en) Method and apparatus for scheduling task processing entity
US20090235250A1 (en) Management machine, management system, management program, and management method
CN107341054B (zh) 任务执行方法、装置及计算机可读存储介质
CN111831191A (zh) 工作流配置方法、装置、计算机设备和存储介质
EP2916268A1 (en) A computer-implemented k-shortest path finding method
CN112749221A (zh) 数据任务调度方法、装置、存储介质及调度工具
CN112698952A (zh) 计算资源统一管理方法、装置、计算机设备及存储介质
CN111930770A (zh) 数据查询方法、装置及电子设备
CN115729961A (zh) 数据查询方法、装置、设备和计算机可读存储介质
CN111522806A (zh) 大数据清洗处理方法、装置、服务器及可读存储介质
CN114116149A (zh) 一种任务调度方法、装置、设备及介质
CN114531477A (zh) 功能组件的配置方法、装置、计算机设备和存储介质
CN111459676A (zh) 一种节点资源管理方法、装置及存储介质
CN110933188A (zh) 远程服务的调用方法、系统、服务器及存储介质
CN108390770B (zh) 一种信息生成方法、装置及服务器
CN114327819B (zh) 一种任务管理方法、装置、设备及存储介质
CN116185869A (zh) 一种软件测试方法、系统、计算机设备及存储介质
CN115934690A (zh) 数据清除方法和相关设备
WO2016165471A1 (zh) Hadoop集群组件指标的采集方法及装置
CN109495782B (zh) 一种弹幕消息的存储方法、系统和存储介质
US8825901B2 (en) Distributed parallel discovery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination