CN115794860A - 数据查询方法、装置、设备及存储介质 - Google Patents

数据查询方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115794860A
CN115794860A CN202211453269.6A CN202211453269A CN115794860A CN 115794860 A CN115794860 A CN 115794860A CN 202211453269 A CN202211453269 A CN 202211453269A CN 115794860 A CN115794860 A CN 115794860A
Authority
CN
China
Prior art keywords
query
data
data query
information
sql statement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211453269.6A
Other languages
English (en)
Inventor
武新明
程强
万月亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruian Technology Co Ltd
Original Assignee
Beijing Ruian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruian Technology Co Ltd filed Critical Beijing Ruian Technology Co Ltd
Priority to CN202211453269.6A priority Critical patent/CN115794860A/zh
Publication of CN115794860A publication Critical patent/CN115794860A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据查询方法、装置、设备及存储介质,应用于数据查询子系统,该方法包括:响应于数据查询方在数据查询界面生成的数据查询请求,获取所述数据查询方在所述数据查询界面上选取的数据查询信息;所述数据查询信息的信息类型包括已查询类型和未查询类型;若所述数据查询信息的信息类型为已查询类型,则根据所述数据查询信息,生成与所述数据查询请求相对应的查询结构化查询语言SQL语句;将所述查询SQL语句发送至数据查询引擎,以供所述数据查询引擎根据所述查询SQL语句,从数据源存储数据库中查询并反馈数据查询结果。本发明实施例提高了对实时数据的查询效率,以及提高了数据查询的灵活性。

Description

数据查询方法、装置、设备及存储介质
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据查询方法、装置、设备及存储介质。
背景技术
数据分析领域正面临着数据量巨大、数据来源各异、实时获取和分析数据的效率较低等问题和挑战。
在对大数据的数据查询和分析过程中,存在数据量大、数据来源各异和数据实时性等问题,对实时接入的数据进行查询和展示需要等待漫长的离线计算后才显示查询结果。严重影响了数据查询和分析的效率,且海量数据无法灵活的进行上卷、下钻和切片等操作。
发明内容
本发明提供了一种数据查询方法、装置、设备及存储介质,以提高对实时数据的查询效率,提高数据查询的灵活性。
根据本发明的一方面,提供了一种数据查询方法,应用于数据查询子系统,所述方法包括:
响应于数据查询方在数据查询界面生成的数据查询请求,获取所述数据查询方在所述数据查询界面上选取的数据查询信息;所述数据查询信息的信息类型包括已查询类型和未查询类型;
若所述数据查询信息的信息类型为已查询类型,则根据所述数据查询信息,生成与所述数据查询请求相对应的查询结构化查询语言SQL语句;
将所述查询SQL语句发送至数据查询引擎,以供所述数据查询引擎根据所述查询SQL语句,从数据源存储数据库中查询并反馈数据查询结果。
根据本发明的另一方面,提供了一种数据查询方法,应用于数据查询引擎,包括:
获取数据查询子系统发送的查询结构化查询语言SQL语句;所述查询SQL语句由所述数据查询子系统响应于数据查询方在数据查询界面生成的数据查询请求,根据数据查询方所选取的数据查询信息生成得到;
根据所述查询SQL语句,确定所述查询SQL语句对应的目标数据查询方式;
根据所述查询SQL语句,基于所述目标数据查询方式,从数据源存储数据库中查询数据查询结果,并将所述数据查询结果通过所述数据查询子系统反馈至所述数据查询方。
根据本发明的另一方面,提供了一种数据查询装置,配置于数据查询子系统,所述装置包括:
查询信息获取模块,用于响应于数据查询方在数据查询界面生成的数据查询请求,获取所述数据查询方在所述数据查询界面上选取的数据查询信息;所述数据查询信息的信息类型包括已查询类型和未查询类型;
查询SQL语句生成模块,用于若所述数据查询信息的信息类型为已查询类型,则根据所述数据查询信息,生成与所述数据查询请求相对应的查询结构化查询语言SQL语句;
查询SQL语句发送模块,用于将所述查询SQL语句发送至数据查询引擎,以供所述数据查询引擎根据所述查询SQL语句,从数据源存储数据库中查询并反馈数据查询结果。
根据本发明的另一方面,提供了一种数据查询装置,配置于数据查询引擎,所述装置包括:
查询SQL语句获取模块,用于获取数据查询子系统发送的查询结构化查询语言SQL语句;所述查询SQL语句由所述数据查询子系统响应于数据查询方在数据查询界面生成的数据查询请求,根据数据查询方所选取的数据查询信息生成得到;
目标查询方式确定模块,根据所述查询SQL语句,确定所述查询SQL语句对应的目标数据查询方式;
查询结果确定模块,用于根据所述查询SQL语句,基于所述目标数据查询方式,从数据源存储数据库中查询数据查询结果,并将所述数据查询结果通过所述数据查询子系统反馈至所述数据查询方。
根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的数据查询方法。
根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据查询方法。
本发明实施例方案通过根据获取数据查询方选取的数据查询信息,生成与数据查询请求相对应的查询结构化查询语言SQL语句;将查询SQL语句发送至数据查询引擎,以供数据查询引擎根据查询SQL语句,从数据源存储数据库中查询并反馈数据查询结果,实现了对大规模数据的查询和分析,提高了对实时数据的查询效率,以及提高了数据查询的灵活性。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种数据查询方法的流程图;
图2是根据本发明实施例二提供的一种数据查询方法的流程图;
图3是根据本发明实施例三提供的一种数据查询装置的结构示意图;
图4是根据本发明实施例四提供的一种数据查询装置的结构示意图;
图5是实现本发明实施例的数据查询方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供的一种数据查询方法的流程图,本实施例可适用于对大规模数据实时查询和分析的情况,该方法可以由数据查询装置来执行,该数据查询装置可以采用硬件和/或软件的形式实现,该数据查询装置可配置于电子设备中。该方法可应用于数据查询子系统,如图1所示,该方法包括:
S110、响应于数据查询方在数据查询界面生成的数据查询请求,获取数据查询方在数据查询界面上选取的数据查询信息;数据查询信息的信息类型包括已查询类型和未查询类型。
其中,数据查询方可以是有数据查询需求或数据分析需求的相关用户。数据查询界面可以是提供给数据查询方的查询数据的画布。在该画布中存在至少一个可供数据查询方进行选择的查询数据表、表字段、运算算子和用于确定配置关联条件的连接线等。
其中,在数据查询界面中一个查询数据画布可以对应一个数据源。在该数据源下对应至少一个可供数据查询方进行选择的数据查询表和数据查询表对应的至少一个表字段。其中,数据查询请求可以是数据查询方在数据查询界面操作完成后所生成的查询请求。
示例性的,数据查询方可以通过拖拽或点击等方式,从该画布对应的数据源下选取数据查询表,并从选取的各数据查询表中选取参与查询或分析的表字段;在该画布中还可以选取用于进行表运算的运算算子。其中,运算算子可以包括筛选、分组统计、交运算、并运算和差运算等。通过画布中的连接线,将选取的参与查询或分析的表字段和运算算子进行连接,并在连接线上配置相关的关联条件。将选取的数据查询表、表字段、运算算子和配置关联条件确定为数据查询信息。
在一个具体实施例中,若选取的数据查询表为交通信息表,选取的表字段为交通工具,选取的运算算子为筛选,将交通信息表、交通工具表字段和运算算子通过连接线进行连接,并在连接线上配置关联条件,例如,关联条件为“火车”,则数据查询方所想要查询的结果为筛选出交通信息表中交通工具为“火车”的查询数据。
需要说明的是,为便于后续对数据查询信息的上卷和下钻,从而提高获取数据查询结果的效率,数据查询信息的信息类型可以包括已查询类型和未查询类型。其中,已查询类型的数据查询信息可以是历史时间周期下,已对该数据查询信息进行查询并得到数据查询结果的信息类型;未查询类型的数据查询信息可以是历史时间周期下,未对该数据查询信息进行查询信息类型。
S120、若数据查询信息的信息类型为未查询类型,则根据数据查询信息,生成与数据查询请求相对应的查询结构化查询语言SQL语句。
示例性的,可以根据数据查询信息中的数据查询表的表名称、参数查询或分析的表字段、选取的运算算子和配置的关联条件,生成相应的查询SQL语句,后续通过查询SQL语句,对数据进行查询和分析。
S130、将查询SQL语句发送至数据查询引擎,以供数据查询引擎根据查询SQL语句,从数据源存储数据库中查询并反馈数据查询结果。
示例性的,数据查询子系统将查询SQL语句发送至数据查询引擎,由数据查询引擎根据查询SQL语句,从自身数据源存储数据库中查询相应的数据查询结果,并将数据查询结果反馈至数据查询子系统。
其中,数据查询引擎可以是ClickHouse(分布式实时分析型列式数据库服务)。数据查询引擎也可以是由相关技术人员根据实际需求预先设计的查询引擎。其中,数据查询引擎对应的数据源存储库中的各相关数据源数据可以预先接入。
在一个可选实施例中,在将查询SQL语句发送至数据查询引擎,以供数据查询引擎根据所述查询SQL语句,从数据源存储数据库中查询并反馈数据查询结果之后,还包括:接收数据查询引擎反馈的数据查询结果;将数据查询结果、数据查询请求对应的数据查询信息和相关查询信息进行关联存储;其中,相关查询信息包括数据查询方的查询信息和数据查询界面的界面信息中的至少一种。
需要说明的是,为便于后续对数据查询信息的上卷、下钻或切片,可以将数据查询结果、数据查询请求对应的数据查询信息和相关查询信息进行关联存储。具体可以是将数据查询界面对应的画布下的每一次数据查询信息及其对应的结果,生成相应的JSON(JavaScript Object Notation,JS对象简谱)格式的文件。
其中,相关查询信息具体可以包括数据查询信息对应的SQL语句;参与数据分析的数据表名称、表字段名称、运算算子名称、数据查询方的账号信息、信息创建时间、数据查询界面对应的画布信息、界面所属工作台的编号,画布编号、画布创建时间和画布更新时间等中的至少一种。
示例性的,在数据查询方查询数据过程中,可以在数据查询界面中选取已查询过的数据查询信息,也可以重新生成未查询过的数据查询信息。当数据查询方待进行查询的数据查询信息的信息类型为未查询类型,则需要生成相应的查询SQL语句,并由数据查询引擎基于该查询SQL语句进行查询,从而得到数据查询结果。
需要说明的是,对大部分大数据分析系统来说,由于查询数据量大、数据来源各异等问题,导致无法灵活的对海量数据进行上卷、下钻、切片或切块,每一次对大规模数据查询都需要等待漫长的离线计算后才显示结果。
为解决上述问题,当数据查询方想要上卷至历史周期下的某次查询时,则可以通过该画布对应的JSON文件下的获取相关查询信息,并从数据查询子系统对应的数据库中直接获取到相应的数据查询结果。
在一个可选实施例中,若数据查询信息的信息类型为已查询类型,则在获取数据查询方在数据查询界面上选取的数据查询信息之后,还包括:根据数据查询信息,获取与数据查询信息关联的数据查询结果。
可以理解的是,当待进行查询的数据量较大,且查询的数据为历史时间周期下已查询过的数据时,则可以通过在数据查询子系统的系统后台直接过去到相应的查询信息,以及相应的数据查询结果,从而提高数据查询效率,而无需在经由数据查询引擎进行查询。
可选的,在对未查询类型的数据查询信息进行查询时,数据查询引擎在反馈至数据查询子系统相应的数据查询结果后,数据查询子系统将数据查询结果和画布的标识码等对应关系存入Redis(Remote Dictionary Server,远程字典服务)缓存中,用于在数据查询方切换系统的画布页面,或者退出系统后返回时画布内容的回现,以避免二次查询给系统带来额外的损耗。
本发明实施例方案通过根据获取数据查询方选取的数据查询信息,生成与数据查询请求相对应的查询结构化查询语言SQL语句;将查询SQL语句发送至数据查询引擎,以供数据查询引擎根据查询SQL语句,从数据源存储数据库中查询并反馈数据查询结果,实现了对大规模数据的查询和分析,提高了对实时数据的查询效率,以及提高了数据查询的灵活性。
实施例二
图2为本发明实施例二提供的一种数据查询方法的流程图,本实施例可适用于对大规模数据实时查询和分析的情况,该方法可以由数据查询装置来执行,该数据查询装置可以采用硬件和/或软件的形式实现,该数据查询装置可配置于电子设备中。该方法可应用于数据查询引擎,如图2所示,该方法包括:
S210、获取数据查询子系统发送的查询结构化查询语言SQL语句;查询SQL语句由数据查询子系统响应于数据查询方在数据查询界面生成的数据查询请求,根据数据查询方所选取的数据查询信息生成得到。
其中,数据查询方可以是有数据查询需求或数据分析需求的相关用户。数据查询界面可以是提供给数据查询方的查询数据的画布。在该画布中存在至少一个可供数据查询方进行选择的查询数据表、表字段、运算算子和用于确定配置关联条件的连接线等。
其中,在数据查询界面中一个查询数据画布可以对应一个数据源。在该数据源下对应至少一个可供数据查询方进行选择的数据查询表和数据查询表对应的至少一个表字段。其中,数据查询请求可以是数据查询方在数据查询界面操作完成后所生成的查询请求。
示例性的,数据查询方可以通过拖拽或点击等方式,从该画布对应的数据源下选取数据查询表,并从选取的各数据查询表中选取参与查询或分析的表字段;在该画布中还可以选取用于进行表运算的运算算子。其中,运算算子可以包括筛选、分组统计、交运算、并运算和差运算等。通过画布中的连接线,将选取的参与查询或分析的表字段和运算算子进行连接,并在连接线上配置相关的关联条件。将选取的数据查询表、表字段、运算算子和配置关联条件确定为数据查询信息。
S220、根据查询SQL语句,确定查询SQL语句对应的目标数据查询方式。
其中,目标数据查询方式可以包括为待进行数据查找的方式,具体可以通过对查询SQL语句进行解析得到。
在一个可选实施例中,数据查询信息包括运算算子;相应的,根据查询SQL语句,确定查询SQL语句对应的目标数据查询方式,包括:对查询SQL语句进行语句解析,得到查询SQL语句对应的运算算子的算子类型;根据算子类型,确定目标数据查询方式。
其中,算子类型可以包括筛选、组合、交运算、并运算和差运算等。
示例性的,可以对查询SQL语句进行语句解析,确定语句解析结果,得到语句解析字段。例如,语句解析字段可以包括“GROUP BY”、“HAVING”、“SUM”、“WHERE”和“LIKE”等。例如,若解析得到的语句解析字段为GROUP BY”,则可以确定解析得到的算子类型为组合类型。
在一个可选实施例中,算子类型包括常规运算算子和聚合运算算子;根据算子类型,确定目标数据查询方式,包括:若算子类型为常规运算算子,则确定目标数据查询方式为常规查询方式;若算子类型为聚合运算算子,则确定目标数据查询方式为聚合统计查询方式。
可以理解的是,常规查询方式对应可以进行较为简单的数据查询,聚合运算算子对应可以进行较为复杂的数据查询。
示例性的,若对应的数据查询引擎为clickhouse引擎。则常规查询方式可以是基于询MergeTree常规引擎表所实现的查询方式;相应的,聚合统计查询方式可以是基于AggregatingMergeTree预统计聚合函数引擎表所实现的查询方式。
S230、根据查询SQL语句,基于目标数据查询方式,从数据源存储数据库中查询数据查询结果,并将数据查询结果通过数据查询子系统反馈至数据查询方。
示例性的,基于确定的常规查询方式或聚合统计查询方式,根据查询SQL语句,从数据源存储数据库中查询数据查询结果,并将查询得到的数据查询结果反馈至数据查询子系统,以供相关数据查询方对查询数据结果进行获取。其中,数据源存储数据库
在一个可选实施例中,获取至少一个待接入数据源;若各待接入数据源为可用数据源,则获取各待接入数据源的数据源信息和各待接入数据源对应的数据表信息;基于预设的消息队列,将各待接入数据源的数据源信息和各待接入数据源对应的数据表信息,同步至数据源存储数据库,以更新数据源存储数据库。
其中,待接入数据源对应的数据表信息可以包括数据源的IP(InternetProtocol,网际互连协议)地址、端口、数据源内数据表数量、表字段的类型和表字段长度等。
其中,预设的消息队列可以是Kafka。示例性的,以数据查询引擎为clickhouse为例。外部数据源数据将数据缓存到消息队列kafka,clickhouse通过自建的kafka引擎的数据表将数据接入clickhouse,构建MergeTree引擎表用于常规查询使用,构建物化视图materialized将kafka引擎表的数据同步到MergeTree引擎,构建AggregatingMergeTree引擎表支持clickhouse的聚合统计查询。
本发明实施例方案通过根据查询SQL语句,确定查询SQL语句对应的目标数据查询方式;根据查询SQL语句,基于目标数据查询方式,从数据源存储数据库中查询数据查询结果,实现了对大规模数据的查询和分析,提高了对实时数据的查询效率,以及提高了数据查询的灵活性。
实施例三
图3为本发明实施例三提供的一种数据查询装置的结构示意图。本发明实施例所提供的一种数据查询装置,该装置可适用于对大规模数据实时查询和分析的情况,该数据查询装置可以采用硬件和/或软件的形式实现,如图3所示,该装置可配置于数据查询子系统,该装置具体包括:查询信息获取模块301、查询SQL语句生成确定模块302和查询SQL语句发送模块303。其中,
查询信息获取模块301,用于响应于数据查询方在数据查询界面生成的数据查询请求,获取所述数据查询方在所述数据查询界面上选取的数据查询信息;所述数据查询信息的信息类型包括已查询类型和未查询类型;
查询SQL语句生成模块302,用于若所述数据查询信息的信息类型为已查询类型,则根据所述数据查询信息,生成与所述数据查询请求相对应的查询结构化查询语言SQL语句;
查询SQL语句发送模块303,用于将所述查询SQL语句发送至数据查询引擎,以供所述数据查询引擎根据所述查询SQL语句,从数据源存储数据库中查询并反馈数据查询结果。
可选的,所述装置还包括:
查询结果接收模块,用于在将所述查询SQL语句发送至数据查询引擎,以供所述数据查询引擎根据所述查询SQL语句,从数据源存储数据库中查询并反馈数据查询结果之后,还包括:接收所述数据查询引擎反馈的所述数据查询结果;
关联存储单元,用于将所述数据查询结果、所述数据查询请求对应的数据查询信息和相关查询信息进行关联存储;其中,所述相关查询信息包括所述数据查询方的查询信息和所述数据查询界面的界面信息中的至少一种。
可选的,所述装置还包括:
查询结果获取模块,用于若所述数据查询信息的信息类型为已查询类型,则在所述获取所述数据查询方在所述数据查询界面上选取的数据查询信息之后,还包括:根据所述数据查询信息,获取与所述数据查询信息关联的数据查询结果。
本发明实施例所提供的数据查询装置可执行本发明任意实施例所提供的数据查询方法,具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种数据查询装置的结构示意图。本发明实施例所提供的一种数据查询装置,该装置可适用于对大规模数据实时查询和分析的情况,该数据查询装置可以采用硬件和/或软件的形式实现,如图4所示,该装置可配置于数据查询引擎,该装置具体包括:查询SQL语句获取模块401、目标查询方式确定模块402和查询结果确定模块403。
其中,
查询SQL语句获取模块401,用于获取数据查询子系统发送的查询结构化查询语言SQL语句;所述查询SQL语句由所述数据查询子系统响应于数据查询方在数据查询界面生成的数据查询请求,根据数据查询方所选取的数据查询信息生成得到;
目标查询方式确定模块402,根据所述查询SQL语句,确定所述查询SQL语句对应的目标数据查询方式;
查询结果确定模块403,用于根据所述查询SQL语句,基于所述目标数据查询方式,从数据源存储数据库中查询数据查询结果,并将所述数据查询结果通过所述数据查询子系统反馈至所述数据查询方。
可选的,所述数据查询信息包括运算算子;
相应的,所述目标查询方式确定模块402,包括:
算子类型确定单元,用于对所述查询SQL语句进行语句解析,得到所述查询SQL语句对应的运算算子的算子类型;所述算子类型包括常规运算算子和聚合运算算子;
常规查询方式确定单元,用于若所述算子类型为常规运算算子,则确定所述目标数据查询方式为常规查询方式;
聚合查询方式确定单元,用于若所述算子类型为聚合运算算子,则确定所述目标数据查询方式为聚合统计查询方式。
可选的,所述装置还包括:
待接入数据源获取模块,用于获取至少一个待接入数据源;
数据表信息获取模块,用于若各所述待接入数据源为可用数据源,则获取各所述待接入数据源的数据源信息和各所述待接入数据源对应的数据表信息;
存储数据库更新模块,用于基于预设的消息队列,将各所述待接入数据源的数据源信息和各所述待接入数据源对应的数据表信息,同步至所述数据源存储数据库,以更新所述数据源存储数据库。
本发明实施例所提供的数据查询装置可执行本发明任意实施例所提供的数据查询方法,具备执行方法相应的功能模块和有益效果。
实施例五
图5示出了可以用来实施本发明的实施例的电子设备50的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图5所示,电子设备50包括至少一个处理器51,以及与至少一个处理器51通信连接的存储器,如只读存储器(ROM)52、随机访问存储器(RAM)53等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器51可以根据存储在只读存储器(ROM)52中的计算机程序或者从存储单元58加载到随机访问存储器(RAM)53中的计算机程序,来执行各种适当的动作和处理。在RAM 53中,还可存储电子设备50操作所需的各种程序和数据。处理器51、ROM 52以及RAM 53通过总线54彼此相连。输入/输出(I/O)接口55也连接至总线54。
电子设备50中的多个部件连接至I/O接口55,包括:输入单元56,例如键盘、鼠标等;输出单元57,例如各种类型的显示器、扬声器等;存储单元58,例如磁盘、光盘等;以及通信单元59,例如网卡、调制解调器、无线通信收发机等。通信单元59允许电子设备50通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器51可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器51的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器51执行上文所描述的各个方法和处理,例如数据查询方法。
在一些实施例中,数据查询方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元58。在一些实施例中,计算机程序的部分或者全部可以经由ROM 52和/或通信单元59而被载入和/或安装到电子设备50上。当计算机程序加载到RAM 53并由处理器51执行时,可以执行上文描述的数据查询方法的一个或多个步骤。备选地,在其他实施例中,处理器51可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行数据查询方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (10)

1.一种数据查询方法,其特征在于,应用于数据查询子系统,所述方法包括:
响应于数据查询方在数据查询界面生成的数据查询请求,获取所述数据查询方在所述数据查询界面上选取的数据查询信息;所述数据查询信息的信息类型包括已查询类型和未查询类型;
若所述数据查询信息的信息类型为未查询类型,则根据所述数据查询信息,生成与所述数据查询请求相对应的查询结构化查询语言SQL语句;
将所述查询SQL语句发送至数据查询引擎,以供所述数据查询引擎根据所述查询SQL语句,从数据源存储数据库中查询并反馈数据查询结果。
2.根据权利要求1所述的方法,其特征在于,在将所述查询SQL语句发送至数据查询引擎,以供所述数据查询引擎根据所述查询SQL语句,从数据源存储数据库中查询并反馈数据查询结果之后,还包括:
接收所述数据查询引擎反馈的所述数据查询结果;
将所述数据查询结果、所述数据查询请求对应的数据查询信息和相关查询信息进行关联存储;其中,所述相关查询信息包括所述数据查询方的查询信息和所述数据查询界面的界面信息中的至少一种。
3.根据权利要求2所述的方法,其特征在于,若所述数据查询信息的信息类型为已查询类型,则在所述获取所述数据查询方在所述数据查询界面上选取的数据查询信息之后,还包括:
根据所述数据查询信息,获取与所述数据查询信息关联的数据查询结果。
4.一种数据查询方法,其特征在于,应用于数据查询引擎,包括:
获取数据查询子系统发送的查询结构化查询语言SQL语句;所述查询SQL语句由所述数据查询子系统响应于数据查询方在数据查询界面生成的数据查询请求,根据数据查询方所选取的数据查询信息生成得到;
根据所述查询SQL语句,确定所述查询SQL语句对应的目标数据查询方式;
根据所述查询SQL语句,基于所述目标数据查询方式,从数据源存储数据库中查询数据查询结果,并将所述数据查询结果通过所述数据查询子系统反馈至所述数据查询方。
5.根据权利要求4所述的方法,其特征在于,所述数据查询信息包括运算算子;
相应的,所述根据所述查询SQL语句,确定所述查询SQL语句对应的目标数据查询方式,包括:
对所述查询SQL语句进行语句解析,得到所述查询SQL语句对应的运算算子的算子类型;所述算子类型包括常规运算算子和聚合运算算子;
若所述算子类型为常规运算算子,则确定所述目标数据查询方式为常规查询方式;
若所述算子类型为聚合运算算子,则确定所述目标数据查询方式为聚合统计查询方式。
6.根据权利要求4-5任一项所述的方法,其特征在于,所述方法还包括:
获取至少一个待接入数据源;
若各所述待接入数据源为可用数据源,则获取各所述待接入数据源的数据源信息和各所述待接入数据源对应的数据表信息;
基于预设的消息队列,将各所述待接入数据源的数据源信息和各所述待接入数据源对应的数据表信息,同步至所述数据源存储数据库,以更新所述数据源存储数据库。
7.一种数据查询装置,其特征在于,配置于数据查询子系统,包括:
查询信息获取模块,用于响应于数据查询方在数据查询界面生成的数据查询请求,获取所述数据查询方在所述数据查询界面上选取的数据查询信息;所述数据查询信息的信息类型包括已查询类型和未查询类型;
查询SQL语句生成模块,用于若所述数据查询信息的信息类型为已查询类型,则根据所述数据查询信息,生成与所述数据查询请求相对应的查询结构化查询语言SQL语句;
查询SQL语句发送模块,用于将所述查询SQL语句发送至数据查询引擎,以供所述数据查询引擎根据所述查询SQL语句,从数据源存储数据库中查询并反馈数据查询结果。
8.一种数据查询方法,其特征在于,配置于数据查询引擎,包括:
查询SQL语句获取模块,用于获取数据查询子系统发送的查询结构化查询语言SQL语句;所述查询SQL语句由所述数据查询子系统响应于数据查询方在数据查询界面生成的数据查询请求,根据数据查询方所选取的数据查询信息生成得到;
目标查询方式确定模块,根据所述查询SQL语句,确定所述查询SQL语句对应的目标数据查询方式;
查询结果确定模块,用于根据所述查询SQL语句,基于所述目标数据查询方式,从数据源存储数据库中查询数据查询结果,并将所述数据查询结果通过所述数据查询子系统反馈至所述数据查询方。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-3和/或权利要求4-6中任一项所述的数据查询方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-3和/或权利要求4-6中任一项所述的数据查询方法。
CN202211453269.6A 2022-11-21 2022-11-21 数据查询方法、装置、设备及存储介质 Pending CN115794860A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211453269.6A CN115794860A (zh) 2022-11-21 2022-11-21 数据查询方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211453269.6A CN115794860A (zh) 2022-11-21 2022-11-21 数据查询方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115794860A true CN115794860A (zh) 2023-03-14

Family

ID=85439229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211453269.6A Pending CN115794860A (zh) 2022-11-21 2022-11-21 数据查询方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115794860A (zh)

Similar Documents

Publication Publication Date Title
CN113268530A (zh) 海量异构数据采集方法、系统、计算机设备和存储介质
CN114428674A (zh) 任务调度方法、装置、设备以及存储介质
CN113987086A (zh) 数据处理方法、数据处理装置、电子设备以及存储介质
CN115801589B (zh) 一种事件拓扑关系确定方法、装置、设备及存储介质
CN116383207A (zh) 一种数据标签管理方法、装置、电子设备和存储介质
CN114610719B (zh) 跨集群数据处理方法、装置、电子设备以及存储介质
CN115544010A (zh) 一种映射关系确定方法、装置、电子设备及存储介质
CN115080607A (zh) 一种结构化查询语句的优化方法、装置、设备及存储介质
CN115794860A (zh) 数据查询方法、装置、设备及存储介质
CN115329150A (zh) 生成搜索条件树的方法、装置、电子设备及存储介质
CN115455091A (zh) 数据生成方法、装置、电子设备和存储介质
WO2021143199A1 (zh) 日志查询方法、装置、计算机设备和存储介质
CN114416881A (zh) 一种多源数据的实时同步方法、装置、设备及介质
CN115599790B (zh) 一种数据存储系统、数据处理方法、电子设备和存储介质
CN116401269A (zh) 一种数据查询方法、装置、电子设备及存储介质
CN115168760A (zh) 数据查询方法、装置及存储介质
CN115525714A (zh) 一种可视化指标处理方法、装置、设备及存储介质
CN117331475A (zh) 一种任务创建方法、装置、设备及存储介质
CN117827840A (zh) 一种索引创建方法、装置、电子设备及存储介质
CN114928651A (zh) 基于复杂参数识别的服务透传方法、装置及设备
CN114942955A (zh) 一种数据导出方法、装置、导出节点、介质及系统
CN114564491A (zh) 一种数据查询方法、装置、设备、介质、产品及查询组件
CN114722264A (zh) 一种数据查询方法、装置、电子设备及存储介质
CN115730000A (zh) 一种基于数据湖的医疗数据集成方法、装置、设备及介质
CN115495528A (zh) 分布式数据库语句执行方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination