CN109657128A - 数据查询方法、装置及存储介质 - Google Patents

数据查询方法、装置及存储介质 Download PDF

Info

Publication number
CN109657128A
CN109657128A CN201811562988.5A CN201811562988A CN109657128A CN 109657128 A CN109657128 A CN 109657128A CN 201811562988 A CN201811562988 A CN 201811562988A CN 109657128 A CN109657128 A CN 109657128A
Authority
CN
China
Prior art keywords
data
target data
data source
business
configuration information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811562988.5A
Other languages
English (en)
Other versions
CN109657128B (zh
Inventor
毋小林
刘喜文
蔡大伟
雷秀英
柳伊岚
翁澍瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201811562988.5A priority Critical patent/CN109657128B/zh
Publication of CN109657128A publication Critical patent/CN109657128A/zh
Application granted granted Critical
Publication of CN109657128B publication Critical patent/CN109657128B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开关于一种数据查询方法、装置及存储介质,属于数据查询领域。所述方法包括:获取查询请求,所述查询请求中包括业务标识和目标数据的查询参数,所述业务标识用于指示获取所述目标数据的业务;从服务器中预存的配置信息库中获取与所述业务对应的配置信息,所述配置信息用于指示提供所述目标数据的数据源以及所述数据源的连接配置;根据所述配置信息与所述数据源建立连接;从所述数据源中查询所述查询参数所指示的所述目标数据。本公开可以在查询请求中携带业务标识,根据该业务标识确定用于指示数据源和该数据源的连接配置的配置信息,无需在查询请求中携带用于指示数据源的数据源参数和用于指示连接配置的连接配置参数,简化了查询请求。

Description

数据查询方法、装置及存储介质
技术领域
本公开涉及数据查询领域,特别涉及一种数据查询方法、装置及存储介质。
背景技术
互联网中数据的增多衍生出了各式各样的数据存储系统和数据查询系统。用户可以通过数据存储系统来存储数据,通过数据查询系统来查询数据。其中,数据存储系统可以是关系型数据库、分布式文件存储系统、企业级搜索引擎等等。
相关技术中,在某一项业务需要查询目标数据时,数据查询系统中的服务器获取查询请求,该查询请求中至少携带有数据源参数、连接配置参数和查询参数;服务器将该数据源参数所指示的数据源确定为存储有目标数据的数据源(如MySQL数据库),根据该连接配置参数所指示的连接配置与该数据源(如MySQL数据库)建立连接,通过该连接从该数据源(如MySQL数据库)中查询该查询参数所指示的目标数据(如成绩及格的学生)。
发明内容
为解决相关技术中的问题,本公开提供了一种数据查询方法、装置及存储介质。
根据本公开实施例的第一方面,提供一种数据查询方法,所述方法包括:
获取查询请求,所述查询请求中包括业务标识和目标数据的查询参数,所述业务标识用于指示获取所述目标数据的业务;
从服务器中预存的配置信息库中获取与所述业务对应的配置信息,所述配置信息用于指示提供所述目标数据的数据源以及所述数据源的连接配置;
根据所述配置信息与所述数据源建立连接;
从所述数据源中查询所述查询参数所指示的所述目标数据。
在一种可能的实现方式中,所述数据源为存储有所述目标数据的一个数据存储系统;或者,所述数据源为一项服务,所述服务用于从存储有所述目标数据的一个数据存储系统中查询并提供所述目标数据。
在一种可能的实现方式中,当所述数据源为所述数据存储系统时,所述从所述数据源中查询所述查询参数所指示的所述目标数据,包括:
根据所述配置信息获取所述数据存储系统中数据表的维度信息和指标信息,所述维度信息用于指示所述数据表中数据的维度,所述指标信息用于指示根据所述数据表中的数据计算得到的指标,所述数据表中存储有所述目标数据;
根据所述维度信息和所述指标信息,将所述查询参数转换为查询条件;
从所述数据表中查询满足所述查询条件的所述目标数据。
在一种可能的实现方式中,当所述数据源为所述服务时,所述从所述数据源中查询所述查询参数所指示的所述目标数据,包括:
根据所述配置信息获取所述数据存储系统中数据表的存储路径和所述服务中用于查询所述目标数据的方法名,所述数据表中存储有所述目标数据;
将所述存储路径和所述查询参数传递给所述方法名;
获取所述方法名根据所述存储路径和所述查询参数查询得到的所述目标数据。
在一种可能的实现方式中,所述方法还包括:
按照所述业务对应的数据格式对所述目标数据进行格式转换。
在一种可能的实现方式中,所述方法还包括:
获取与所述业务对应的处理链路,所述处理链路中包括至少一个子链路,且所述子链路用于指示一种数据处理逻辑;
利用所述处理链路对所述目标数据进行处理。
根据本公开实施例的第二方面,提供一种数据查询装置,所述装置包括:
获取模块,被配置为获取查询请求,所述查询请求中包括业务标识和目标数据的查询参数,所述业务标识用于指示获取所述目标数据的业务;
所述获取模块,还被配置为从服务器中预存的配置信息库中获取与所述业务对应的配置信息,所述配置信息用于指示提供所述目标数据的数据源以及所述数据源的连接配置;
连接模块,被配置为根据所述获取模块得到的所述配置信息与所述数据源建立连接;
查询模块,被配置为从所述数据源中查询所述查询参数所指示的所述目标数据。
在一种可能的实现方式中,所述数据源为存储有所述目标数据的一个数据存储系统;或者,所述数据源为一项服务,所述服务用于从存储有所述目标数据的一个数据存储系统中查询并提供所述目标数据。
在一种可能的实现方式中,当所述数据源为所述数据存储系统时,所述查询模块,还被配置为:
根据所述配置信息获取所述数据存储系统中数据表的维度信息和指标信息,所述维度信息用于指示所述数据表中数据的维度,所述指标信息用于指示根据所述数据表中的数据计算得到的指标,所述数据表中存储有所述目标数据;
根据所述维度信息和所述指标信息,将所述查询参数转换为查询条件;
从所述数据表中查询满足所述查询条件的所述目标数据。
在一种可能的实现方式中,当所述数据源为所述服务时,所述查询模块,还被配置为:
根据所述配置信息获取所述数据存储系统中数据表的存储路径和所述服务中用于查询所述目标数据的方法名,所述数据表中存储有所述目标数据;
将所述存储路径和所述查询参数传递给所述方法名;
获取所述方法名根据所述存储路径和所述查询参数查询得到的所述目标数据。
在一种可能的实现方式中,所述装置还包括:
转换模块,被配置为按照所述业务对应的数据格式对所述目标数据进行格式转换。
在一种可能的实现方式中,所述获取模块,还被配置为获取与所述业务对应的处理链路,所述处理链路中包括至少一个子链路,且所述子链路用于指示一种数据处理逻辑;
所述装置还包括:处理模块,被配置为利用所述获取模块得到的所述处理链路对所述目标数据进行处理。
根据本公开实施例的第三方面,提供一种数据查询装置,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取查询请求,所述查询请求中包括业务标识和目标数据的查询参数,所述业务标识用于指示获取所述目标数据的业务;
从服务器中预存的配置信息库中获取与所述业务对应的配置信息,所述配置信息用于指示提供所述目标数据的数据源以及所述数据源的连接配置;
根据所述配置信息与所述数据源建立连接;
从所述数据源中查询所述查询参数所指示的所述目标数据。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如第一方面所述的数据查询方法。
本公开的实施例提供的技术方案可以包括以下有益效果:
由于服务器中预存有与业务对应的配置信息,所以,只需要在查询请求中携带业务标识,即可根据该业务标识确定出业务,再根据该业务确定出配置信息,这样,服务器可以根据该配置信息确定数据源和该数据源的连接配置,而无需在查询请求中携带用于指示数据源的数据源参数和用于指示连接配置的连接配置参数,从而简化了查询请求。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本公开说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种数据查询方法的流程图。
图2是根据另一示例性实施例示出的一种数据查询方法的流程图。
图3是根据一示例性实施例示出的一种数据查询装置的框图。
图4是根据一示例性实施例示出的一种数据查询装置的框图。
图5是根据一示例性实施例示出的一种用于数据查询的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种数据查询方法的流程图,该数据查询方法应用于服务器中,如图1所示,该数据查询方法包括以下步骤。
在步骤101中,获取查询请求,该查询请求中包括业务标识和目标数据的查询参数,该业务标识用于指示获取目标数据的业务。
在步骤102中,从服务器中预存的配置信息库中获取与该业务对应的配置信息,该配置信息用于指示提供目标数据的数据源以及该数据源的连接配置。
在步骤103中,根据配置信息与该数据源建立连接。
在步骤104中,从该数据源中查询该查询参数所指示的目标数据。
综上所述,本公开提供的数据查询方法,由于服务器中预存有与业务对应的配置信息,所以,只需要在查询请求中携带业务标识,即可根据该业务标识确定出业务,再根据该业务确定出配置信息,这样,服务器可以根据该配置信息确定数据源和该数据源的连接配置,而无需在查询请求中携带用于指示数据源的数据源参数和用于指示连接配置的连接配置参数,从而简化了查询请求。
图2是根据另一示例性实施例示出的一种数据查询方法的流程图,该数据查询方法应用于服务器中,如图2所示,该数据查询方法包括如下步骤。
在步骤201中,获取查询请求,该查询请求中包括业务标识和目标数据的查询参数,该业务标识用于指示获取目标数据的业务。
目标数据是指从数据源中直接得到的数据,或者,对从数据源中得到的数据进行处理后得到的数据。其中,数据源用于提供数据。
本实施例中,目标数据与获取该目标数据的业务相关。比如,一项业务是统计成绩,则目标数据可以是xx学校一年级学生的成绩;一项业务是统计升学率,则目标数据可以是xx学校的升学率;一项业务是统计营业额,则目标数据可以是xx店铺的一个月的营业额。
业务标识是用于唯一标识一项业务的标识。业务标识可以在生成该业务时分配,本实施例不作限定。
查询参数是用于在数据源中查询目标数据的参数。仍然以该业务是统计成绩为例,若查询参数是一年级,则查询得到的目标数据是一年级学生的成绩;若查询参数是二年级,则查询得到的目标数据是二年级学生的成绩。
在一种可能的实现方式中,用户在某个应用或网页提供的查询入口触发了查询操作,终端根据该查询操作确定业务的业务标识和查询参数,生成包括该业务标识和查询参数的查询请求,并将该查询请求发送给服务器,服务器接收到该查询请求。
在另一种可能的实现方式中,查询设备定时触发查询操作,且该查询设备根据该查询操作确定业务的业务标识和查询参数,生成包括该业务标识和查询参数的查询请求,并将该查询请求发送给服务器,服务器接收到该查询请求。这里所说的查询设备可以是终端,也可以是服务器,本实施例不作限定。
在步骤202中,从服务器中预存的配置信息库中获取与该业务对应的配置信息,该配置信息用于指示提供目标数据的数据源以及该数据源的连接配置。
本实施例中,数据源用于提供数据。在第一种实现方式中,数据源为存储有目标数据的一个数据存储系统。这里所说的数据存储系统可以是诸如Mysql、Oracle、Sqlserver之类的关系型数据库,也可以是诸如Hive、Kudu、Kylin之类的分布式文件存储系统,还可以是诸如Elastic Search之类的企业级搜索引擎,还可以是其他用于存储数据的数据存储系统,本实施例不作限定。在第二种实现方式中,数据源为一项服务,该服务用于从存储有目标数据的一个数据存储系统中查询并提供目标数据。本实施例中的数据源基本覆盖了现有的各种存储介质。其中,服务可以是JAR包服务。JAR是Java Archive的缩写,是一种软件包文件格式,通常用于聚合大量的Java文件、相关的元数据和资源(文本、图片等)文件到一个文件,以便分发到Java平台应用或库。
当数据源是一项服务时,服务器只需要调用该服务提供的接口即可查询得到目标数据,而不需要关心服务与数据存储系统之间的交互,可以简化数据查询的操作。除此之外,服务还可以设置有个性化处理逻辑,此时,服务在从数据存储系统中得到数据后,还需要按照个性化处理逻辑对该数据进行个性化处理,得到目标数据。由于目标数据是服务对数据进行个性化处理得到的,这样,服务器可以直接得到个性化处理后的目标数据,可以节省对该数据的处理操作;服务可以对数据进行个性化处理,使得数据查询系统可以适用于更多的查询场景。另外,本实施例中可以将异构数据源容纳在一套数据查询系统中,实现了不同数据源的透明化查询,丰富了查询场景。
通常,在查询目标数据时,服务器需要先确定提供该目标数据的数据源,再获取与该数据源的连接配置,根据该连接配置与该数据源建立连接,之后再从该数据源中查询目标数据。
相关技术中,查询请求中携带有数据源参数和连接配置参数,服务器可以将该数据源参数所指示的数据源作为提供目标参数的数据源,再根据该连接配置参数所指示的连接配置与该数据源建立连接。然而,由于一项业务所需要查询的数据源通常是固定的,在数据源固定时,该数据源的连接配置也是固定的,所以,本实施例中可以预先配置与业务对应的数据源和该数据源的连接配置,这样,无需在查询请求中携带数据源参数和连接配置参数,而只需要在查询请求中携带业务标识,服务器即可根据该业务标识确定该业务对应的数据源和该数据源的连接配置,从而简化了查询请求。
比如,当业务是学校官网中的成绩查询业务时,该数据源是学校的数据存储系统中的学生成绩表;或者,该数据源是学校的成绩查询服务。
由于不同的业务可能对应于不同的数据源,所以,服务器需要预先为不同的数据源设置不同的配置信息,并将配置信息和业务标识之间的对应关系存储到配置信息库中。这样,在服务器接收到查询后,可以在配置信息库中查找与该查询请求中的业务标识对应的配置信息。
在步骤203中,根据配置信息与该数据源建立连接。
在步骤204中,从该数据源中查询该查询参数所指示的目标数据。
由于数据源可以是数据存储系统,也可以是服务,下面针对这两种不同的数据源对查询过程进行介绍。
在第一种实现方式中,当数据源为数据存储系统时,从该数据源中查询该查询参数所指示的目标数据,包括:根据配置信息获取数据存储系统中数据表的维度信息和指标信息,该维度信息用于指示数据表中数据的维度,该指标信息用于指示根据数据表中的数据计算得到的指标,该数据表中存储有目标数据;根据该维度信息和该指标信息,将该查询参数转换为查询条件;从该数据表中查询满足该查询条件的目标数据。
数据存储系统中通常以表的形式存储数据,这里的表可以称为数据表。在创建数据表时,还可以设置数据表的维度信息,该维度信息用于指示数据的维度。简单来讲,维度信息用于表示数据的一种属性。比如,数据表为学生表,则维度信息可以姓名、性别、家乡、年龄、语文成绩、数学成绩、外语成绩等等。
可选的,还可以对相同维度或不同维度的数据进行计算,得到指标。比如,对数据表中所有学生的语文成绩进行均值运算,得到语文平均分的指标。又比如,对数据表中每个学生的语文成绩、数学成绩和外语成绩进行求和运算,得到总分的指标。
当数据源为数据存储系统时,配置信息不仅可以指示该数据存储系统中存储有目标数据的数据表,还可以指示该数据表的维度信息和指标信息,所以,服务器可以直接从该配置信息中获取该数据表的维度信息和指标信息。之后,服务器可以根据维度信息和指标信息,将查询参数转换为查询条件,再以该查询条件在数据表中进行查询,得到目标数据。
在根据维度信息和指标信息,将查询参数转换为查询条件时,可以依据不同的查询语言,将查询参数转换为查询条件。假设数据表为caton_data_info(id,model,version,caton_time,caton_count,date),且维度信息为model、version和date,指标信息1为sum(caton_time)、sum(caton_count),指标信息2为avg(caton_time)、sum(caton_count),则根据维度信息和指标信息1,将查询参数转换成的查询条件为select sum(caton_time),sum(caton_count),model,version from caton_data_info where model=?and version=?group by model version;根据维度信息和指标信息2,将查询参数转换成的查询条件为select avg(caton_time),sum(caton_count),model,version from caton_data_infowhere model=?and version=?group by model version。其中,sum()是指求和运算,avg()是指均值运算,查询参数可以是model和version的数值或能够表示数值的信息(例如不等式),查询条件中以“?”表示该数值。
需要说明的是,上述示例中以三个维度和两个指标为例进行了说明,在实现时,还可以选择其他数量的维度和指标,且维度和指标可以重复使用,本实施例不作限定。
本实施例中,服务器可以根据维度信息和指标信息,将查询参数转换为查询条件,尽可能的抽离了查询的共性,从而将查询请求与数据源、查询逻辑解耦。
在第二种实现方式中,当数据源为服务时,从该数据源中查询该查询参数所指示的目标数据,包括:根据配置信息获取数据存储系统中数据表的存储路径和服务中用于查询目标数据的方法名,该数据表中存储有目标数据;将该存储路径和该查询参数传递给该方法名;获取该方法名根据该存储路径和该查询参数查询得到的目标数据。
可选的,配置信息在指示该方法名时还可以指示该方法名的类名,本实施例不作限定。其中,类名用于指示类,该类是一种用户定义类型,其实质是一种数据类型,被实例化为对象后具有可操作性。方法名用于指示方法,而方法是相对于对象来说的,指一个对象的行为。
当数据源为服务时,由于服务可以由一段代码实现,所以,配置信息中不仅可以指示该数据存储系统中存储有目标数据的数据表的存储路径,还可以指示代码中用于实现数据查询的方法名,所以,服务器可以直接从该配置信息中获取该存储路径和方法名,再将该存储路径和查询请求中的查询参数传递给该方法名,由该方法名根据该存储路径查找到该数据表,再从该数据表中查询该查询参数所指示的目标数据。
如步骤202中所述,服务可以直接将查询到的数据作为目标数据提供给服务器,或者,服务可以对查询到的数据进行个性化处理,将个性化处理后的数据作为目标数据提供给服务器。
在得到目标数据后,服务器可以直接将该目标数据提供给业务,由该业务对该目标数据进行处理,再按照该业务对应的数据格式对处理后的目标数据进行格式转换后显示;或者,服务器可以按照业务对应的数据格式对该目标数据进行格式转换后提供给业务,由该业务对该格式转换后的目标数据进行处理后显示,即在步骤204之后不执行步骤205,直接执行步骤206;或者,服务器可以先对该目标数据进行处理,再按照业务对应的数据格式对该目标数据进行格式转换后提供给业务,由该业务对该格式转换后的目标数据进行显示,即在步骤204之后执行步骤205和206。
在步骤205中,获取与业务对应的处理链路,该处理链路中包括至少一个子链路,且该子链路用于指示一种数据处理逻辑;利用该处理链路对该目标数据进行处理。
服务器可以预先设置至少一个子链路,每个子链路用于指示一种数据处理逻辑。比如,子链路A指示过滤黑名单,子链路B指示数据校验,子链路C指示按照预定顺序排列数据等等,本实施例不作限定。
服务器还可以根据业务需求预先设置该业务对应的处理链路。比如,业务1的处理链路包括子链路A和子链路B,业务2的处理链路包括子链路B和子链路C等等。在一种可能的实现方式中,服务器可以在配置信息中存储业务标识和处理链路之间的对应关系,当然,该对应关系也可以存储在其他信息中,本实施例不作限定。
服务器可以根据业务标识确定该业务对应的处理链路,再利用该处理链路对该目标数据进行个性化处理。比如,业务2的处理链路包括子链路B和子链路C,则服务器先对该目标数据进行校验,在校验通过后再按照预定顺序排列目标数据。
本实施例中,服务器可以根据不同的业务设置不同的处理链路,为业务提供一层或多层的业务处理,而业务处理的子链路是可以动态设置和选择的,从而为个性化查询提供了施展空间。
在步骤206中,按照该业务对应的数据格式对该目标数据进行格式转换。
服务器可以根据业务标识确定该业务对应的数据格式,再对该目标数据进行格式转换,使得转换后的目标数据符合该数据格式。在一种可能的实现方式中,服务器可以在配置信息中存储业务标识和数据格式之间的对应关系,当然,该对应关系也可以存储在其他信息中,本实施例不作限定。
综上所述,本公开提供的数据查询方法,由于服务器中预存有与业务对应的配置信息,所以,只需要在查询请求中携带业务标识,即可根据该业务标识确定出业务,再根据该业务确定出配置信息,这样,服务器可以根据该配置信息确定数据源和该数据源的连接配置,而无需在查询请求中携带用于指示数据源的数据源参数和用于指示连接配置的连接配置参数,从而简化了查询请求。
当数据源是一项服务时,服务器只需要调用该服务提供的接口即可查询得到目标数据,而不需要关心服务与数据存储系统之间的交互,可以简化数据查询的操作。除此之外,服务还可以设置有个性化处理逻辑,此时,服务在从数据存储系统中得到数据后,还需要按照个性化处理逻辑对该数据进行个性化处理,得到目标数据。由于目标数据是服务对数据进行个性化处理得到的,这样,服务器可以直接得到个性化处理后的目标数据,可以节省对该数据的处理操作;服务可以对数据进行个性化处理,使得数据查询系统可以适用于更多的查询场景。另外,本实施例中可以将异构数据源容纳在一套数据查询系统中,实现了不同数据源的透明化查询,丰富了查询场景。
服务器可以根据不同的业务设置不同的处理链路,为业务提供一层或多层的业务处理,而业务处理的子链路是可以动态设置和选择的,从而为个性化查询提供了施展空间。
图3是根据一示例性实施例示出的一种数据查询装置的框图,该数据查询装置应用于服务器中,如图3所示,该数据查询装置包括:获取模块310、连接模块320和查询模块330。
该获取模块310,被配置为获取查询请求,该查询请求中包括业务标识和目标数据的查询参数,该业务标识用于指示获取目标数据的业务;
该获取模块310,还被配置为从服务器中预存的配置信息库中获取与业务对应的配置信息,该配置信息用于指示提供目标数据的数据源以及该数据源的连接配置;
该连接模块320,被配置为根据获取模块310得到的配置信息与该数据源建立连接;
该查询模块330,被配置为从该数据源中查询该查询参数所指示的目标数据。
综上所述,本公开提供的数据查询装置,由于服务器中预存有与业务对应的配置信息,所以,只需要在查询请求中携带业务标识,即可根据该业务标识确定出业务,再根据该业务确定出配置信息,这样,服务器可以根据该配置信息确定数据源和该数据源的连接配置,而无需在查询请求中携带用于指示数据源的数据源参数和用于指示连接配置的连接配置参数,从而简化了查询请求。
图4是根据一示例性实施例示出的一种数据查询装置的框图,该数据查询装置应用于服务器中,如图4所示,该数据查询装置包括:获取模块410、连接模块420和查询模块430。
该获取模块410,被配置为获取查询请求,该查询请求中包括业务标识和目标数据的查询参数,该业务标识用于指示获取目标数据的业务;
该获取模块410,还被配置为从服务器中预存的配置信息库中获取与业务对应的配置信息,该配置信息用于指示提供目标数据的数据源以及该数据源的连接配置;
该连接模块420,被配置为根据获取模块410得到的配置信息与该数据源建立连接;
该查询模块430,被配置为从该数据源中查询该查询参数所指示的目标数据。
在一种可能的实现方式中,数据源为存储有目标数据的一个数据存储系统;或者,数据源为一项服务,服务用于从存储有目标数据的一个数据存储系统中查询并提供目标数据。
在一种可能的实现方式中,当数据源为数据存储系统时,该查询模块430,还被配置为:
根据配置信息获取数据存储系统中数据表的维度信息和指标信息,该维度信息用于指示数据表中数据的维度,该指标信息用于指示根据数据表中的数据计算得到的指标,该数据表中存储有目标数据;
根据该维度信息和该指标信息,将该查询参数转换为查询条件;
从该数据表中查询满足该查询条件的目标数据。
在一种可能的实现方式中,当数据源为服务时,该查询模块430,还被配置为:
根据配置信息获取数据存储系统中数据表的存储路径和服务中用于查询目标数据的方法名,该数据表中存储有目标数据;
将该存储路径和该查询参数传递给该方法名;
获取该方法名根据该存储路径和该查询参数查询得到的目标数据。
在一种可能的实现方式中,装置还包括:转换模块440;
该转换模块440,被配置为按照业务对应的数据格式对目标数据进行格式转换。
在一种可能的实现方式中,该获取模块410,还被配置为获取与业务对应的处理链路,该处理链路中包括至少一个子链路,且该子链路用于指示一种数据处理逻辑;
该装置还包括:处理模块450,被配置为利用获取模块410得到的处理链路对目标数据进行处理。
综上所述,本公开提供的数据查询装置,由于服务器中预存有与业务对应的配置信息,所以,只需要在查询请求中携带业务标识,即可根据该业务标识确定出业务,再根据该业务确定出配置信息,这样,服务器可以根据该配置信息确定数据源和该数据源的连接配置,而无需在查询请求中携带用于指示数据源的数据源参数和用于指示连接配置的连接配置参数,从而简化了查询请求。
当数据源是一项服务时,服务器只需要调用该服务提供的接口即可查询得到目标数据,而不需要关心服务与数据存储系统之间的交互,可以简化数据查询的操作。除此之外,服务还可以设置有个性化处理逻辑,此时,服务在从数据存储系统中得到数据后,还需要按照个性化处理逻辑对该数据进行个性化处理,得到目标数据。由于目标数据是服务对数据进行个性化处理得到的,这样,服务器可以直接得到个性化处理后的目标数据,可以节省对该数据的处理操作;服务可以对数据进行个性化处理,使得数据查询系统可以适用于更多的查询场景。另外,本实施例中可以将异构数据源容纳在一套数据查询系统中,实现了不同数据源的透明化查询,丰富了查询场景。
服务器可以根据不同的业务设置不同的处理链路,为业务提供一层或多层的业务处理,而业务处理的子链路是可以动态设置和选择的,从而为个性化查询提供了施展空间。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开一示例性实施例提供了一种数据查询装置,能够实现本公开提供的数据查询方法,该数据查询装置包括:处理器、用于存储处理器可执行指令的存储器;
其中,处理器被配置为:
获取查询请求,该查询请求中包括业务标识和目标数据的查询参数,该业务标识用于指示获取目标数据的业务;
从服务器中预存的配置信息库中获取与业务对应的配置信息,该配置信息用于指示提供目标数据的数据源以及该数据源的连接配置;
根据配置信息与该数据源建立连接;
从该数据源中查询该查询参数所指示的目标数据。
本公开一示例性实施例提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上所述的数据查询方法。
图5是根据一示例性实施例示出的一种用于数据查询的装置500的框图。例如,装置500可以被提供为一服务器。参照图5,装置500包括处理组件522,其进一步包括一个或多个处理器,以及由存储器532所代表的存储器资源,用于存储可由处理组件522的执行的指令,例如应用程序。存储器532中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件522被配置为执行指令,以执行上述数据查询方法。
装置500还可以包括一个电源组件526被配置为执行装置500的电源管理,一个有线或无线网络接口550被配置为将装置500连接到网络,和一个输入输出(I/O)接口558。装置500可以操作基于存储在存储器532的操作系统,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种数据查询方法,其特征在于,所述方法包括:
获取查询请求,所述查询请求中包括业务标识和目标数据的查询参数,所述业务标识用于指示获取所述目标数据的业务;
从服务器中预存的配置信息库中获取与所述业务对应的配置信息,所述配置信息用于指示提供所述目标数据的数据源以及所述数据源的连接配置;
根据所述配置信息与所述数据源建立连接;
从所述数据源中查询所述查询参数所指示的所述目标数据。
2.根据权利要求1所述的方法,其特征在于,
所述数据源为存储有所述目标数据的一个数据存储系统;或者,
所述数据源为一项服务,所述服务用于从存储有所述目标数据的一个数据存储系统中查询并提供所述目标数据。
3.根据权利要求2所述的方法,其特征在于,当所述数据源为所述数据存储系统时,所述从所述数据源中查询所述查询参数所指示的所述目标数据,包括:
根据所述配置信息获取所述数据存储系统中数据表的维度信息和指标信息,所述维度信息用于指示所述数据表中数据的维度,所述指标信息用于指示根据所述数据表中的数据计算得到的指标,所述数据表中存储有所述目标数据;
根据所述维度信息和所述指标信息,将所述查询参数转换为查询条件;
从所述数据表中查询满足所述查询条件的所述目标数据。
4.根据权利要求2所述的方法,其特征在于,当所述数据源为所述服务时,所述从所述数据源中查询所述查询参数所指示的所述目标数据,包括:
根据所述配置信息获取所述数据存储系统中数据表的存储路径和所述服务中用于查询所述目标数据的方法名,所述数据表中存储有所述目标数据;
将所述存储路径和所述查询参数传递给所述方法名;
获取所述方法名根据所述存储路径和所述查询参数查询得到的所述目标数据。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
按照所述业务对应的数据格式对所述目标数据进行格式转换。
6.根据权利要求1至5任一所述的方法,其特征在于,所述方法还包括:
获取与所述业务对应的处理链路,所述处理链路中包括至少一个子链路,且所述子链路用于指示一种数据处理逻辑;
利用所述处理链路对所述目标数据进行处理。
7.一种数据查询装置,其特征在于,所述装置包括:
获取模块,被配置为获取查询请求,所述查询请求中包括业务标识和目标数据的查询参数,所述业务标识用于指示获取所述目标数据的业务;
所述获取模块,还被配置为从服务器中预存的配置信息库中获取与所述业务对应的配置信息,所述配置信息用于指示提供所述目标数据的数据源以及所述数据源的连接配置;
连接模块,被配置为根据所述获取模块得到的所述配置信息与所述数据源建立连接;
查询模块,被配置为从所述数据源中查询所述查询参数所指示的所述目标数据。
8.根据权利要求7所述的装置,其特征在于,
所述数据源为存储有所述目标数据的一个数据存储系统;或者,
所述数据源为一项服务,所述服务用于从存储有所述目标数据的一个数据存储系统中查询并提供所述目标数据。
9.根据权利要求8所述的装置,其特征在于,当所述数据源为所述数据存储系统时,所述查询模块,还被配置为:
根据所述配置信息获取所述数据存储系统中数据表的维度信息和指标信息,所述维度信息用于指示所述数据表中数据的维度,所述指标信息用于指示根据所述数据表中的数据计算得到的指标,所述数据表中存储有所述目标数据;
根据所述维度信息和所述指标信息,将所述查询参数转换为查询条件;
从所述数据表中查询满足所述查询条件的所述目标数据。
10.根据权利要求8所述的装置,其特征在于,当所述数据源为所述服务时,所述查询模块,还被配置为:
根据所述配置信息获取所述数据存储系统中数据表的存储路径和所述服务中用于查询所述目标数据的方法名,所述数据表中存储有所述目标数据;
将所述存储路径和所述查询参数传递给所述方法名;
获取所述方法名根据所述存储路径和所述查询参数查询得到的所述目标数据。
11.根据权利要求7所述的装置,其特征在于,所述装置还包括:
转换模块,被配置为按照所述业务对应的数据格式对所述目标数据进行格式转换。
12.根据权利要求7至11任一所述的装置,其特征在于,
所述获取模块,还被配置为获取与所述业务对应的处理链路,所述处理链路中包括至少一个子链路,且所述子链路用于指示一种数据处理逻辑;
所述装置还包括:处理模块,被配置为利用所述获取模块得到的所述处理链路对所述目标数据进行处理。
13.一种数据查询装置,其特征在于,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取查询请求,所述查询请求中包括业务标识和目标数据的查询参数,所述业务标识用于指示获取所述目标数据的业务;
从服务器中预存的配置信息库中获取与所述业务对应的配置信息,所述配置信息用于指示提供所述目标数据的数据源以及所述数据源的连接配置;
根据所述配置信息与所述数据源建立连接;
从所述数据源中查询所述查询参数所指示的所述目标数据。
14.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现权利要求1至6任一所述的数据查询方法。
CN201811562988.5A 2018-12-20 2018-12-20 数据查询方法、装置及存储介质 Active CN109657128B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811562988.5A CN109657128B (zh) 2018-12-20 2018-12-20 数据查询方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811562988.5A CN109657128B (zh) 2018-12-20 2018-12-20 数据查询方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN109657128A true CN109657128A (zh) 2019-04-19
CN109657128B CN109657128B (zh) 2021-02-26

Family

ID=66115345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811562988.5A Active CN109657128B (zh) 2018-12-20 2018-12-20 数据查询方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN109657128B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633442A (zh) * 2019-08-19 2019-12-31 阿里巴巴集团控股有限公司 一种推送方法、装置及电子设备
CN111125092A (zh) * 2019-11-18 2020-05-08 贝壳技术有限公司 业务指标的查询方法及装置
CN111930770A (zh) * 2020-07-15 2020-11-13 北京金山云网络技术有限公司 数据查询方法、装置及电子设备
CN112418721A (zh) * 2020-12-08 2021-02-26 中国建设银行股份有限公司 指标确定方法和装置
CN112434189A (zh) * 2020-12-02 2021-03-02 新华三大数据技术有限公司 数据查询方法、装置及设备
CN113422796A (zh) * 2021-05-06 2021-09-21 北京沃东天骏信息技术有限公司 一种信息处理方法及装置、存储介质
CN114124891A (zh) * 2021-10-25 2022-03-01 青岛海尔科技有限公司 网络请求的处理方法和装置、存储介质及电子装置
CN114154026A (zh) * 2021-11-12 2022-03-08 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933115A (zh) * 2015-06-05 2015-09-23 北京京东尚科信息技术有限公司 一种多维分析方法和系统
CN107818127A (zh) * 2017-09-09 2018-03-20 国网浙江省电力公司 一种用于多源数据的查询方法及系统
CN108132987A (zh) * 2017-12-14 2018-06-08 浙江航天恒嘉数据科技有限公司 一种数据查询系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933115A (zh) * 2015-06-05 2015-09-23 北京京东尚科信息技术有限公司 一种多维分析方法和系统
CN107818127A (zh) * 2017-09-09 2018-03-20 国网浙江省电力公司 一种用于多源数据的查询方法及系统
CN108132987A (zh) * 2017-12-14 2018-06-08 浙江航天恒嘉数据科技有限公司 一种数据查询系统及方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633442A (zh) * 2019-08-19 2019-12-31 阿里巴巴集团控股有限公司 一种推送方法、装置及电子设备
CN111125092A (zh) * 2019-11-18 2020-05-08 贝壳技术有限公司 业务指标的查询方法及装置
CN111930770A (zh) * 2020-07-15 2020-11-13 北京金山云网络技术有限公司 数据查询方法、装置及电子设备
CN112434189A (zh) * 2020-12-02 2021-03-02 新华三大数据技术有限公司 数据查询方法、装置及设备
CN112418721A (zh) * 2020-12-08 2021-02-26 中国建设银行股份有限公司 指标确定方法和装置
CN113422796A (zh) * 2021-05-06 2021-09-21 北京沃东天骏信息技术有限公司 一种信息处理方法及装置、存储介质
CN114124891A (zh) * 2021-10-25 2022-03-01 青岛海尔科技有限公司 网络请求的处理方法和装置、存储介质及电子装置
CN114124891B (zh) * 2021-10-25 2023-12-19 青岛海尔科技有限公司 网络请求的处理方法和装置、存储介质及电子装置
CN114154026A (zh) * 2021-11-12 2022-03-08 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN109657128B (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN109657128A (zh) 数据查询方法、装置及存储介质
US10824758B2 (en) System and method for managing enterprise data
US20220215124A1 (en) Specifying characteristics of a permissible query on an output of a data pipeline
US8630969B2 (en) Systems and methods for implementing business rules designed with cloud computing
US20160171505A1 (en) Extract, transform, and load (etl) processing
CN113434910A (zh) 一种业务数据上链方法及装置
CN109471857A (zh) 基于sql语句的数据修改方法、装置及存储介质
US20140173408A1 (en) Identity based automated form filling
CN104050225A (zh) 数据库模式映射中的视图变量
US9208194B2 (en) Expanding high level queries
US20230099501A1 (en) Masking shard operations in distributed database systems
CN111046640A (zh) 证明文件动态生成方法及装置
US20210286616A1 (en) Configuration-driven applications
US20240127379A1 (en) Generating actionable information from documents
US11783058B2 (en) Enhancing security in a content management system
CN116341007A (zh) 一种数据查询方法、系统、设备及存储介质
JP2008269515A (ja) パラメータによる画面レイアウト動的生成方法
US11546381B1 (en) Unified data security labeling framework
CN107463618B (zh) 一种索引创建方法和装置
CN113778950B (zh) 授信文件的获取方法、索引服务器、查询服务器和介质
CN111062676A (zh) 政务审批流程的实现方法及装置
WO2017072872A1 (ja) 業務プログラム生成支援システムおよび業務プログラム生成支援方法
WO2016131101A1 (en) A web platform for preparing project management documents
EP3674993A1 (en) Systems and methods for extending reasoning capability for data analytics in internet-of-things (iot) platform
CN110737662A (zh) 一种数据分析方法、装置、服务器及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant