CN109543079B - 数据查询方法、装置、计算设备及存储介质 - Google Patents

数据查询方法、装置、计算设备及存储介质 Download PDF

Info

Publication number
CN109543079B
CN109543079B CN201811425365.3A CN201811425365A CN109543079B CN 109543079 B CN109543079 B CN 109543079B CN 201811425365 A CN201811425365 A CN 201811425365A CN 109543079 B CN109543079 B CN 109543079B
Authority
CN
China
Prior art keywords
query
data
determining
result
cyclic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811425365.3A
Other languages
English (en)
Other versions
CN109543079A (zh
Inventor
张志远
王俊鸣
石志中
张俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruian Technology Co Ltd
Original Assignee
Beijing Ruian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruian Technology Co Ltd filed Critical Beijing Ruian Technology Co Ltd
Priority to CN201811425365.3A priority Critical patent/CN109543079B/zh
Publication of CN109543079A publication Critical patent/CN109543079A/zh
Application granted granted Critical
Publication of CN109543079B publication Critical patent/CN109543079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种数据查询方法、装置、计算设备及存储介质,该方法包括接收业务系统下发的数据查询请求;通过解析器对所述查询请求进行解析,确定所述数据查询请求对应的查询起始时间以及查询条数;根据所述查询起始时间确定对应的基础信息数据;确定当前查询周期的第一循环递增步长,依据所述第一循环递增步长在所述基础信息数据中确定第一查询数据集;在所述第一查询数据集中进行数据查询并返回第一查询结果,本方案减轻了机器负载,加快了数据查询速度,提高了查询响应效率。

Description

数据查询方法、装置、计算设备及存储介质
技术领域
本申请实施例涉及计算机技术,尤其涉及一种数据查询方法、装置、计算设备及存储介质。
背景技术
随着互联网、移动设备和云计算的快速崛起,全球的数据量大幅提升,各行各业均出现了大数据爆发趋势,数据达到TB级,甚至是PB级。在传统数据库无法满足大体量数据应用的前提下,诞生了很多NoSQL数据库,如HBase、MongeDB、Redis等,以及各类搜索引擎,如Solr、ElasticSearch、Lucene等。在各种各样的数据(结构化数据、非结构化数据、半结构化数据)之上构建一个大规模的应用系统。因此,这也给上层应用系统带来了具大的挑战,例如,上层应用系统需查询数据,在大量下发查询需求时,会造成资源浪费,从而引发服务器过载的风险,需要对现有的数据查询方式进行优化。
发明内容
本申请提供了一种数据查询方法、装置、计算设备及存储介质,减轻了机器负载,加快了数据查询速度,提高了查询响应效率。
第一方面,本申请实施例提供了一种数据查询方法,包括:
接收业务系统下发的数据查询请求;
通过解析器对所述查询请求进行解析,确定所述数据查询请求对应的查询起始时间以及查询条数;
根据所述查询起始时间确定对应的基础信息数据;
确定当前查询周期的第一循环递增步长,依据所述第一循环递增步长在所述基础信息数据中确定第一查询数据集;
在所述第一查询数据集中进行数据查询并返回第一查询结果。
第二方面,本申请实施例还提供了一种数据查询装置,包括:
查询请求接收模块,用于接收业务系统下发的数据查询请求;
查询参数确定模块,用于通过解析器对所述查询请求进行解析,确定所述数据查询请求对应的查询起始时间以及查询条数;
信息数据确定模块,用于根据所述查询起始时间确定对应的基础信息数据;
数据集确定模块,用于确定当前查询周期的第一循环递增步长,依据所述第一循环递增步长在所述基础信息数据中确定第一查询数据集;
查询结果确定模块,用于在所述第一查询数据集中进行数据查询并返回第一查询结果。
第三方面,本申请实施例还提供了一种计算设备,包括:处理器、存储器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如本申请实施例所述的数据查询方法。
第四方面,本申请实施例还提供了一种包含计算设备可执行指令的存储介质,所述计算设备可执行指令在由计算设备处理器执行时用于执行本申请实施例所述的数据查询方法。
本方案中,接收业务系统下发的数据查询请求;通过解析器对所述查询请求进行解析,确定所述数据查询请求对应的查询起始时间以及查询条数;根据所述查询起始时间确定对应的基础信息数据;确定当前查询周期的第一循环递增步长,依据所述第一循环递增步长在所述基础信息数据中确定第一查询数据集;在所述第一查询数据集中进行数据查询并返回第一查询结果,减轻了机器负载,加快了数据查询速度,提高了查询响应效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请实施例提供的一种数据查询方法的流程图;
图2是本申请实施例提供的另一种数据查询方法的流程图;
图3是本申请实施例提供的另一种数据查询方法的流程图;
图4是本申请实施例提供的另一种数据查询方法的流程图;
图5是本申请实施例提供的另一种数据查询方法的流程图;
图6是本申请实施例提供的另一种数据查询方法的流程图;
图7是本申请实施例提供的一种数据查询装置的结构框图;
图8是本申请实施例提供的一种计算设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部结构。
图1是本申请实施例提供的一种数据查询方法的流程图,可适用于对进行数据查询,该方法可以由本申请实施例提供的计算设备来执行,该计算设备的数据查询装置可采用软件和/或硬件的方式实现,如图1所示,本实施例提供的具体方案如下:
步骤S101、接收业务系统下发的数据查询请求。
其中,业务系统指企业实现自身产品、服务功能的包含各个业务环节以及和其他合作伙伴进行交互的系统,业务系统可以实现对数据的查询以及得到相应的反馈结果的功能。业务系统可通过下发数据查询请求的方式以得到需要的查询结果。在一个实施例中,数据查询请求可以是查询固定时间(如半年内)、固定条数(如200条)的数据信息。
步骤S102、通过解析器对所述查询请求进行解析,确定所述数据查询请求对应的查询起始时间以及查询条数。
其中,通过对业务系统下发的数据查询请求进行解析以得到该查询请求对应的查询起始时间以及查询条数,示例性的,该查询起始时间可以是2018年10月22日,查询条数可以是200条。
步骤S103、根据所述查询起始时间确定对应的基础信息数据。
在一个实施例中,通过读取基础数据信息库以得到该查询时间内的基础信息数据,示例性的,查询起始时间假定为2018年10月22号,相应的,确定出的基础信息数据包括(以Solr表为例):
bcpdata2_201810_22,bcpdata2_201810_23,bcpdata2_201810_24,bcpdata2_201810_25,bcpdata2_201810_26,bcpdata1_201810_26,bcpdata1_201810_25,bcpdata1_201810_24,bcpdata1_201810_23,bcpdata1_201810_22,bcpdata3_201810_25,bcpdata3_201810_24,bcpdata3_201810_26,bcpdata3_201810_23,bcpdata3_201810_22,bcpdata9_201810_23,bcpdata9_201810_22,bcpdata9_201810_25,bcpdata9_201810_24,bcpdata9_201810_26,bcpdata6_201810_26,bcpdata6_201810_25,bcpdata6_201810_24,bcpdata6_201810_23,bcpdata6_201810_22。
步骤S104、确定当前查询周期的第一循环递增步长,依据所述第一循环递增步长在所述基础信息数据中确定第一查询数据集。
其中,循环递增步长用于指示当前轮次需要查询的表的数量。在一个实施例中,按照以2为底的指数作为确定循环递增步长的依据,当返回值大于预设值(如7)时,循环递增步长一直保持该预设值,如:1、2、4、7、7、7。
确定当前查询周期的第一循环递增步长,如确定出该查询轮次需要使用的循环递增步长即第一循环递增步长为1,则相应的,确定的第一查询数据集为基础信息数据中的第一张表,可选的,在确定基础信息数据后,对基础信息数据中的表按照时间先后顺序进行排序,时间最近的表排在最前面,并按照固定时间点进行划分(如14:00),示例性的,可以是如下形式:
2018-10-27 14:00:00,
2018-10-26 14:00:00,
2018-10-25 14:00:00,
2018-10-24 14:00:00,
2018-10-23 14:00:00,
2018-10-22 14:00:00,
2018-10-21 14:00:00,
2018-10-20 14:00:00,
2018-10-19 14:00:00,
2018-10-18 14:00:00,
2018-10-17 14:00:00,
2018-10-16 14:00:00。
示例性的,第一次进行查询时,选择26号14:00至27号14:00的数据进行查询,第二次查询时,选择24号14:00至26号14:00的数据进行查询。
步骤S105、在所述第一查询数据集中进行数据查询并返回第一查询结果。
示例性的,查询请求对应的查询内容可以是数据库中记录有数据的任意查询事件,如查询满足条件的交易记录,或者查询满足条件的图像采集记录等。
其中,第一查询结果为在确定出的第一查询数据集中查询到的满足条件的查询结果。
由上述内容可知,通过接收业务系统下发的数据查询请求,通过解析器对所述查询请求进行解析,确定所述数据查询请求对应的查询起始时间以及查询条数,根据所述查询起始时间确定对应的基础信息数据,确定当前查询周期的第一循环递增步长,依据所述第一循环递增步长在所述基础信息数据中确定第一查询数据集,在所述第一查询数据集中进行数据查询并返回第一查询结果,有效缓解了服务器负载,提高了数据查询性能。
图2是本申请实施例提供的另一种数据查询方法的流程图,可选的,在所述第一查询数据集中进行数据查询并返回第一查询结果之后,还包括:如果所述第一查询结果中的查询反馈条数小于所述查询条数,则确定第二循环递增步长,依据所述第二循环递增步长在所述基础信息数据中确定第二查询数据集,在所述第二查询数据集中进行数据查询返回第二查询结果。如图2所示,技术方案具体如下:
步骤S201、接收业务系统下发的数据查询请求。
步骤S202、通过解析器对所述查询请求进行解析,确定所述数据查询请求对应的查询起始时间以及查询条数。
步骤S203、根据所述查询起始时间确定对应的基础信息数据。
步骤S204、确定当前查询周期的第一循环递增步长,依据所述第一循环递增步长在所述基础信息数据中确定第一查询数据集。
步骤S205、在所述第一查询数据集中进行数据查询并返回第一查询结果。
步骤S206、如果所述第一查询结果中的查询反馈条数小于所述查询条数,则确定第二循环递增步长,依据所述第二循环递增步长在所述基础信息数据中确定第二查询数据集,在所述第二查询数据集中进行数据查询返回第二查询结果。
在一个实施例中,当第一查询结果中的查询反馈条数小于所述查询条数,继续进行第二轮查询,确定第二循环递增步长,依据所述第二循环递增步长在所述基础信息数据中确定第二查询数据集,在所述第二查询数据集中进行数据查询返回第二查询结果。示例性的,如果需要反馈的查询结果的条数为200条,第一查询结果中的条数为50条,则还需要进行第二轮的查询,其中,第二循环递增步长的确定过程为在第一循环递增步长确定时对应的指数加1作为第二循环递增步长的指数,以2为底该指数为2为底的指数进行运算,如第一循环递增步长对应的指数为1,则本轮的第二递增循环步长的指数为2,即2的二次方为4,此时确定的第二查询数据集中包含4张表,以此类推,可选的,最大循环递增步长设置为7,如果以2为底的指数运算结果大于7,则始终确定循环递增步长为7直到满足查询条数为止。
由上述可知,采用慢启动查询机制,减轻了服务器的负载,提高了查询性能。
图3是本申请实施例提供的另一种数据查询方法的流程图,可选的,在返回第二查询结果之后,还包括:如果所述第一查询结果和所述第二查询结果的查询反馈条数等于所述查询条数,则将所述第一查询结果和所述第二查询结果中的查询反馈数据进行拼接,否则继续执行数据查询。如图3所示,技术方案具体如下:
步骤S301、接收业务系统下发的数据查询请求。
步骤S302、通过解析器对所述查询请求进行解析,确定所述数据查询请求对应的查询起始时间以及查询条数。
步骤S303、根据所述查询起始时间确定对应的基础信息数据。
步骤S304、确定当前查询周期的第一循环递增步长,依据所述第一循环递增步长在所述基础信息数据中确定第一查询数据集。
步骤S305、在所述第一查询数据集中进行数据查询并返回第一查询结果。
步骤S306、如果所述第一查询结果中的查询反馈条数小于所述查询条数,则确定第二循环递增步长,依据所述第二循环递增步长在所述基础信息数据中确定第二查询数据集,在所述第二查询数据集中进行数据查询返回第二查询结果。
步骤S307、如果所述第一查询结果和所述第二查询结果的查询反馈条数等于所述查询条数,则将所述第一查询结果和所述第二查询结果中的查询反馈数据进行拼接,否则继续执行数据查询。
在一个实施例中,将第一查询结果和第二查询结果作为同一个查询结果集进行反馈,以最终得到符合数据查询请求的查询结果内容,如果第一查询结果和第二查询结果的查询反馈条数之后小于查询请求中的查询条数,则继续执行查询过程。
图4是本申请实施例提供的另一种数据查询方法的流程图,可选的,在所述第一查询数据集中进行数据查询并返回第一查询结果包括:如果在所述第一查询数据集中存在连续N天的数据表中不存在查询结果,则终止查询,其中N为大于或等于1的正整数。如图4所示,技术方案具体如下:
步骤S401、接收业务系统下发的数据查询请求。
步骤S402、通过解析器对所述查询请求进行解析,确定所述数据查询请求对应的查询起始时间以及查询条数。
步骤S403、根据所述查询起始时间确定对应的基础信息数据。
步骤S404、确定当前查询周期的第一循环递增步长,依据所述第一循环递增步长在所述基础信息数据中确定第一查询数据集。
步骤S405、如果在所述第一查询数据集中存在连续N天的数据表中不存在查询结果,则终止查询。
在一个实施例中,查询机制可以是:如果在所述第一查询数据集中存在连续N天的数据表中不存在查询结果,则终止查询,其中N为大于或等于1的正整数。
由上述可知,如果确定出多天的数据表均未查询到查询结果,则及时未达到查询请求中的查询条数,也进行查询流程的终止,避免资源浪费,提高了查询效率。
图5是本申请实施例提供的另一种数据查询方法的流程图,可选的,如果所述第一查询结果中的查询反馈条数小于所述查询条数,则依据所述第一查询结果的数据稀疏值确定在所述基础信息数据中的第三查询数据集,并在所述第三查询数据集中进行数据查询返回第三查询结果。如图5所示,技术方案具体如下:
步骤S501、接收业务系统下发的数据查询请求。
步骤S502、通过解析器对所述查询请求进行解析,确定所述数据查询请求对应的查询起始时间以及查询条数。
步骤S503、根据所述查询起始时间确定对应的基础信息数据。
步骤S504、确定当前查询周期的第一循环递增步长,依据所述第一循环递增步长在所述基础信息数据中确定第一查询数据集。
步骤S505、在所述第一查询数据集中进行数据查询并返回第一查询结果。
步骤S506、如果所述第一查询结果中的查询反馈条数小于所述查询条数,则依据所述第一查询结果的数据稀疏值确定在所述基础信息数据中的第三查询数据集,并在所述第三查询数据集中进行数据查询返回第三查询结果。
在一个实施例中,数据稀疏值的确定方式可以是查询反馈条数可查询条数的比值,如果该比值大于25%(如查询条数为200条,查询反馈条数为50条,则数据稀疏值确定为25%),则查询所有表,即第三查询数据集为查询请求中查询起始时间之后的基础信息数据中的所有表。
由上述可知,通过一轮查询结果得到的数据稀疏值确定后续需要查询的数据表,在数据稀疏值比较稠密时(如大于25%),查询所有表,即依次进行数据查询,提高了数据查询效率。
图6是本申请实施例提供的另一种数据查询方法的流程图,可选的,所述确定第二循环递增步长包括:确定所述第一查询结果的数据稀疏值,如果所述数据稀疏值大于第一预设阈值且小于第二预设阈值,则确定第二循环递增步长。如图6所示,技术方案具体如下:
步骤S601、接收业务系统下发的数据查询请求。
步骤S602、通过解析器对所述查询请求进行解析,确定所述数据查询请求对应的查询起始时间以及查询条数。
步骤S603、根据所述查询起始时间确定对应的基础信息数据。
步骤S604、确定当前查询周期的第一循环递增步长,依据所述第一循环递增步长在所述基础信息数据中确定第一查询数据集。
步骤S605、在所述第一查询数据集中进行数据查询并返回第一查询结果。
步骤S606、如果所述第一查询结果中的查询反馈条数小于所述查询条数,则确定所述第一查询结果的数据稀疏值,如果所述数据稀疏值大于第一预设阈值且小于第二预设阈值,则确定第二循环递增步长。
其中,数据稀疏值的确定方式如前述步骤S505中描述,此处不再赘述。第一预设阈值可以是10%,第二预设阈值可以是25%。在一个实施例中,当确定出当前轮次的查询结果的数据稀疏值满足一定条件后,相应的进行第二循环递增步长的确定,如果数据稀疏值过大,则查询所有表,数据稀疏值过小,则终止查询。具体的,该实施例中第二循环递增步长的确定法方式可以是:根据已经查询出的查询反馈条数计算每天平均查询到的记录数,取值最小整数,并以此计算继续查询还需要的天数,得到的该天数向上取整数,将该结果确定为第二循环递增步长进行后续查询。
步骤S607、依据所述第二循环递增步长在所述基础信息数据中确定第二查询数据集,并在所述第二查询数据集中进行数据查询返回第二查询结果。
由上述可知,在进行数据查询过程中,根据一轮次的查询结果确定后续数据查询范围,避免了服务器负载过高,查询效率低下浪费查询资源的问题,显著提高了数据查询效率。
图7是本申请实施例提供的一种数据查询装置的结构框图,该装置用于执行上述实施例提供的数据查询方法,具备执行方法相应的功能模块和有益效果。如图7所示,该装置具体包括:查询请求接收模块101、查询参数确定模块102、信息数据确定模块103、数据集确定模块104和查询结果确定模块105,其中,
查询请求接收模块101,用于接收业务系统下发的数据查询请求;
查询参数确定模块102,用于通过解析器对所述查询请求进行解析,确定所述数据查询请求对应的查询起始时间以及查询条数;
信息数据确定模块103,用于根据所述查询起始时间确定对应的基础信息数据;
数据集确定模块104,用于确定当前查询周期的第一循环递增步长,依据所述第一循环递增步长在所述基础信息数据中确定第一查询数据集;
查询结果确定模块105,用于在所述第一查询数据集中进行数据查询并返回第一查询结果。
由上述内容可知,通过接收业务系统下发的数据查询请求,通过解析器对所述查询请求进行解析,确定所述数据查询请求对应的查询起始时间以及查询条数,根据所述查询起始时间确定对应的基础信息数据,确定当前查询周期的第一循环递增步长,依据所述第一循环递增步长在所述基础信息数据中确定第一查询数据集,在所述第一查询数据集中进行数据查询并返回第一查询结果,有效缓解了服务器负载,提高了数据查询性能。
在一个可能的实施例中,所述数据集确定模块104还用于:
在所述第一查询数据集中进行数据查询并返回第一查询结果之后,如果所述第一查询结果中的查询反馈条数小于所述查询条数,则确定第二循环递增步长,依据所述第二循环递增步长在所述基础信息数据中确定第二查询数据集,并在所述第二查询数据集中进行数据查询返回第二查询结果。
在一个可能的实施例中,所述查询结果确定模块105还用于:
在返回第二查询结果之后,如果所述第一查询结果和所述第二查询结果的查询反馈条数等于所述查询条数,则将所述第一查询结果和所述第二查询结果中的查询反馈数据进行拼接,否则继续执行数据查询。
在一个可能的实施例中,所述信息数据确定模块103具体用于:
对预设值进行指数运算,如果运算结果小于预设阈值,则将该运算结果确定为第二循环递增步长,如果运算结果大于或等于所述预设阈值,则将所述预设阈值确定为所述第二循环递增步长。
在一个可能的实施例中,所述信息数据确定模块103具体用于:
如果在所述第一查询数据集中存在连续N天的数据表中不存在查询结果,则终止查询,其中N为大于或等于1的正整数。
在一个可能的实施例中,所述信息数据确定模块103具体用于:如果所述第一查询结果中的查询反馈条数小于所述查询条数,则依据所述第一查询结果的数据稀疏值确定在所述基础信息数据中的第三查询数据集,并在所述第三查询数据集中进行数据查询返回第三查询结果。
在一个可能的实施例中,所述数据集确定模块102具体用于:
确定所述第一查询结果的数据稀疏值,如果所述数据稀疏值大于第一预设阈值且小于第二预设阈值,则确定第二循环递增步长。
本实施例在上述各实施例的基础上提供了一种计算设备,图8是本申请实施例提供的一种计算设备的结构示意图,如图8所示,该计算设备包括:存储器201、处理器(Central Processing Unit,CPU)202、外设接口203、其他输入/控制设备204,这些部件通过一个或多个通信总线或信号线205来通信。
应该理解的是,图示计算设备仅仅是计算设备的一个范例,并且计算设备可以具有比图中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
下面就本实施例提供的用于数据查询的计算设备进行详细的描述。
存储器201,所述存储器201可以被CPU202、外设接口203等访问,所述存储器201可以包括高速随机存取存储器,还可以包括非易失性存储器,例如一个或多个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
外设接口203,所述外设接口203可以将设备的输入和输出外设连接到CPU202和存储器201。
上述实施例中提供的计算设备的数据查询装置及计算设备可执行本申请任意实施例所提供的计算设备的数据查询方法,具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节,可参见本申请任意实施例所提供的计算设备的数据查询方法。
本申请实施例还提供一种包含计算设备可执行指令的存储介质,所述计算设备可执行指令在由计算设备处理器执行时用于执行一种数据查询方法,该方法包括:
接收业务系统下发的数据查询请求;
通过解析器对所述查询请求进行解析,确定所述数据查询请求对应的查询起始时间以及查询条数;
根据所述查询起始时间确定对应的基础信息数据;
确定当前查询周期的第一循环递增步长,依据所述第一循环递增步长在所述基础信息数据中确定第一查询数据集;
在所述第一查询数据集中进行数据查询并返回第一查询结果。
在一个可能的实施例中,在所述第一查询数据集中进行数据查询并返回第一查询结果之后,还包括:
如果所述第一查询结果中的查询反馈条数小于所述查询条数,则确定第二循环递增步长,依据所述第二循环递增步长在所述基础信息数据中确定第二查询数据集,并在所述第二查询数据集中进行数据查询返回第二查询结果。
在一个可能的实施例中,在返回第二查询结果之后,还包括:
如果所述第一查询结果和所述第二查询结果的查询反馈条数等于所述查询条数,则将所述第一查询结果和所述第二查询结果中的查询反馈数据进行拼接,否则继续执行数据查询。
在一个可能的实施例中,所述确定第二循环递增步长包括:
对预设值进行指数运算,如果运算结果小于预设阈值,则将该运算结果确定为第二循环递增步长,如果运算结果大于或等于所述预设阈值,则将所述预设阈值确定为所述第二循环递增步长。
在一个可能的实施例中,在所述第一查询数据集中进行数据查询并返回第一查询结果包括:
如果在所述第一查询数据集中存在连续N天的数据表中不存在查询结果,则终止查询,其中N为大于或等于1的正整数。
在一个可能的实施例中,如果所述第一查询结果中的查询反馈条数小于所述查询条数,则依据所述第一查询结果的数据稀疏值确定在所述基础信息数据中的第三查询数据集,并在所述第三查询数据集中进行数据查询返回第三查询结果。
在一个可能的实施例中,所述确定第二循环递增步长包括:
确定所述第一查询结果的数据稀疏值,如果所述数据稀疏值大于第一预设阈值且小于第二预设阈值,则确定第二循环递增步长。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括:安装介质,例如CD-ROM、软盘或磁带装置;计算机系统存储器或随机存取存储器,诸如DRAM、DDR RAM、SRAM、EDO RAM,兰巴斯(Rambus)RAM等;非易失性存储器,诸如闪存、磁介质(例如硬盘或光存储);寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外,存储介质可以位于程序在其中被执行的第一计算机系统中,或者可以位于不同的第二计算机系统中,第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的数据查询方法操作,还可以执行本申请任意实施例所提供的数据查询方法中的相关操作。
注意,上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由所附的权利要求范围决定。

Claims (9)

1.数据查询方法,其特征在于,包括:
接收业务系统下发的数据查询请求;
通过解析器对所述查询请求进行解析,确定所述数据查询请求对应的查询起始时间以及查询条数;
根据所述查询起始时间确定对应的基础信息数据;
确定当前查询周期的第一循环递增步长,依据所述第一循环递增步长在所述基础信息数据中确定第一查询数据集;
在所述第一查询数据集中进行数据查询并返回第一查询结果;
如果所述第一查询结果中的查询反馈条数小于所述查询条数,则确定第二循环递增步长,依据所述第二循环递增步长在所述基础信息数据中确定第二查询数据集,并在所述第二查询数据集中进行数据查询返回第二查询结果。
2.根据权利要求1所述的方法,其特征在于,在返回第二查询结果之后,还包括:
如果所述第一查询结果和所述第二查询结果的查询反馈条数等于所述查询条数,则将所述第一查询结果和所述第二查询结果中的查询反馈数据进行拼接,否则继续执行数据查询。
3.根据权利要求1所述的方法,其特征在于,所述确定第二循环递增步长包括:
对预设值进行指数运算,如果运算结果小于预设阈值,则将该运算结果确定为第二循环递增步长,如果运算结果大于或等于所述预设阈值,则将所述预设阈值确定为所述第二循环递增步长。
4.根据权利要求1所述的方法,其特征在于,在所述第一查询数据集中进行数据查询并返回第一查询结果包括:
如果在所述第一查询数据集中存在连续N天的数据表中不存在查询结果,则终止查询,其中N为大于或等于1的正整数。
5.根据权利要求1所述的方法,其特征在于,如果所述第一查询结果中的查询反馈条数小于所述查询条数,则依据所述第一查询结果的数据稀疏值确定在所述基础信息数据中的第三查询数据集,并在所述第三查询数据集中进行数据查询返回第三查询结果。
6.根据权利要求1所述的方法,其特征在于,所述确定第二循环递增步长包括:
确定所述第一查询结果的数据稀疏值,如果所述数据稀疏值大于第一预设阈值且小于第二预设阈值,则确定第二循环递增步长。
7.数据查询装置,其特征在于,包括:
查询请求接收模块,用于接收业务系统下发的数据查询请求;
查询参数确定模块,用于通过解析器对所述查询请求进行解析,确定所述数据查询请求对应的查询起始时间以及查询条数;
信息数据确定模块,用于根据所述查询起始时间确定对应的基础信息数据;
数据集确定模块,用于确定当前查询周期的第一循环递增步长,依据所述第一循环递增步长在所述基础信息数据中确定第一查询数据集;
查询结果确定模块,用于在所述第一查询数据集中进行数据查询并返回第一查询结果;
数据集确定模块,还用于如果所述第一查询结果中的查询反馈条数小于所述查询条数,则确定第二循环递增步长,依据所述第二循环递增步长在所述基础信息数据中确定第二查询数据集,并在所述第二查询数据集中进行数据查询返回第二查询结果。
8.一种计算设备,包括:处理器、存储器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-6中任一项所述的数据查询方法。
9.一种包含计算设备可执行指令的存储介质,其特征在于,所述计算设备可执行指令在由计算设备处理器执行时用于执行如权利要求1-6中任一项所述的数据查询方法。
CN201811425365.3A 2018-11-27 2018-11-27 数据查询方法、装置、计算设备及存储介质 Active CN109543079B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811425365.3A CN109543079B (zh) 2018-11-27 2018-11-27 数据查询方法、装置、计算设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811425365.3A CN109543079B (zh) 2018-11-27 2018-11-27 数据查询方法、装置、计算设备及存储介质

Publications (2)

Publication Number Publication Date
CN109543079A CN109543079A (zh) 2019-03-29
CN109543079B true CN109543079B (zh) 2021-02-02

Family

ID=65851209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811425365.3A Active CN109543079B (zh) 2018-11-27 2018-11-27 数据查询方法、装置、计算设备及存储介质

Country Status (1)

Country Link
CN (1) CN109543079B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110083627B (zh) * 2019-04-28 2021-08-24 江苏满运软件科技有限公司 数据处理方法、系统、计算机设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8468152B2 (en) * 2005-08-04 2013-06-18 International Business Machines Corporation Autonomic refresh of a materialized query table in a computer database
CN106407190B (zh) * 2015-07-27 2020-01-14 阿里巴巴集团控股有限公司 一种事件记录查询方法及装置
CN105302909B (zh) * 2015-11-06 2019-03-26 西安交大捷普网络科技有限公司 基于分区偏移计算的网络安全日志系统大数据检索方法
CN108009236B (zh) * 2017-11-29 2020-11-03 北京锐安科技有限公司 一种大数据查询方法、系统、计算机及存储介质

Also Published As

Publication number Publication date
CN109543079A (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
US8874600B2 (en) System and method for building a cloud aware massive data analytics solution background
CN107771334B (zh) 自动的数据库模式注释
CN111352902A (zh) 日志处理方法、装置、终端设备及存储介质
EP3039574A1 (en) Queries involving multiple databases and execution engines
CN103440288A (zh) 一种大数据存储方法及装置
US9600559B2 (en) Data processing for database aggregation operation
WO2023124217A1 (zh) 一种获取多列数据的综合排列数据的方法与设备
CN111435376A (zh) 信息处理方法及系统、计算机系统和计算机可读存储介质
CN111723161A (zh) 一种数据处理方法、装置及设备
CN108363741B (zh) 大数据统一接口方法、装置、设备及存储介质
US20160012042A1 (en) Converting Data Objects from Multi- to Single-Source Database Environment
CA3094727C (en) Transaction processing method and system, and server
CN113010542B (zh) 业务数据处理方法、装置、计算机设备及存储介质
CN109543079B (zh) 数据查询方法、装置、计算设备及存储介质
US20190258736A1 (en) Dynamic Execution of ETL Jobs Without Metadata Repository
WO2023197865A1 (zh) 一种信息存储方法及装置
CN109697234B (zh) 实体的多属性信息查询方法、装置、服务器和介质
CN109542912B (zh) 区间数据存储方法、装置、服务器及存储介质
CN114064729A (zh) 一种数据检索方法、装置、设备及存储介质
CN111159213A (zh) 一种数据查询方法、装置、系统和存储介质
CN115328950A (zh) 一种基于二级索引的hbase查询方法、终端设备及存储介质
CN113590623A (zh) 一种用于数据深分页查询的方法、装置及设备
CN113722296A (zh) 一种农业信息处理方法、装置、电子设备及存储介质
CN113360517A (zh) 数据处理方法、装置、电子设备及存储介质
CN111161047A (zh) 银行业务数据处理、查询方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant