CN108664613B

CN108664613B - 数据查询方法、装置、计算机设备及存储介质

Info

Publication number: CN108664613B
Application number: CN201810451102.3A
Authority: CN
Inventors: 袁浩
Original assignee: Ping An Life Insurance Company of China Ltd
Current assignee: Ping An Life Insurance Company of China Ltd
Priority date: 2018-05-11
Filing date: 2018-05-11
Publication date: 2022-04-01
Anticipated expiration: 2038-05-11
Also published as: CN108664613A

Abstract

本申请公开了一种数据查询方法、装置、计算机设备及存储介质，其中方法包括：接收客户端发送的资源数据查询请求；解析资源数据查询请求中的查询地址信息以获取资源数据对应的数据表名；根据数据表名判断资源数据是否存储在预设数据库中；若资源数据存储在预设数据库，根据查询地址信息通过第一预设查询规则查询预设数据库以获取资源数据；若资源数据未存储在预设数据库，根据查询地址信息通过第二预设查询规则查询其对应的数据库以获取资源数据；以及发送资源数据至客户端。该方法可提高了数据查询速度，进而加快了客户端的响应速度。

Description

数据查询方法、装置、计算机设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据查询方法、装置、计算机设备及存储介质。

背景技术

目前，互联网中很多应用多使用传统的MySQL或Oracle数据库，比如Web项目等，随着互联网的发展，数据的量级越来越大，对于大数据通常使用大数据库进行存储，比如Hive数据库或Alluxio数据库等。而数据库的查询往往基于结构化查询语言(StructuredQueryLanguage，简称SQL)语句来实现的。每次查询时需将SQL语句和查询参数传递到数据库服务器，数据库服务器解析SQL语句后，从磁盘中加载数据进行查询处理，然后返回查询结果。当查询的数据量级较大时，这样的查询方式速度较慢，进而影响用户使用体验。因此，有必要提供一种数据查询方法以解决上述问题。

发明内容

本申请提供了一种数据查询方法、装置、计算机设备及存储介质，旨在提供一种数据查询方法以提高客户端数据查询的响应速度。

第一方面，本申请提供了一种数据查询方法，其包括：

接收客户端发送的资源数据查询请求，其中所述资源数据查询请求包括用于查询所述资源数据的查询地址信息；

解析所述查询地址信息以获取所述资源数据对应的数据表名；

根据所述数据表名判断所述资源数据是否存储在预设数据库中；

若所述资源数据存储在所述预设数据库，根据所述查询地址信息通过第一预设查询规则查询所述预设数据库并获取所述资源数据；

若所述资源数据未存储在所述预设数据库，根据所述查询地址信息通过第二预设查询规则查询所述第二预设查询规则对应的数据库并获取所述资源数据；以及

发送所述资源数据至所述客户端。

第二方面，本申请提供了一种数据查询装置，其包括：

请求接收单元，用于接收客户端发送的资源数据查询请求，其中所述资源数据查询请求包括用于查询所述资源数据的查询地址信息；

解析获取单元，用于解析所述查询地址信息以获取所述资源数据对应的数据表名；

存储判断单元，用于根据所述数据表名判断所述资源数据是否存储在预设数据库中；

第一查询单元，用于若所述资源数据存储在所述预设数据库，根据所述查询地址信息通过第一预设查询规则查询所述预设数据库并获取所述资源数据；

第二查询单元，用于若所述资源数据未存储在所述预设数据库，根据所述查询地址信息通过第二预设查询规则查询所述第二预设查询规则对应的数据库并获取所述资源数据；以及

数据发送单元，用于发送所述资源数据至所述客户端。

第三方面，本申请还提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请提供的任意一项所述的数据查询方法。

第四方面，本申请还提供了一种存储介质，其中所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行本申请提供的任意一项所述的数据查询方法。

本申请实施例通过接收客户端发送的资源数据查询请求；解析所述资源数据查询请求中的查询地址信息以获取所述资源数据对应的数据表名；根据所述数据表名判断所述资源数据是否存储在预设数据库中；根据判断结果选择不同的不同的查询规则进行查询以获取所述资源数据，因此提高了查询速度，进而加快了客户端的响应速度，由此提高了用户的体验度。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的一种数据查询方法的示意流程图；

图2是图1中数据查询方法的子步骤示意流程图；

图3是图1中数据查询方法的子步骤示意流程图；

图4是图1中数据查询方法的子步骤示意流程图；

图5是本申请一实施例提供的一种数据查询装置的示意性框图；

图6是本申请一实施例提供的一种计算机设备的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

本申请实施例提供了一种数据查询方法、装置、计算机设备和存储介质。

请参阅图1，图1是本申请一实施例提供的一种数据查询方法的示意流程图。如图1所示，该数据查询方法包括步骤S101～S106。

S101、接收客户端发送的资源数据查询请求，其中所述资源数据查询请求包括用于查询所述资源数据的查询地址信息。

在本实施例中，客户端为安装在终端的应用程序，包括移动应用和网页应用等，比如浏览器和QQ等。当用户使用客户端时会通过客户端发起资源数据查询请求，该所述资源数据查询请求包括用于查询资源数据的查询地址信息，用于相应的资源数据。

其中，资源数据一般是存储在MySQL或Oracle数据库中，但是随着大数据的发展，很多量级较大的资源数据是需要存储在大数据库中，所述大数据包括Hive数据库或Alluxio数据库等。

S102、解析所述查询地址信息以获取所述资源数据对应的数据表名。

在本实施例中，该查询地址信息包括URL(UniformResourceLocator，统一资源定位符)地址和查询参数等，该查询地址信息，比如：www.lt51.cn？SQL＝select*fromtable1，URL地址为www.lt51.cn用于调用接口，查询参数包括所要查询的资源数据对应的数据表名，该数据表名为table1，即所要查询的资源数据，该数据表名对应的资源数据可能存储在大数据库中，也可能存储在传统的数据库中。

具体地，所述解析所述查询地址信息以获取所述资源数据对应的数据表名，包括：根据相应的关键字解析所述查询地址信息以获取所述资源数据对应的数据表名，即是按照查询地址信息的格式进行解析，比如通过关键字from，可以解析出数据表名table1。

此外，如图2所示，所述解析所述查询地址信息以获取所述资源数据对应的数据表名，还包括：S1021、判断所述查询地址信息中是否包括与所述数据表名相关的关联表；S1022、若所述查询地址信息中包括与所述数据表名相关的关联表，拆分出所述关联表并获取所述关联表的数据表名。

具体地，由于查询地址信息所要查询的资源数据对应的数据表还可能包括关联表，该关联表同样会影响查询速度以及响应效率。因此需要对该该关联表进行拆分，并获取拆分出来的关联表的数据表名。具体地，拆分方法是根据关联表对应的关键字进行拆分以获取关联表的表名，比如关键字Join。判断所述查询地址信息中是否包括与所述数据表名相关的关联表，可以根据与关联表相关的关键字判断，也可以采用GeneralSQLParser工具判断来解析，可以获得关联表的数据表名。

S103、根据所述数据表名判断所述资源数据是否存储在预设数据库中。

在本实施例中，具体可通过预先存储在服务器中的预设数据表来判断所述资源数据是否存储在预设数据库中，该预设数据表记录有大数据库中存储的资源数据对应的数据表名，如果该预设数据表中存在该需要查询的数据表名，则可以判定所述资源数据是否存储在预设数据库中。

基于此，如图3所示，步骤S103包括：子步骤S103a至S103c。其中，S103a、获取预设数据表，其中所述预设数据表包括多个存储在所述预设数据库中的资源数据对应的数据表名；S103b、判断所述预设数据表是否存在所述数据表名；S103c、若所述预设数据表存在所述数据表名，判定所述资源数据存储在所述预设数据库中。

具体地，所述预设数据表为预设设置的记录表，可以存储在传统的数据库中，也可以存储在服务器的内存，该预设数据表记录有多个存储在所述预设数据库中的资源数据对应的数据表名。比如存储在Hive数据库的资源数据对应数据表名均记录在该预设数据表中，通过该预设数据记录表可以判断需要查询的资源数据是否存储在Hive数据库中。

具体地，根据所述数据表名判断所述资源数据是否存储在预设数据库中，并产生两种不同的判断结果，根据不同的判断结果选用不同的查询规则进行数据查询，由此提高了查询速度。

S104、若所述资源数据存储在所述预设数据库，根据所述查询地址信息通过第一预设查询规则查询所述预设数据库并获取所述资源数据。

在本实施例中，若所述资源数据存储在所述预设数据库，根据所述查询地址信息通过第一预设查询规则查询所述预设数据库以获取所述资源数据。

因为所述预设数据库为大数据库(比如Hive数据库或Alluxio数据库)，如果所述资源数据存储在所述预设数据库，则说明该资源数据的数量级较大，因此，根据所述查询地址信息通过第一预设查询规则查询所述预设数据库以获取所述资源数据。

在一实施例中，所述根据所述查询地址信息通过第一预设查询规则查询所述预设数据库以获取所述资源数据，具体包括：根据所述查询地址信息，通过调用预先配置的Spark计算引擎查询所述预设数据库以获取所述资源数据。

其中，预先配置的Spark计算引擎对应相应的配置过程，该配置过程为：创建Web项目，引入Spark和Springboot(Web框架，用于提供请求响应服务)的jar包(程序包)。在启动Web服务时创建好用于计算的SQLContext对象，并封装在一个类中，通过Spring的Controller层继承这个类，由此完成该Spark计算引擎的预先配置。在每次有资源数据查询请求进来，SQLContext对象会调用SQL方法，传入请求的SQL进行计算进而启动该预先配置的Spark计算引擎查询所述预设数据库。

由于通过预先配置的Spark计算引擎查询所述预设数据库无法根据资源数据的数据表名进行查询。基于此，如图4所示，所述通过调用预先配置的Spark计算引擎查询所述预设数据库以获取所述资源数据，包括：S104a、在所述预先配置的Spark计算引擎中注册与所述数据表名相关的临时表；S104b、根据所述临时表通过所述Spark计算引擎获取所述数据表名对应的资源数据。

具体地，由于查询数据是根据资源数据的数据表名进行查询的，但是Spark无法直接根据数据表名将资源数据从Hive数据库中取出数据，因此在本实施例中通过建立与该数据表名相关的临时表，由Spark识别该临时表将相应的资源数据取出。

S105、根据所述查询地址信息通过第二预设查询规则查询所述第二预设查询规则对应的数据库并获取所述资源数据。

在本实施例中，若所述资源数据未存储在所述预设数据库，根据所述查询地址信息通过第二预设查询规则查询所述第二预设查询规则对应的数据库并获取所述资源数据，其中，所述第二预设查询规则对应的数据库为传统的数据库，比如MySQL或Oracle数据库，对应的数据查询方式，比如SQL语句查询，传统数据库是针对数量级较小的资源数据。

S106、发送所述资源数据至所述客户端。

在本实施例中，所述发送所述资源数据至所述客户端，包括：将所述资源数据转换成Json格式数据发送至所述客户端。具体是将从数据库中读取出来的资源数据进行相应的格式发送至客户端，由客户端展现给所述客户端对应的用户。比如，针对Web项目，将所述资源数据转换成Json格式数据发送至所述客户端，以便客户端将该资源数据快速展示给使用该客户端的用户。

上述实施例的方法在接收客户端发送的资源数据查询请求时，根据所述查询请求中的查询地址信息判断需要查询的资源数据是否存储在预设数据库中；若存储在数据库中则间接说明该需要查询的资源数据为数量级较大的数据，由此通过预设的查询规则进行查询，如通过Spark计算引擎进行查询；若未存储在数据库中则间接说明该需要查询的资源数据为数量级较小的数据，由此通过现有查询方式进行查询。

请参阅图5，图5是本申请实施例提供的一种数据查询装置的示意性框图。如图5所示，该数据查询装置400包括：请求接收单元401、解析获取单元402、存储判断单元403、第一查询单元404，第二查询单元405和数据发送单元406。

请求接收单元401，用于接收客户端发送的资源数据查询请求，其中所述资源数据查询请求包括用于查询所述资源数据的查询地址信息。

解析获取单元402，用于解析所述查询地址信息以获取所述资源数据对应的数据表名。

存储判断单元403，用于根据所述数据表名判断所述资源数据是否存储在预设数据库中。

具体地，存储判断单元403包括：数据表获取子单元4031、表名判断子单元4032和存储判定子单元4033，其中

数据表获取子单元4031，用于获取预设数据表，其中所述预设数据表包括多个存储在所述预设数据库中的资源数据对应的数据表名；

表名判断子单元4032，用于判断所述预设数据表是否存在所述数据表名；

存储判定子单元4033，用于若所述预设数据表存在所述数据表名，判定所述资源数据存储在所述预设数据库中。

第一查询单元404，用于若所述资源数据存储在所述预设数据库，根据所述查询地址信息通过第一预设查询规则查询所述预设数据库并获取所述资源数据。具体用于：根据所述查询地址信息，通过调用预先配置的Spark计算引擎查询所述预设数据库并获取所述资源数据。

第二查询单元405，用于若所述资源数据未存储在所述预设数据库，根据所述查询地址信息通过第二预设查询规则查询所述第二预设查询规则对应的数据库并获取所述资源数据。

数据发送单元406，用于发送所述资源数据至所述客户端。其中，数据发送单元406具体用于将所述资源数据转换成Json格式数据发送至所述客户端。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的数据查询装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

上述装置可以实现为一种计算机程序的形式，计算机程序可以在如图6所示的计算机设备上运行。

请参阅图6，图6是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备700设备可以是终端或服务器。

参照图6，该计算机设备700包括通过系统总线710连接的处理器720、存储器和网络接口750，其中，存储器可以包括非易失性存储介质730和内存储器740。

该非易失性存储介质730可存储操作系统731和计算机程序732。该计算机程序732被执行时，可使得处理器720执行任意一种数据查询方法。

该处理器720用于提供计算和控制能力，支撑整个计算机设备700的运行。

该内存储器740为非易失性存储介质730中的计算机程序732的运行提供环境，该计算机程序732被处理器720执行时，可使得处理器720执行一种数据查询方法。

该网络接口750用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备700的限定，具体的计算机设备700可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。其中，所述处理器720用于运行存储在存储器中的程序代码，以实现以下步骤：

发送所述资源数据至所述客户端。

在一实施例中，所述处理器720用于运行存储在存储器中的程序代码以实现所述根据所述数据表名判断所述资源数据是否存储在预设数据库中时，还实现以下步骤：

获取预设数据表，其中所述预设数据表包括多个存储在所述预设数据库中的资源数据对应的数据表名；

判断所述预设数据表是否存在所述数据表名；

若所述预设数据表存在所述数据表名，判定所述资源数据存储在所述预设数据库中。

在一实施例中，所述处理器720用于运行存储在存储器中的程序代码以实现所述根据所述查询地址信息通过第一预设查询规则查询所述预设数据库以获取所述资源数据时，还实现以下步骤：

根据所述查询地址信息，通过调用预先配置的Spark计算引擎查询所述预设数据库并获取所述资源数据。

在一实施例中，所述处理器720用于运行存储在存储器中的程序代码以实现所述通过调用预先配置的Spark计算引擎查询所述预设数据库以获取所述资源数据时，还实现以下步骤：

在所述预先配置的Spark计算引擎中注册与所述数据表名相关的临时表；

根据所述临时表通过所述Spark计算引擎获取所述数据表名对应的资源数据。

在一实施例中，所述处理器720用于运行存储在存储器中的程序代码以实现所述发送所述资源数据至所述客户端时，还实现以下步骤：

将所述资源数据转换成Json格式数据发送至所述客户端。

应当理解，在本申请实施例中，处理器720可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器720还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域技术人员可以理解，图6中示出的计算机设备700结构并不构成对计算机设备700的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本领域普通技术人员可以理解的是实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。如本发明实施例中，该计算机程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述任意一种数据查询方法的实施例的流程步骤。

该计算机可读存储介质可以是磁碟、光盘、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的数据查询装置和方法，可以通过其它的方式实现。例如，以上所描述的数据查询装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本申请实施例装置中的单元可以根据实际需要进行合并、划分和删减。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims

1.一种数据查询方法，其特征在于，包括：

发送所述资源数据至所述客户端；

所述根据所述查询地址信息通过第一预设查询规则查询所述预设数据库并获取所述资源数据，包括：

根据所述查询地址信息，通过调用预先配置的Spark计算引擎查询所述预设数据库并获取所述资源数据；

所述通过调用预先配置的Spark计算引擎查询所述预设数据库并获取所述资源数据，包括：

根据所述临时表通过所述Spark计算引擎获取所述数据表名对应的资源数据；

所述解析所述查询地址信息以获取所述资源数据对应的数据表名，还包括：判断所述查询地址信息中是否包括与所述数据表名相关的关联表；若所述查询地址信息中包括与所述数据表名相关的关联表，拆分出所述关联表并获取所述关联表的数据表名。

2.根据权利要求1所述的数据查询方法，其特征在于，所述根据所述数据表名判断所述资源数据是否存储在预设数据库中，包括：

判断所述预设数据表是否存在所述数据表名；

3.根据权利要求1所述的数据查询方法，其特征在于，所述发送所述资源数据至所述客户端，包括：

将所述资源数据转换成Json格式数据发送至所述客户端。

4.一种数据查询装置，其特征在于，包括：

第一查询单元，用于若所述资源数据存储在所述预设数据库，根据所述查询地址信息通过第一预设查询规则查询所述预设数据库以获取所述资源数据；

数据发送单元，用于发送所述资源数据至所述客户端；

所述第一查询单元，具体用于：

所述解析获取单元，还用于判断所述查询地址信息中是否包括与所述数据表名相关的关联表；若所述查询地址信息中包括与所述数据表名相关的关联表，拆分出所述关联表并获取所述关联表的数据表名。

5.根据权利要求4所述的数据查询装置，其特征在于，所述存储判断单元包括：

数据表获取子单元，用于获取预设数据表，其中所述预设数据表包括多个存储在所述预设数据库中的资源数据对应的数据表名；

表名判断子单元，用于判断所述预设数据表是否存在所述数据表名；

存储判定子单元，用于若所述预设数据表存在所述数据表名，判定所述资源数据存储在所述预设数据库中。

6.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至3中任意一项所述的数据查询方法。

7.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1至3任意一项所述的数据查询方法。