CN114218471A - 数据查询方法、装置、系统、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种数据查询方法、装置、系统、电子设备及存储介质，该方法包括：响应于客户端的数据查询请求，在指定的存储系统中查找是否存在查询请求对应的数据结果；若存储系统中不存在查询请求对应的数据结果，在本地缓存服务器中查找是否存在查询请求对应的数据结果；若本地缓存服务器中不存在查询请求对应的数据结果，则将查询请求发送至Web服务器；通过Web服务器在数据库中获取查询请求对应的数据结果，并将数据结果发送至客户端。本申请的方法提高了系统的稳定性、容错性和安全性，提高系统面对高并发请求时的数据处理能力。

Description

数据查询方法、装置、系统、电子设备及存储介质

技术领域

本申请涉及互联网技术领域，具体涉及一种提升系统查询率的方法、装置、电子设备及存储介质。

背景技术

在互联网领域，无论是移动APP还是PC端，为了高效的数据访问，通常会尽量将请求在上层应用上进行过滤，从而保证系统的稳定性以及 QPS(Query Per Second，每秒查询率)。

在现有技术中，当接收到用户的请求，会将请求路由到后端应用，由后端服务器进行处理并返回结果数据，但是后端服务器的并发请求抗压能力较弱。当在需要接收处理大量并发请求时，例如网购时常见的商品秒杀活动，大量用户点击购买链接购买商品，后端应用会承载大量请求，这容易导致缓存击穿、服务不稳定、接口异常等现象，从而使得用户的体验感下降，造成新老用户的大量流失。

发明内容

本申请的目的在于提供一种数据查询方法、装置、系统、电子设备及存储介质，提升了系统的稳定性、容错性和安全性，提高系统面对高并发请求时的数据处理能力。

本申请实施例第一方面提供了一种数据查询方法，包括：

响应于客户端的数据查询请求，在指定的存储系统中查找是否存在所述查询请求对应的数据结果；

若所述存储系统中不存在所述查询请求对应的数据结果，在本地缓存服务器中查找是否存在所述查询请求对应的数据结果；

若所述本地缓存服务器中不存在所述查询请求对应的数据结果，则将所述查询请求发送至Web服务器；

通过所述Web服务器在数据库中获取所述查询请求对应的数据结果，并将所述数据结果发送至所述客户端。

于一实施例中，若所述存储系统中存在所述查询请求对应的数据结果，则返回所述数据结果至所述客户端。

于一实施例中，若所述本地缓存服务器中存在所述查询请求对应的数据结果，则返回所述数据结果至所述客户端。

于一实施例中，在所述响应于客户端的数据查询请求，在指定的存储系统中查找是否存在所述查询请求对应的数据结果之前，包括：

接收对所述数据库的操作数据；

将对数据库的操作数据缓存至所述存储系统以及所述本地缓存服务器中。

于一实施例中，所述操作数据包括对所述数据库的增删改操作数据。

于一实施例中，将所述查询请求的记录信息更新至本地缓存服务器以及所述存储系统。

本申请实施例第二方面提供了一种数据查询装置，所述装置包括：

响应模块，用于响应于客户端的数据查询请求，在指定的存储系统中查找是否存在所述查询请求对应的数据结果；

查找模块，用于若所述存储系统中不存在所述查询请求对应的数据结果，在本地缓存服务器中查找是否存在所述查询请求对应的数据结果；

发送模块，用于若所述本地缓存服务器中不存在所述查询请求对应的数据结果，则将所述查询请求发送至Web服务器；

结果返回模块，用于通过所述Web服务器在数据库中获取所述查询请求对应的数据结果，并将所述数据结果发送至所述客户端。

于一实施例中，响应模块还用于若所述存储系统中存在所述查询请求对应的数据结果，则返回所述数据结果至所述客户端。

于一实施例中，查找模块还用于若所述本地缓存服务器中存在所述查询请求对应的数据结果，则返回所述数据结果至所述客户端。

于一实施例中，还包括：

数据接收模块，用于接收对所述数据库的操作数据；

数据缓存模块，用于将对数据库的操作数据缓存至所述存储系统以及所述本地缓存服务器中。

于一实施例中，所述操作数据包括对所述数据库的增删改操作数据。

于一实施例中，还包括：

数据更新模块，用于将所述查询请求的记录信息更新至本地缓存服务器以及所述存储系统。

本申请实施例第三方面提供了一种数据查询系统，包括：

存储系统、本地缓存服务器、Web服务器和数据库，用于实现本申请第一方面所述的数据查询方法。

本申请第四方面提供了一种电子设备，包括：

处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行本申请第一方面所述的数据查询方法。

本申请第五方面提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成本申请第一方面所述的数据查询方法。

本申请提供的数据查询方法、装置、系统、电子设备及存储介质，在面对大量并发请求时，首先加载存储系统和本地缓存服务器中的缓存数据，若有命中则直接将处理结果返回给客户端，若未命中则通过Web服务器对请求进行处理并将结果返回给客户端，同时将Web服务器查询数据库的数据更新至Redis和Nginx。该方法有效避免了在面对高并发请求时，Tomcat 服务器难以承受大量请求的情况，极大提升了数据查询和处理的效率，提升用户体验。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的数据查询的应用场景示意图；

图2为本申请实施例提供的电子设备结构示意图；

图3为本申请实施例提供的数据查询方法的流程示意图；

图4为本申请另一实施例提供的数据查询方法的流程示意图；

图5为本申请实施例提供的数据查询装置的结构示意图。

具体实施方式

在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，并不表示排列序号，也不能理解为指示或暗示相对重要性。

在本申请的描述中，术语“包括”、“包含”等表示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、步骤、操作、元素、组件和/或其集合的存在或添加。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

下面将结合附图对本申请的技术方案进行清楚、完整地描述。

请参照图1，其为本申请实施例提供的数据查询的应用场景示意图，该应用场景包括客户端150和数据查询系统，其中数据查询系统可以包括存储系统110、本地缓存服务器120、Web服务器130和数据库140。

数据查询的应用场景包括数据查询系统以及客户端150。存储系统110 可以为Redis(Remote Dictionary Server，内存数据存储服务)110，Redis 是一个key-value(键-值)存储系统，支持存储多种value类型。本地缓存服务器120可以为Nginx(Engine x)120，是一种高性能的HTTP和反向代理服务器，也是IMAP/POP3/SMTP代理服务器，支持高并发请求并保持高效服务。Web服务器130可以为Tomcat服务器130，Tomcat是一个免费开放源代码的Web应用服务器，属于轻量级应用服务器。

本申请下述实施例提供的方法可以由客户端150执行，可以由存储系统110、本地缓存服务器120、Web服务器130和数据库140中的一个或多个执行，也可以由客户端150、存储系统110、本地缓存服务器120、 Web服务器130和数据库140共同参与执行。

互联网领域中，在面对大量并发请求的时候，例如商品秒杀活动，大量用户点击购买链接。用户的请求通常会直接路由到后端的Tomcat服务器，通过缓存去获取数据；若缓存未命中，将直接查询数据库，但是Tomcat 服务器的并发请求抗压能力较弱。如果要接受更多的并发应用，只能通过堆多台物理机器来承受更大的并发请求，这可能会导致后端服务不稳定，出现缓存击穿等情况。

本申请提出的数据查询系统还提供了存储系统110、本地缓存服务器 120，具体可以是在系统中运载一个包含了存储系统110、本地缓存服务器 120的集成Web应用。客户端150的请求首先会经过该集成Web应用，若客户端150的请求未命中存储系统110和本地缓存服务器120中的缓存，则将该请求路由至Web服务器130，Web服务器130查询数据库140并将结果返回给客户端150。

请参照图2，其为本申请实施例提供的电子设备200的结构示意图，该电子设备200可以用于执行本申请实施例提供的数据查询方法。电子设备200包括：至少一个处理器203、至少一个存储器202和总线201，总线101用于实现这些组件的连接通信。电子设备200可以是台式计算机、平板电脑、笔记本电脑、智能手机等或者是由多个计算机组成的大型计算机系统，用于执行数据查询方法。

存储器202可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，包括但不限于，随机存取存储器(Random Access Memory， RAM)，只读存储器(Read OnlyMemory，ROM)，静态随机存取存储器(Static Random Access Memory，SRAM)，可编程只读存储器 (Programmable Read-Only Memory，PROM)，可擦除只读存储器 (ErasableProgrammable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory， EEPROM)。

处理器203可以是通用处理器，包括但不限于中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等，还可以是数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器203也可以是任何常规的处理器等，处理器203是电子设备200的控制中心，利用各种接口和线路连接整个电子设备200的各个部分。处理器 203可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。

图2以一个处理器203和一个存储器202为例，处理器203和存储器 202通过总线201连接，存储器202存储有可被处理器203执行的指令，指令被处理器203执行，以使电子设备200可执行下述的实施例中方法的全部流程或部分流程，以实现数据查询方法。

请参照图3，其为本申请实施例提供的数据查询方法的流程示意图，该数据查询方法可由电子设备200执行，并可以应用于上述图1所示的数据查询的应用场景中，以应对高并发请求的情形。该方法包括S310-S340：

S310：响应于客户端的数据查询请求，在指定的存储系统中查找是否存在查询请求对应的数据结果。

系统中运载一个包含了存储系统110、本地缓存服务器120的集成 Web应用，存储系统110可以为Redis，本地缓存服务器120可以为Nginx，在存储系统和本地缓存服务器中预先存储了可能的查询请求数据。集成 Web应用中采用Lua集成第三方Redis模块，Lua脚本语言具有小巧轻量的特点，且Redis可基于内存读取数据，读写速度很快，因此运载的集成Web应用也是轻量级的，不会对系统造成负担。

数据查询请求可以是任何情形中的高并发请求，例如在秒杀商品时用户发起购买商品的请求操作，接收到客户端的请求操作后加载静态资源后，随后到达集成Web应用，加载存储系统Redis里的缓存数据，如果Redis 中存在查询请求对应的数据结果，那么将对请求进行处理并将数据结果返回给客户端。

S320：若存储系统中不存在查询请求对应的数据结果，在本地缓存服务器中查找是否存在查询请求对应的数据结果。

根据S310，由于Redis内的缓存数据有时间限制，部分缓存数据若不及时更新会过期，因此客户端的查询请求不一定能全部命中Redis。若请求未命中Redis，则将查询请求发送至本地缓存服务器Nginx并查询是否存在查询请求对应的数据结果。若本地缓存服务器Nginx中存在查询请求对应的数据结果，那么将数据结果返回给客户端。

经过S310和S320，本数据查询系统中的集成Web应用构成了两道缓存服务，查询请求的命中率高于70％，具体命中率根据实际情况还会有其他变化。

S330：若本地缓存服务器中不存在查询请求对应的数据结果，则将查询请求发送至Web服务器。

Web服务器为Tomcat服务器，其并发请求能力较弱，若不经过存储系统和本地缓存服务器直接将大量并发请求发至Tomcat服务器，可能会导致Tomcat服务器宕机，从而使得系统的稳定性不足。如果查询请求未命中本地缓存服务器Nginx，则将查询请求发送至Web服务器Tomcat。

S340：通过Web服务器在数据库中获取查询请求对应的数据结果，并将数据结果发送至客户端。

Web服务器Tomcat接收查询请求并处理该查询请求，查询数据库 Mysql获取对应的数据结果，将结果数据返回给客户端。另外，Web服务器Tomcat查询数据库后还会将记录信息更新至本地缓存服务器Nginx以及存储系统Redis。

上述数据查询方法，通过构建包含存储系统、本地缓存服务器、Web 服务器和数据库的数据查询系统，在面对大量并发请求时，首先加载Redis 和Nginx中的缓存数据，若有命中则直接将处理结果返回给客户端，若未命中则通过Tomcat对请求进行处理并将结果返回给客户端，同时将 Tomcat查询数据库的数据更新至Redis和Nginx。

该方法有效避免了在面对高并发请求时，Tomcat服务器难以承受大量请求的情况，并且由Redis和Nginx构成的轻量集成Web应用会动态更新缓存数据，极大提升了系统的稳定性和处理数据的效率，提高系统的QPS。

请参照图4，其为本申请另一实施例提供的数据查询方法的流程示意图，包括S410-S460：

S410：接收对数据库的操作数据。

S420：将对数据库的操作数据缓存至存储系统以及本地缓存服务器中。

当Tomcat接收到客户端对数据库的操作数据，其中操作数据包括对数据库的增删改，Mysql binglog是二级制日志文件，用于记录Mysql数据库的数据更新，包括对数据库的增加、更新、删除操作数据。Canal组件基于数据库增量日志解析，提供增量数据订阅与消费。Canal组件在本申请中主要用于采集Mysql的binglog数据，即数据库的增删改操作数据。

Canal-Spring服务底层系统架构包括采集单元、转换单元以及缓存单元。采集单元主要用于监听并接收Mysql binglog数据，转换单元主要用于将采集到的数据进行key-value(键-值)形式转换，缓存单元将经过形式转换的数据实时更新至存储系统Redis以及本地缓存服务器Nginx。

S430：响应于客户端的数据查询请求，在指定的存储系统中查找是否存在查询请求对应的数据结果。

S440：若存储系统中不存在查询请求对应的数据结果，在本地缓存服务器中查找是否存在查询请求对应的数据结果。

S450：若本地缓存服务器中不存在查询请求对应的数据结果，则将查询请求发送至Web服务器。

S460：通过Web服务器在数据库中获取查询请求对应的数据结果，并将数据结果发送至客户端。

S430-S460与上述实施例中S310-S340相似，详细参见上述实施例中的描述，在此不再赘述。

在本实施例中，可以将数据的增加、删除、更新请求的记录信息更新至本地缓存服务器以及存储系统，由于可以实时高效地更新，因此不会造成数据库中的数据与缓存中的数据记录不一致以及脏读的情况，能够保证数据查询的高效性与准确性。

请参照图5，其为本申请实施例提供的数据查询装置500的结构示意图，该装置可用于电子设备200，可应用于上述图1所示的数据查询的应用场景中，以实现对高并发请求的数据查询和处理。该装置500包括：响应模块510、查找模块520、发送模块530以及结果返回模块540，各个模块的原理关系如下：

响应模块510，用于响应于客户端的数据查询请求，在指定的存储系统中查找是否存在查询请求对应的数据结果。

查找模块520，用于若存储系统中不存在查询请求对应的数据结果，在本地缓存服务器中查找是否存在查询请求对应的数据结果。

发送模块530，用于若所述本地缓存服务器中不存在所述查询请求对应的数据结果，则将所述查询请求发送至Web服务器。

结果返回模块540，用于通过Web服务器在数据库中获取查询请求对应的数据结果，并将数据结果发送至客户端。

于一实施例中，响应模块510还用于若存储系统中存在查询请求对应的数据结果，则返回数据结果至客户端。

于一实施例中，查找模块520还用于若本地缓存服务器中存在查询请求对应的数据结果，则返回数据结果至客户端。

于一实施例中，装置500还包括：数据接收模块550和数据缓存模块 560。

数据接收模块550，用于接收对数据库的操作数据。

数据缓存模块560，用于将对数据库的操作数据缓存至存储系统以及本地缓存服务器中。

于一实施例中，操作数据包括对数据库的增删改操作数据。

于一实施例中，装置500还包括：数据更新模块570，用于将查询请求的记录信息更新至本地缓存服务器以及存储系统。

上述装置中各个模块的功能和作用的实现过程具体详见上述数据查询方法中对应步骤的实现过程，在此不再赘述。

在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本申请一实施例还提供了一种计算机可读存储存储介质，包括：程序，当其藉由电子设备200运行时，使得电子设备200可执行上述实施例中方法的全部或部分流程。其中，存储介质可为磁盘、光盘、只读存储记忆体 (Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等。存储介质还可以包括上述种类的存储器的组合。

功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据查询方法，其特征在于，包括：

响应于客户端的数据查询请求，在指定的存储系统中查找是否存在所述查询请求对应的数据结果；

若所述存储系统中不存在所述查询请求对应的数据结果，在本地缓存服务器中查找是否存在所述查询请求对应的数据结果；

若所述本地缓存服务器中不存在所述查询请求对应的数据结果，则将所述查询请求发送至Web服务器；

通过所述Web服务器在数据库中获取所述查询请求对应的数据结果，并将所述数据结果发送至所述客户端。

2.根据权利要求1所述的方法，其特征在于，还包括：

若所述存储系统中存在所述查询请求对应的数据结果，则返回所述数据结果至所述客户端。

3.根据权利要求1所述的方法，其特征在于，还包括：

若所述本地缓存服务器中存在所述查询请求对应的数据结果，则返回所述数据结果至所述客户端。

4.根据权利要求1所述的方法，其特征在于，在所述响应于客户端的数据查询请求，在指定的存储系统中查找是否存在所述查询请求对应的数据结果之前，包括：

接收对所述数据库的操作数据；

将对数据库的操作数据缓存至所述存储系统以及所述本地缓存服务器中。

5.根据权利要求4所述的方法，其特征在于，所述操作数据包括对所述数据库的增删改操作数据。

6.根据权利要求1所述的方法，其特征在于，还包括：

将所述查询请求的记录信息更新至本地缓存服务器以及所述存储系统。

7.一种数据查询装置，其特征在于，所述装置包括：

响应模块，用于响应于客户端的数据查询请求，在指定的存储系统中查找是否存在所述查询请求对应的数据结果；

查找模块，用于若所述存储系统中不存在所述查询请求对应的数据结果，在本地缓存服务器中查找是否存在所述查询请求对应的数据结果；

发送模块，用于若所述本地缓存服务器中不存在所述查询请求对应的数据结果，则将所述查询请求发送至Web服务器；

结果返回模块，用于通过所述Web服务器在数据库中获取所述查询请求对应的数据结果，并将所述数据结果发送至所述客户端。

8.一种数据查询系统，其特征在于，包括：

存储系统、本地缓存服务器、Web服务器和数据库，用于实现如权利要求1-6任意一项所述的方法。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-6任意一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成权利要求1-6任意一项所述的方法。

Images