CN113760952A - 数据查询方法及装置、存储介质、电子装置 - Google Patents

Abstract

本申请公开了一种数据查询方法及装置、存储介质、电子装置。该方法包括接收业务数据查询请求；将MySQL中的数据按照预设业务需求同步至预设搜索引擎；根据同步至所述预设搜索引擎的MySQL中的数据，返回业务数据查询结果。本申请解决了在后台管理系统中复杂、海量的数据查询响应效率较低的技术问题。通过本申请可实现对关系复杂且数量大的数据查询的快速响应。

Description

数据查询方法及装置、存储介质、电子装置

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据查询方法及装置、存储介质、电子装置。

背景技术

通常在使用后台管理系统的情况，都存在数据列表展示的场景。

对于普遍的场景可以使用关系数据库都Mysql进行数据查询后的数据列表展示。当业务数据量增大时，会导致关系结构的复杂性，当数据列表的数量级达到百万级，业务数据的查询响应速度会严重影响用户体验。

针对相关技术中在后台管理系统中复杂、海量的数据查询响应效率较低的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种数据查询方法及装置、存储介质、电子装置，以解决在后台管理系统中复杂、海量的数据查询响应效率较低的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种数据查询方法。

根据本申请的数据查询方法包括：接收业务数据查询请求；将MySQL中的数据按照预设业务需求同步至预设搜索引擎；根据同步至所述预设搜索引擎的MySQL中的数据，返回业务数据查询结果。

进一步地，所述将MySQL中的数据根据预设业务需求同步至预设搜索引擎，还包括：根据所述业务数据需求，确定出需求关系表。

进一步地，所述将MySQL中的数据根据预设业务需求同步至预设搜索引擎之前，还包括：确定所述业务数据查询请求是否有实时性的要求；如果确定所述业务数据查询请求有实时性的要求，则按照实时同步的方式同步至所述预设搜索引擎；如果确定所述业务数据查询请求没有实时性的要求，则按照定时循环同步的方式同步至所述预设搜索引擎。

进一步地，所述根据所述业务数据需求，确定出需求关系表，包括：收集与所述业务数据关联的关系表数据；获取所述业务数据查询筛选的条件以及执行所述业务数据查询筛选时的SQL语句。

进一步地，所述将MySQL中的数据根据预设业务需求同步至预设搜索引擎包括：在所述业务数据查询请求需要实时查询的情况下，进入实时同步处理的步骤；所述实时同步处理的步骤包括：解析得到所述MySQL中数据库增量日志BinLog；根据所述与所述业务数据关联的关系表数据，关联出对应增量映射队列关系Go-NSQ；基于所述BinLog和所述Go-NSQ，提供增量数据订阅和消费队列服务NSQ；根据执行所述业务数据查询筛选时的SQL语句，查询出增该量数据并写入预设搜索引擎。

进一步地，所述将MySQL中的数据根据预设业务需求同步至预设搜索引擎，包括：在所述业务数据查询请求需要实时查询的情况下，进入定时循环同步的步骤；所述定时循环同步的步骤包括：根据执行所述业务数据查询筛选时的SQL语句，得到创建时间和更新时间字段；根据所述创建时间和所述更新时间字段使用预设模板替换所述业务数据查询筛选时的SQL语句之后生成配置文件；通过所述预设搜索引擎周边插件logstash和所述配置文件，执行所述定时循环同步。

进一步地，所述根据同步至所述预设搜索引擎的MySQL中的数据，返回业务数据查询结果，包括：根据所述业务数据查询筛选的条件以及所述预设搜索引擎的客户端实例，建立对应的系统查询代理，并完成相应的业务数据查询列表。

为了实现上述目的，根据本申请的另一方面，提供了一种数据查询装置。

根据本申请的数据查询装置包括：接收模块，用于接收业务数据查询请求；同步模块，用于将MySQL中的数据按照预设业务需求同步至预设搜索引；查询模块，用于根据同步至所述预设搜索引擎的MySQL中的数据，返回业务数据查询结果。

为了实现上述目的，根据本申请的又一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述方法。

为了实现上述目的，根据本申请的再一方面，提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述的方法。

在本申请实施例中数据查询方法及装置、存储介质、电子装置，采用接收业务数据查询请求的方式，通过将MySQL中的数据按照预设业务需求同步至预设搜索引擎，达到了根据同步至所述预设搜索引擎的MySQL中的数据，返回业务数据查询结果的目的，从而实现了对关系复杂且数量大的数据查询可快速响应的技术效果，进而解决了在后台管理系统中复杂、海量的数据查询响应效率较低的技术问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的数据查询方法的系统架构示意图；

图2是根据本申请实施例的数据查询方法流程示意图；

图3是根据本申请实施例的数据查询装置结构示意图；

图4是根据本申请实施例的数据查询方法的实现原理示意图；

图5是根据本申请优选实施例的数据查询方法流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

发明人研究时发现，当数据列表的数量级达到百万级，对于业务数据的查询响应速度会严重影响用户体验。相关技术中的方案是，虽然能在一定程度上解决百万级查询的速度问题，但是对于关系比较复杂的列表效果仍然不佳，尤其是达到千万级别的数据量时。此外，还无法支持JOIN语句。

在本申请的实施例中想要解决关系复杂数据量大查询慢的问题。

Elasticsearch，是一个分布式的免费开源搜索和分析引擎，适用于包括文本、数字、地理空间、结构化和非结构化数据等在内的所有类型的数据。

在本申请的实施例中可以通过采用搜索引擎(ES)解决关系复杂数据量大查询慢的问题，从而实现将MySQL的数据按照需求同步到ES搜索引擎中。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如图1所示，本申请实施例中的系统架构包括：用户端100、服务器端200、SQL数据库300、搜索引擎400。所述用户端100用于向所述服务器端200发出数据查询请求。所述SQL数据库300中的业务数据需要根据所述用户端100的查询请求向所述搜索引擎400进行同步。最后通过所述搜索引擎400返回查询结果。

如图2所示，该方法包括如下的步骤S201至步骤S203：

步骤S201，接收业务数据查询请求；

步骤S202，将MySQL中的数据按照预设业务需求同步至预设搜索引擎；

步骤S203，根据同步至所述预设搜索引擎的MySQL中的数据，返回业务数据查询结果。

从以上的描述中，可以看出，本申请实现了如下技术效果：

采用接收业务数据查询请求的方式，通过将MySQL中的数据按照预设业务需求同步至预设搜索引擎，达到了根据同步至所述预设搜索引擎的MySQL中的数据，返回业务数据查询结果的目的，从而实现了对关系复杂且数量大的数据查询可快速响应的技术效果，进而解决了在后台管理系统中复杂、海量的数据查询响应效率较低的技术问题。

在上述步骤S201中的业务数据查询请求通常是并发以及海量的请求。

作为一种可选地实施方式，通常可以将业务数据储存至MySQL数据库中。

在上述步骤S202中基于所述MySQL中的数据，根据所述查询请求的不同类型以及业务数据需求，将相关数据同步至预设搜索引擎。

作为一种可选地实施方式，预设搜索引擎采用Elasticsearch。

在上述步骤S203中根据同步至所述预设搜索引擎的MySQL中的数据，可以完成相应数据查询的列表。

作为一种可选地实施方式，通过预设搜索引擎查询数据的同时不会影响到所述MySQL数据库中的性能。

作为本实施例中的优选，所述将MySQL中的数据根据预设业务需求同步至预设搜索引擎，还包括：根据所述业务数据需求，确定出需求关系表。

具体实施时，在将所述MySQL中的数据根据预设业务需求同步至预设搜索引擎时还需要根据所述业务数据需求，确定出需求关系表。

优选地，所述根据所述业务数据需求，确定出需求关系表，包括：收集与所述业务数据关联的关系表数据；获取所述业务数据查询筛选的条件以及执行所述业务数据查询筛选时的SQL语句。即在确定需求关系表的时候，会判断业务数据查询是否有实时性要求、收集业务数据查询关联的关系表以及整理出数据查询筛选的条件以及对应的SQL语句。

作为本实施例中的优选，所述将MySQL中的数据根据预设业务需求同步至预设搜索引擎之前，还包括：确定所述业务数据查询请求是否有实时性的要求；如果确定所述业务数据查询请求有实时性的要求，则按照实时同步的方式同步至所述预设搜索引擎；如果确定所述业务数据查询请求没有实时性的要求，则按照定时循环同步的方式同步至所述预设搜索引擎。

具体实施时，对于业务数据查询请求，需要确定所述业务数据查询请求是否有实时性的要求。如果确定所述业务数据查询请求有实时性的要求，则按照实时同步的方式同步至所述预设搜索引擎。也就是说，对于有实时性要求的查询请求，按照实时同步的方式将MySQL中的数据同步至所述预设搜索引擎。

此外，如果确定所述业务数据查询请求没有实时性的要求，则按照定时循环同步的方式同步至所述预设搜索引擎。对于没有实时性要求的查询请求，按照定时循环同步的方式将MySQL中的数据同步至所述预设搜索引擎。

通过两种不同的同步方式，可以灵活适用于不同的海量数据查询的场景。

作为本实施例中的优选，所述将MySQL中的数据根据预设业务需求同步至预设搜索引擎包括：在所述业务数据查询请求需要实时查询的情况下，进入实时同步处理的步骤；所述实时同步处理的步骤包括：解析得到所述MySQL中数据库增量日志BinLog；根据所述与所述业务数据关联的关系表数据，关联出对应增量映射队列关系Go-NSQ；基于所述BinLog和所述Go-NSQ，提供增量数据订阅和消费队列服务NSQ；根据执行所述业务数据查询筛选时的SQL语句，查询出增该量数据并写入预设搜索引擎。

具体实施时，按照实时性需求，要实时的业务查询，可进入实时同步处理中，在所述业务数据查询请求需要实时查询的情况下，进入实时同步处理的步骤包括：

S1，解析MySQL数据库增量日志BinLog；

S2，结合需求关系表，关联对应增量映射队列关系Go-NSQ；

S3，提供增量数据订阅和消费队列服务NSQ；

S4，结合数据查询筛选的条件以及对应的SQL语句查询出增量数据并写入搜索引擎ES。

作为本实施例中的优选，所述将MySQL中的数据根据预设业务需求同步至预设搜索引擎，包括：在所述业务数据查询请求需要实时查询的情况下，进入定时循环同步的步骤；所述定时循环同步的步骤包括：根据执行所述业务数据查询筛选时的SQL语句，得到创建时间和更新时间字段；根据所述创建时间和所述更新时间字段使用预设模板替换所述业务数据查询筛选时的SQL语句之后生成配置文件；通过所述预设搜索引擎周边插件logstash和所述配置文件，执行所述定时循环同步。

具体实施时，并没有实时性需求，可采用更为简单快捷的定时循环同步，在所述业务数据查询请求需要实时查询的情况下，进入定时循环同步的步骤：

S1，结合数据查询筛选的条件以及对应的SQL语句，分析创建时间和更新时间字段；需要注意的是，在同一个业务查询系统中创建和更新的时间段基本上都是一样。

S2，使用统一模板，替换其中数据生成的SQL，生成配置文件；

S3，采用ES周边插件logstash即可完成同步。

作为本实施例中的优选，所述根据同步至所述预设搜索引擎的MySQL中的数据，返回业务数据查询结果，包括：根据所述业务数据查询筛选的条件以及所述预设搜索引擎的客户端实例，建立对应的系统查询代理，并完成相应的业务数据查询列表。

具体实施时，结合数据查询筛选的条件以及对应的SQL语句的条件筛选以及预设搜索引擎ES周边客户端实例，编写相应系统查询代理，即可完成相应数据查询的列表。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本申请实施例，还提供了一种用于实施上述方法的装置，如图3所示，该装置包括：

接收模块301，用于接收业务数据查询请求；

同步模块302，用于将MySQL中的数据按照预设业务需求同步至预设搜索引；

查询模块303，用于根据同步至所述预设搜索引擎的MySQL中的数据，返回业务数据查询结果。

本申请实施例的接收模块301中的业务数据查询请求通常是并发以及海量的请求。

作为一种可选地实施方式，通常可以将业务数据储存至MySQL数据库中。

本申请实施例的同步模块302中基于所述MySQL中的数据，根据所述查询请求的不同类型以及业务数据需求，将相关数据同步至预设搜索引擎。

作为一种可选地实施方式，预设搜索引擎采用Elasticsearch。

本申请实施例的查询模块303中据同步至所述预设搜索引擎的MySQL中的数据，可以完成相应数据查询的列表。

作为一种可选地实施方式，通过预设搜索引擎查询数据的同时不会影响到所述MySQL数据库中的性能。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

为了更好的理解上述数据查询方法流程，以下结合优选实施例对上述技术方案进行解释说明，但不用于限定本发明实施例的技术方案。

本申请实施例中的数据查询方法，解决了关系复杂且数量大的数据查询，相比相关技术中的方法而言，其使用资源的成本也更低。查询响应速度更快，并且能够保证MySQL的性能。

如图4所示，是本申请实施例中数据查询方法的流程示意图，实现的具体过程包括如下步骤：

步骤S401，开始。

步骤S402，需求关系表。

将MySQL的数据按照需求同步到预设搜索引擎Elasticsearch时，首先根据现实业务需求整理出需求关系表。具体可包括：业务数据查询是否有实时性要求；收集数据查询关联的关系表：整理数据查询筛选的条件以及SQL语句。

步骤S403，判断是否需要实时同步。

步骤S404，定时循环同步。

步骤S405，编写定时配置。

如果并没有实时性需求，可采用更为简单快捷的定时循环同步，具体包括：

基于数据查询筛选对应的SQL语句，分析创建时间和更新时间字段；使用统一模板，替换其中数据生成的SQL，生成配置文件；采用ES周边插件logstash即可完成同步。

步骤S406，实时日志处理。

按照实时性需求，要实时的业务查询，其步骤包含：解析MySQL数据库增量日志；结合需求关系表，关联对应增量映射队列关系；提供增量数据订阅和消费队列服务；基于数据查询筛选对应的SQL语句查询出增量数据并同步至预设搜索引擎。

步骤S407，同步搜索引擎。

根据基于数据查询筛选对应的SQL语句的条件筛选以及ES周边客户端实例，编写相应系统查询代理，即可完成相应数据查询的列表，。

此外，通过结合ES周边kibana以及其特性可进行各式各样的数据分析，同事也不会对MySQL的性能造成影响。

步骤S408，结束。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据查询方法，其特征在于，包括：

接收业务数据查询请求；

将MySQL中的数据按照预设业务需求同步至预设搜索引擎；

根据同步至所述预设搜索引擎的MySQL中的数据，返回业务数据查询结果。

2.根据权利要求1所述的方法，其特征在于，所述将MySQL中的数据根据预设业务需求同步至预设搜索引擎，还包括：

根据所述业务数据需求，确定出需求关系表。

3.根据权利要求2所述的方法，其特征在于，所述将MySQL中的数据根据预设业务需求同步至预设搜索引擎之前，还包括：

确定所述业务数据查询请求是否有实时性的要求；

如果确定所述业务数据查询请求有实时性的要求，则按照实时同步的方式同步至所述预设搜索引擎；

如果确定所述业务数据查询请求没有实时性的要求，则按照定时循环同步的方式同步至所述预设搜索引擎。

4.根据权利要求2所述的方法，其特征在于，所述根据所述业务数据需求，确定出需求关系表，包括：

收集与所述业务数据关联的关系表数据；

获取所述业务数据查询筛选的条件以及执行所述业务数据查询筛选时的SQL语句。

5.根据权利要求1所述的方法，其特征在于，所述将MySQL中的数据根据预设业务需求同步至预设搜索引擎包括：

在所述业务数据查询请求需要实时查询的情况下，进入实时同步处理的步骤；

所述实时同步处理的步骤包括：

解析得到所述MySQL中数据库增量日志BinLog；

根据所述与所述业务数据关联的关系表数据，关联出对应增量映射队列关系Go-NSQ；

基于所述BinLog和所述Go-NSQ，提供增量数据订阅和消费队列服务NSQ；

根据执行所述业务数据查询筛选时的SQL语句，查询出增量数据并写入预设搜索引擎。

6.根据权利要求1所述的方法，其特征在于，所述将MySQL中的数据根据预设业务需求同步至预设搜索引擎，包括：

在所述业务数据查询请求需要实时查询的情况下，进入定时循环同步的步骤；

所述定时循环同步的步骤包括：

根据执行所述业务数据查询筛选时的SQL语句，得到创建时间和更新时间字段；

根据所述创建时间和所述更新时间字段使用预设模板替换所述业务数据查询筛选时的SQL语句之后生成配置文件；

通过所述预设搜索引擎周边插件logstash和所述配置文件，执行所述定时循环同步。

7.根据权利要求1所述的方法，其特征在于，所述根据同步至所述预设搜索引擎的MySQL中的数据，返回业务数据查询结果，包括：

根据所述业务数据查询筛选的条件以及所述预设搜索引擎的客户端实例，建立对应的系统查询代理，并完成相应的业务数据查询列表。

8.一种数据查询装置，其特征在于，包括：

接收模块，用于接收业务数据查询请求；

同步模块，用于将MySQL中的数据按照预设业务需求同步至预设搜索引；

查询模块，用于根据同步至所述预设搜索引擎的MySQL中的数据，返回业务数据查询结果。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项所述的方法。

Images