CN112269905B - 一种提高系统数据查询能力的方法及系统 - Google Patents

Abstract

本发明公开了一种提高系统数据查询能力的方法及系统，方法包括：从数据源获取源数据，并对所述源数据进行处理；将处理后的源数据存储至中间存储介质，对存储至中间存储介质的处理后的源数据进行内存数据维护；基于接收到的数据查询请求，从内存维护的数据中查询并输出对应的数据。本发明通过改进查询流程，重新组织服务架构，能够达到缩短数据单次查询耗时，并提高单机服务性能的目的。

Description

一种提高系统数据查询能力的方法及系统

技术领域

本发明涉及互联网数据处理技术领域，尤其涉及一种提高系统数据查询能力的方法及系统。

背景技术

目前，互联网服务端的数据查询技术，为了提高查询性能，通常从直接查数据库，到中间加本地缓存，再到中间加缓存集群。目前通常流程为：服务接口->本地缓存->缓存集群->数据库集群。一般本地缓存为查询过数据的留存其不提供数据搜索的功能，连接缓存集群中间需要创建连接及通讯，增加了查询时间，如果缓存集群中数据过期，会穿透至数据库集群，增加了数据库连接及通讯检索时间，使单次查询耗时出现增大甚至超时，降低了单机服务的查询能力。

因此，如何有效的提高系统数据的查询能力，是一项亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种提高系统数据查询能力的方法，通过改进查询流程，重新组织服务架构，能够达到缩短数据单次查询耗时，并提高单机服务性能的目的。

本发明提供了一种提高系统数据查询能力的方法，包括：

从数据源获取源数据，并对所述源数据进行处理；

将处理后的源数据存储至中间存储介质；

对存储至中间存储介质的处理后的源数据进行内存数据维护；

基于接收到的数据查询请求，从内存维护的数据中查询并输出对应的数据。

优选地，所述从数据源获取源数据，并对所述源数据进行处理，包括：

从数据源获取源数据；

对所述源数据进行压缩，并生成对应的版本号。

优选地，所述对存储至中间存储介质的处理后的源数据进行内存数据维护，包括：

从所述中间存储介质中获取当前压缩数据的版本号信息；

基于获取的当前压缩数据的版本号信息判断是否设置固定版本号，若是，则：

判断所述固定版本号是否与当前内存中数据的版本号相同，若否，则：

基于所述固定版本号拉取对应版本的压缩数据，更新内存中维护的数据及数据索引。

优选地，所述对存储至中间存储介质的处理后的源数据进行内存数据维护，还包括：

当基于获取的当前压缩数据的版本号信息判断未设置固定版本号时，获取最新版本号；

判断获取的所述最新版本号是否与当前内存数据的版本号相同，若否，则：

基于所述最新版本号拉取对应版本的压缩数据，更新内存中维护的数据及数据索引。

优选地，所述基于接收到的数据查询请求，从所述内存中查询并输出对应的数据，包括：

基于接收到的数据查询请求，根据所述内存中维护的数据索引，在所述内存中查询并输出对应的数据。

一种提高系统数据查询能力的系统，包括：

数据获取模块，用于从数据源获取源数据，并对所述源数据进行处理；

存储模块，用于将处理后的源数据存储至中间存储介质；

数据维护模块，用于对存储至中间存储介质的处理后的源数据进行内存数据维护；

数据检索服务模块，用于基于接收到的数据查询请求，从内存维护的数据中查询并输出对应的数据。

优选地，所述数据获取模块具体用于：

从数据源获取源数据；

对所述源数据进行压缩，并生成对应的版本号。

优选地，数据维护模块具体用于：

从所述中间存储介质中获取当前压缩数据的版本号信息；

基于获取的当前压缩数据的版本号信息判断是否设置固定版本号，若是，则：

判断所述固定版本号是否与当前内存中数据的版本号相同，若否，则：

基于所述固定版本号拉取对应版本的压缩数据，更新内存中维护的数据及数据索引。

优选地，所述数据维护模块具体还用于：

当基于获取的当前压缩数据的版本号信息判断未设置固定版本号时，获取最新版本号；

判断获取的所述最新版本号是否与当前内存数据的版本号相同，若否，则：

基于所述最新版本号拉取对应版本的压缩数据，更新内存中维护的数据及数据索引。

优选地，所述数据检索服务模块具体用于：

基于接收到的数据查询请求，根据内存中维护的数据索引，在所述内存中查询并输出对应的数据。

综上所述，本发明公开了一种提高系统数据查询能力的方法，从数据源获取源数据，并对源数据进行处理；将处理后的源数据存储至中间存储介质，对存储至中间存储介质的处理后的源数据进行内存数据维护；基于接收到的数据查询请求，从内存维护的数据中查询并输出对应的数据。本发明将数据准备工作前置，把数据预存到内存中，对外提供数据时仅依赖于当前服务器，与目前主流的服务器需要连接缓存集群及数据库集群来获取数据相比，检索过程去除了对外部系统的依赖，从而大大提高了单机服务能力、增强了系统稳定性及可靠性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明公开的一种提高系统数据查询能力的方法实施例1的流程图；

图2为本发明公开的一种提高系统数据查询能力的方法实施例2的流程图；

图3为本发明公开的一种数据拉取及内存数据维护的处理方法流程图；

图4为本发明公开的一种提高系统数据查询能力的系统实施例1的结构示意图；

图5为本发明公开的一种提高系统数据查询能力的系统实施例2的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明公开的一种提高系统数据查询能力的方法的实施例1的流程图，所述方法可以包括以下步骤：

S101、从数据源获取源数据，并对源数据进行处理；

首先，从数据源获取源数据，并对获取到的源数据进行相应的处理。

S102、将处理后的源数据存储至中间存储介质；

然后，将处理后的源数据传输至中间存储介质进行存储。

具体的，将压缩后的数据和对应的版本号传输至中间存储介质进行存储。

S103、对存储至中间存储介质的处理后的源数据进行内存数据维护；

然后，进一步对存储至中间存储介质的处理后的源数据进行内存数据维护。即，监测中间存储介质中版本号的变化，在版本号发生变化时，拉取数据进行内存数据更新。

S104、基于接收到的数据查询请求，从内存维护的数据中查询并输出对应的数据。

当需要对数据进行查询时，接收数据查询请求，并根据接收到的数据查询请求，直接从内存维护的数据中查询到对应的数据，并将查询到的数据输出。

综上所述，在上述实施例中，首先从数据源获取源数据，并对源数据进行处理；然后，将处理后的源数据存储至中间存储介质，并对存储至中间存储介质的处理后的源数据进行内存数据维护；然后基于接收到的数据查询请求，从内存维护的数据中查询并输出对应的数据。通过将数据准备工作前置，把数据预存到服务器内存中，对外提供数据时仅依赖于当前服务器，与目前主流的服务器需要连接缓存集群及数据库集群来获取数据相比，检索过程去除了对外部系统的依赖，从而大大提高了单机服务能力、增强了系统稳定性及可靠性。

如图2所示，为本发明公开的一种提高系统数据查询能力的方法的实施例2的流程图，所述方法可以包括以下步骤：

S201、从数据源获取源数据；

首先，从数据源获取源数据。

S202、对源数据进行压缩，并生成对应的版本号；

同时，对获取到的源数据进行相应的处理。

具体的，在对获取到的源数据进行处理时，按照需要模式组织数据并压缩，生成对应的版本号。

S203、将处理后的源数据存储至中间存储介质；

然后，将处理后的源数据传输至中间存储介质进行存储。

具体的，将压缩后的数据和对应的版本号传输至中间存储介质进行存储。其中，中间存储介质可以为对象存储如阿里云OSS等，也可为自建FTP服务器，数据库等。版本号等还可以存储在如SQL，NOSQL，Redis等存储中。

S204、对存储至中间存储介质的处理后的源数据进行内存数据维护；

然后，进一步对存储至中间存储介质的处理后的源数据进行内存数据维护。即，监测中间存储介质中版本号的变化，在版本号发生变化时，拉取数据进行内存数据更新。

具体的，如图3所示，首先从中间存储介质中获取当前压缩数据的版本号信息，然后基于获取的当前压缩数据的版本号信息判断是否设置固定版本号，若是，则：判断固定版本号是否与当前内存中数据的版本号相同，若否，则：基于固定版本号拉取对应版本的压缩数据，更新内存中维护的数据及数据索引。当基于获取的当前压缩数据的版本号信息判断未设置固定版本号时，获取最新版本号；判断获取的最新版本号是否与当前内存数据的版本号相同，若否，则：基于最新版本号拉取对应版本的压缩数据，更新内存中维护的数据及数据索引。

S205、基于接收到的数据查询请求，根据内存中维护的数据索引，在内存中查询并输出对应的数据。

当需要对数据进行查询时，接收数据查询请求，并根据接收到的数据查询请求，以及内存中维护的数据索引，直接从内存中查询到对应的数据，并将查询到的数据输出。

综上所述，本发明通过改进查询流程方法，重新组织服务架构，达到了缩短数据单次查询耗时的目的，并提高了单机服务性能。

如图4所示，为本发明公开的一种提高系统数据查询能力的系统的实施例1的结构示意图，所述系统可以包括：

数据获取模块401，用于从数据源获取源数据，并对源数据进行处理；

首先，从数据源获取源数据，并对获取到的源数据进行相应的处理。

存储模块402，用于将处理后的源数据存储至中间存储介质；

然后，将处理后的源数据传输至中间存储介质进行存储。

具体的，将压缩后的数据和对应的版本号传输至中间存储介质进行存储。

数据维护模块403，用于对存储至中间存储介质的处理后的源数据进行内存数据维护；

然后，进一步对存储至中间存储介质的处理后的源数据进行内存数据维护。即，监测中间存储介质中版本号的变化，在版本号发生变化时，拉取数据进行内存数据更新。

数据检索服务模块404，用于基于接收到的数据查询请求，从内存维护的数据中查询并输出对应的数据。

当需要对数据进行查询时，接收数据查询请求，并根据接收到的数据查询请求，直接从内存维护的数据中查询到对应的数据，并将查询到的数据输出。

综上所述，在上述实施例中，首先从数据源获取源数据，并对源数据进行处理；然后，将处理后的源数据存储至中间存储介质，并对存储至中间存储介质的处理后的源数据进行内存数据维护；然后基于接收到的数据查询请求，从内存维护的数据中查询并输出对应的数据。通过将数据准备工作前置，把数据预存到服务器内存中，对外提供数据时仅依赖于当前服务器，与目前主流的服务器需要连接缓存集群及数据库集群来获取数据相比，检索过程去除了对外部系统的依赖，从而大大提高了单机服务能力、增强了系统稳定性及可靠性。

如图5所示，为本发明公开的一种提高系统数据查询能力的系统的实施例2的结构示意图，所述系统可以包括：

数据获取模块501，用于从数据源获取源数据；

数据获取模块501，还用于对源数据进行压缩，并生成对应的版本号；

存储模块502，用于将处理后的源数据存储至中间存储介质；

数据维护模块503，用于对存储至中间存储介质的处理后的源数据进行内存数据维护；

数据检索服务模块504，用于基于接收到的数据查询请求，根据内存中维护的数据索引，在内存中查询并输出对应的数据。

在本实施例中，数据获取模块通过服务注册与发现功能模块来维护内部服务集群状态，并选出一台服务器作为活动的数据获取模块。数据获取模块从数据源拉取全量数据并根据所需数据模式组织数据结构，并进行压缩后形成新的压缩数据，然后存储模块把压缩数据存储在中间存储介质(如以文件形式存储在对象储存系统如阿里云OSS等)，同时生成对应的版本号存储在中间存储介质(如阿里云OSS、数据库、Redis等)。当数据源数据更新时，此数据获取模块再此生成新的压缩数据，通过存储模块存储在中间存储介质并生成对应版本号存储在中间存储介质中。当此数据获取模块因异常停止服务时，注册与发现模块，会重新选出一台服务器作为新的数据获取模块，并设置为可运行状态，并初始化为可运行状态，来接管原来数据获取模块任务。

数据维护模块其集群的服务器每台均需单独从中间存储介质拉取数据并维护本机内存数据，数据维护模块先获取当前压缩数据的版本号信息，如果在获取版本号中检查到设置了固定版本号，则取此固定版本号，如果没有设置固定版本号，则取最新的版本号，并用拿到的版本号与本机内存中的数据版本号进行对比，如果不相同则根据拿到的版本号去拉取对应版本的压缩数据，更新本机内存数据及数据索引，如果拿到的版本号与本机内存中版本号相同则不进行更新。

当有数据查询请求时，请求通过前端的负载均衡器到达集群内数据检索服务模块。数据检索服务模块根据内存中维护的数据索引，在内存中查询对应数据，并将结果进行组织后返回给请求者。

综上所述，本发明通过改进查询流程方法，重新组织服务架构，达到了缩短数据单次查询耗时的目的，并提高了单机服务性能。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种提高系统数据查询能力的方法，其特征在于，包括：

从数据源获取源数据，并对所述源数据进行处理；

将处理后的源数据存储至中间存储介质；

对存储至中间存储介质的处理后的源数据进行内存数据维护；

基于接收到的数据查询请求，从内存维护的数据中查询并输出对应的数据；

其中，所述从数据源获取源数据，并对所述源数据进行处理，包括：

从数据源获取源数据；

对所述源数据进行压缩，并生成对应的版本号；

其中，所述对存储至中间存储介质的处理后的源数据进行内存数据维护，包括：

从所述中间存储介质中获取当前压缩数据的版本号信息；

基于获取的当前压缩数据的版本号信息判断是否设置固定版本号，若是，则：

判断所述固定版本号是否与当前内存中数据的版本号相同，若否，则：

基于所述固定版本号拉取对应版本的压缩数据，更新内存中维护的数据及数据索引。

2.根据权利要求1所述的方法，其特征在于，所述对存储至中间存储介质的处理后的源数据进行内存数据维护，还包括：

当基于获取的当前压缩数据的版本号信息判断未设置固定版本号时，获取最新版本号；

判断获取的所述最新版本号是否与当前内存数据的版本号相同，若否，则：

基于所述最新版本号拉取对应版本的压缩数据，更新内存中维护的数据及数据索引。

3.根据权利要求2所述的方法，其特征在于，所述基于接收到的数据查询请求，从所述内存中查询并输出对应的数据，包括：

基于接收到的数据查询请求，根据所述内存中维护的数据索引，在所述内存中查询并输出对应的数据。

4.一种提高系统数据查询能力的系统，其特征在于，包括：

数据获取模块，用于从数据源获取源数据，并对所述源数据进行处理；

存储模块，用于将处理后的源数据存储至中间存储介质；

数据维护模块，用于对存储至中间存储介质的处理后的源数据进行内存数据维护；

数据检索服务模块，用于基于接收到的数据查询请求，从内存维护的数据中查询并输出对应的数据；

其中，所述数据获取模块具体用于：

从数据源获取源数据；

对所述源数据进行压缩，并生成对应的版本号；

其中，数据维护模块具体用于：

从所述中间存储介质中获取当前压缩数据的版本号信息；

基于获取的当前压缩数据的版本号信息判断是否设置固定版本号，若是，则：

判断所述固定版本号是否与当前内存中数据的版本号相同，若否，则：

基于所述固定版本号拉取对应版本的压缩数据，更新内存中维护的数据及数据索引。

5.根据权利要求4所述的系统，其特征在于，所述数据维护模块具体还用于：

当基于获取的当前压缩数据的版本号信息判断未设置固定版本号时，获取最新版本号；

判断获取的所述最新版本号是否与当前内存数据的版本号相同，若否，则：

基于所述最新版本号拉取对应版本的压缩数据，更新内存中维护的数据及数据索引。

6.根据权利要求5所述的系统，其特征在于，所述数据检索服务模块具体用于：

基于接收到的数据查询请求，根据内存中维护的数据索引，在所述内存中查询并输出对应的数据。