CN114996552A - 一种数据获取方法及终端 - Google Patents

Abstract

本发明公开了一种数据获取方法及终端，通过中心节点向分片节点发送查询请求的查询条件，由各个分片节点查询满足查询条件的数据，并返回各个分片节点的分数值，因此，中心节点只需要获取各个分片节点的分数值，而不需要拉取大量数据进行筛选；通过中心节点对各个分片节点的分数值进行排序，得到满足查询请求的分数值范围，从而根据分数值范围从各个分片节点中拉取数据，以此方式，减少了大量的内存占用，能够在大数据量排序的场景下，减少资源的占用，并很好的提供搜索性能。

Description

一种数据获取方法及终端

技术领域

本发明涉及计算机技术领域，特别涉及一种数据获取方法及终端。

背景技术

目前互联网产品中有存在很多的搜索功能，搜索名称，商品等信息。为了实现高并发，高吞吐要求下的系统性能，大部分的互联网产品一般都使用es(ElasticSearch)进行信息的存储以及提供搜索功能。

目前es使用分布式部署的方式，存在多个分片节点，能够存储大量的数据，并提供较好的搜索功能。其搜索的主要原理是：比如需要查询10条记录，集群一共有5个分片节点，则客户端需要查询10条满足条件的数据时，es会向各个分片拉取10条记录，并最终获取50条记录至集群的中心节点，由中心节点对这些数据进行排序后，最终返回满足条件的10条记录。此种方式下，实际上是拉取了50条记录并统一进行了排序记录。如果是数据量少的场景下，不会有较大问题，但是，当数据量达到一定数值之后，所有数据均拉取到中心节点进行排序，将会占用中心节点大量内存，以及消耗es集群的IO资源。

发明内容

本发明所要解决的技术问题是：提供一种数据获取方法及终端，能够减少内存占用和IO压力。

为了解决上述技术问题，本发明采用的技术方案为：

一种数据获取方法，包括步骤：

向分片节点发送查询请求的查询条件，由各个分片节点查询满足所述查询条件的数据，并返回各个分片节点的分数值；

对各个分片节点的分数值进行排序，得到满足所述查询请求的分数值范围；

根据所述分数值范围从各个分片节点中拉取数据。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种数据获取方法，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

向分片节点发送查询请求的查询条件，由各个分片节点查询满足所述查询条件的数据，并返回各个分片节点的分数值；

对各个分片节点的分数值进行排序，得到满足所述查询请求的分数值范围；

根据所述分数值范围从各个分片节点中拉取数据。

本发明的有益效果在于：通过中心节点向分片节点发送查询请求的查询条件，由各个分片节点查询满足查询条件的数据，并返回各个分片节点的分数值，因此，中心节点只需要获取各个分片节点的分数值，而不需要拉取大量数据进行筛选；通过中心节点对各个分片节点的分数值进行排序，得到满足查询请求的分数值范围，从而根据分数值范围从各个分片节点中拉取数据，以此方式，减少了大量的内存占用，能够在大数据量排序的场景下，减少资源的占用，并很好的提供搜索性能。

附图说明

图1为本发明实施例的一种数据获取方法的流程图；

图2为本发明实施例的一种数据获取终端的示意图；

标号说明：

1、一种数据获取终端；2、存储器；3、处理器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1，本发明实施例提供了一种数据获取方法，包括步骤：

向分片节点发送查询请求的查询条件，由各个分片节点查询满足所述查询条件的数据，并返回各个分片节点的分数值；

对各个分片节点的分数值进行排序，得到满足所述查询请求的分数值范围；

根据所述分数值范围从各个分片节点中拉取数据。

从上述描述可知，本发明的有益效果在于：通过中心节点向分片节点发送查询请求的查询条件，由各个分片节点查询满足查询条件的数据，并返回各个分片节点的分数值，因此，中心节点只需要获取各个分片节点的分数值，而不需要拉取大量数据进行筛选；通过中心节点对各个分片节点的分数值进行排序，得到满足查询请求的分数值范围，从而根据分数值范围从各个分片节点中拉取数据，以此方式，减少了大量的内存占用，能够在大数据量排序的场景下，减少资源的占用，并很好的提供搜索性能。

进一步地，所述由各个分片节点查询满足所述查询条件的数据，并返回各个分片节点的分数值包括：

由各个分片节点查询满足所述查询条件的数据，并对查询到的数据进行相关性分数的计算，返回各个分片节点中所查询到的数据的数量、最大分数值和最小分数值。

由上述描述可知，查询各个分片中满足条件的最大，最小数值以及期间的数据量总计3个字段，并返回至中心节点，因此此时每个分片将只会返回1条数据，每条数据3个字段，从而减少大量的内存占用。

进一步地，对各个分片节点的分数值进行排序，得到满足所述查询请求的分数值范围包括：

基于各个分片节点的最大分数值和最小分数值进行降序排序；

依次获取排序后的各个分片节点中数据的数量并进行累加，当累加结果超过所述查询请求的查询数量时，获取所累加数量对应分片节点的最大分数值和最小分数值，得到满足所述查询请求的分数值范围。

由上述描述可知，基于各个分片节点的最大分数值和最小分数值进行降序排序，并基于分片节点的数量、最大分数值和最小分数值进行拼接处理，得到满足查询请求的分数值范围，从而提高减少后续拉取数据的数量。

进一步地，根据所述分数值范围从各个分片节点中拉取数据包括：

根据所述分数值范围选择所需查询的分片节点，依次从所需查询的分片节点中分页拉取数据，若拉取数据的数量超过查询请求的查询数量，则当当前拉取数据的分数值大于已拉取数据的最小分数值时，将所述当前拉取数据与已拉取数据中最小分数值的数据进行替换。

由上述描述可知，将当前拉取数据与已拉取数据中最小分数值的数据进行替换，能够获取提高数据查询的准确性。

进一步地，所述向分片节点发送所述查询请求的查询条件之前包括：

判断查询条件的查询数量是否超过预设数量，若是，则向分片节点发送所述查询请求的查询条件，否则，依次从各个分片节点中获取所述查询数量的数据并进行数据过滤。

由上述描述可知，根据查询条件中的查询数量选择查询方法，能够根据查询情况灵活选择对应的数据获取方法。

请参照图2，本发明另一实施例提供了一种数据获取终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

向分片节点发送查询请求的查询条件，由各个分片节点查询满足所述查询条件的数据，并返回各个分片节点的分数值；

对各个分片节点的分数值进行排序，得到满足所述查询请求的分数值范围；

根据所述分数值范围从各个分片节点中拉取数据。

从上述描述可知，通过中心节点向分片节点发送查询请求的查询条件，由各个分片节点查询满足查询条件的数据，并返回各个分片节点的分数值，因此，中心节点只需要获取各个分片节点的分数值，而不需要拉取大量数据进行筛选；通过中心节点对各个分片节点的分数值进行排序，得到满足查询请求的分数值范围，从而根据分数值范围从各个分片节点中拉取数据，以此方式，减少了大量的内存占用，能够在大数据量排序的场景下，减少资源的占用，并很好的提供搜索性能。

进一步地，所述由各个分片节点查询满足所述查询条件的数据，并返回各个分片节点的分数值包括：

由各个分片节点查询满足所述查询条件的数据，并对查询到的数据进行相关性分数的计算，返回各个分片节点中所查询到的数据的数量、最大分数值和最小分数值。

由上述描述可知，查询各个分片中满足条件的最大，最小数值以及期间的数据量总计3个字段，并返回至中心节点，因此此时每个分片将只会返回1条数据，每条数据3个字段，从而减少大量的内存占用。

进一步地，对各个分片节点的分数值进行排序，得到满足所述查询请求的分数值范围包括：

基于各个分片节点的最大分数值和最小分数值进行降序排序；

依次获取排序后的各个分片节点中数据的数量并进行累加，当累加结果超过所述查询请求的查询数量时，获取所累加数量对应分片节点的最大分数值和最小分数值，得到满足所述查询请求的分数值范围。

由上述描述可知，基于各个分片节点的最大分数值和最小分数值进行降序排序，并基于分片节点的数量、最大分数值和最小分数值进行拼接处理，得到满足查询请求的分数值范围，从而提高减少后续拉取数据的数量。

进一步地，根据所述分数值范围从各个分片节点中拉取数据包括：

根据所述分数值范围选择所需查询的分片节点，依次从所需查询的分片节点中分页拉取数据，若拉取数据的数量超过查询请求的查询数量，则当当前拉取数据的分数值大于已拉取数据的最小分数值时，将所述当前拉取数据与已拉取数据中最小分数值的数据进行替换。

由上述描述可知，将当前拉取数据与已拉取数据中最小分数值的数据进行替换，能够获取提高数据查询的准确性。

进一步地，所述向分片节点发送所述查询请求的查询条件之前包括：

判断查询条件的查询数量是否超过预设数量，若是，则向分片节点发送所述查询请求的查询条件，否则，依次从各个分片节点中获取所述查询数量的数据并进行数据过滤。

由上述描述可知，根据查询条件中的查询数量选择查询方法，能够根据查询情况灵活选择对应的数据获取方法。

本发明上述的一种数据获取方法及终端，适用于减少es分布式部署在获取数据时产生的大量内存占用，并很好的提供搜索性能，以下通过具体的实施方式进行说明：

实施例一

请参照图1，一种数据获取方法，包括步骤：

S1、向分片节点发送查询请求的查询条件，由各个分片节点查询满足所述查询条件的数据，并返回各个分片节点的分数值。

S11、通过中心节点判断查询条件的查询数量是否超过预设数量，若是，则执行步骤S12，否则，执行步骤S13。在本实施例中，设预设数量为5000条。

S12、由各个分片节点查询满足所述查询条件的数据，并对查询到的数据进行相关性分数的计算，返回各个分片节点中所查询到的数据的数量、最大分数值和最小分数值。

具体的，在本实施例中，需要查询1万条排序的数据，es集群总共有100个分片节点，则当各个节点查询出满足条件的数据时，es中一般对于查询的数据都会通过一个计算规则，计算出一个相关性分数值score出来，查询各个分片中满足条件的最大分数值、最小分数值以及期间的数据量总计3个字段，并返回至中心节点。则此时每个分片将只会返回1条数据，每条数据3个字段，100个分片总计返回100条数据，之后把100条数据发送至中心节点，由中心节点进行排序处理。

S13、依次从各个分片节点中获取所述查询数量的数据并进行数据过滤。

具体的，在本实施例中，需要查询100条排序的数据，es集群总共有10个分片节点，则每次查询将会查询出1000条数据至中心节点处，进行排序处理，并丢弃剩余的900条数据。

S2、对各个分片节点的分数值进行排序，得到满足所述查询请求的分数值范围。

其中，步骤S2具体包括：

基于各个分片节点的最大分数值和最小分数值进行降序排序，依次获取排序后的各个分片节点中数据的数量并进行累加，当累加结果超过所述查询请求的查询数量时，获取所累加数量对应分片节点的最大分数值和最小分数值，得到满足所述查询请求的分数值范围。

具体的，中心节点根据每一个分片节点的最大分数值、最小分数值以及数据数量进行拼接计算。

在本实施例中，A分片节点的最大分数值、最小分数值以及数据数量分别为500、1000和5000；B分片节点的最大分数值、最小分数值以及数据数量分别为300、400和5000；C分片节点的最大分数值、最小分数值以及数据数量分别为100、300和1000；

首先获取A分片节点，此处为A分片节点【500-1000】，数据条数5000；

再获取B分片节点，此处为B分片节点【300-400】，数据条件5000；此时数据量已经达到了需要查询的1万条数据的结果数值，则此时说明只需要从A、B分片节点查询完整的结果数据返回即可，其他剩余的分片就不需要再次查询数据了。

在另一实施例中，A’分片节点的最大分数值、最小分数值以及数据数量分别为500、1000和5000；B’分片节点的最大分数值、最小分数值以及数据数量分别为400、900和6000；C’分片节点的最大分数值、最小分数值以及数据数量分别为300、400和1000；

首先获取A’分片节点，此处为A’分片节点【500-1000】，数据条数5000；

再获取B’分片节点，此处为B’分片节点【400-600】，数据条件6000；此时数据量已经达到了需要查询的1万的结果数值，则此时说明只需要从A、B分片节点查询完整的结果数据返回即可，其他剩余的分片根本就不需要再次查询数据了。

若B’节点中的查询数据只有4000条，还未达到1万条时，把后续其他数据范围的最大值在B’节点中的查询数据进行叠加处理，当达到需要查询的最大数据范围时，停止处理，说明只需要到对应的分片查询数据即可。

S3、根据所述分数值范围从各个分片节点中拉取数据。

其中，步骤S32具体包括：

根据所述分数值范围选择所需查询的分片节点，依次从所需查询的分片节点中分页拉取数据，若拉取数据的数量超过查询请求的查询数量，则当当前拉取数据的分数值大于已拉取数据的最小分数值时，将所述当前拉取数据与已拉取数据中最小分数值的数据进行替换。

具体的，分页拉取满足条件的数据，中心节点处存在一个特殊的固定数量的排序数组，例如1万的数组长度，把每次分页拉取回来的数据按顺序写入该数组中，当分数比数组中最大分数还大时，写入数组，并剔除最小分数那条记录。当所有分页拉取的数据都处理一遍后，最终的排序数组即为需要返回的排序结果数据。在本实施例中，排序的方式不限定为相似度分数值，也可为主键id或者其他字段等。

此种方式下，能够减少第一次拉取数据的量，大大减少排序的数据量，减少中心节点的内存，IO等资源占用量。其次，数值范围不一定为分数，也可为主键ID等字段。

实施例二

请参照图2，一种数据获取终端1，包括存储器2、处理器3以及存储在所述存储器2上并可在处理器3上运行的计算机程序，所述处理器3执行所述计算机程序时实现实施例一的一种数据获取方法的各个步骤。

综上所述，本发明提供的一种数据获取方法及终端，通过中心节点向分片节点发送查询请求的查询条件，由各个分片节点查询满足查询条件的数据，并返回各个分片节点的分数值，因此，中心节点只需要获取各个分片节点的分数值，而不需要拉取大量数据进行筛选；通过中心节点对各个分片节点的分数值进行排序，得到满足查询请求的分数值范围，从而根据分数值范围从各个分片节点中拉取数据，以此方式，减少了大量的内存占用，能够在大数据量排序的场景下，减少资源的占用，并很好的提供搜索性能。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据获取方法，其特征在于，包括步骤：

向分片节点发送查询请求的查询条件，由各个分片节点查询满足所述查询条件的数据，并返回各个分片节点的分数值；

对各个分片节点的分数值进行排序，得到满足所述查询请求的分数值范围；

根据所述分数值范围从各个分片节点中拉取数据。

2.根据权利要求1所述的一种数据获取方法，其特征在于，所述由各个分片节点查询满足所述查询条件的数据，并返回各个分片节点的分数值包括：

由各个分片节点查询满足所述查询条件的数据，并对查询到的数据进行相关性分数的计算，返回各个分片节点中所查询到的数据的数量、最大分数值和最小分数值。

3.根据权利要求2所述的一种数据获取方法，其特征在于，对各个分片节点的分数值进行排序，得到满足所述查询请求的分数值范围包括：

基于各个分片节点的最大分数值和最小分数值进行降序排序；

依次获取排序后的各个分片节点中数据的数量并进行累加，当累加结果超过所述查询请求的查询数量时，获取所累加数量对应分片节点的最大分数值和最小分数值，得到满足所述查询请求的分数值范围。

4.根据权利要求1所述的一种数据获取方法，其特征在于，根据所述分数值范围从各个分片节点中拉取数据包括：

根据所述分数值范围选择所需查询的分片节点，依次从所需查询的分片节点中分页拉取数据，若拉取数据的数量超过查询请求的查询数量，则当当前拉取数据的分数值大于已拉取数据的最小分数值时，将所述当前拉取数据与已拉取数据中最小分数值的数据进行替换。

5.根据权利要求1所述的一种数据获取方法，其特征在于，所述向分片节点发送所述查询请求的查询条件之前包括：

判断查询条件的查询数量是否超过预设数量，若是，则向分片节点发送所述查询请求的查询条件，否则，依次从各个分片节点中获取所述查询数量的数据并进行数据过滤。

6.一种数据获取终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

向分片节点发送查询请求的查询条件，由各个分片节点查询满足所述查询条件的数据，并返回各个分片节点的分数值；

对各个分片节点的分数值进行排序，得到满足所述查询请求的分数值范围；

根据所述分数值范围从各个分片节点中拉取数据。

7.根据权利要求6所述的一种数据获取终端，其特征在于，所述由各个分片节点查询满足所述查询条件的数据，并返回各个分片节点的分数值包括：

由各个分片节点查询满足所述查询条件的数据，并对查询到的数据进行相关性分数的计算，返回各个分片节点中所查询到的数据的数量、最大分数值和最小分数值。

8.根据权利要求7所述的一种数据获取终端，其特征在于，对各个分片节点的分数值进行排序，得到满足所述查询请求的分数值范围包括：

基于各个分片节点的最大分数值和最小分数值进行降序排序；

依次获取排序后的各个分片节点中数据的数量并进行累加，当累加结果超过所述查询请求的查询数量时，获取所累加数量对应分片节点的最大分数值和最小分数值，得到满足所述查询请求的分数值范围。

9.根据权利要求6所述的一种数据获取终端，其特征在于，根据所述分数值范围从各个分片节点中拉取数据包括：

根据所述分数值范围选择所需查询的分片节点，依次从所需查询的分片节点中分页拉取数据，若拉取数据的数量超过查询请求的查询数量，则当当前拉取数据的分数值大于已拉取数据的最小分数值时，将所述当前拉取数据与已拉取数据中最小分数值的数据进行替换。

10.根据权利要求6所述的一种数据获取终端，其特征在于，所述向分片节点发送所述查询请求的查询条件之前包括：

判断查询条件的查询数量是否超过预设数量，若是，则向分片节点发送所述查询请求的查询条件，否则，依次从各个分片节点中获取所述查询数量的数据并进行数据过滤。

Images