CN110737695A - 一种基于终端算力和动态赋权的多级数据检索优化方法 - Google Patents

Abstract

本发明提供一种基于终端算力和动态赋权的多级数据检索优化方法，包括：根据预设的查询条件进行第一次查询，获取本级系统和每个下级系统的查询计数总数；若所述查询计数总数之后符合预设的直接查询条件，则直接进行数据查询，获取查询数据；若所述查询计数总数不符合预设的直接查询条件，则通过预设的动态赋权规则，对不同的系统请求不同的数据量；本发明可以通过动态赋权和终端算力，充分避免了多级大数据量的情况下OOM和ConnectionTimeOut的发生；通过每个终端层级自主计算最优值，上级可只进行排序，不再进行比对抛弃，充分利用了每个层级的算力，降低了程序空间复杂度与时间复杂度；通过不同的赋权规则赋权，能快速准确地获取用户最想要的数据。

Description

一种基于终端算力和动态赋权的多级数据检索优化方法

技术领域

本发明涉及计算机应用领域，尤其涉及一种基于终端算力和动态赋权的多级数据检索优化方法。

背景技术

在多级系统查询中，由于不清楚下级的数据情况，传统的跨级查询算法极容易出现OOM(Out of Memory，内存溢出)和ConnectionTimeOut(连接超时)的情况，目前，在传统查询方案中，通常采用的一种查询方式为：由每层查询，并且进行比对排序，得到返回后再进行下一级查询，此方法可极大地避免了程序的空间复杂度，每个环境的使用的内存空间都不会增加，每个终端依次计算，但这种方法在大量层级的情况下，会导致第一个请求等待超时，导致业务流程异常。

在另一种查询方案中，采用不管每个系统的数据量，都进行一个数据查询，这种方法虽然降低了跨级查询的时间复杂度，但若出现下级数量众多且每级数据多，并查询数量多的时候，极容易造成OOM，所有数据比对筛选都在最上级系统，算力投入巨大，且并非所有数据都是需要的。因此，需要一种针对于空间复杂度和时间复杂度进行优化，极大的减少时间与空间的使用，同时根据终端的数据情况，运用终端计算的方法，好地避免了在大量数据的情况下OOM以及ConnectionTimeOut的风险。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种基于终端算力和动态赋权的多级数据检索优化方法，以解决上述技术问题。

本发明提供的基于终端算力和动态赋权的多级数据检索优化方法，包括：

根据预设的查询条件进行第一次查询，获取本级系统和每个下级系统的查询计数总数；

若所述查询计数总数符合预设的直接查询条件，则直接进行数据查询，获取查询数据；

若所述查询计数总数不符合预设的直接查询条件，则通过预设的动态赋权规则，对不同的服务请求不同的数据量。

可选的，根据第一次查询结果，分别对每个层级系统进行第二次查询，获取每个层级系统的定向数据量的查询结果。

可选的，所述动态赋权规则包括：根据每个层级系统中的数据量和符合查询条件的取值总数和所述查询计数总数，获取所述每个系统的定向数据量的查询结果。

可选的，将所述取值总数与所述每个层级系统中的数据量的乘积除以所述查询计数总数，依次计算获取所述每个系统的定向数据量的查询结果，其中，最后一个计算的层级系统根据所述查询计数总数减去前面的已分配查询数，进行总数控制。

可选的，所述动态赋权规则包括：预先根据每个系统层级的重要性对层级进行权重分配，并根据权重分配的优先级获取符合所述优先级的系统层级的数据查询结果，再根据层级的数量和实际需要查询的数量，判断是否进行进一步查询。

可选的，根据预设条件进行第一次数据查询，

若查询计数总数小于等于预设条件中的查询数，则直接进行数据查询，获取查询数据；

若查询计数总数大于预设条件中的查询数，则进行第二次查询，获取每个层级的数据量，

如果一层级的数据量大于预设条件中的查询数，则根据其他层级的数据量和每个层级中的平级系统在本层级的比重，进行取值，获取查询数据。

可选的，所述动态赋权规则包括：预先设定一比较阈值，当第一次查询的数据量小于预设条件中的查询数时，

若第一次查询的数据量小于等于所述比较阈值时，则直接取该层级系统的所有值，获取查询数据；

若第一次查询的数据量大于所述比较阈值时，则对该层级系统的数据进行筛选，并反馈至上级。

可选的，预先设定一阈值X％，且X％*N<＝Y％，

其中，N为所有层级的层级系统的数量，0<Y％<1，

若第一次查询单个系统的数据量与目标数据量的比值小于等于设置阈值，且比值乘以N，小于Y％，则取该系统所有数据；

若第一次查询单个系统的数据量与目标数据量的比值大于设置阈值，则将其他的数据排除后再根据数据情况进行赋权处理，查出每一级的数据。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述中任一项所述方法。

本发明还提供一种电子终端，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如上述中任一项所述方法。

本发明的有益效果：本发明中的基于终端算力和动态赋权的多级数据检索优化方法，可以通过动态赋权和终端算力，充分避免了跨级大数据量的情况下OOM和ConnectionTimeOut的发生；通过每个终端层级自主计算最优值，上级可只进行排序，不再进行比对抛弃，充分利用了每个层级的算力，降低了程序空间复杂度与时间复杂度；通过不同的赋权规则赋权，能快速准确地获取用户最想要的数据。

附图说明

图1是本发明实施例中的基于终端算力和动态赋权的多级数据检索优化方法的原理示意图。

图2是本发明实施例中的基于终端算力和动态赋权的多级数据检索优化方法的流程示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。

如图1、2所示，本实施例中的基于终端算力和动态赋权的多级数据检索优化方法，包括：

根据预设的查询条件进行第一次查询，获取本级系统和每个下级系统的查询计数总数；

若所述查询计数总数符合预设的直接查询条件，则直接进行数据查询，获取查询数据；

若所述查询计数总数不符合预设的直接查询条件，则通过预设的动态赋权规则，对不同的服务请求不同的数据量。

在本实施例中，根据第一次查询结果，分别对每个层级系统进行第二次查询，获取每个层级系统的定向数据量的查询结果。通过两次查询，一次加权的办法，筛选出有数据的系统，将查询变为指向性高效查询。本实施例中的第一次查询使用count的方法，高效的根据查询条件查询一个总数，通过总数来动态加权，使查询具备指向性，终端计算的能力，且数据根据不同加权规则进行返回，降低了空间复杂度与时间复杂度。根据动态赋权规则，实现对查询的偏重控制，得到用户想要的数据，在进行动态赋权时，可根据用户希望得到的数据，来对动态赋权方案进行选择。选择后，将按照此赋权方案进行赋权查询，保证返回数据为用户期望返回值。

在本实施例中，一种动态赋权规则为根据每个层级系统中的数据量B和符合查询条件的取值总数A、和所述查询计数总数，获取所述每个系统的定向数据量的查询结果，具体的，根据查询数量对每个系统的二次查询总数进行计算，获得每个系统定向数据量的查询。每个系统计算方式为：将所述目标取值总数除以每个层级系统中的数据量之和再乘以每个层级的查询计数总数的总数，；最后一个计算的层级系统根据所述查询计数总数减去前面的已分配查询数，进行总数控制，例如，前面取值为5000，前面的系统总共赋权取值4511，则最后一个系统取值则为489，注，前面不足1的小数舍去。

在本实施例中，另一种动态赋权规则为预先根据每个系统层级的重要性对层级进行权重分配，并根据权重分配的优先级获取符合所述优先级的系统层级的数据查询结果，再根据层级的数量和实际需要查询的数量，判断是否进行进一步查询。具体的，用户根据层级的重要性，对层级进行一个权重分配，使用户能在几个系统中都能取到最优最重要的数据。在跨级查询中，有可能用户会更偏好于最末端数据，也可能偏好于最顶层数据，所以用户可根据实际情况进行确认，赋权方式可选择为层级赋权，用户可以选择最底层数据优先，也可选择最顶层数据优先，根据层级的数量与实际需要查询的数量，来判断是否再往上级或者下级进行查询。例如1：上级数据优于下级数据，需要查询5000条数据，第一层级有两个系统，每个系统中符合条件的值分别为1000和1500，则第一级全部取，第二层级有10个系统，10个系统中分别有5个系统中符合条件数为1000，剩余5个系统中分别符合条件数为2000，则整个2层级数据总数为15000，因上级数据优先，故第二级数据加第一级数据都已大于5000，故第二层级总共取数据5000-(1000+1500)＝2500，因第二级数据总共为15000，则前五个系统中每一个系统中取值为(1000/15000*2500)＝166条，后五个系统中前四个取值为(2000/15000*2500)＝333,最后一个系统中取值为2500-166*5-333*4＝338条，至此，5000条数据取值全部完成。又例如2：没有预制优先级，则每一级的每一个系统优先级都一样，则刚才的两层12个系统中符合条件总数为17500条，则第一层1000条数据系统取值为1000/17500*5000＝285条，第一层1500条数据系统取值为1500/17500*5000＝428,依次类推，第二级数据先计划总数较小的系统，1000/17500*5000＝285条，在计算数据较大的系统2000/17500*5000＝571最后一个系统取值为5000-285-428-285*5-571*4＝578。

以上层数据优先举例，用户需要5000条数据有四级环境，用户偏好最顶级数据，平级之间按照等量权重赋权，则查询首先查询所有总数，若查询小于等于5000，则一次将所有数据进行查询，若数据大于5000，则首先判断第一层有多少数据，第二层有多少数据，第三层有多少数据，若第三层总数大于5000，第三层有三个平级，则用5000-前两层总数再乘以每个平级系统在本级的比重，本级比重按数量区分，如三级Q，三级W，三级E分别为第三层的三个平级，则三级Q取值数量由公式(5000-前两层)*[Q/(Q+W+E)]决定。

在本实施例中，又一种动态赋权规则为预先设定一比较阈值，当第二次查询的数据量小于预设条件中的查询数时，

若第二次查询的数据量小于等于所述比较阈值时，则直接取该层级系统的所有值，获取查询数据；

若第二次查询的数据量大于所述比较阈值时，则对该层级系统的数据进行筛选，并反馈至上级。

具体的，用户可自定义一个阈值，在查询出来的数据量小于预设查询条件中的总量的X％，且X％*N<＝Y％，其中，N为总层级的系统的数量，若第一次查询单个系统的数据量除以目标数据量(目标是根据条件在整个环境中查询5000条数据)的比值小于等于设置阈值，且比值乘以N，小于Y％，则取该系统所有数据，(如：用户设置全取的数据除以总查询数据比值为50％(Y％)，查询5000条数据，共50(N)个系统，则阈值可设置为1％(X％)，其中某一系统中符合条件的数据只有50条，占总查询数1％，则全取，若某一系统大于50条，则高于阈值，需要等待赋权后查询)若第一次查询单个系统的数据量除以目标数据量(目标是根据条件在整个环境中查询5000条数据)的比值大于设置阈值，则将其他的数据排除后再根据数据情况进行赋权处理，查出每一级的数据。

用户可自定义满足多少的百分比，Y％需小于1大于0，如X％*N小于50％。若满足条件，则取该系统的所有值；高于X％后，则取总数Y减去小于阈值X％的系统总量值后的参数为基数，在高于阈值X％的系统中所有数值之和中的占比，作为比例，如：高于X％的数值之和为4500，自己的数量为2000，则取2000*2000/4500的整数位取值数量。以此类推，在下级已经进行了一轮排序后再汇聚到上级，无资源浪费且取值可信度高。

下面以六级级联查询，第一种动态赋权规则为例，进行具体说明：

本实施例中的一套六级级联查询系统中，用户需要查询总数为N个数字，筛选条件固定，排序固定，最上级系统A的count总数为A，系统B的count总数为B，系统C的count总数为C，系统D的count总数为D，系统E的count总数为E,其中一系统F无数据返回，若N>＝A+B+C+D+E，则直接一次性查询所有值于最上级系统A。若N<＝A+B+C+D+E,则每个系统中的取值为N*[A/(A+B+C+D+E)],最后一个系统计算为N-N*[A/(A+B+C+D+E)]-N*[B/(A+B+C+D+E)]-N*[C/(A+B+C+D+E)]-N*[D/(A+B+C+D+E)]。

下面以三级级联查询，第二种动态赋权方案为例，进行具体说明：

本实施例中的一套三级级联查询系统中，用户需要查询总数为N个数字，筛选条件固定，排序固定，最上级系统A的count总数为A，第二级系统B的count总数为B，第三级系统C的count总数为C，无平级系统，平级系统规则参考技术内容，用户偏好最上级；若N>＝(A+B+C),则取所有值，若N<(A+B+C),则先判断A取值是够大于N，若小于N,则取B，算A+B任小于N，则取C，C的个数为N-A-B。

下面以五级级联查询，第二种动态赋权方案为例，进行具体说明：

本实施例中的一套五级级联查询系统中，用户需要查询总数为N个数字，筛选条件固定，排序固定，最上级系统A的count总数为A，第二级系统B的count总数为B，第三级系统C的count总数为C，第三级系统D的count总数为D，第三级系统E的count总数为E，第三级为平级系统，用户偏好最上级；若N>＝(A+B+C+D+E),则取所有值，若N<(A+B+C+D+E),则先判断A取值是够大于N，若小于N,则取B，算A+B任小于N，则取第三级别，第三级别的个数为N-A-B。第三级别默认为等权，则每个系统取值分别为为(N-A-B)*[C/(C+D+E)]、(N-A-B)*[D/(C+D+E)]、(N-A-B)*[E/(C+D+E)]。

下面以六级级联查询，第三种动态赋权方案为例，进行具体说明：

本实施例中的一套六级级联查询系统中，用户需要查询总数为N个数字，筛选条件固定，排序固定，最上级系统A的count总数为A，第二级系统B的count总数为B，第三级系统C的count总数为C，第三级系统D的count总数为D，第三级系统E的count总数为E(小于N*X％)，其中一系统F无数据返回，第三级为平级系统，用户确认赋权规则为系统搜索数量小于总请求数量的X％时，直接取全部，则若N>＝A+B+C+D+E，则直接一次性查询所有值于最上级系统A。若N<＝A+B+C+D+E,则判断是否有值小于N*X％，本案例中E满足其余不满足，则E取全部，其余取(N-E)*[A/(A+B+C+D)]、(N-E)*[B/(A+B+C+D)]、(N-E)*[C/(A+B+C+D)]、(N-E)*[D/(A+B+C+D)]。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。

本实施例还提供一种电子终端，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。

本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。

在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在上述实施例中，除非另外规定，否则通过使用“第一”、“第二”等序号对共同的对象进行描述，只表示其指代相同对象的不同实例，而非是采用表示被描述的对象必须采用给定的顺序，无论是时间地、空间地、排序地或任何其他方式。

在上述实施例中，说明书对“本实施例”、“一实施例”、“另一实施例”、或“其他实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“本实施例”、“一实施例”、“另一实施例”的多次出现不一定全部都指代相同的实施例。如果说明书描述了部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性不是必须被包括的。如果说明书或权利要求提及“一”元件，并非表示仅有一个元件。如果说明书或权利要求提及“一另外的”元件，并不排除存在多于一个的另外的元件。

在上述实施例中，尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如，其他存储结构(例如，动态RAM(DRAM))可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种基于终端算力和动态赋权的多级数据检索优化方法，其特征在于，包括：

根据预设的查询条件进行第一次查询，获取本级系统和每个下级系统的查询计数总数；

若所述查询计数总数之和符合预设的直接查询条件，则直接进行数据查询，获取查询数据；

若所述查询计数总数之和不符合预设的直接查询条件，则通过预设的动态赋权规则，对不同的服务请求不同的数据量。

2.根据权利要求1所述的基于终端算力和动态赋权的多级数据检索优化方法，其特征在于，根据第一次查询结果，分别对每个层级系统进行第二次查询，获取每个层级系统的定向数据量的查询结果。

3.根据权利要求2所述的基于终端算力和动态赋权的多级数据检索优化方法，其特征在于，所述动态赋权规则包括：根据每个层级系统中的数据量之和和目标取值总数，获取所述每个系统的定向数据量的查询结果。

4.根据权利要求3所述的基于终端算力和动态赋权的多级数据检索优化方法，其特征在于，将所述目标取值总数除以每个层级系统中的数据量之和再乘以每个层级的查询计数总数的总数，依次计算获取所述每个系统的定向数据量的查询结果，其中，最后一个计算的层级系统根据目前取值总数减去前面每个系统查询的总数进行取值处理，进行总数控制。

5.根据权利要求2所述的基于终端算力和动态赋权的多级数据检索优化方法，其特征在于，所述动态赋权规则包括：预先根据每个系统层级的重要性对层级进行权重分配，并根据权重分配的优先级获取符合所述优先级的系统层级的数据查询结果，再根据层级的数量和实际需要查询的数量，判断是否进行进一步查询。

6.根据权利要求5所述的基于终端算力和动态赋权的多级数据检索优化方法，其特征在于，根据预设条件进行第一次数据查询，

若查询计数总数小于等于预设条件中的查询数，则直接进行数据查询，获取查询数据；

若查询计数总数大于预设条件中的查询数，则进行第二次查询，根据赋权规则获取每个层级的具体数据；

如果一层级的数据量大于预设条件中的查询数，则根据本层级的需要查询的数据量和每个层级中的平级系统在本层级的比重，进行取值，获取查询数据。

7.根据权利要求2所述的基于终端算力和动态赋权的多级数据检索优化方法，其特征在于，所述动态赋权规则包括：预先设定一比较阈值，当第一次查询单个系统的查询数据量与整个级联环境中数据总和的比值小于所述比较阈值时，

若第一次查询的单个系统数据总量与目标查询数据总量的比值小于等于所述比较阈值时，则直接取该系统的所有值，获取查询数据；

若第一次查询的单个系统数据总量与所有系统符合条件的数据总量的比值大于所述比较阈值时，则对该系统的数据进行赋权筛选。

8.根据权利要求7所述的基于终端算力和动态赋权的多级数据检索优化方法，其特征在于，预先设定一阈值X％，且X％*N<＝Y％，

其中，N为总层级的系统的数量，0<Y％<1，

若第一次查询单个系统的数据量与目标数据量的比值小于等于设置阈值，且比值乘以N，小于Y％，则取该系统所有数据；

若第一次查询单个系统的数据量与目标数据量的比值大于设置阈值，则将其他的数据排除后再根据数据情况进行赋权处理，查出每一级的数据。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现权利要求1至8中任一项所述方法。

10.一种电子终端，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至8中任一项所述方法。

Images