CN114625798B - 数据检索方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例涉及一种数据检索方法、装置、电子设备及存储介质。其中，应用于数据库的计算节点的数据检索方法，包括：获取检索条件字段；根据检索条件字段和预设的映射关系，生成隐式分区字段；下发所述检索条件字段和所述隐式分区字段到存储节点，以使存储节点根据所述检索条件字段确定对应的第一级检索区域，根据所述隐式分区字段在第一级检索区域中确定对应的第二级检索区域。相较于相关技术，本申请实施例通过将检索条件字段自动转化为隐式分区字段，这个实现可以将检索范围精确到第二级检索区域上，从而提升检索速度，同时减少了业务侧的辅助检索字段，进而实现简化业务检索字段。

Description

数据检索方法、装置、电子设备及存储介质

技术领域

本申请实施例涉及功率放大技术领域，尤其涉及一种数据检索方法、装置、电子设备及 存储介质。

背景技术

在现今数据库应用中，表的数据量级逐年递增。虽然现在有了分布式数据库的应用，一 张大表均匀的存储在分布式数据库中的多个存储节点上，但是每个节点存储的数据量可能还 是很大，给数据的检索带来不便。

为了提高检索效率，目前有添加索引的方案或者选增加检索条件字段做partition分区的 方案。若选择给表添加索引的方案，当数据量比较庞大时，检索还是比较慢；若选择增加检 索条件字段的方案，业务检索条件字段较多，从而使得业务使用显得累赘。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本申请实施例提供一种数据检索方法、装置、电子设备及存储介质，能够有效提高检索 效率的同时，简化业务检索字段。

第一方面，本申请实施例提供一种数据检索方法，应用于数据库的计算节点，包括：

获取检索条件字段；

根据检索条件字段和预设的映射关系，生成隐式分区字段；

下发所述检索条件字段和所述隐式分区字段到存储节点，以使存储节点根据所述检索条 件字段确定对应的第一级检索区域，根据所述隐式分区字段在第一级检索区域中确定对应的 第二级检索区域；其中，所述第一级检索区域包括N个所述第二级检索区域，N为大于或等 于1的正整数。

第二方面，本申请实施例提供一种数据检索方法，应用于数据库的存储节点，包括：

接收来自计算节点的检索条件字段和隐式分区字段；

根据所述检索条件字段确定对应的第一级检索区域；

根据所述隐式分区字段在第一级检索区域中确定对应的第二级检索区域。

第三方面，本申请实施例提供一种数据检索装置，包括：

获取模块，用于获取检索条件字段；

映射模块，用于根据检索条件字段和预设的映射关系，生成隐式分区字段；

下发模块，用于下发所述检索条件字段和所述隐式分区字段到存储节点，以使存储节点 根据所述检索条件字段确定对应的第一级检索区域，根据所述隐式分区字段在第一级检索区 域中确定对应的第二级检索区域；其中，所述第一级检索区域包括N个所述第二级检索区域， N为大于或等于1的正整数。

第四方面，本申请实施例提供一种电子设备，包括：

存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行 所述计算机程序时实现：

如权利要求第一方面所述的数据检索方法；

和/或，

如第二方面所述的数据检索方法。

第五方面，本申请实施例提供一种计算机可读存储介质，存储有计算机可执行指令，所

述计算机可执行指令用于执行：

如第一方面所述的数据检索方法；

和/或，

如第二方面所述的数据检索方法。

本申请实施例提供一种数据检索方法、装置、电子设备及存储介质。其中，应用于数据 库的计算节点的数据检索方法，相较于相关技术，通过将检索条件字段自动转化为隐式分区 字段，这个实现可以将检索范围精确到第二级检索区域上，从而提升检索速度，同时减少了 业务侧的辅助检索字段，进而实现简化业务检索字段。

可以理解的是，上述第二方面至第五方面与相关技术相比存在的有益效果与上述第一方 面与相关技术相比存在的有益效果相同，可以参见上述第一方面中的相关描述，在此不再赘 述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或相关技术描述中所需 要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例的一些实 施例，对于本领域普通技术人员来说，在不付出创造性劳动性的前提下，还可以根据这些附 图获得其他的附图。

图1是本申请一个实施例提供的用于执行数据检索方法的系统架构的示意图；

图2是本申请一个实施例提供的数据检索方法流程图；

图3是本申请另一个实施例提供的数据检索方法流程图；

图4是本申请另一个实施例提供用于执行数据检索方法的系统架构的示意图；

图5是本申请另一个实施例提供的数据检索方法流程图；

图6是本申请相关技术中检索方法的系统架构的示意图；

图7是本申请另一个实施例提供的数据检索方法流程图；

图8是本申请另一个实施例提供的数据检索方法流程图图；

图9是本申请一个实施例提供的数据检索装置的架构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细 节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节 的其它实施例中也可以实现本申请实施例。在其它情况中，省略对众所周知的系统、装置、 电路以及方法的详细说明，以免不必要的细节妨碍本申请实施例的描述。

需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于流 程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、 “第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

还应当理解，在本申请实施例说明书中描述的参考“一个实施例”或“一些实施例”等意味 着在本申请实施例的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。 由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他 一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个 或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具 有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例提供一种数据检索方法、装置、电子设备及存储介质。通过将检索条件字 段自动转化为隐式分区字段，这个实现可以将检索范围精确到第二级检索区域上，从而提升 检索速度，且由于产生的隐式分区字段对业务透明，在实现有效提升检索性能的同时，减少 了业务侧的辅助检索字段。本申请实施例由计算节点自动对检索条件字段做二次partition分 区，即一键两用，或更深层次的一键多用，将检索条件字段进一步作为表的partition隐式分 区字段，即使原检索条件字段类型为varchar或其他非数字类型，也可以实现隐式映射出一个 partition隐式分区字段。当业务SQL(Structured Query Language，结构化查询语言)经过计 算节点时，自动增加隐式分区字段，隐式添加的分区字段对业务不可见。做到了提升SQL检 索性能的同时，对业务使用场景没有任何负担。

下面结合附图，对本申请实施例作进一步阐述。

如图1所示，图1是本申请一个实施例提供的用于执行数据检索方法的系统架构的示意 图。在图1的示例中，该系统架构包括计算节点100和存储节点200(一级存储区域)。在一些实施例中，计算节点可以是一级计算节点，也可以是多级计算节点；存储节点可以是一个存储节点，也可以是多个存储节点(如分布式存储)，本申请实施例对此不做限定。计算节点100和存储节点可以设在同一个硬件平台设备中，也可以是设置在不同的硬件平台设备 中，本申请实施例对此不做限定。

其中，计算节点100的输出端与存储节点200的输入端连接。用于接收业务SQL，并根 据业务SQL进行相应的计算和分发，以使数据库执行相应的操作，如检索、选择、更新、删除、数据重分布、数据导出等。如图1所示，计算节点可以是一级计算节点，则计算节点直 接将操作指令下发给存储节点执行相应操作；如图4所示，计算节点可以是多级计算节点， 则上级计算节点可以通过下级计算节点将操作指令下发给存储节点执行相应操作，或者，下级计算节点可以接收来自上级计算节点的操作指令，将操作指令下发给存储节点执行相应操 作。

存储节点200可以包括一个或多个一级存储区域，对应的分发键为检索条件字段。存储 节点200的输入端与计算节点100的输出端连接。存储节点用于存储数据，并根据来自计算 节点100的操作指令，对存储区域中的数据执行相应操作，如检索、选择、更新、删除、数 据重分布、数据导出等。数据库可以包括一个存储节点，作为一个一级存储区域；也可以包 括多个存储节点，对应作为多个一级存储区域(如分布式存储)，多个存储节点可以连接到 一个计算节点，也可以是连接到次级计算节点。每个存储节点200创建有N个分区，分区作 为二级存储区域，N为大于或等于1的正整数。分区对应的分区键为隐式分区字段。

本申请实施例描述的系统架构以及应用场景是为了更加清楚的说明本申请实施例的技术 方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着系统 架构的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样 适用。

本领域技术人员可以理解的是，图1中示出的系统架构并不构成对本申请实施例的限定， 可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

在图1所示的系统架构中，计算节点或存储节点可以调用其储存的数据检索程序，以执 行数据检索方法。

基于上述系统架构，提出本申请实施例的数据检索方法的各个实施例。

参照图2，一种数据检索方法，应用于数据库的计算节点，包括：

步骤S1100，获取检索条件字段；

步骤S1200，根据检索条件字段和预设的映射关系，生成隐式分区字段；

步骤S1300，下发检索条件字段和隐式分区字段到存储节点，以使存储节点根据检索条 件字段确定对应的第一级检索区域，根据隐式分区字段在第一级检索区域中确定对应的第二 级检索区域；其中，第一级检索区域包括N个第二级检索区域，N为大于或等于1的正整数。

在关系型数据库应用中，表的数据量级逐年递增，虽然现在有了分布式数据库的应用， 一张大表均匀的存储在分布式数据库中的多个存储节点上，但是每个节点存储的数据量可能 还是很大。当检索的字段为非数字类型，如varchar类型(变长字符串类型)时，相关技术中 的做法是做法就是给表添加索引或者选择另外一个字段做partition分区。给表添加索引，会 起到一定加快检索速度的效果，但当数据量比较庞大时，还是会比较慢；选择另外一个字段 做partition分区(显式分区)，需要给业务(SQL操作语句)新增一个不必要的检索条件字 段，业务使用显得累赘。

例如，想查询一张真币的流通记录，冠字号是真币的唯一标识，在钱币流通记录表(一 般是采用分布式数据库，存储在多个存储节点中)中检索，相关技术的方法是选择日期时间 戳字段对存储节点做partition分区，当查询一张钱币的流通记录时，业务(SQL操作语句) 的where条件中必须出现“冠字号”+“日期范围”这两个条件字段，才能缩减检索时间。如 果想要查询该真币的流通历史时，往往要通过多次变换日期范围才能检索完结果集，或者全 表扫描，查询耗时非常长，给检索带来很大不便。通过本申请实施例的技术方案，这个问题 就能得到很好的解决，检索时，where条件中只需要出现“冠字号”就能精确到“具体的存 储节点的具体分区上”查询出所有历史流通记录，检索范围直接缩小了N倍，有效提升检索 速度。

本发明的目的是将分发键(检索条件字段)同时映射出一个隐式分区键，减小检索范围， 在不改写业务SQL语句的情况下，提升分布式SQL检索性能。

本申请实施例的核心思想是，由数据库的计算节点自动对检索条件字段做二次partition 分区，即一键两用，或更深层次的一键多用，将检索条件字段进一步作为表的partition隐式 分区字段，即使原检索条件字段类型为varchar或其他非数字类型，也可以实现隐式映射出一 个partition隐式分区字段。当业务SQL经过计算节点时，自动增加隐式分区字段，隐式添加 的分区字段对业务不可见。做到了提升SQL检索性能的同时，对业务使用场景没有任何负担。

在一些实施例中，步骤S1100中，检索条件字段可以是数字型字段，如int型(整数型) 字段；也可以是非数字型字段，如varchar类型字段；检索条件字段可以是检索主键字段，如name字段、时间字段等，也可以是索引字段。

在一些实施例中，步骤S1200中，可根据检索条件字段和预设的映射关系，生成隐式分 区字段。在一些实施例中，计算节点自动根据检索条件字段和预设的映射关系，计算得到隐 式分区字段。隐式分区字段对业务不可见，即原SQL操作语句仍然只带有检索条件字段。增 加的隐式分区字段同时又可以定位到存储节点的对应的partition分区。从而实现减少检索条 件字段，同时精准定位检索分区，提高检索速度。

步骤S1300，下发检索条件字段和隐式分区字段到存储节点，以使存储节点根据检索条 件字段确定对应的第一级检索区域，根据隐式分区字段在第一级检索区域中确定对应的第二 级检索区域；其中，第一级检索区域包括N个第二级检索区域，N为大于或等于1的正整数。

在一些实施例中，原SQL操作语句带有检索条件字段，经过计算节点后，下发给你存储 节点的条件变更为“检索条件字段+隐式分区字段”。以使存储节点根据检索条件字段确定对 应的第一级检索区域，根据隐式分区字段在第一级检索区域中确定对应的第二级检索区域。 例如，在一些实施例中，想查询一张真币的流通记录，冠字号是真币的唯一标识，检索策略 业务侧where条件中只需要含有分发键(检索条件字段)，隐式分区键是业务无感知的，即 对于业务SQL语句中的“where冠字号＝XXXXXX”，在计算节点(DB proxy，数据库代理 计算节点)会对原检索语句自动改写，添加上隐藏的隐式分区键，计算节点下发给存储节点 (DB，data base)的where条件会变更为“where冠字号＝XXXXXX and隐式分区键＝YYY”。 存储节点接收到查询指令“where冠字号＝XXXXXX and隐式分区键＝YYY”后，根据检索 条件字段“冠字号＝XXXXXX”确定对应的第一级检索区域，根据隐式分区字段“隐式分区 键＝YYY”，在第一级检索区域中确定对应的第二级检索区域。

在一些实施例中，对于原本需要依赖增加检索条件字段(如缩短时间范围)来提升检索 速度的，采用本申请实施例的技术方案，也可不必增加检索条件字段(如缩短时间范围)， 用户可以仅输入想要检索的检索条件字段，不必选择分区字段，操作更加方便快捷。本申请 实施例通过将分发键自动映射出一个隐式的分区键，不需要添加额外的分区键，就能做到增 加分区、减小检索范围的效果，提升分布式SQL检索性能。可以在创建表时，计算节点对表 自动添加一个隐藏的隐式分区字段。然后在SQL检索时，计算节点根据分发键(检索条件字 段)计算出分区键值(隐式分区字段)，计算节点自动带上分区键下发到存储节点，实现下 发准确到具体分区，减小检索范围，从而提升检索性能。

本申请实施例通过将检索条件字段自动转化为隐式分区字段，这个实现可以将检索范围 精确到第二级检索区域上，从而提升检索速度，同时减少了业务侧的辅助检索字段，进而实 现简化业务检索字段。

在一些实施例中，检索条件字段为非数字类型字段；

对应的，根据检索条件字段和预设的映射关系，生成隐式分区字段，包括：

步骤S1211，根据检索条件字段，映射成数字类型字段；

步骤S1212，将数字类型字段作为隐式分区字段；

或者，

步骤S1221，根据检索条件字段，映射成数字类型字段；

步骤S1222，根据数字类型字段和第一映射公式，获得隐式分区字段。

在一些实施例中，在分布式数据库的计算节点，实现将表的分发键同时当作表的partition 分区键，即一键两用，或更深层次的一键多用。在一些实施例中，当键值(检索条件字段的 值)为varchar或其他非数字类型时，底层DB(Mysql DB)是不支持作为partion分区键的，这 时可以通过在分布式计算节点执行步骤S1211和步骤S1212，将varchar类型的键值或其他非 数字类型的键值映射成数字类型，如int类型的键值，然后使用数字类型字段，如int类型的 映射字段作为partition分区键(隐式分区字段)。在另一些实施例中，当键值(检索条件字 段的值)为varchar或其他非数字类型时，也可以通过在分布式计算节点执行步骤S1221和步 骤S1222，将varchar类型的键值或其他非数字类型的键值映射成数字类型，如int类型的键 值，然后根据数字类型字段和第一映射公式，获得隐式分区字段。

本发明方法的核心思想就是将分布式大表的分发键，同时自动转化为隐式的partition分 区键，这个实现可以将检索范围精确到“具体存储节点的具体分区上”，提升检索速度，且 产生的分区键对业务透明，对业务SQL没有任何影响。对于检索字段为varchar类型或普通 索引的场景，检索性能提升明显，且业务侧减少了不必要的辅助检索字段。

本申请实施例由计算节点自动对检索条件字段做二次partition分区，即一键两用，或更 深层次的一键多用，将检索条件字段进一步作为表的partition隐式分区字段，即使原检索条 件字段类型为varchar或其他非数字类型，也可以实现隐式映射出一个partition隐式分区字段。 当业务SQL经过计算节点时，自动增加隐式分区字段，隐式添加的分区字段对业务不可见。 做到了提升SQL检索性能的同时，对业务使用场景没有任何负担。当只想对varchar或其他 非数字类型的字段进行检索时，不需要添加额外的分区键，就能做到隐式分区的效果，减小 检索范围，提升SQL检索性能。

在一些实施例中，当根据检索条件字段和预设的映射关系，生成隐式分区字段，包括：

步骤S1221，根据检索条件字段，映射成数字类型字段；

步骤S1222，根据数字类型字段和第一映射公式，获得隐式分区字段；

第一映射公式包括取模运算公式，对应的，根据数字类型字段和第一映射公式，获得隐 式分区字段，包括：

步骤S1222-A，将数字类型字段对N取模，得到取模后的值P；

步骤S1222-B，将P作为隐式分区字段。

在一些实施例中，第一映射公式可以是取模运算公式、取余运算公式、哈希运算公式等 等，本申请实施例对此不作限定。下列仅以第一映射公式为取模运算公式为例进行说明。例 如，每个第一级存储区域创建有N个第二级存储区域，计算节点将分发键(检索条件字段) 再次映射出一个分区键(隐式分区字段)，对分布式大表t1自动创建一个字段col_pt，col_pt 即为分发键映射出的分区键(隐式分区字段)，字段col_pt存储值为P，P为t1表分发键(检 索条件字段)换算成int值对N取模后的值。可以通过执行步骤S1221、步骤S1222-A和步 骤S1222-B，得到取模后的值P，实现将检索范围精确到“具体存储节点的具体分区上”。当 第一映射公式可以是取模运算公式、取余运算公式时，取模的可能结果的数量和分区的数量 刚好相等，操作方便。

参照图3，在一些实施例中，还包括：

步骤S1400，发送分区创建指令到存储节点，以使存储节点根据分区创建指令在第一级 检索区域中创建N个第二级检索区域，第二级检索区域的分区键为隐式分区字段。

例如，对于一张分布式大表t1，计算节点发送分区创建指令到存储节点，为t1表在每个 存储节点(第一级检索区域)都创建N个partition分区(第二级检索区域)，表分区键为字 段col_pt(隐式分区字段)，字段col_pt存储值为P，P为对应t1表的隐式分区字段的值。如 图1所示，分区的存储值分别为P1、P2、P3和P4。例如，在一个真币追踪系统数据库中，同一个冠字号的真币数据可存储在同一个存储节点，即存储在同一个第一级检索区域，对应 检索条件字段(即该真币的冠字号)；同时，该存储节点中还存储有其他真币的数据，则可 以通过创建N个partition分区(第二级检索区域)，把不同冠字号的真币数据存储在不同分 区字段对应的分区中，例如，可以把该冠字号的纸币数据存储值为P(对应隐式分区字段) 的分区中，通过检索条件字段“冠字号”+隐式分区字段(P)，则可确定具体检索的分区。

在一些实施例中，数据库为分布式数据库，分布式数据库包括至少两个存储节点。参照 图1，例如，分布式数据库包括有四个存储节点，分别为DB1、DB2、DB3和DB4，每个存 储节点对应为一个第一级检索区域，四个存储节点均与计算节点连接，根据计算节点下发的检索条件字段确定需要检索的第一级检索区域，例如，根据计算节点下发的检索条件字段，确定需要检索的第一级检索区域为DB1。每个存储节点创建有4个分区，分别为P1、P2、P3 和P4，每个分区对应为一个第二级检索区域，根据计算节点下发的隐式分区字段确定需要检索的第二级检索区域，例如，根据计算节点下发的隐式分区字段，确定需要检索的第二级检索区域为P1。因此，实现可以将检索范围精确到“具体存储节点的具体分区上”，提升检索速度。

在一些实施例中，本申请实施例还可以应用于多级计算节点的场景，使用本申请实施例 提供的数据检索方法的可以是最下层级的计算节点(连接存储节点的计算节点)，也可以是 中间层级的计算节点，也可以是最上层级的计算节点。下列分三种场景分别进行说明。

参照图4，在一些实施例中，数据库为分布式数据库，分布式数据库包括至少两个存储 节点和至少两级计算节点。

在一些实施例中，使用本申请实施例提供的数据检索方法的可以是最下层级的计算节点 (连接存储节点的计算节点)。则获取检索条件字段，包括：

步骤S1110，获取来自上级计算节点的检索条件字段。

参照图4，分布式数据库包括两级计算节点，即一个第一级计算节点和多个第二级计算 节点，第一级计算节点和各个第二级计算节点连接，每个第二级计算节点连接有多个存储节 点(如4个存储节点)，每个存储节点创建有多个分区(如4个分区)。执行本申请实施例 提供的数据检索方法的可以是最下层级的计算节点(即第二级计算节点)。第一级计算节点 获取来自业务SQL中的检索条件字段，并根据检索条件字段将检索条件字段分发给对应的第 二级检索节点，对应的第二级计算节点通过执行步骤S1110，获取来自上级计算节点(即第 一级计算节点)的检索条件字段，并通过执行步骤S1200和步骤S1300，实现可以将检索范 围精确到“具体存储节点的具体分区上”，提升检索速度。具体过程如上，在此不做赘述。

在另一些实施例中，使用本申请实施例提供的数据检索方法的可以是中间层级的计算节 点。则获取检索条件字段，包括：

步骤S1120，获取来自上级计算节点的检索条件字段；

下发检索条件字段和隐式分区字段到存储节点，包括：

步骤S1310，通过下级计算节点下发检索条件字段和隐式分区字段到存储节点；

分布式数据库包括三级计算节点，即一个第一级计算节点、多个第二级计算节点和多个 第三级计算节点，第一级计算节点和各个第二级计算节点连接，每个第二级计算节点连接有 多个第三级计算节点，每个第三级计算节点连接有存储节点(如4个存储节点)，每个存储 节点创建有多个分区(如4个分区)。执行本申请实施例提供的数据检索方法的可以是中间 层级的计算节点(即第二级计算节点)。第一级计算节点获取来自业务SQL中的检索条件字 段，并根据检索条件字段将检索条件字段分发给对应的第二级检索节点。对应的第二级计算 节点通过执行步骤S1110，获取来自上级计算节点(即第一级计算节点)的检索条件字段， 并通过执行步骤S1200，根据检索条件字段和预设的映射关系，生成隐式分区字段；对应的 第二级计算节点通过执行步骤S1310，通过下级计算节点(即第三级计算节点)下发检索条 件字段和隐式分区字段到存储节点，实现可以将检索范围精确到“具体存储节点的具体分区 上”，提升检索速度。具体过程如上，在此不做赘述。

在另一些实施例中，使用本申请实施例提供的数据检索方法的可以是最上层级的计算节 点。则下发检索条件字段和隐式分区字段到存储节点，包括：

步骤S1320，通过下级计算节点下发检索条件字段和隐式分区字段到存储节点。

参照图4，分布式数据库包括两级计算节点，即一个第一级计算节点和多个第二级计算 节点，第一级计算节点和各个第二级计算节点连接，每个第二级计算节点连接有多个存储节 点(如4个存储节点)，每个存储节点创建有多个分区(如4个分区)。执行本申请实施例 提供的数据检索方法的可以是最上层级的计算节点。第一级计算节点通过执行步骤S1100， 获取来自业务SQL中的检索条件字段；通过执行步骤S1200，根据检索条件字段和预设的映 射关系，生成隐式分区字段；第一级计算节点通过执行步骤S1320，通过下级计算节点下发 检索条件字段和隐式分区字段到存储节点，即第一级计算节点根据检索条件字段将检索条件 字段分发给对应的第二级检索节点，通过对应的第二级计算节点下发检索条件字段和隐式分 区字段到存储节点，实现可以将检索范围精确到“具体存储节点的具体分区上”，提升检索 速度。具体过程如上，在此不做赘述。

在另一些实施例中，分布式数据库包括至少两个存储节点和至少两级计算节点。使用本 申请实施例提供的数据检索方法的可以是多个层级的计算节点。即是说，在多层计算节点架 构下，分发键(检索条件字段)可以经过多次映射，最后映射精确到分区键(隐式分区字段)， 业务SQL语句的where条件中还是只需要含有分发键即可。例如，参照图4，分布式数据库 包括两级计算节点，即一个第一级计算节点和多个第二级计算节点，第一级计算节点和各个 第二级计算节点连接，每个第二级计算节点连接有多个存储节点(如4个存储节点)，每个 存储节点创建有多个分区(如4个分区)。执行本申请实施例提供的数据检索方法的可以是 最上层级的计算节点(即第一级计算节点)和最下层级的计算节点(即第二级计算节点)。 第一级计算节点通过执行步骤S1100，获取来自业务SQL中的检索条件字段；通过执行步骤 S1200，根据检索条件字段和预设的第一映射关系，生成第一级隐式分区字段；第一级计算节 点将“检索条件字段+第一级隐式分区字段”下发给对应的第二级计算节点；对应的第二级计 算节点接收到来自第一级计算节点的“检索条件字段+第一级隐式分区字段”进一步根据预设 的第二映射关系，生成第二级隐式分区字段，并将“检索条件字段+第一级隐式分区字段+第 二级隐式分区字段”下发到存储节点。第一映射关系和第二级映射关系可以是相同的映射关 系，也可以是不同的映射关系，本申请对此不作限定。通过多次映射，得到的下一层级隐式 分区字段更加简单和短小，从而使得检索更加方便快捷，进而可更进一步提升检索速度。

在一些实施例中，数据库为单机数据库。本申请实施例的数据检索方法也适用于单机数 据库，例如，单机数据库时，也可以对业务SQL语句where条件中的检索主键或索引字段进 行隐式映射出一个分区字段。

在一些实施例中，单机数据库使用本发明方法隐式分区键策略包括：

1、单机数据库在创建表时，根据规则选择是否添加隐式分区字段，及创建对应的partition 分区；

2、含有隐式分区字段的表，在insert插入数据时，自动根据主键或索引或非索引字段(检 索条件字段)与隐式分区键(隐式分区字段)的映射关系，自动补充插入分区键(隐式分区 字段)的值；

3、含有隐式分区字段的表，在检索where条件中含检索条件字段时，根据预设的映射关 系，自动对where条件进行补充添加隐式分区字段，将检索语句下发到具体对应的分区上进 行检索，从而达到，业务侧只根据主键或索引字段(检索条件字段)，就能下发到partition 分区上进行缩小范围检索。

本申请实施例通过将检索条件字段自动转化为隐式分区字段，这个实现可以将检索范围 精确到第二级检索区域上，从而提升检索速度，同时减少了业务侧的辅助检索字段，进而实 现简化业务检索字段。

参照图5，在一些实施例中，在所述步骤S1300之后，还包括：

步骤S1500，在第二级检索区域进行检索；

步骤S1600，根据检索结果进行以下的至少一种操作：

选择、更新、删除、数据重分布、数据导出等。

在一些实施例中，本申请实施例的数据检索方法可以应用于数据库的多种操作中，例如 选择、更新、删除、数据重分布、数据导出等操作。例如，分布式事务对大表进行select、update、 delete等操作，当操作语句where添加中带有分发键(检索条件字段)时，计算节点即可在 where条件中自动添加隐式分区字段col_pt条件，将语句直接下发到指定存储节点的指定分 区上，这样可以有效的提升原业务SQL操作的执行效率。

在一些实施例中，本申请实施例的数据检索方法包括如下步骤：

1.计算节点将分发键再次映射出一个分区键，对分布式大表t1自动创建一个字段col_pt， col_pt即为分发键映射出的分区键，分区键col_pt存储值为p，p为t1表分发键换算成int值 对N取模后的值。

2.计算节点为t1表在每个存储节点都创建N个partition分区，表分区键为字段col_pt。

3.在业务SQL的where条件中含有分发键字段时，计算节点自动在原where条件中添加 分区键col_pt字段，这样业务SQL就可以直接到达指定存储节点的指定分区去检索，检索范 围缩小N倍。where条件中col_pt字段值是在计算分发键指向存储节点时就计算出来了，相 对与检索范围缩小了N倍，增加的延迟可忽略不计。

下列以具体的场景示例说明本申请实施例。

如图6所示，在冠字号追踪系统(真币追踪系统)或车辆行驶追踪系统中，从一张大数 据量的记录表中查询冠字号流通信息或车辆行驶信息，相关技术的检索策略可能是where条 件中需要含有分发键(检索条件字段，如冠字号或车牌)和分区键(显式分区字段，如时间 范围)两个字段，即业务SQL语句包括“where冠字号或车牌＝XXXX and时间＝“时间范围”。

示例一

如图1所示，在本申请实施例涉及的方法中，新的检索策略业务侧where条件中只需要 含有分发键(检索条件字段，如冠字号或车牌)，分区键(隐式分区字段)是业务无感知的， 即业务SQL语句包括“where冠字号或车牌＝XXXX”，在计算节点会对原检索语句自动改写，添加上隐藏的隐式分区键，计算节点下发给存储节点的where条件会变更为“where冠字号或车牌＝XXXX and隐式分区键＝YYY”。例如，在一个真币追踪系统数据库中，同一个冠字号的真币数据可存储在同一个存储节点，即存储在同一个第一级检索区域，对应检索条 件字段(即该真币的冠字号)；同时，该存储节点中还存储有其他真币的数据，则可以通过 创建N个partition分区(第二级检索区域)，把不同冠字号的真币数据存储在不同分区字段 对应的分区中，例如，可以把该冠字号的纸币数据存储值为P(对应隐式分区字段)的分区 中，通过检索条件字段“冠字号”+隐式分区字段(P)，则可确定具体检索的分区。

本申请实施例通过将检索条件字段自动转化为隐式分区字段，这个实现可以将检索范围 精确到第二级检索区域上，从而提升检索速度，同时减少了业务侧的辅助检索字段，进而实 现简化业务检索字段。

另外，参照图7，本申请还提供一种数据检索方法，应用于数据库的存储节点，包括：

步骤S2100，接收来自计算节点的检索条件字段和隐式分区字段；

步骤S2200，根据检索条件字段确定对应的第一级检索区域；

步骤S2300，根据隐式分区字段在第一级检索区域中确定对应的第二级检索区域。

在一些实施例中，应用于数据库的存储节点通过执行步骤S2100，接收数据库的计算节 点执行上述步骤S1100、步骤S1200和步骤S1300后下发的检索条件字段和隐式分区字段； 再通过执行步骤S2200，根据检索条件字段确定对应的第一级检索区域；在通过执行步骤 S2300，根据隐式分区字段在第一级检索区域中确定对应的第二级检索区域。本申请实施例通 过将检索条件字段自动转化为隐式分区字段，这个实现可以将检索范围精确到第二级检索区 域上，从而提升检索速度，同时减少了业务侧的辅助检索字段，进而实现简化业务检索字段。

参照图8，在一些实施例中，还包括：

步骤S2400，接收来自计算节点的分区创建指令；

步骤S2500，根据分区创建指令在第一级检索区域中创建N个第二级检索区域，第二级 检索区域的分区键为隐式分区字段。

在一些实施例中，应用于数据库的存储节点通过执行步骤S2400，接收计算节点通过执 行上述步骤S1400下发的分区创建指令；通过执行步骤S2500，根据分区创建指令在第一级 检索区域中创建N个第二级检索区域，第二级检索区域的分区键为隐式分区字段。

另外，参照图9，本申请实施例还提供数据检索装置，包括：

获取模块310，用于获取检索条件字段；

映射模块320，用于根据检索条件字段和预设的映射关系，生成隐式分区字段；

下发模块330，用于下发检索条件字段和隐式分区字段到存储节点，以使存储节点根据 检索条件字段确定对应的第一级检索区域，根据隐式分区字段在第一级检索区域中确定对应 的第二级检索区域；其中，第一级检索区域包括N个第二级检索区域，N为大于或等于1的 正整数。

需要说明的是，本实施例中的数据检索装置300，可以应用为如图1所示实施例的系统 架构中的数据检索装置；另外，本实施例中的数据检索装置300，可以执行如图2所示实施 例中的数据检索方法。即，本实施例中的数据检索装置300和如图1所示实施例的系统架构 中的数据检索装置，以及如图2所示实施例中的数据检索方法，均属于相同的发明构思，因 此这些实施例具有相同的实现原理以及技术效果，此处不再详述。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也 可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根 据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，本申请还提供电子设备，包括：

存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，在一些实施例中， 处理器执行计算机程序时实现：

如上述的数据检索方法。

处理器和存储器可以通过总线或者其他方式连接。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性 计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器， 例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中， 存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处 理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

需要说明的是，本实施例中的数据检索装置，可以应用为如图1所示实施例的系统架构 中的数据检索装置，本实施例中的数据检索装置和如图1所示实施例的系统架构中的数据检 索装置具有相同的发明构思，因此这些实施例具有相同的实现原理以及技术效果，此处不再 详述。

实现上述实施例的数据检索方法所需的非暂态软件程序以及指令存储在存储器中，当被 处理器执行时，执行上述实施例中的数据检索方法，例如，执行以上描述的图2中的方法步 骤S1100至步骤S1300、图7中的方法步骤S2100至步骤S2300。

另外，本申请还提供计算机可读存储介质，存储有计算机可执行指令，计算机可执行指 令用于执行：

如上述的数据检索方法。

此外，本申请实施例的一个实施例还提供了一种计算机可读存储介质，该计算机可读存 储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如， 被上述计算节点实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的数据检 索方法，例如，执行以上描述的图2中的方法步骤S1100至步骤S1300。又如，被上述存储 节点实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的数据检索方法，例 如，执行以上描述的图7中的方法步骤S2100至步骤S2300。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实 施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理 器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实 施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介 质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普 通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据 结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可 移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、 CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装 置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域 普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如 载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本申请实施例的较佳实施进行了具体说明，但本申请实施例并不局限于上述实 施方式，熟悉本领域的技术人员在不违背本申请实施例精神的前提下还可作出种种的等同变 形或替换，这些等同的变形或替换均包含在本申请实施例权利要求所限定的范围内。

Claims (11)

1.一种数据检索方法，应用于数据库的计算节点，包括：

获取检索条件字段；

根据检索条件字段和预设的映射关系，生成隐式分区字段；

下发所述检索条件字段和所述隐式分区字段到存储节点，以使存储节点根据所述检索条件字段确定对应的第一级检索区域，根据所述隐式分区字段在第一级检索区域中确定对应的第二级检索区域；其中，所述第一级检索区域包括N个所述第二级检索区域，N为大于或等于1的正整数；

其中，所述检索条件字段为非数字类型字段；

对应的，所述根据检索条件字段和预设的映射关系，生成隐式分区字段，包括：

根据检索条件字段，映射成数字类型字段；

将所述数字类型字段作为所述隐式分区字段；

或者，

根据检索条件字段，映射成数字类型字段；

根据所述数字类型字段和第一映射公式，获得所述隐式分区字段。

2.根据权利要求1所述的方法，其特征在于，

当所述根据检索条件字段和预设的映射关系，生成隐式分区字段，包括：

根据检索条件字段，映射成数字类型字段；

根据所述数字类型字段和第一映射公式，获得所述隐式分区字段；

所述第一映射公式包括取模运算公式，对应的，所述根据所述数字类型字段和第一映射公式，获得所述隐式分区字段，包括：

将所述数字类型字段对N取模，得到取模后的值P；

将P作为所述隐式分区字段。

3.根据权利要求1至2任一项所述的方法，其特征在于，还包括：

发送分区创建指令到存储节点，以使存储节点根据所述分区创建指令在所述第一级检索区域中创建N个所述第二级检索区域，所述第二级检索区域的分区键为所述隐式分区字段。

4.根据权利要求1至2任一项所述的方法，其特征在于，所述数据库为分布式数据库，所述分布式数据库包括至少两个存储节点。

5.根据权利要求1至2任一项所述的方法，其特征在于，所述数据库为分布式数据库，所述分布式数据库包括至少两个存储节点和至少两级计算节点；

所述获取检索条件字段，包括：

获取来自上级计算节点的检索条件字段；

或者，

所述获取检索条件字段，包括：

获取来自上级计算节点的检索条件字段；

所述下发所述检索条件字段和所述隐式分区字段到存储节点，包括：

通过下级计算节点下发所述检索条件字段和所述隐式分区字段到存储节点；

或者，

所述下发所述检索条件字段和所述隐式分区字段到存储节点，包括：

通过下级计算节点下发所述检索条件字段和所述隐式分区字段到存储节点。

6.根据权利要求1至2任一项所述的方法，其特征在于，所述数据库为单机数据库。

7.根据权利要求1至2任一项所述的方法，其特征在于，所述下发所述检索条件字段和所述隐式分区字段到存储节点之后，还包括：

在所述第二级检索区域进行检索；

根据检索结果进行以下的至少一种操作：

选择、更新、删除、数据重分布、数据导出。

8.一种数据检索方法，应用于数据库的存储节点，包括：

接收来自计算节点的检索条件字段和隐式分区字段；

根据所述检索条件字段确定对应的第一级检索区域；

根据所述隐式分区字段在第一级检索区域中确定对应的第二级检索区域；

其中，所述方法还包括：

接收来自计算节点的分区创建指令；

根据所述分区创建指令在所述第一级检索区域中创建N个所述第二级检索区域，所述第二级检索区域的分区键为所述隐式分区字段。

9.一种数据检索装置，包括：

获取模块，用于获取检索条件字段；

映射模块，用于根据检索条件字段和预设的映射关系，生成隐式分区字段；

下发模块，用于下发所述检索条件字段和所述隐式分区字段到存储节点，以使存储节点根据所述检索条件字段确定对应的第一级检索区域，根据所述隐式分区字段在第一级检索区域中确定对应的第二级检索区域；其中，所述第一级检索区域包括N个所述第二级检索区域，N为大于或等于1的正整数；

其中，所述检索条件字段为非数字类型字段；

对应的，所述根据检索条件字段和预设的映射关系，生成隐式分区字段，包括：

根据检索条件字段，映射成数字类型字段；

将所述数字类型字段作为所述隐式分区字段；

或者，

根据检索条件字段，映射成数字类型字段；

根据所述数字类型字段和第一映射公式，获得所述隐式分区字段。

10.一种电子设备，包括：

存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现：

如权利要求1至7任意一项所述的数据检索方法；

和/或，

如权利要求8所述的数据检索方法。

11.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行：

如权利要求1至7任意一项所述的数据检索方法；

和/或，

如权利要求8所述的数据检索方法。

Images