CN112380276A - 一种分布式系统分库分表后非分片键字段查询数据的方法 - Google Patents

Abstract

本发明公开了一种分布式系统分库分表后非分片键字段查询数据的方法，其是将索引实体对象存储到Elasticsearch，当向Elasticsearch发起数据查询时，通过Elasticsearch提供的API获取到索引数据对应的分片键字段值，然后通过分片算法工具定位到具体对应的分片上进行数据查询操作，最终将查询结果返回，实现数据查询。本发明解决了现有技术通过非分片键字段进行数据查询时存在严重的系统性能损耗和数据单点以及索引数据难于平滑扩容的问题，更适应当前系统开发、测试和使用的需求，实用价值更高。

Description

一种分布式系统分库分表后非分片键字段查询数据的方法

技术领域

本发明涉及一种分布式系统分库分表后非分片键字段查询数据的方法。

背景技术

在系统开发阶段，通常会涉及到分库分表的应用系统，目前一般是通过非分片键字段进行数据查询，而现有常用的查询方法有如下几种：

1、遍历查询方法

如一个用户表，该表有序号、姓名、手机号等字段，按照分片算法：序号%分片数得到分片结果，假如分片数为64片，如果用序号进行查询则通过分片算法得到具体某一分片然后进行数据查询操作，如果用手机号进行查询则会最多到64个分片上进行数据查询，直到查询到数据后返回结果。

2、多线程并行查询方法

例如，将上述64个分片通过手机号进行查询的方式构建为64个查询任务并结合java线程池和Future特性，批量发起异步查询最终调用Future的get方法返回查询结果。

3、新增二级索引数据表的查询方法

二级索引数据表主要用来维护非分片键字段和分片键字段的关系，如果通过非分片键字段进行查询，则首先从二级索引数据表查询到分片键字段值，然后用该值发起查询得到结果（如上述用户表，需要新建一个二级索引数据表，该表有手机号、用户序号字段（同用户表序号），当使用手机号进行查询的时候，首先到二级索引数据表进行查询，如果没有查询到用户序号则直接返回空结果，如查询到用户序号则通过分片算法定位到具体某一分片上进行数据查询操作并返回结果）。

以上第一种方式，最坏的情况下要按照分片数发起相应次数的数据库查询，因此该方案存在严重的性能损耗和数据单点问题。

第二种方式，如果分片数过大，则同样存在严重的系统性能损耗和数据单点问题。

第三种方式，随着数据量的增加，二级索引数据表会面临单数据节点存储和性能瓶颈问题，同样也会面临需要分库分表的手段来解决二级索引数据表的性能问题，如后续需要通过身份证号进行查询，则需要新加另外一个二级索引数据表来维护存储身份证号和用户序号的关系。如此一来，该方案就会存在因需要维护多张二级索引数据表而导致后续数据扩容带来的数据迁移问题，并且在单节点不可用的情况下，还会导致整个应用都不能正常对外提供服务。

发明内容

本发明的目的在于提供一种分布式系统分库分表后非分片键字段查询数据的方法，解决现有技术通过非分片键字段进行数据查询时存在严重的系统性能损耗和数据单点以及索引数据难于平滑扩容的问题。

为实现上述目的，本发明采用的技术方案如下：

一种分布式系统分库分表后非分片键字段查询数据的方法，其是将索引实体对象存储到Elasticsearch，当向Elasticsearch发起数据查询时，通过Elasticsearch提供的API获取到索引数据对应的分片键字段值，然后通过分片算法工具定位到具体对应的分片上进行数据查询操作，最终将查询结果返回，实现数据查询；所述索引实体对象包含有用作主键的序号字段，以及数据分片键字段和其它非分片键字段。

具体地，将索引实体对象存储到Elasticsearch的具体步骤如下：

（1）将索引实体对象转换为JSON字符串格式，得到Elasticsearch文档对象；

（2）调用Elasticsearch中的API存储Elasticsearch文档对象，从而将索引实体对象存储到Elasticsearch；

（3）循环步骤（1）、（2），使索引实体对象连续存储到Elasticsearch并更新。

具体地，所述分片算法工具包含有一个基于序号的求余取模分片算法类，该类包含有一个分片方法，用于返回分片数据源；并且该分片方法包含有两个参数，第一个参数是hashmap，键是数据源名称，值是数据源；第二个参数是分片键列表。

进一步地，所述分片方法返回分片数据源的具体过程如下：

（1）调用第一个参数hashmap的size方法，得到分片数；

（2）遍历第二个参数分片键列表，将列表中的分片键值逐个读取；

（3）根据得到的分片键值%得到的分片数，得到模数；

（4）遍历第一个参数hashmap逐个读取数据源名称和数据源；如果得到的数据源名称以步骤（3）得到的模数结尾，则表示命中分片并直接返回该数据源；如果未命中则直到命中为止；如果直到最后都没有命中分片，则对外抛出运行时异常并提示未命中分片错误信息。

再进一步地，通过分片算法工具定位到具体对应的分片上进行数据查询操作并将查询结果返回的具体步骤如下：

（1）定义数据查询输入对象，该对象用来定义数据检索要素，得到数据查询输入对象；

（2）调用Elasticsearch的API，若Elasticsearch文档对象不存在，则直接返回，查询结束；反之，则将获得的Elasticsearch文档对象进行解析，读取分片键信息，得到分片键值，然后执行步骤（3）；

（3）根据步骤（2）得到的分片键值，调用分片算法工具的分片方法得到数据源；

（4）根据数据查询输入对象构建查询SQL语句；

（5）从步骤（3）得到的数据源获取数据库链接；

（6）调用数据库链接，并输入查询SQL语句，得到预编译语句执行器；

（7）调用预编译语句执行器的查询方法，并返回结果集；

（8）遍历查询的结果集并返回查询数据。

上述相关名词解释：

JSON：（外语全称：JavaScript Object Notation）是一种轻量级的数据交换格式。它基于ECMAScript (欧洲计算机协会制定的Java Script规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。

分库分表：是一种有效解决单数据库性能问题或数据量过大的有效手段。

分片算法：是一种基于一个或多个字段值根据特定的算法逻辑得到数据路由结果的方式。

分片键：是一种基于数据库表一个或多个字段值，按照某种特定的分片算法得到数据路由结果，并最终命中到需要操作的数据库表上进行精确操作的手段。

Elasticsearch：是一个分布式、高扩展、高实时的搜索服务器。它能很方便的使大量数据具有搜索、分析和探索的能力，以下简称为ES。

与现有技术相比，本发明具有以下有益效果：

（1）本发明基于ES高可用、数据搜索、海量存储、易于扩展的能力，将其作为索引数据存储对象和检索工具，并将索引对象存储到ES，通过ES提供的API获取到索引数据对应的分片键字段值，并结合分片算法定位到具体某一分片上进行数据查询，最终可以快速获得查询结果。因此，本发明解决了多次数据库交互带来的性能损耗、大数据量带来的数据扩容与迁移以及单节点不可用的问题。

（2）本发明中的分片算法工具内置了求余取模分片算法类，利用分片方法中的参数hashmap和分片键列表，可以快速判断数据源中是否包含有相应的分片，具有命中准确、效率高的优点。并且，该分片算法工具还可以自由定制（例如按照时间进行分片），应用系统可以根据自己的业务需要进行实现，因而其还具有适配性和灵活性强的特点。

附图说明

图1是本发明的流程示意图。

具体实施方式

下面结合附图说明和实施例对本发明作进一步说明，本发明的方式包括但不仅限于以下实施例。

实施例

本实施例提供了一种分布式系统分库分表后非分片键字段查询数据的方法，旨在解决系统开发阶段涉及到分库分表的应用系统时，通过非分片键字段进行数据查询存在的系统性能损耗高、数据单点不可用、索引数据难于平滑扩容的问题。如图1所示，本实施例的主要流程如下：

步骤1：存储索引实体对象

（1.1）定义索引实体对象，该对象包含有主键（用序号字段表示）、数据分片键字段，以及其他非分片键字段（比如客户索引实体对象，有身份证号码，姓名，手机号，邮箱地址等），得到索引实体对象；

（1.2）将步骤（1.1）定义的索引实体对象转换为JSON字符串格式，得到ES文档对象；

（1.3）调用ES的Api存储步骤（1.2）的ES文档对象，到这里就完成了索引实体对象的存储。后期可通过数据更新的方式不断更新索引实体对象。

步骤2：新建分片算法工具

定义一个基于序号求余取模分片算法类，该类仅有一个分片方法，用于返回分片数据源；并且该分片方法有两个参数，第一个参数是hashmap，键是数据源名称，值是数据源；第二个参数是分片键列表。

本实施例中，分片方法返回分片数据源的具体过程如下：

（1）调用第一个参数hashmap的size方法，得到分片数；

（2）遍历第二个参数分片键列表，将列表中的分片键值逐个读取；

（3）根据得到的分片键值%得到的分片数，得到模数；

（4）遍历第一个参数hashmap逐个读取数据源名称和数据源；如果得到的数据源名称以步骤（3）得到的模数结尾，则表示命中分片并直接返回该数据源；如果未命中则直到命中为止；如果直到最后都没有命中分片，则对外抛出运行时异常并提示未命中分片错误信息。

步骤3：根据非分片键字段查询数据

（3.1）定义数据查询输入对象，该对象用来定义数据检索要素（比如手机号、邮箱地址等），得到数据查询输入对象；

（3.2）调用ES的API得到步骤（1.3）的ES文档对象，这里包括两种情形：

第一种情形：ES文档对象不存在，则直接返回，查询结束；

第二种情形：ES文档对象存在，则解析ES文档对象并读取分片键信息，得到分片键值；

（3.3）根据得到的分片键值，调用步骤（2）分片算法工具的分片方法得到数据源；

（3.4）根据步骤（3.1）的数据查询输入对象构建查询SQL语句；

（3.5）从步骤（3.3）得到的数据源获取数据库链接；

（3.6）调用步骤（3.5）得到的数据库链接，并输入步骤（3.4）构建的查询SQL语句，得到预编译语句执行器；

（3.7）调用步骤（3.6）预编译语句执行器的查询方法，并返回结果集；

（3.8）遍历步骤（3.7）查询结果集并返回查询数据。

本发明充分整合了ES与分片算法工具的使用，快速、准确地响应了非分片键字段的数据查询操作，不仅系统性能损耗小、不存在数据单点情况，而且索引数据易于扩容，因而与现有常用的遍历查询方法、多线程并行查询方法以及新增二级索引数据表的查询方法相比，更适应当前系统开发、测试和使用的需求，实用价值更高。所以与现有技术相比，本发明具有突出的实质性特点和显著的进步。

上述实施例仅为本发明的优选实施方式之一，不应用于限制本发明的保护范围，凡在本发明的主体设计思想和精神上作出的毫无实质意义的改动或润色，其解决的技术问题仍然与本发明一致的，均应包含在本发明的保护范围之内。

Claims (5)

1.一种分布式系统分库分表后非分片键字段查询数据的方法，其特征在于，其是将索引实体对象存储到Elasticsearch，当向Elasticsearch发起数据查询时，通过Elasticsearch提供的API获取到索引数据对应的分片键字段值，然后通过分片算法工具定位到具体对应的分片上进行数据查询操作，最终将查询结果返回，实现数据查询；所述索引实体对象包含有用作主键的序号字段，以及数据分片键字段和其它非分片键字段。

2.根据权利要求1所述的一种分布式系统分库分表后非分片键字段查询数据的方法，其特征在于，将索引实体对象存储到Elasticsearch的具体步骤如下：

（1）将索引实体对象转换为JSON字符串格式，得到Elasticsearch文档对象；

（2）调用Elasticsearch中的API存储Elasticsearch文档对象，从而将索引实体对象存储到Elasticsearch；

（3）循环步骤（1）、（2），使索引实体对象连续存储到Elasticsearch并更新。

3.根据权利要求1或2所述的一种分布式系统分库分表后非分片键字段查询数据的方法，其特征在于，所述分片算法工具包含有一个基于序号的求余取模分片算法类，该类包含有一个分片方法，用于返回分片数据源；并且该分片方法包含有两个参数，第一个参数是hashmap，键是数据源名称，值是数据源；第二个参数是分片键列表。

4.根据权利要求3所述的一种分布式系统分库分表后非分片键字段查询数据的方法，其特征在于，所述分片方法返回分片数据源的具体过程如下：

（1）调用第一个参数hashmap的size方法，得到分片数；

（2）遍历第二个参数分片键列表，将列表中的分片键值逐个读取；

（3）根据得到的分片键值%得到的分片数，得到模数；

（4）遍历第一个参数hashmap逐个读取数据源名称和数据源；如果得到的数据源名称以步骤（3）得到的模数结尾，则表示命中分片并直接返回该数据源；如果未命中则直到命中为止；如果直到最后都没有命中分片，则对外抛出运行时异常并提示未命中分片错误信息。

5.根据权利要求4所述的一种分布式系统分库分表后非分片键字段查询数据的方法，其特征在于，通过分片算法工具定位到具体对应的分片上进行数据查询操作并将查询结果返回的具体步骤如下：

（1）定义数据查询输入对象，该对象用来定义数据检索要素，得到数据查询输入对象；

（2）调用Elasticsearch的API，若Elasticsearch文档对象不存在，则直接返回，查询结束；反之，则将获得的Elasticsearch文档对象进行解析，读取分片键信息，得到分片键值，然后执行步骤（3）；

（3）根据步骤（2）得到的分片键值，调用分片算法工具的分片方法得到数据源；

（4）根据数据查询输入对象构建查询SQL语句；

（5）从步骤（3）得到的数据源获取数据库链接；

（6）调用数据库链接，并输入查询SQL语句，得到预编译语句执行器；

（7）调用预编译语句执行器的查询方法，并返回结果集；

（8）遍历查询的结果集并返回查询数据。

Images