CN104965891B - 基于分布式流计算实现跨多关系数据库排序的方法及系统 - Google Patents

Abstract

本发明提供一种基于分布式流计算实现跨多关系数据库排序的方法，包括：步骤1、判断原SQL语句中是否包含Order by语句，若有，则将该原SQL语句进行变换，将变换后的SQL语句、需要排序的字段、需要的limit数量、结果截断数量和关系型数据库实例的连接配置信息进行封装并发送；若否，则结束流程；步骤2、根据参数将关系型数据库进行排序。本发明还提供一种基于分布式流计算实现跨多关系数据库排序的系统，本发明使得数据路由模块响应应用系统的排序请求时不会出现内存溢出的问题；还能随着关系型数据库实例数的变化，调整分布式流计算模块的节点数量，具备高扩展性；还具有易于集成现有系统的优点。

Description

基于分布式流计算实现跨多关系数据库排序的方法及系统

技术领域

本发明涉及通信技术领域，尤其涉及一种基于分布式流计算实现跨多关系数据库排序的方法及系统。

背景技术

随着大数据时代的到来，多个关系型数据库实例配合数据路由模块被越来越多的应用于各个项目和软件系统。数据路由模块则充当关系型数据库各节点与应用系统之间的桥梁，将应用系统发起的Sql请求语句拆解到各个关系型数据库实例，再将各节点的数据汇总处理返回给应用系统。当应用系统通过数据路由模块执行排序语句进行排序操作时，各个节点的海量数据汇集到数据路由模块节点上，因为单数据路由模块节点内存有限，会出现内存溢出无法排序的情况。现有的排序方法无法解决上述问题，如：

在2015年1月28日公开的公开号为104320382A的中国发明，公开了一种分布式的实时流处理装置、方法及单元，属于数据处理领域。方法包括：接收输入单元分发的一批数据流，该一批数据流包括多个子数据流；对接收到的子数据流进行并行处理，得到数据处理结果；将得到的至少一个数据处理结果发送给排序输出单元，当确定属于同一批次的数据流的子数据流处理完成时，向排序输出单元发送标识事件，该数据处理结果及标识事件用于排序输出单元在判断收集齐全所有业务处理单元发送的标识事件后，将收集到的属于同一批次的数据流的所有数据处理结果进行排序输出。本发明通过排序输出单元将同一批次的数据处理结果进行排序输出，实现了分布式的实时流处理的全局排序，更为规整和简便，方便后续处理。

发明内容

本发明要解决的技术问题之一，在于提供一种基于分布式流计算实现跨多关系数据库排序的方法，增加了分布式流计算，用分布式流计算获取到的各个关系型数据库实例的海量数据，在分布式流计算过程中流动，经过排序处理，最终将排序处理完毕的数据打包交给应用系统，以保证应用系统执行排序语句操作时能够正常返回结果。

本发明要解决的技术问题之一，是这样实现的：

一种基于分布式流计算实现跨多关系数据库排序的方法，包括如下步骤：

步骤1、接受应用系统请求的原SQL语句，判断该原SQL语句中是否包含Order by语句：

(1)如果该原SQL语句中包含Order by语句，且

(11)若该Order by语句为“Order by字段limit起点n，步长m”，则将该原SQL语句变换为“Order by字段limit 0，n+m”，或者

(12)若该Order by语句为“Order by字段limit p”，则将该原SQL语句变换为“Order by字段limit 0，p”；

根据变换后的SQL语句可获取需要排序的字段、需要的limit数量、结果截断数量，将变换后的SQL语句、需要排序的字段、需要的limit数量、结果截断数量和关系型数据库实例的连接配置信息进行封装并发送给接受请求节点，并进入步骤2；

(2)如果该原SQL语句中不包含Order by语句，则结束流程；

步骤2、接受请求节点接收后，生成本次请求的唯一编号，根据变换后的SQL语句和关系型数据库实例的连接配置信息，调用复数个查询节点查询对应的关系型数据库实例，同时将查询结果返回给该复数个查询节点，该复数个查询节点将查询结果发射到排序节点；然后排序节点根据需要排序的字段、需要的limit数量创建不重复集合自排序结构体，根据所述唯一编号对所述不重复集合自排序结构体进行标识，同时接收由复数个查询节点发射过来的查询结果，并将该查询结果放入所述不重复集合自排序结构体中进行排序；然后根据结果截断数量将所述不重复集合自排序结构体中排序后的查询结果进行截断后，将截断后的不重复集合自排序结构体进行封装并返回给应用系统。

本发明要解决的技术问题之二，在于提供一种基于分布式流计算实现跨多关系数据库排序的系统，本发明增加了分布式流计算模块，用分布式流计算模块获取到的各个关系型数据库实例的海量数据，在分布式流计算模块里流动，经过排序处理，最终将排序处理完毕的数据打包给数据路由模块，数据路由模块再把结果交给应用系统，为了保证应用系统执行排序语句操作时能够正常返回结果。

本发明要解决的技术问题之二，是这样实现的：

一种基于分布式流计算实现跨多关系数据库排序的系统，包括：

数据路由模块，用于接受应用系统请求的原SQL语句，判断该原SQL语句中是否包含Order by语句：

(1)如果该原SQL语句中包含Order by语句，且

(11)若该Order by语句为“Order by字段limit起点n，步长m”，则将该原SQL语句变换为“Order by字段limit 0，n+m”，或者

(12)若该Order by语句为“Order by字段limit p”，则将该原SQL语句变换为“Order by字段limit 0，p”；

根据变换后的SQL语句可获取需要排序的字段、需要的limit数量、结果截断数量，将变换后的SQL语句、需要排序的字段、需要的limit数量、结果截断数量和关系型数据库实例的连接配置信息进行封装并发送给接受请求节点，并进入分布式流计算模块；

(2)如果该原SQL语句中不包含Order by语句，则结束流程；

分布式流计算模块，用于在接受请求节点接收后，生成本次请求的唯一编号，根据变换后的SQL语句和关系型数据库实例的连接配置信息，调用复数个查询节点查询对应的关系型数据库实例，同时将查询结果返回给该复数个查询节点，该复数个查询节点将查询结果发射到排序节点；然后排序节点根据需要排序的字段、需要的limit数量创建不重复集合自排序结构体，根据所述唯一编号对所述不重复集合自排序结构体进行标识，同时接收由复数个查询节点发射过来的查询结果，并将该查询结果放入所述不重复集合自排序结构体中进行排序；然后根据结果截断数量将所述不重复集合自排序结构体中排序后的查询结果进行截断后，将截断后的不重复集合自排序结构体进行封装并返回给应用系统。

本发明具有如下优点：本发明采用分布式流计算模块，用多节点分担查询并逐条排序，使得数据路由模块响应应用系统的排序请求时不会出现内存溢出的问题；而且还能随着关系型数据库实例数的变化，调整分布式流计算模块的节点数量，具备高扩展性；另外，本发明没有改变应用系统与数据路由模块之间的接口，具有易于集成现有系统的优点。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明一种基于分布式流计算实现跨多关系数据库排序的方法执行流程图。

图2为本发明一种基于分布式流计算实现跨多关系数据库排序的系统结构示意图。

具体实施方式

如图1和图2所示，本发明的一实施例为：

一种基于分布式流计算实现跨多关系数据库排序的方法，包括如下步骤：

步骤1、接受应用系统请求的原SQL语句，判断该原SQL语句中是否包含Order by语句，如果该原SQL语句中包含Order by语句，且该Order by语句为“Order by字段limit起点n，步长m”，则将该原SQL语句变换为“Order by字段limit 0，n+m”，根据变换后的SQL语句可获取需要排序的字段为：Order by字段、需要的limit数量为：n+m、结果截断数量为：n(代表第n条之前的记录会被截断丢弃，即取出第n+1条至第n+m条，共m条记录)，将变换后的SQL语句、需要排序的字段、需要的limit数量、结果截断数量和关系型数据库实例的连接配置信息(指分布式流计算模块连接到具体关系型数据实例所需的参数，包括数据库服务器ip地址、数据库服务端口、登入用户名、登入密码等)进行封装并发送给接受请求节点(这里的封装就是指，通过调用流计算模块的操作接口并传递参数过程中，按照接口参数要求封装，目前是使用JSON格式进行封装)，并进入步骤2；如果该原SQL语句中不包含Order by语句，则结束流程；

步骤2、接受请求节点接收后，生成本次请求的唯一编号，根据变换后的SQL语句和关系型数据库实例的连接配置信息，调用复数个查询节点查询对应的关系型数据库实例，同时将查询结果返回给该复数个查询节点，该复数个查询节点将查询结果逐条以流的形式发射到排序节点；然后排序节点根据需要排序的字段、需要的limit数量创建不重复集合自排序结构体(是一种数据结构体，它里面的数据是可以按照约定好的算法进行排列，并且数据集合不会重复，对应java开发语言中的TreeSet)，根据所述唯一编号对所述不重复集合自排序结构体进行标识，同时接收由复数个查询节点发射过来逐条流化的查询结果，并将该查询结果放入所述不重复集合自排序结构体中进行排序；然后根据结果截断数量将所述不重复集合自排序结构体中排序后的查询结果进行截断后，将截断后的不重复集合自排序结构体进行封装并返回给应用系统。

本发明的一种基于分布式流计算实现跨多关系数据库排序的系统，包括：

数据路由模块，用于接受应用系统请求的原SQL语句，判断该原SQL语句中是否包含Order by语句，如果该原SQL语句中包含Order by语句，且该Order by语句为“Order by字段limit起点n，步长m”，则将该原SQL语句变换为“Order by字段limit 0，n+m”，根据变换后的SQL语句可获取需要排序的字段为：Order by字段、需要的limit数量为：n+m、结果截断数量为：n(代表第n条之前的记录会被截断丢弃，即取出第n+1条至第n+m条，共m条记录)，将变换后的SQL语句、需要排序的字段、需要的limit数量、结果截断数量和关系型数据库实例的连接配置信息(指分布式流计算模块连接到具体关系型数据实例所需的参数，包括数据库服务器ip地址、数据库服务端口、登入用户名、登入密码等)进行封装并发送给接受请求节点(这里的封装就是指，通过调用流计算模块的操作接口并传递参数过程中，按照接口参数要求封装，目前是使用JSON格式进行封装)，并进入分布式流计算模块；如果该原SQL语句中不包含Order by语句，则结束流程；

分布式流计算模块，用于接受请求节点接收后，生成本次请求的唯一编号，根据变换后的SQL语句和关系型数据库实例的连接配置信息，调用复数个查询节点查询对应的关系型数据库实例，同时将查询结果返回给该复数个查询节点，该复数个查询节点将查询结果逐条以流的形式发射到排序节点；然后排序节点根据需要排序的字段、需要的limit数量创建不重复集合自排序结构体(是一种数据结构体，它里面的数据是可以按照约定好的算法进行排列，并且数据集合不会重复，对应java开发语言中的TreeSet)，根据所述唯一编号对所述不重复集合自排序结构体进行标识，同时接收由复数个查询节点发射过来逐条流化的查询结果，并将该查询结果放入所述不重复集合自排序结构体中进行排序；然后根据结果截断数量将所述不重复集合自排序结构体中排序后的查询结果进行截断后，将截断后的不重复集合自排序结构体进行封装并返回给应用系统。

本发明的另一实施例为：

一种基于分布式流计算实现跨多关系数据库排序的方法，包括如下步骤：

步骤1、接受应用系统请求的原SQL语句，判断该原SQL语句中是否包含Order by语句，如果该原SQL语句中包含Order by语句，且该Order by语句为“Order by字段limit p”，则将该原SQL语句变换为“Order by字段limit 0，p”，根据变换后的SQL语句可获取需要排序的字段为：Order by字段、需要的limit数量为：p、结果截断数量为：-1(代表不截断)，将变换后的SQL语句、需要排序的字段、需要的limit数量、结果截断数量和关系型数据库实例的连接配置信息(指分布式流计算模块连接到具体关系型数据实例所需的参数，包括数据库服务器ip地址、数据库服务端口、登入用户名、登入密码等)进行封装并发送给接受请求节点(这里的封装就是指，通过调用流计算模块的操作接口并传递参数过程中，按照接口参数要求封装，目前是使用JSON格式进行封装)，并进入步骤2；如果该原SQL语句中不包含Order by语句，则结束流程；

步骤2、接受请求节点接收后，生成本次请求的唯一编号，根据变换后的SQL语句和关系型数据库实例的连接配置信息，调用复数个查询节点查询对应的关系型数据库实例，同时将查询结果返回给该复数个查询节点，该复数个查询节点将查询结果逐条以流的形式发射到排序节点；然后排序节点根据需要排序的字段、需要的limit数量创建不重复集合自排序结构体(是一种数据结构体，它里面的数据是可以按照约定好的算法进行排列，并且数据集合不会重复，对应java开发语言中的TreeSet)，根据所述唯一编号对所述不重复集合自排序结构体进行标识，同时接收由复数个查询节点发射过来逐条流化的查询结果，并将该查询结果放入所述不重复集合自排序结构体中进行排序；然后根据结果截断数量将所述不重复集合自排序结构体中排序后的查询结果进行截断后，将截断后的不重复集合自排序结构体进行封装并返回给应用系统。

一种基于分布式流计算实现跨多关系数据库排序的系统，包括：

数据路由模块，用于接受应用系统请求的原SQL语句，判断该原SQL语句中是否包含Order by语句，如果该原SQL语句中包含Order by语句，且该Order by语句为“Order by字段limit p”，则将该原SQL语句变换为“Order by字段limit 0，p”，根据变换后的SQL语句可获取需要排序的字段为：Order by字段、需要的limit数量为：p、结果截断数量为：-1(代表不截断)，将变换后的SQL语句、需要排序的字段、需要的limit数量、结果截断数量和关系型数据库实例的连接配置信息(指分布式流计算模块连接到具体关系型数据实例所需的参数，包括数据库服务器ip地址、数据库服务端口、登入用户名、登入密码等)进行封装并发送给接受请求节点(这里的封装就是指，通过调用流计算模块的操作接口并传递参数过程中，按照接口参数要求封装，目前是使用JSON格式进行封装)，并进入分布式流计算模块；如果该原SQL语句中不包含Order by语句，则结束流程；

分布式流计算模块，用于接受请求节点接收后，生成本次请求的唯一编号，根据变换后的SQL语句和关系型数据库实例的连接配置信息，调用复数个查询节点查询对应的关系型数据库实例，同时将查询结果返回给该复数个查询节点，该复数个查询节点将查询结果逐条以流的形式发射到排序节点；然后排序节点根据需要排序的字段、需要的limit数量创建不重复集合自排序结构体(是一种数据结构体，它里面的数据是可以按照约定好的算法进行排列，并且数据集合不会重复，对应java开发语言中的TreeSet)，根据所述唯一编号对所述不重复集合自排序结构体进行标识，同时接收由复数个查询节点发射过来逐条流化的查询结果，并将该查询结果放入所述不重复集合自排序结构体中进行排序；然后根据结果截断数量将所述不重复集合自排序结构体中排序后的查询结果进行截断后，将截断后的不重复集合自排序结构体进行封装并返回给应用系统。

结构化查询语言(Structured Query Language，简称SQL)，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名；Orderby语句是SQL语句中的关键字，用于对查询结果的排序；Limit主要是用于查询之后要显示返回的前几条或者中间某几行数据。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (2)

1.一种基于分布式流计算实现跨多关系数据库排序的方法，其特征在于：包括如下步骤：

步骤1、接受应用系统请求的原SQL语句，判断该原SQL语句中是否包含Order by语句：

(1)如果该原SQL语句中包含Order by语句，且

(11)若该Order by语句为“Order by字段limit起点n，步长m”，则将该原SQL语句变换为“Order by字段limit 0，n+m”，或者

(12)若该Order by语句为“Order by字段limit p”，则将该原SQL语句变换为“Orderby字段limit 0，p”；

根据变换后的SQL语句可获取需要排序的字段、需要的limit数量、结果截断数量，将变换后的SQL语句、需要排序的字段、需要的limit数量、结果截断数量和关系型数据库实例的连接配置信息进行封装并发送给接受请求节点，并进入步骤2；

(2)如果该原SQL语句中不包含Order by语句，则结束流程；

步骤2、接受请求节点接收后，生成本次请求的唯一编号，根据变换后的SQL语句和关系型数据库实例的连接配置信息，调用复数个查询节点查询对应的关系型数据库实例，同时将查询结果返回给该复数个查询节点，该复数个查询节点将查询结果发射到排序节点；然后排序节点根据需要排序的字段、需要的limit数量创建不重复集合自排序结构体，根据所述唯一编号对所述不重复集合自排序结构体进行标识，同时接收由复数个查询节点发射过来的查询结果，并将该查询结果放入所述不重复集合自排序结构体中进行排序；然后根据结果截断数量将所述不重复集合自排序结构体中排序后的查询结果进行截断后，将截断后的不重复集合自排序结构体进行封装并返回给应用系统。

2.一种基于分布式流计算实现跨多关系数据库排序的系统，其特征在于：包括：

数据路由模块，用于接受应用系统请求的原SQL语句，判断该原SQL语句中是否包含Order by语句：

(1)如果该原SQL语句中包含Order by语句，且

(11)若该Order by语句为“Order by字段limit起点n，步长m”，则将该原SQL语句变换为“Order by字段limit 0，n+m”，或者

(12)若该Order by语句为“Order by字段limit p”，则将该原SQL语句变换为“Orderby字段limit 0，p”；

根据变换后的SQL语句可获取需要排序的字段、需要的limit数量、结果截断数量，将变换后的SQL语句、需要排序的字段、需要的limit数量、结果截断数量和关系型数据库实例的连接配置信息进行封装并发送给接受请求节点，并进入分布式流计算模块；

(2)如果该原SQL语句中不包含Order by语句，则结束流程；

分布式流计算模块，用于在接受请求节点接收后，生成本次请求的唯一编号，根据变换后的SQL语句和关系型数据库实例的连接配置信息，调用复数个查询节点查询对应的关系型数据库实例，同时将查询结果返回给该复数个查询节点，该复数个查询节点将查询结果发射到排序节点；然后排序节点根据需要排序的字段、需要的limit数量创建不重复集合自排序结构体，根据所述唯一编号对所述不重复集合自排序结构体进行标识，同时接收由复数个查询节点发射过来的查询结果，并将该查询结果放入所述不重复集合自排序结构体中进行排序；然后根据结果截断数量将所述不重复集合自排序结构体中排序后的查询结果进行截断后，将截断后的不重复集合自排序结构体进行封装并返回给应用系统。