CN115878910A

CN115878910A - 线路查询方法、装置和存储介质

Info

Publication number: CN115878910A
Application number: CN202211445761.9A
Authority: CN
Inventors: 陈佳超
Original assignee: Shenzhen Yishi Huolala Technology Co Ltd
Current assignee: Shenzhen Yishi Huolala Technology Co Ltd
Priority date: 2022-11-18
Filing date: 2022-11-18
Publication date: 2023-03-31

Abstract

本发明公开了线路查询方法、装置和存储介质。本发明提供线路查询方法，包括：步骤1、接收到查询任务的查询指令时，将所述查询任务发送给策略节点启动任务分配模块；其中，所述查询任务包括按批次对数据库中的路线进行读取的指令；步骤2、所述任务分配模块根据所述查询指令进行并发任务分配，分配成子任务。该方法在策略节点启动任务分配模块，分配成的子任务并发处理，将查询任务的查询指令分配成子任务并发处理，客观上降低了子任务内需要按批次读取OD的数量，带来查询时间的总体减少，解决了OD查询时长上下波动较大问题。

Description

线路查询方法、装置和存储介质

技术领域

本发明涉及互联网运输领域，尤其涉及线路查询方法、装置和存储介质。

背景技术

OD(Or i gi n-Dest i nat ion)指交通出行上的起点网格跟终点网格之间的线路。全国的OD数量至少是千万级别甚至亿级别以上的。每条OD都有各种各样的指标，例如，最近7天这条OD的下单量，表示最近7天这条线路乘客打车的订单量；最近7天这条OD的配对单量，表示最近7天这条线路乘客的下单与司机接单能配对上的订单量等等。

由于OD数据量巨大，传统的MySQL数据库已经无法存储。同时，也为了对OD进行快速的读取操作，目前行业上对于OD的存储均是存储在HDFS(Hadoop Fi l e System，Hadoop文件系统)中，也可称为线路数据库HDFS。Hive、Hbase的底层都是HDFS，都需要HDFS的支持，没有HDFS，Hive与Hbase将无法运行。H ive本质上是计算引擎，包含元表，提供了一种映射关系，但本身不存储数据；Hbase本身是一个会存储数据的数据库，但本身存储的数据又会存储到底层的HDFS中。

然而，目前的对存储于Hbase中的OD存储方案的读取上存在以下缺点：

按批次读OD导致时长上下波动大：每个批次的OD数量不固定，有的批次的OD数量只有几十万，有的批次的OD数量上千万甚至上亿。从而导致按批次对OD进行读取操作时，时间长度从毫秒级别到分钟级别的跨度。

发明内容

本发明主要解决OD查询中的时长波动较大、容易超时和性能较底下的技术问题，提供线路查询方法、装置和存储介质。

为解决上述技术问题，本发明采用的一个技术方案是：提供线路查询方法，所述方法包括：

步骤1、接收到查询任务的查询指令时，将所述查询任务发送给策略节点启动任务分配模块；其中，所述查询任务包括按批次对数据库中的路线进行读取的指令；

步骤2、所述任务分配模块根据所述查询指令进行并发任务分配，分配成子任务。

其中，所述任务分配模块根据所述查询指令进行并发任务分配的步骤之后，所述方法还包括：

步骤3、计算所述子任务数量；

步骤41、将其中一个子任务分配给所述策略节点执行。

其中，所述将其中一个子任务分配给所述策略节点执行的步骤之后，所述方法还包括：

步骤42、在所述子任务数量大于1时，将其余子任务分配给容器化集群管理系统的作业调度器执行。

其中，所述方法包括：

步骤43、在所述子任务数量大于1时，所述策略节点等待所述作业调度器执行完毕的信息回调到所述策略节点进行汇总。

其中，所述任务分配模块根据所述查询指令进行并发任务分配的步骤包括：

任务切换模块读取Mysql，从Mysql中读取当前涉及的所有批次的路线的数量；

对当前涉及的所有批次按路线的数量进行排序；

使用预设算法对当前涉及的所有批次进行切分。

其中，所述预设算法包括：

步骤51、设定当前已累加的路线数量为S,并将S初始化为0，即S＝0；

步骤52、读取当前子任务涉及的任一批次的路线的数量a,并将a赋值累加到S上，即S＝S+a；

步骤53、判断赋值累加后的S是否大于等于阈值Z，

步骤54、若判断到赋值累加后的S不大于等于阈值Z，则重复步骤52；

步骤55、若判断到赋值累加后的S大于阈值Z，则计算前n-1个批次的路线总数x，对剩下的路线数量索引Z-x，从第n个批次读取；存储本次读取到的所有批次的批次信息；将S重置为第n个批次剩余数量；回到步骤53；

步骤56、若判断到赋值累加后的S等于阈值Z，则存储本次读取到的所有批次的批次信息；将S重置为0，即S＝0；继续读取下一个批次，回到步骤52。

其中，所述批次信息包括批次号、起始索引和结束索引。

其中，所述策略节点等待所述作业调度器执行完毕的信息回调到所述策略节点进行汇总的步骤具体包括：

将所述作业调度器执行的子任务的参数发送给所述策略节点，所述子任务的参数包括子任务的批次号、起始索引和结束索引，所述策略节点汇总所述子任务的参数。

为解决上述技术问题，本发明采用的另一个技术方案是：提供线路查询装置，所述装置包括：

查询模块，用于接收到查询任务的查询指令时，将所述查询任务发送给策略节点启动任务分配模块；其中，所述查询任务包括按批次对数据库中的路线进行读取的指令；

分配模块，用于在所述任务分配模块根据所述查询指令进行并发任务分配，分配成子任务。

为解决上述技术问题，本发明采用的另一个技术方案是：计算机可读存储介质，所述计算机可读存储介质中存储有程序数据，所述程序数据在被处理器执行时，用于执行所述程序数据以实现上述的方法。

本发明实施例的有益效果是：区别于现有技术，本发明提供线路查询方法，包括：步骤1、接收到查询任务的查询指令时，将所述查询任务发送给策略节点启动任务分配模块；其中，所述查询任务包括按批次对数据库中的路线进行读取的指令；步骤2、所述任务分配模块根据所述查询指令进行并发任务分配，分配成子任务。该方法在策略节点启动任务分配模块，分配成的子任务并发处理，将查询任务的查询指令分配成子任务并发处理，客观上降低了子任务内需要按批次读取OD的数量，带来查询时间的总体减少，解决了OD查询时长上下波动较大问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本发明提供的线路查询方法一实施例的流程图；

图2是本发明提供的线路查询方法另一实施例的流程图；

图3是本发明提供的线路查询方法的预设算法的流程图；

图4是本发明提供的线路查询方法一实施例的切分结果示意图；

图5是本发明提供的线路查询方法又一实施例的流程图；

图6是本发明提供的线路查询装置一实施例的结构框图；

图7是本发明提供的计算机可读存储介质一实施例的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

鉴于现有技术的问题，如图1所示，本发明实施例的提供线路查询方法，所述方法包括：

在一些实施例中，如图2所示，所述任务分配模块根据所述查询指令进行并发任务分配的步骤之后，所述方法还包括：

步骤3、计算所述子任务数量；

步骤41、将其中一个子任务分配给所述策略节点执行。

在一些实施例中，所述将其中一个子任务分配给所述策略节点执行的步骤之后，所述方法还包括：

在一些实施例中，所述方法包括：

在一些实施例中，所述任务分配模块根据所述查询指令进行并发任务分配的步骤包括：

任务切换模块读取Mysq l，从Mysq l中读取当前涉及的所有批次的路线的数量；

对当前涉及的所有批次按路线的数量进行排序；

使用预设算法对当前涉及的所有批次进行切分。

在一些实施例中，如图3所示，所述预设算法包括：

步骤53、判断赋值累加后的S是否大于等于阈值Z，

具体地，所述批次信息包括批次号、起始索引和结束索引。

具体地，可将所述预设算法形象命名为“贪心算法”。

根据本发明其中一个实施例的路线查询方法，最终形成如下示意图的切分结果如图4所示。

在一些实施例中，所述策略节点等待所述作业调度器执行完毕的信息回调到所述策略节点进行汇总的步骤具体包括：

本发明旨在提供一种基容器化集群管理系统下的货运场景的高性能分布式Hbase读取OD的方法。如图5所示，为本发明一实施例路线查询方法的流程图。

具体的，该容器化集群管理系统可以为kubernetes，作业调度器为kubernetes下的Job类。启动kubernetes的多个Job任务，同时将可用于H i ve查询的SQL语句发送给多个Job，并执行H i ve SQL的查询，实现分布式并发，以提升查询性能。Job可将查询到的线路OD回写至Hbase中存储，Web业务系统通过查询Hbase中存储的线路OD，最终筛选出期望的目标线路。

在一些实施例中，当执行一个按批次对Hbase中的OD进行读取操作时，将指令(查询任务的查询指令)发送给策略节点(软件中命名为Master节点)。

进一步地，Master节点接收到指令后，启动任务分配模块。任务分配模块的主要功能就是对本批次的全量OD进行切分。

具体地，当执行一个查询任务(按批次对Hbase中的OD进行读取操作)时，将查询指令发送给Master节点。

进一步地，Master节点接收到查询指令后，启动任务分配模块。任务切分模块的主要功能就是对本批次的全量OD进行切分。

任务分配模块逻辑如下：

任务切换模块读取Mysq l，从Mysq l中读取本次涉及的所有批次的OD的数量；

对涉及的批次按OD的数量从小到大排序；

使用预设算法对本次涉及的批次进行分配。

进一步地，当任务分配模块完成任务切分之后，判定当前的查询任务的查询指令最终被切分为多少个子任务。设定子任务数量为n。如果n＝1，也就是只有一个子任务，则将该任务分发给Master节点即可。如果n>＝2，也就是有大于等于两个子任务。则将其中一个任务分发给Master节点，根据剩下n-1个任务通过Kubernetes启动n-1个Job进行执行。n为整数。

进一步地，Master节点执行子任务对Hbase中的OD进行读取操作。如果有Kubernetes中的Job参与执行对Hbase中的OD进行读取操作，则等待Job任务执行完，回调Master节点。由Master节点进行汇总。

本发明实施例的有益效果是：区别于现有技术，本发明提供线路查询方法，包括：步骤1、接收到查询任务的查询指令时，将所述查询任务发送给策略节点启动任务分配模块；其中，所述查询任务包括按批次对数据库中的路线进行读取的指令；步骤2、所述任务分配模块根据所述查询指令进行并发任务分配，分配成子任务。该方法在策略节点启动任务分配模块，分配成的子任务并发处理，将查询任务的查询指令分配成子任务并发处理，客观上降低了子任务内需要按批次读取OD的数量，带来查询时间的总体减少，解决了OD查询时长上下波动较大问题，也解决了针对Hbase的OD读取容易超时问题，还解决了性能较低下问题。

本发明的线路查询方法，根据批次切分后的情况进行相应分布式多节点的数量以及每个节点内线程的数量的启动，提高了灵活性。既不会因为固定配置的数量太少，而批次的OD数据量又太多；或者因为配置的数量太多，而批次的OD数据量又太少，导致的短板效应问题。

而且，引入Kubernetes的多Job(子任务)并行执行机制，同时让Master节点一并参与子任务的执行。既实现了分布式执行，也让CPU资源得到充分利用。

进一步地，将按批次对Hbase进行OD读取的操作，切分成n个子任务并行执行，保证了对OD进行读取的时长控制在秒级别，由此降低了时长的波动幅度。也由此解决了对大批量的Hbase的OD读取的超时问题。还可以对Hbase的OD读取操作使用等值查询与分页查询，提高性能。即通过多节点并行机制以及多线程并发机制，提高读取Hbase中OD的性能。还通过引入Mysq l作为批次OD的元数据存储，从而方便索引到Hbase中的OD。

参阅图6，图6是本发明提供的线路查询装置一实施例的结构框图。线路查询装置100，所述装置包括：

查询模块101，用于接收到查询任务的查询指令时，将所述查询任务发送给策略节点启动任务分配模块；其中，所述查询任务包括按批次对数据库中的路线进行读取的指令；

分配模块102，用于在所述任务分配模块根据所述查询指令进行并发任务分配，分配成子任务。

需要说明的是，本发明装置实施例与系统实施例具有相同的发明构思，具体的技术特征在此不再一一阐述，均可引入本实施例中。

本发明实施例的有益效果是：区别于现有技术，本发明提供线路查询装置100，在策略节点启动任务分配模块，分配成的子任务并发处理，将查询任务的查询指令分配成子任务并发处理，客观上降低了子任务内需要按批次读取OD的数量，带来查询时间的总体减少，解决了OD查询时长上下波动较大问题，也解决了针对Hbase的OD读取容易超时问题，还解决了性能较低下问题。

参阅图7，图7是本发明提供的计算机存储介质一实施例的结构示意图，该计算机可读存储介质200中存储有程序数据201，程序数据201在被处理器执行时，用于执行如下方法：

还用于执行如下方法：

所述任务分配模块根据所述查询指令进行并发任务分配的步骤之后，所述方法还包括：

步骤3、计算所述子任务数量；

步骤41、将其中一个子任务分配给所述策略节点执行。

又用于执行如下方法：

所述将其中一个子任务分配给所述策略节点执行的步骤之后，所述方法还包括：

又用于执行如下方法：

所述方法包括：

又用于执行如下方法：

所述任务分配模块根据所述查询指令进行并发任务分配的步骤包括：

对当前涉及的所有批次按路线的数量进行排序；

使用预设算法对当前涉及的所有批次进行切分。

又用于执行如下方法：

所述预设算法包括：

步骤53、判断赋值累加后的S是否大于等于阈值Z，

具体地，所述批次信息包括批次号、起始索引和结束索引。

还用于执行如下方法：

所述策略节点等待所述作业调度器执行完毕的信息回调到所述策略节点进行汇总的步骤具体包括：

本发明实施例的有益效果是：区别于现有技术，本发明提供计算机可读存储介质，在策略节点启动任务分配模块，分配成的子任务并发处理，将查询任务的查询指令分配成子任务并发处理，客观上降低了子任务内需要按批次读取OD的数量，带来查询时间的总体减少，解决了OD查询时长上下波动较大问题，也解决了针对Hbase的OD读取容易超时问题，还解决了性能较低下问题。

在本发明所提供的几个实施方式中，应该理解到，所揭露的方法、设备以及系统，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是根据本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.线路查询方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述任务分配模块根据所述查询指令进行并发任务分配的步骤之后，所述方法还包括：

步骤3、计算所述子任务数量；

步骤41、将其中一个子任务分配给所述策略节点执行。

3.根据权利要求2所述的方法，其特征在于，所述将其中一个子任务分配给所述策略节点执行的步骤之后，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述方法包括：

5.根据权利要求1-4任一项所述的方法，其特征在于，所述任务分配模块根据所述查询指令进行并发任务分配的步骤包括：

对当前涉及的所有批次按路线的数量进行排序；

使用预设算法对当前涉及的所有批次进行切分。

6.根据权利要求5所述的方法，其特征在于，所述预设算法包括：

步骤53、判断赋值累加后的S是否大于等于阈值Z，

7.根据权利要求6所述的方法，其特征在于，所述批次信息包括批次号、起始索引和结束索引。

8.根据权利要求7所述的方法，其特征在于，所述策略节点等待所述作业调度器执行完毕的信息回调到所述策略节点进行汇总的步骤具体包括：

9.线路查询装置，其特征在于，所述装置包括：

10.计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序数据，所述程序数据在被处理器执行时，用于执行所述程序数据以实现权利要求1-8任一项所述的方法。