CN108038621A - 调度系统的评测方法及装置 - Google Patents

Abstract

本发明实施方式提供了调度系统的评测方法及装置，涉及计算机应用技术领域。其中，调度系统的评测方法包括：自动部署目标调度系统；将模拟运行数据提交至所述目标调度系统，以便于所述目标调度系统基于所述模拟运行数据执行模拟调度；根据所述目标调度系统执行模拟调度的统计指标，对所述目标调度系统进行评测。本发明所提供的方法可以实现自动化评测调度系统，从而节省了人力成本，避免了人工评测方式中所存在的评测结果偏差大、评测过程耗时长等问题，此外，还能够在调度系统未上线的情形下，实现对调度系统进行评测，提高用户体验度。

Description

调度系统的评测方法及装置

技术领域

本发明涉及计算机应用技术领域，更为具体而言，涉及调度系统的评测方法及装置。

背景技术

随着互联网技术的快速发展，基于互联网的应用越来越多，例如外卖类应用、购物类应用。基于这些应用，用户足不出户即可获取自己所需的物品。这些应用在便利用户的同时，也面临着物品配送问题，于是智能调度系统应运而生。该智能调度系统的主要任务是将订单合理分配给配送员，使得订单能尽快送到用户手中，同时能尽量节省运力。由于调度算法的迭代速度越来越快。因此，如何更加高效、准确地评价一个智能调度系统的优劣已成为一个亟待解决的问题。

然而，在现有技术中，智能调度系统的评测方案存在着评测结果偏差大、评测过程耗时长、影响用户体验的问题，由此很难满足外卖领域中智能调度系统的评测需求。

发明内容

在现有的解决方案中，通过人工统计的方式来对智能调度系统进行评测，因此，现有的评测方案存在着评测结果偏差大、评测过程耗时长、影响用户体验的问题。

对此，本发明实施方式提供了调度系统的评测方法及装置，用以解决现有技术中所存在的上述技术问题。

第一方面，本发明实施方式提供了一种调度系统的评测方法。

具体地，所述方法包括：

自动部署目标调度系统；

将模拟运行数据提交至所述目标调度系统，以便于所述目标调度系统基于所述模拟运行数据执行模拟调度；

根据所述目标调度系统执行模拟调度的统计指标，对所述目标调度系统进行评测。

在本实施方式中，通过自动部署调度系统，并将模拟运行数据提交至该调度系统以便于该调度系统基于模拟运行数据执行模拟调度，来实现自动化评测调度系统，从而节省了人力成本，避免了人工评测方式中所存在的评测结果偏差大、评测过程耗时长等问题，此外，还能够在调度系统未上线的情形下，实现对调度系统进行评测，提高用户体验度。

结合第一方面，在本发明的一些实施方式中，自动部署目标调度系统包括：

从代码库中拉取所述目标调度系统的代码；

调用shell脚本编译所述代码以实现部署所述目标调度系统。

结合第一方面，在本发明的一些实施方式中，将模拟运行数据提交至所述目标调度系统包括：

抓取对应于多个历史时间点的多组历史数据作为所述模拟运行数据，其中，所述历史数据包括：在指定地域范围内，对应于同一历史时间点的配送员数据和订单数据；

按照时间顺序将所述多组历史数据提交至所述目标调度系统。

由于在本实施方式中，抓取对应于多个历史时间点的多组历史数据作为所述模拟运行数据，并且按照时间顺序将所述多组历史数据提交至所述目标调度系统，因此，能够使得调度系统的评测结果更加准确。

结合第一方面，在本发明的一些实施方式中，根据所述目标调度系统执行模拟调度的统计指标，对所述目标调度系统进行评测包括：

将所述统计指标与其他调度系统执行模拟调度的统计指标进行比较；

根据所述比较的结果对所述目标调度系统进行评测。

由于在本实施方式中，将目标调度系统的统计指标与其他调度系统的统计指标进行比较，因此，可以实现多个调度系统之间的横向对比。

结合第一方面，在本发明的一些实施方式中，所述方法还包括：

针对所述目标调度系统和所述模拟运行数据创建目标评测任务；

基于当前正在执行的评测任务的数量和设定的并发任务量阈值，判断是否使所述目标评测任务处于等待调度状态；

若否，则执行下述处理：自动部署目标调度系统。

由于在本实施方式中，基于当前正在执行的评测任务的数量和设定的并发任务量阈值，判断是否使所述目标评测任务处于等待调度状态，在判定为不使所述目标评测任务处于等待调度状态的情形下，执行下述处理：自动部署目标调度系统，因此，能够实现系统资源的有效利用。

第二方面，本发明实施方式提供了一种调度系统的评测装置。

具体地，所述装置包括：

部署模块，用于自动部署目标调度系统；

提交模块，用于将模拟运行数据提交至所述目标调度系统，以便于所述目标调度系统基于所述模拟运行数据执行模拟调度；

评测模块，用于根据所述目标调度系统执行模拟调度的统计指标，对所述目标调度系统进行评测。

在本实施方式中，通过自动部署调度系统，并将模拟运行数据提交至该调度系统以便于该调度系统基于模拟运行数据执行模拟调度，来实现自动化评测调度系统，从而节省了人力成本，避免了人工评测方式中所存在的评测结果偏差大、评测过程耗时长等问题，此外，还能够在调度系统未上线的情形下，实现对调度系统进行评测，提高用户体验度。

结合第二方面，在本发明的一些实施方式中，所述部署模块包括：

拉取单元，用于从代码库中拉取所述目标调度系统的代码；

部署单元，用于调用shell脚本编译所述代码以实现部署所述目标调度系统。

结合第二方面，在本发明的一些实施方式中，所述提交模块包括：

抓取单元，用于抓取对应于多个历史时间点的多组历史数据作为所述模拟运行数据，其中，所述历史数据包括：在指定地域范围内，对应于同一历史时间点的配送员数据和订单数据；

提交单元，用于按照时间顺序将所述多组历史数据提交至所述目标调度系统。

由于在本实施方式中，抓取对应于多个历史时间点的多组历史数据作为所述模拟运行数据，并且按照时间顺序将所述多组历史数据提交至所述目标调度系统，因此，能够使得调度系统的评测结果更加准确。

结合第二方面，在本发明的一些实施方式中，评测模块包括：

比较单元，用于将所述统计指标与其他调度系统执行模拟调度的统计指标进行比较；

评测单元，用于根据所述比较的结果对所述目标调度系统进行评测。

由于在本实施方式中，将目标调度系统的统计指标与其他调度系统的统计指标进行比较，因此，可以实现多个调度系统之间的横向对比。

结合第二方面，在本发明的一些实施方式中，所述装置还包括：

创建模块，用于针对所述目标调度系统和所述模拟运行数据创建目标评测任务；

判断模块，用于基于当前正在执行的评测任务的数量和设定的并发任务量阈值，判断是否使所述目标评测任务处于等待调度状态；

调用模块，用于在判定出不使所述目标评测任务处于等待调度状态的情形下，调用所述部署模块执行下述处理：自动部署目标调度系统。

由于在本实施方式中，基于当前正在执行的评测任务的数量和设定的并发任务量阈值，判断是否使所述目标评测任务处于等待调度状态，在判定为不使所述目标评测任务处于等待调度状态的情形下，执行下述处理：自动部署目标调度系统，因此，能够实现系统资源的有效利用。

本发明的这些方面或其他方面在以下具体实施方式的描述中会更加简明易懂。

附图说明

为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式描述中所需要使用的附图作一简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明方法实施方式1的调度系统的评测方法的流程图；

图2是根据本发明方法实施方式2的调度系统的评测方法的流程图；

图3是根据本发明方法实施方式3的调度系统的评测方法的流程图；

图4是根据本发明方法实施方式4的调度系统的评测方法的流程图；

图5是根据本发明方法实施方式5的调度系统的评测方法的流程图；

图6是根据本发明产品实施方式1的调度系统的评测装置的结构示意图；

图7示出了图6所示的部署模块11的一种实施方式；

图8示出了图6所示的提交模块12的一种实施方式；

图9示出了图6所示的评测模块13的一种实施方式；

图10是根据本发明产品实施方式5的调度系统的评测装置的结构示意图；

图11是根据本发明实施方式的一种终端设备的结构示意图。

具体实施方式

以下结合附图和具体实施方式对本发明的各个方面进行详细阐述。其中，在本发明的各个具体实施方式中，众所周知的操作过程、程序模块、单元及其相互之间的连接、链接、通信或操作没有示出或未作详细说明。

并且，所描述的特征、架构或功能可在一个或一个以上实施例中以任何方式组合。

此外，本领域技术人员应当理解，下述的各种实施方式只用于举例说明，而非用于限制本发明的保护范围。本领域的技术人员还可以容易理解，本文所述和附图所示的各实施方式中的程序模块、单元或步骤可以按多种不同配置进行组合和设计。

对于未在本说明书中进行具体说明的技术术语，除非另有特定说明，都应以本领域最宽泛的意思进行解释。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的标号如S10、S11等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

下面将结合附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明的一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施方式，都属于本发明保护的范围。

【方法实施方式1】

图1是根据本发明方法实施方式1的调度系统的评测方法的流程图。参见图1，在本实施方式中，所述方法包括：

S11：自动部署目标调度系统。

S12：将模拟运行数据提交至所述目标调度系统，以便于所述目标调度系统基于所述模拟运行数据执行模拟调度。

S13：根据所述目标调度系统执行模拟调度的统计指标，对所述目标调度系统进行评测。

其中，所述统计指标例如包括但不限于：平均配送时间、准时率等。

在本实施方式中，通过自动部署调度系统，并将模拟运行数据提交至该调度系统以便于该调度系统基于模拟运行数据执行模拟调度，来实现自动化评测调度系统，从而节省了人力成本，避免了人工评测方式中所存在的评测结果偏差大、评测过程耗时长等问题，此外，还能够在调度系统未上线的情形下，实现对调度系统进行评测，提高用户体验度。

【方法实施方式2】

图2是根据本发明方法实施方式2的调度系统的评测方法的流程图。参见图2，在本实施方式中，所述方法包括：

S21：从代码库中拉取目标调度系统的代码。

S22：调用shell脚本编译所述代码以实现部署所述目标调度系统。

S23：将模拟运行数据提交至所述目标调度系统，以便于所述目标调度系统基于所述模拟运行数据执行模拟调度。

S24：根据所述目标调度系统执行模拟调度的统计指标，对所述目标调度系统进行评测。

Shell脚本是一个命令行解释器，它的作用就是遵循一定的语法将输入的命令加以解释并传给系统。它为用户提供了一个向Linux(一种操作系统)发送请求以便运行程序的接口系统级程序，用户可以通过Shell脚本来启动、挂起、停止甚至是编写一些程序。Shell脚本是一个用C语言编写的程序，它是用户使用Linux的桥梁。Shell既是一种命令语言，又是一种程序设计语言。作为命令语言，它互动式地解释和执行用户输入的命令；作为程序设计语言，它定义了各种变量和参数，并提供了许多在高阶语言中才具有的控制结构，包括循环和分支。它虽然不是Linux系统内核的一部分，但它调用了系统内核的大部分功能来执行程序、创建文档并以并行的方式协调各个程序的运行。

【方法实施方式3】

图3是根据本发明方法实施方式3的调度系统的评测方法的流程图。参见图3，在本实施方式中，所述方法包括：

S31：自动部署目标调度系统。

S32：抓取对应于多个历史时间点的多组历史数据作为模拟运行数据。

其中，所述历史数据包括：在指定地域范围内，对应于同一历史时间点的配送员数据和订单数据。

其中，所述配送员数据例如包括但不限于：配送员数量以及配送员位置等。所述订单数据例如包括但不限于：订单数量、订单的产生时间以及订单的预计送达时间等。

S33：将所述模拟运行数据提交至所述目标调度系统，以便于所述目标调度系统基于所述模拟运行数据执行模拟调度。

例如，按照时间顺序提交所述多组历史数据。

S34：根据所述目标调度系统执行模拟调度的统计指标，对所述目标调度系统进行评测。

由于在本实施方式中，抓取对应于多个历史时间点的多组历史数据作为所述模拟运行数据，并且按照时间顺序将所述多组历史数据提交至所述目标调度系统，因此，能够使得调度系统的评测结果更加准确。

【方法实施方式4】

图4是根据本发明方法实施方式4的调度系统的评测方法的流程图。参见图4，在本实施方式中，所述方法包括：

S41：自动部署目标调度系统。

S42：将模拟运行数据提交至所述目标调度系统，以便于所述目标调度系统基于所述模拟运行数据执行模拟调度。

S43：将所述目标调度系统执行模拟调度的统计指标与其他调度系统执行模拟调度的统计指标进行比较。

S44：根据所述比较的结果对所述目标调度系统进行评测。

由于在本实施方式中，将目标调度系统的统计指标与其他调度系统的统计指标进行比较，因此，可以实现多个调度系统之间的横向对比。

【方法实施方式5】

图5是根据本发明方法实施方式5的调度系统的评测方法的流程图。参见图5，在本实施方式中，所述方法包括：

S51：针对目标调度系统及其模拟运行数据创建目标评测任务。

S52：基于当前正在执行的评测任务的数量和设定的并发任务量阈值，判断是否使所述目标评测任务处于等待调度状态。若是，则返回执行S52，若否，则执行S53。

S53：自动部署所述目标调度系统。

S54：将所述模拟运行数据提交至所述目标调度系统，以便于所述目标调度系统基于所述模拟运行数据执行模拟调度。

S55：根据所述目标调度系统执行模拟调度的统计指标，对所述目标调度系统进行评测。

由于在本实施方式中，基于当前正在执行的评测任务的数量和设定的并发任务量阈值，判断是否使所述目标评测任务处于等待调度状态，在判定为不使所述目标评测任务处于等待调度状态的情形下，执行下述处理：自动部署目标调度系统，因此，能够实现系统资源的有效利用。

【方法实施方式6】

下面结合具体示例对本实施方式所提供的调度系统的评测方法进行具体描述。在本实施方式中，所述方式包括：

(1)选择实验对象(或评测对象)，即选择需要模拟的时间和地点以及调度系统的版本。

(2)针对步骤(1)中选择的实验对象创建评测任务(job)。

(3)基于当前正在执行的评测任务的数量和设定的并发任务量阈值，判断是否使步骤(2)中创建的评测任务处于等待调度状态。若是，则返回执行步骤(3)，若否，则执行步骤(4)。

(4)从代码库中拉取步骤(1)中选择的调度系统版本的代码。

(5)调用shell脚本编译步骤(4)中拉取的代码以部署调度系统，从而为模拟调度准备实验环境。

(6)根据步骤(1)中选择的时间(例如，2017-12-12)的地点(例如，西二旗商圈)抓取一组或多组历史数据，从而为模拟调度准备数据基础。

其中，所述历史数据例如包括但不限于：骑士(即配送员)数量、骑士位置、订单数量、订单的产生时间、以及订单的预计送达时间等。

(7)将步骤(6)中抓取的一组或多组历史数据按照设定的规则(例如，按照时间顺序)提交至步骤(5)中部署的调度系统，以便于该调度系统根据所述历史数据执行模拟调度(即模拟指派订单)。

(8)将执行该模拟调度的过程中所产出的订单维度的配送数据写入数据库中。

其中，所述配送数据例如包括但不限于：送达时间和用于指示是否准时的数据等。

(9)运用统计学原理对所述配送数据进行统计分析以得到统计指标。

其中，所述统计指标例如包括但不限于：平均配送时间和准时率等。

(10)对步骤(9)中得到的统计指标进行分析以评价调度系统版本的优劣。

例如，将步骤(9)中得到的统计指标与其他版本的调度系统的统计指标进行对比。

在本实施方式中，可以利用可视化技术直观展示(例如，多维度、多指标地展示)某个实验对象的实验结果或者多个实验对象的对比分析结果。

【产品实施方式1】

图6是根据本发明产品实施方式1的调度系统的评测装置的结构示意图。参见图6，在本实施方式中，调度系统的评测装置10包括：部署模块11、提交模块12和评测模块13，具体地：

部署模块11用于自动部署目标调度系统。

提交模块12用于将模拟运行数据提交至部署模块11部署的目标调度系统，以便于所述目标调度系统基于所述模拟运行数据执行模拟调度。

评测模块13用于根据所述目标调度系统执行模拟调度的统计指标，对所述目标调度系统进行评测，其中，所述目标调度系统基于提交模块12提交的模拟运行数据执行所述模拟调度。

其中，所述统计指标例如包括但不限于：平均配送时间、准时率等。

在本实施方式中，通过自动部署调度系统，并将模拟运行数据提交至该调度系统以便于该调度系统基于模拟运行数据执行模拟调度，来实现自动化评测调度系统，从而节省了人力成本，避免了人工评测方式中所存在的评测结果偏差大、评测过程耗时长等问题，此外，还能够在调度系统未上线的情形下，实现对调度系统进行评测，提高用户体验度。

【产品实施方式2】

本实施方式所提供的调度系统的评测装置包括产品实施方式1中的全部内容，在此不再赘述。如图7所示，在本实施方式中，部署模块11包括：拉取单元111和部署单元112，具体地：

拉取单元111用于从代码库中拉取所述目标调度系统的代码。

部署单元112用于调用shell脚本编译拉取单元111拉取出的代码以实现部署所述目标调度系统。

Shell脚本是一个命令行解释器，它的作用就是遵循一定的语法将输入的命令加以解释并传给系统。它为用户提供了一个向Linux(一种操作系统)发送请求以便运行程序的接口系统级程序，用户可以通过Shell脚本来启动、挂起、停止甚至是编写一些程序。Shell脚本是一个用C语言编写的程序，它是用户使用Linux的桥梁。Shell既是一种命令语言，又是一种程序设计语言。作为命令语言，它互动式地解释和执行用户输入的命令；作为程序设计语言，它定义了各种变量和参数，并提供了许多在高阶语言中才具有的控制结构，包括循环和分支。它虽然不是Linux系统内核的一部分，但它调用了系统内核的大部分功能来执行程序、创建文档并以并行的方式协调各个程序的运行。

【产品实施方式3】

本实施方式所提供的调度系统的评测装置包括产品实施方式1或产品实施方式2中的全部内容，在此不再赘述。如图8所示，在本实施方式中，提交模块12包括：抓取单元121和提交单元122，具体地：

抓取单元121用于抓取对应于多个历史时间点的多组历史数据作为所述模拟运行数据。

其中，所述历史数据包括：在指定地域范围内，对应于同一历史时间点的配送员数据和订单数据。

其中，所述配送员数据例如包括但不限于：配送员数量以及配送员位置等。所述订单数据例如包括但不限于：订单数量、订单的产生时间以及订单的预计送达时间等。

提交单元122用于按照时间顺序将抓取单元121抓取的多组历史数据提交至所述目标调度系统。

由于在本实施方式中，抓取对应于多个历史时间点的多组历史数据作为所述模拟运行数据，并且按照时间顺序将所述多组历史数据提交至所述目标调度系统，因此，能够使得调度系统的评测结果更加准确。

【产品实施方式4】

本实施方式所提供的调度系统的评测装置包括产品实施方式1至产品实施方式3中任一项的全部内容，在此不再赘述。如图9所示，在本实施方式中，评测模块13包括：比较单元131和评测单元132，具体地：

比较单元131用于将所述统计指标与其他调度系统执行模拟调度的统计指标进行比较。

评测单元132用于根据比较单元131的比较结果对所述目标调度系统进行评测。

由于在本实施方式中，将目标调度系统的统计指标与其他调度系统的统计指标进行比较，因此，可以实现多个调度系统之间的横向对比。

【产品实施方式5】

图10是根据本发明产品实施方式5的调度系统的评测装置的结构示意图。参见图10，在本实施方式中，调度系统的评测装置20包括：创建模块21、判断模块22、调用模块23、部署模块24、提交模块25和评测模块26，具体地：

创建模块21用于针对目标调度系统及其模拟运行数据创建目标评测任务。

判断模块22用于基于当前正在执行的评测任务的数量和设定的并发任务量阈值，判断是否使创建模块21创建的目标评测任务处于等待调度状态。

调用模块23用于在判断模块22判定出不使所述目标评测任务处于等待调度状态的情形下调用部署模块24，用以执行下述处理：自动部署所述目标调度系统。

部署模块24、提交模块25和评测模块26分别同产品实施方式1中的部署模块11、提交模块12和评测模块13，在此不再赘述。

由于在本实施方式中，基于当前正在执行的评测任务的数量和设定的并发任务量阈值，判断是否使所述目标评测任务处于等待调度状态，在判定为不使所述目标评测任务处于等待调度状态的情形下，执行下述处理：自动部署目标调度系统，因此，能够实现系统资源的有效利用。

如图11所示，本发明的实施方式还提供了一种终端设备，包括存储器31和处理器32；其中，

存储器31用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被处理器32执行时能够实现如方法实施方式1至方法实施方式6中任意一项所述的方法。

在本实施方式中，通过自动部署调度系统，并将模拟运行数据提交至该调度系统以便于该调度系统基于模拟运行数据执行模拟调度，来实现自动化评测调度系统，从而节省了人力成本，避免了人工评测方式中所存在的评测结果偏差大、评测过程耗时长等问题，此外，还能够在调度系统未上线的情形下，实现对调度系统进行评测，提高用户体验度。

此外，本发明的实施方式还提供一种计算机存储介质，所述计算机存储介质用于存储一条或多条计算机指令，其中，当所述一条或多条计算机指令被执行时能够实现如方法实施方式1至方法实施方式6中任意一项所述的方法。

在本实施方式中，通过自动部署调度系统，并将模拟运行数据提交至该调度系统以便于该调度系统基于模拟运行数据执行模拟调度，来实现自动化评测调度系统，从而节省了人力成本，避免了人工评测方式中所存在的评测结果偏差大、评测过程耗时长等问题，此外，还能够在调度系统未上线的情形下，实现对调度系统进行评测，提高用户体验度。

本领域的技术人员可以清楚地了解到本发明可全部通过软件实现，也可借助软件结合硬件平台的方式来实现。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，所述计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，智能手机或者网络设备等)执行本发明各个实施方式或者实施方式的某些部分所述的方法。

本文中所使用的“软件”等词均指一般意义上的任意类型的计算机编码或者计算机可执行指令集，可以运行所述编码或者指令集来使计算机或其他处理器程序化以执行如上所述的本发明的技术方案的各个方面。此外，需要说明的是，根据实施方式的一个方面，在执行时实施本发明的技术方案的方法的一个或多个计算机程序不必须要在一台计算机或处理器上，而是可以分布于多个计算机或者处理器中的模块中，以执行本发明的技术方案的各个方面。

计算机可执行指令可以有许多形式，如程序模块，可以由一台或多台计算机或是其他设备执行。一般地，程序模块包括例程、程序、对象、组件以及数据结构等等，执行特定的任务或是实施特定的抽象数据类型。特别地，在各种实施方式中，程序模块进行的操作可以根据各个不同实施方式的需要进行结合或者拆分。

并且，本发明的技术方案可以体现为一种方法，并且已经提供了所述方法的至少一个示例。可以通过任何一种合适的顺序执行动作，所述动作表现为所述方法中的一部分。因此，实施方式可以构造成可以按照与所示出的执行顺序不同的顺序执行动作，其中，可以包括同时地执行一些动作(尽管在示出的实施方式中，这些动作是连续的)。

本文所给出的和使用的定义，应当对照字典、通过引用而并入的文档中的定义、和/或其通常意思进行理解。

在权利要求书中以及上述的说明书中，所有的过度短语，例如“包括”、“具有”、“包含”、“承载”、“具有”、“涉及”、“主要由…组成”以及类似词语是应理解为是开放式的，即，包含但不限于。

本发明说明书中使用的术语和措辞仅仅为了举例说明，并不意味构成限定。本领域技术人员应当理解，在不脱离所公开的实施方式的基本原理的前提下，对上述实施方式中的各细节可进行各种变化。因此，本发明的范围只由权利要求确定，在权利要求中，除非另有说明，所有的术语应按最宽泛合理的意思进行理解。

以上具体描述了本发明的各种不同的实施方式，下面以另一种形式描述本发明各实施方式的技术方案的各个方面或特征，并且其不限于下述一系列段落，为了清楚起见，可给这些段落中的一些或所有段落指定字母数字。这些段落中的每一段可以以任何合适的方式与一个或多个其他段落的内容组合。在不限定合适的组合中的一些的实例的条件下，下文中的一些段落特别引用其他段落并且进一步限定其他段落。

A1、一种调度系统的评测方法，所述方法包括：

自动部署目标调度系统；

将模拟运行数据提交至所述目标调度系统，以便于所述目标调度系统基于所述模拟运行数据执行模拟调度；

根据所述目标调度系统执行模拟调度的统计指标，对所述目标调度系统进行评测。

A2、如A1所述的方法中，自动部署目标调度系统包括：

从代码库中拉取所述目标调度系统的代码；

调用shell脚本编译所述代码以实现部署所述目标调度系统。

A3、如A1所述的方法中，将模拟运行数据提交至所述目标调度系统包括：

抓取对应于多个历史时间点的多组历史数据作为所述模拟运行数据，其中，所述历史数据包括：在指定地域范围内，对应于同一历史时间点的配送员数据和订单数据；

按照时间顺序将所述多组历史数据提交至所述目标调度系统。

A4、如A1所述的方法中，根据所述目标调度系统执行模拟调度的统计指标，对所述目标调度系统进行评测包括：

将所述统计指标与其他调度系统执行模拟调度的统计指标进行比较；

根据所述比较的结果对所述目标调度系统进行评测。

A5、如A1至A4中任一项所述的方法中，所述方法还包括：

针对所述目标调度系统和所述模拟运行数据创建目标评测任务；

基于当前正在执行的评测任务的数量和设定的并发任务量阈值，判断是否使所述目标评测任务处于等待调度状态；

若否，则执行下述处理：自动部署目标调度系统。

B6、一种调度系统的评测装置，所述装置包括：

部署模块，用于自动部署目标调度系统；

提交模块，用于将模拟运行数据提交至所述目标调度系统，以便于所述目标调度系统基于所述模拟运行数据执行模拟调度；

评测模块，用于根据所述目标调度系统执行模拟调度的统计指标，对所述目标调度系统进行评测。

B7、如B6所述的装置中，所述部署模块包括：

拉取单元，用于从代码库中拉取所述目标调度系统的代码；

部署单元，用于调用shell脚本编译所述代码以实现部署所述目标调度系统。

B8、如B6所述的装置中，所述提交模块包括：

抓取单元，用于抓取对应于多个历史时间点的多组历史数据作为所述模拟运行数据，其中，所述历史数据包括：在指定地域范围内，对应于同一历史时间点的配送员数据和订单数据；

提交单元，用于按照时间顺序将所述多组历史数据提交至所述目标调度系统。

B9、如B6所述的装置中，评测模块包括：

比较单元，用于将所述统计指标与其他调度系统执行模拟调度的统计指标进行比较；

评测单元，用于根据所述比较的结果对所述目标调度系统进行评测。

B10、如B6至B9中任一项所述的装置中，所述装置还包括：

创建模块，用于针对所述目标调度系统和所述模拟运行数据创建目标评测任务；

判断模块，用于基于当前正在执行的评测任务的数量和设定的并发任务量阈值，判断是否使所述目标评测任务处于等待调度状态；

调用模块，用于在判定出不使所述目标评测任务处于等待调度状态的情形下，调用所述部署模块执行下述处理：自动部署目标调度系统。

C11、一种终端设备，包括存储器和处理器；其中，

所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时能够实现如A1至A5中任一项所述的方法。

D12、一种计算机存储介质，用于存储一条或多条计算机指令，其中，当所述一条或多条计算机指令被执行时能够实现如A1至A5中任一项所述的方法。

Claims (10)

1.一种调度系统的评测方法，其特征在于，所述方法包括：

自动部署目标调度系统；

将模拟运行数据提交至所述目标调度系统，以便于所述目标调度系统基于所述模拟运行数据执行模拟调度；

根据所述目标调度系统执行模拟调度的统计指标，对所述目标调度系统进行评测。

2.如权利要求1所述的方法，其特征在于，自动部署目标调度系统包括：

从代码库中拉取所述目标调度系统的代码；

调用shell脚本编译所述代码以实现部署所述目标调度系统。

3.如权利要求1所述的方法，其特征在于，将模拟运行数据提交至所述目标调度系统包括：

抓取对应于多个历史时间点的多组历史数据作为所述模拟运行数据，其中，所述历史数据包括：在指定地域范围内，对应于同一历史时间点的配送员数据和订单数据；

按照时间顺序将所述多组历史数据提交至所述目标调度系统。

4.如权利要求1所述的方法，其特征在于，根据所述目标调度系统执行模拟调度的统计指标，对所述目标调度系统进行评测包括：

将所述统计指标与其他调度系统执行模拟调度的统计指标进行比较；

根据所述比较的结果对所述目标调度系统进行评测。

5.如权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：

针对所述目标调度系统和所述模拟运行数据创建目标评测任务；

基于当前正在执行的评测任务的数量和设定的并发任务量阈值，判断是否使所述目标评测任务处于等待调度状态；

若否，则执行下述处理：自动部署目标调度系统。

6.一种调度系统的评测装置，其特征在于，所述装置包括：

部署模块，用于自动部署目标调度系统；

提交模块，用于将模拟运行数据提交至所述目标调度系统，以便于所述目标调度系统基于所述模拟运行数据执行模拟调度；

评测模块，用于根据所述目标调度系统执行模拟调度的统计指标，对所述目标调度系统进行评测。

7.如权利要求6所述的装置，其特征在于，所述部署模块包括：

拉取单元，用于从代码库中拉取所述目标调度系统的代码；

部署单元，用于调用shell脚本编译所述代码以实现部署所述目标调度系统。

8.如权利要求6所述的装置，其特征在于，所述提交模块包括：

抓取单元，用于抓取对应于多个历史时间点的多组历史数据作为所述模拟运行数据，其中，所述历史数据包括：在指定地域范围内，对应于同一历史时间点的配送员数据和订单数据；

提交单元，用于按照时间顺序将所述多组历史数据提交至所述目标调度系统。

9.如权利要求6所述的装置，其特征在于，评测模块包括：

比较单元，用于将所述统计指标与其他调度系统执行模拟调度的统计指标进行比较；

评测单元，用于根据所述比较的结果对所述目标调度系统进行评测。

10.如权利要求6至9中任一项所述的装置，其特征在于，所述装置还包括：

创建模块，用于针对所述目标调度系统和所述模拟运行数据创建目标评测任务；

判断模块，用于基于当前正在执行的评测任务的数量和设定的并发任务量阈值，判断是否使所述目标评测任务处于等待调度状态；

调用模块，用于在判定出不使所述目标评测任务处于等待调度状态的情形下，调用所述部署模块执行下述处理：自动部署目标调度系统。