CN107562538B - 铁路运输统计中的数据抽取多任务管理方法和系统 - Google Patents

Abstract

本发明提供一种铁路运输统计中的数据抽取多任务管理方法和系统，该方法包括：创建包含多个线程的线程池；生成多个数据抽取任务；在创建的线程池中存在空闲的数据读取线程的情况下利用该空闲的线程执行数据抽取任务中的数据读取过程，以从数据源读取数据；在不存在的情况下将待执行数据读取的数据抽取任务顺序加入待读取队列；在创建的线程池中存在空闲的数据写入线程的情况下利用该空闲线程执行数据抽取任务中的数据写入过程，将从数据源读取的数据写入数据库中；在不存在的情况下将待执行数据写入过程的数据抽取任务顺序加入待写入队列。本发明能快速、高效地从各基层单位的专业统计系统抽取到原始数据和统计数据而防止服务器超时或崩溃。

Description

铁路运输统计中的数据抽取多任务管理方法和系统

技术领域

本发明涉及铁路运输统计及监察技术领域，尤其涉及一种铁路运输统计中的数据抽取多任务管理方法和系统。

背景技术

铁路货车统计监察工作是铁路运输统计监察工作中最为重要的组成部分，对提高铁路运输生产效率有着重要的作用和意义，实际统计工作中需要采集预确报、现车、货运等基础数据资源，是一个非常复杂的系统。

基于传统的监察模式，监察人员通常到现场对统计数据进行抽查，监察工作覆盖范围和时间跨度都受到了严格的限制。随着铁路信息化建设的发展，铁路运输各专业统计工作已经逐步实现了信息化，铁路运输统计监察工作被监察对象的表现形式也发生了重大变化。

铁路运输统计监察系统采集处理基层单位业务相关的原始信息和统计数据，然后根据各专业监察子系统的业务进行数据分析、检查，最终形成报告并呈现给监察人员。目前，在数据收集过程中，存在以下问题：(1)统计监察系统部署分散，收集数据耗时费力：各系统在基层单位的覆盖范围较广，部署分散，数据存放在各个基层使用单位，不易收集。(2)数据量巨大,数据获取压力太大：由于统计系统每天产生业务数据很多，用程序逐个收集统计系统原始数据的方式无法满足对数据获取的要求，且容易造成系统服务器崩溃。

因此，在铁路运输统计监察工作中，需要从多个专业统计系统获取大量的统计数据，如何快速、高效地从各基层单位的专业统计系统抽取到原始数据和统计数据而防止服务器超时或崩溃，是现有技术中尚未解决的问题。

发明内容

鉴于如上现有技术，本发明实施例提供了一种铁路运输统计的中数据抽取多任务管理方法及系统，以消除或改善现有技术中存在的一个或更多个缺陷。

本发明的一方面，提供了一种铁路运输统计中的数据抽取多任务管理方法，该方法包括如下步骤：

线程池创建步骤：创建包含多个线程的线程池；

任务生成步骤：生成用于从多个数据源抽取铁路运输统计数据的多个数据抽取任务；

任务执行读取步骤，在创建的线程池中存在空闲的数据读取线程的情况下利用空闲的数据读取线程按顺序执行数据抽取任务中的数据读取过程，来从对应的数据源读取数据；在线程池中不存在空闲的数据读取线程的情况下将待执行数据读取过程的数据抽取任务顺序加入待读取队列；

任务执行写入步骤：在创建的线程池中存在空闲的数据写入线程的情况下利用空闲的数据写入线程执行数据抽取任务中的数据写入过程，将从数据源读取的数据写入数据库中；在线程池中不存在空闲的数据写入线程的情况下将待执行数据写入过程的数据抽取任务顺序加入待写入队列。

优选地，所述方法还包括：线程管理步骤：监控线程池中各线程并行执行的数据抽取任务的运行质量状态，在数据抽取任务的运行质量低于预定条件时中断该数据抽取任务，改为执行待处理任务队列中的下一任务。

优选地，创建的线程池包括：第一数量的数据读取线程和第二数量的数据写入线程；或者创建的线程池包括：第一线程池和第二线程池，所述第一线程池中包含多个数据读取线程，第二线程池中包含多个数据写入线程。

优选地，所述预定条件为预定的数据抽取传输速度。

优选地，所述方法还包括：线程监控步骤：监控线程池中各线程的运行状态，基于线程运行状态来重置任务执行状态和/或进行线程恢复。

优选地，所述线程运行状态包括线程可达性、网络传输速度和/或计算机当前状态。

优选地，所述方法还包括：将中断的数据抽取任务放入任务读取实例中；每间隔预定时间，轮询调用任务读取实例中的任务。

优选地，所述方法还包括：任务数监控步骤：监控线程池中的线程所执行的数据抽取任务的数量；

线程调整步骤：基于预定时间段内的数量信息调整线程池中线程数量。

优选地，所述方法还包括：通过设定的时间间隔，周期性地针对同一数据源执行任务生成步骤，以周期性地进行任务抽取。

本发明的另一方面，提供了一种铁路运输统计中的数据抽取多任务管理系统，该系统包括处理器(如服务器)，所述处理器中存储有计算机程序，在该计算机程序被执行时，能够实现如上所述的铁路运输统计中的数据抽取多任务管理方法。

本发明的实施方式提供的系统和方法使用线程池技术监控并行数据获取任务的运行状态，能够防止并行任务过多造成系统崩溃。

进一步地，本发明能够防止并行任务过少造成的服务器资源浪费情况。此外，本发明通过监控线程运行状态，在线程出现各种复杂因素造成超时或崩溃时，可重置任务执行状态并将对线程进行恢复。

此外，本发明实施例通过在读取线程和写入线程每一环节使用队列技术执行按顺序排序，充分优化了系统资源配置，减少了服务器资源浪费。

本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在书面说明及其权利要求书以及附图中具体指出的结构实现到并获得。

本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1是本发明一实施例中铁路运输监察统计中的数据抽取多任务管理方法的流程示意图。

图2是本发明一实施例中数据读取配置和执行流程示意图。

图3是本发明一实施例中多线程任务执行过程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

在下面的描述中，本发明主要以铁路运输统计监察系统从数据源抽取统计数据为例为说明本发明的数据抽取多任务管理方法，但本发明并不限于此。

铁路运输统计监察系统涉及到中国铁路总公司和各铁路局统计监察管理单位，并涉及统计资料接收、统计资料入库、统计资料监测、监察结果查询、原始资料查询、生成统计监察报告等不同管理范畴和职能。中国铁路总公司主要负责获取各路局阶段性的监察结果，并对阶段性监察结果进行再次处理，生成各铁路局的统计监察报告。各铁路局统计监察管理单位的主要任务是获取基层单位的原始数据，并对数据进行综合分析，找出异常数据并生成统计监察报告。

铁路运输统计监察系统的业务数据由各专业统计监察子系统的业务数据构成，特点是子系统众多、业务数据复杂、数据量较大。其中各专业统计监察子系统包括货车统计监察子系统、客车统计监察子系统、客运统计监察子系统、机车统计监察子系统等等。其中货车监察子系统的业务数据包括但不限于：

运统四业务数据：其数据来源是车站十八点统计系统中的出入车登记簿，是监测到发车辆、到发时间、车辆属性(货票号、车种、品名等)、统计报表的重要依据。

运货七甲业务数据：其数据来源是车站十八点统计系统中的装卸车登记簿，是监测装卸车发站、到站、载重、品名等属性的重要依据，同时也是校验统计报表所需的重要依据。

运统七业务数据：其数据来源是车站十八点统计系统中的非运用车登记簿，是监测非运用车转入时间、转入类别、转入次数、转出时间和转换合理性的重要依据。

运统八业务数据：其数据来源是车站十八点统计系统中的作业车登记簿，主要用于监测每辆车到达时间、出发时间、非运用时间和装卸时间是否合理。

现在车业务数据：现在车是车站每天十八点货车保有量，其数据来源是车站十八点统计系统中的结存车登记簿，主要用于监测现在车统计指标、车辆属性(到站、品名、载重等)的合理性。

十八点统计报表业务数据：其数据来源是车站十八点统计系统中的报表，主要用于监测统计指标是否存在人为改动，是否在合理范围之内。

报表与系统参数业务数据：其数据来源是车站十八点统计系统中的报表维护字典和系统参数字典，在十八点统计系统中主要用于控制报表生成和系统运行，在货车监察子系统中主要用于监测这些参数是否被人为修改，造成统计数据失真。

铁路运输统计监察系统采集处理基层单位业务相关的原始信息和统计数据，然后根据各专业统计监察子系统的业务进行数据分析、检查，最终形成报告并呈现给监察人员。也就是说，铁路运输统计监察系统每天需要从多个数据源(如各车站十八点统计系统、货票系统、行车日志系统、HMIS(货车技术管理信息系统)等)获取大量的统计数据，由于数据源众多、业务数据复杂、数据量较大，单线程模式的效率已远远不能满足对数据获取功能的要求，因此本发明中，系统采用了线程池和队列技术充分利用服务器硬件资源，来满足系统的设计要求。

图1为本发明一实施例中铁路运输监察统计中的数据抽取多任务管理方法的流程示意图。如图1所示，该方法包括如下步骤：

步骤S110，创建任务处理线程池

在该步骤中创建包含多个任务执行线程的线程池。例如，创建具有100个线程的线程池。

在一个示例中，创建的线程池可以包含第一数量的数据读取线程和第二数量的数据写入线程，第一数量和第二数量可以相同，也可以不同。例如，创建的线程池中的100个线程中可以有50个线程用于数据读取，50个线程用于数据写入。

在本发明另一实施例中，该步骤中可以创建两个线程池：数据读取线程池和数据写入线程池，数据读取线程池中可包含多个数据读取线程(如50个数据读取线程)，数据写入线程池中包含多个数据写入线程(如50个数据写入线程)。

步骤S130，任务生成步骤：生成用于从多个数据源抽取铁路运输统计数据的多个数据抽取任务。

具体地，在铁路运输统计监察系统决定从某个数据源抽取数据时，可以通过任务生成器来生成数据抽取任务。针对多个数据源，可以生成多个数据抽取任务。

步骤S150，任务执行读取步骤：在创建的线程池中存在空闲的数据读取线程的情况下利用空闲的数据读取线程按任务生成顺序或预定的优先级顺序来依次执行数据抽取任务中的数据读取过程，来从对应的数据源读取数据；在线程池中不存在空闲的数据读取线程的情况下将待执行数据读取过程的数据抽取任务顺序加入待读取队列。

如前所述，任务执行读取线程与任务执行写入线程可包含在相同的线程池中，例如，假如铁路运输统计监察系统预从500个节点(数据源)抽取数据，系统可为数据抽取任务开创100个线程，其中50个线程用于数据读取，50个线程用于数据写入。

另选地，任务执行读取线程与任务执行写入线程可包含在不同的线程池中，即在线程池创建步骤中单独创建数据读取线程池和数据写入线程池。此时，任务执行读取步骤中，利用数据读取线程池中的多个任务读取线程执行数据抽取任务中的数据读取过程，在不存在空闲数据读取线程的情况下将待执行数据读取过程的数据抽取任务顺序加入待读取队列。

步骤S170，任务执行写入步骤：在创建的线程池中存在空闲的数据写入线程的情况下利用空闲的数据写入线程执行数据抽取任务中的数据写入过程，将从数据源读取的数据写入数据库中；在线程池中不存在空闲的数据写入线程的情况下将待执行数据写入过程的数据抽取任务顺序加入待写入队列。

图2是本发明一实施例中数据读取配置和执行流程示意图。如图2所示，假如由数据抽取多任务管理程序中的任务生成器模块生成分别从A、B、C三个系统数据源采集数据的三个数据抽取任务，在线程池中无空闲线程的情况下，可按照任务生成顺序或预定的优先级顺序将任务放入任务队列中，在线程池中有空闲线程的情况下，可按照任务生成顺序或预定的优先级顺序来利用线程池中的线程执行任务，即从A、B、C三个系统数据源读取数据并将读取的数据存储的数据库中。其中，在数据抽取过程中，分线程执行数据读取和数据写入多个环节，并且，为了防止线程在同一个环节过多聚集导致其他环节空闲，系统在每一个环节使用了队列技术对任务执行顺序进行排序，从而优化了系统资源配置，减少服务器资源浪费。

步骤S190，线程管理步骤：监控线程池中各线程并行执行的数据抽取任务的运行质量状态，在数据抽取任务的运行质量低于预定条件时中断该数据抽取任务，改为执行待处理任务队列中的下一任务。

在本发明一实施例中，该预定条件可以是反映铁路运输统计监察系统与节点(数据源)连接质量好坏的预定网络传输速度，或称数据抽取传输速度，该传输速度能够反映数据抽取任务运行质量的好坏。在数据抽取传输速度过低的情况下，数据的抽取不仅效率低，还占用了线程。在这种条件下，本发明选择中断该数据抽取任务，改为执行待处理任务队列中的下一任务。这样，能够防止在某任务的运行质量(系统与相应节点的连接状态)差的情况下，占用过多服务器资源来反复连接网络、缓冲数据。

该中断的数据抽取任务可放入任务读取实例中，以便在后续任务少时再调用该任务读取实例中的任务并利用线程继续执行该任务。

进一步地，在数据抽取任务执行过程中，本发明还监控线程池中各线程的运行状态，例如线程可达性、网络传输速度和/或计算机当前状态(CPU或内存占用状态等)，以基于线程运行状态来重置任务执行状态和/或进行线程恢复。这样能够防止并行任务过多造成系统崩溃的情况。同时监控线程运行状态，如果线程出现各种因素造成超时或崩溃时，可重置任务执行状态并对线程进行恢复。

在本发明一实施例中，还监控线程池中的线程所执行的数据抽取任务的数量，并基于预定时间段内的数量信息调整线程池中线程数量。预定时间段内的数据抽取任务的数量信息可以是该时间段内监控的数量的平均值信息。通过基于预定时间段内的数量信息合理调整线程池中线程数量可以防止并行任务过少造成的服务器资源浪费。

对于中断的任务，铁路运输统计监察系统的服务器可以每间隔预定时间，进行轮询，即轮询调用任务读取实例中的任务并执行任务抽取。

图3是本发明一实施例中多线程任务执行过程示意图，如图3所示，在生成任务后，数据读取和数据写入分开执行，并在数据读取和数据写入之前分别使用队列技术进行排序，也就是说，本发明在数据获取的过程中执行数据读取、写入等多个操作步骤环节，为了防止线程在同一个环节过多聚集导致其他环节空闲，系统在每一个环节使用了队列技术对任务执行顺序进行排序，从而优化系统资源配置，减少服务器资源浪费。

本发明还通过设定时间间隔，来周期性地针对同一数据源执行任务采集步骤，从而实现周期性地或定期的数据采集。例如，通过设置执行的间隔时间，周期性执行信息收集工作，间隔单位可以是小时、天、月，例如：每12小时执行一次；每天晚上20:00执行；每周一晚上20:00执行等，可以根据实际的需求或系统性能来设定时间间隔。

相应地，本发明提供了一种执行前述方法的系统，该系统包括处理器(如服务器)，该处理器中存储有计算机程序，在该计算机程序被执行时，能够实现如上所述的数据抽取多任务管理方法。

在此，需要说明的是，虽然以在铁路运输统计监察系统中的应用描述了本发明，但本发明并不限于铁路运输统计监察系统，而是同样可以应用于诸如车站十八点统计系统之类的系统。十八点统计系统需要从铁路运输管理信息系统(TMIS)、货车技术管理信息系统(HMIS)、调度指挥管理信息系统(DMIS)、铁路运输统计信息系统(SMIS)和/或铁路车号自动识别系统(ATIS)等抽取统计基础数据，同样可以采用本发明的方法。

显然，本领域的技术人员应该明白，上述的本发明实施例的各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。

本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种铁路运输统计中的数据抽取多任务管理方法，其特征在于，该方法包括如下步骤：

线程池创建步骤：创建包含多个线程的线程池；

任务生成步骤：生成用于从多个数据源抽取铁路运输统计数据的多个数据抽取任务；

任务执行读取步骤，在创建的线程池中存在空闲的数据读取线程的情况下利用空闲的数据读取线程按顺序执行数据抽取任务中的数据读取过程，来从对应的数据源读取数据；在线程池中不存在空闲的数据读取线程的情况下将待执行数据读取过程的数据抽取任务顺序加入待读取队列；

任务执行写入步骤：在创建的线程池中存在空闲的数据写入线程的情况下利用空闲的数据写入线程执行数据抽取任务中的数据写入过程，将从数据源读取的数据写入数据库中；在线程池中不存在空闲的数据写入线程的情况下将待执行数据写入过程的数据抽取任务顺序加入待写入队列；

线程管理步骤：监控线程池中各线程并行执行的数据抽取任务的运行质量状态，在数据抽取任务的运行质量低于预定条件时中断该数据抽取任务，改为执行待处理任务队列中的下一任务。

2.根据权利要求1所述的方法，其特征在于：

创建的线程池包括：第一数量的数据读取线程和第二数量的数据写入线程；或者

创建的线程池包括：第一线程池和第二线程池，所述第一线程池中包含多个数据读取线程，第二线程池中包含多个数据写入线程。

3.根据权利要求1所述的方法，其特征在于：

所述预定条件为预定的数据抽取传输速度。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

线程监控步骤：监控线程池中各线程的运行状态，基于线程运行状态来重置任务执行状态和/或进行线程恢复。

5.根据权利要求4所述的方法，其特征在于：

所述线程运行状态包括线程可达性、网络传输速度和/或计算机当前状态。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将中断的数据抽取任务放入任务读取实例中；

每间隔预定时间，轮询调用任务读取实例中的任务。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

任务数监控步骤：监控线程池中的线程所执行的数据抽取任务的数量；

线程调整步骤：基于预定时间段内的数量信息调整线程池中线程数量。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过设定的时间间隔，周期性地针对同一数据源执行任务生成步骤，以周期性地进行任务抽取。

9.一种铁路运输统计中的数据抽取多任务管理系统，其特征在于，该系统包括处理器，所述处理器中存储有计算机程序，在该计算机程序被执行时，能够实现如权利要求1-8中任意一项所述的数据抽取多任务管理方法。

Images