CN113704310A

CN113704310A - 一种轨道交通行车指挥系统及行车数据处理方法

Info

Publication number: CN113704310A
Application number: CN202111047582.5A
Authority: CN
Inventors: 王汉军; 于松伟; 李金龙; 李娇
Original assignee: Beijing Urban Construction Design and Development Group Co Ltd
Current assignee: Beijing Urban Construction Design and Development Group Co Ltd
Priority date: 2021-09-08
Filing date: 2021-09-08
Publication date: 2021-11-26
Anticipated expiration: 2041-09-08
Also published as: CN113704310B

Abstract

本发明提供了一种轨道交通行车指挥系统及行车数据处理方法，属于城市轨道交通技术领域。本发明的行车数据处理方法，包括：获取行车数据；将行车数据存储到Hbase数据库中；利用分布式协作服务框架将行车数据同步到Hadoop数据平台；利用Hadoop数据平台对行车数据进行归并排序生成归并排序后的行车数据；将归并排序后的行车数据进行分组并聚类得到处理后的行车数据。本发明通过利用Hadoop数据平台对行车数据进行处理可以提高行车数据的可靠性和处理速度，进而提高了多线路行车指挥的效率。

Description

一种轨道交通行车指挥系统及行车数据处理方法

技术领域

本发明属于城市轨道交通技术领域，更具体地说，是涉及一种轨道交通行车指挥系统及行车数据处理方法。

背景技术

随着城镇化进程不断加快，城市轨道交通的安全运行压力也日趋增大。轨道交通中的数据安全监控、数据分析的建设就显得尤为重要。因此对城市轨道交通的大数据分析的需求也越来越高。目前各个行车系统间没有统一的数据处理规则，系统间进行对接时耗费大量人力物力，也使得系统间的数据共享极为困难。可见，现有技术中对多线路的轨道交通行车中的数据处理方式存在效率低的问题。

发明内容

本发明的目的在于提供一种轨道交通行车指挥系统及行车数据处理方法，旨在解决现有技术中对轨道交通行车中的数据处理方式效率低的问题。

为实现上述目的，本发明采用的技术方案是：

一种轨道交通行车指挥系统，包括：

数据源模块，用于提供各个线路的行车数据；所述行车数据包括环境和机电设备监控系统数据、数据采集与监视控制系统数据、火灾报警系统数据和自动售检票系统数据；

数据采集模块，用于采集所述行车数据；

MPP分布式数据仓库模块，用于对所述行车数据进行存储生成存储后的行车数据；

Hadoop数据平台，用于对所述存储后的行车数据进行处理得到处理后的行车数据；

大数据服务平台模块，用于接受所述处理后的行车数据并进行显示。

优选的，所述数据源模块，包括：

环境和机电设备监控系统，用于提供环境和机电设备监控系统数据；

数据采集与监视控制系统，用于提供数据采集与监视控制系统数据；

火灾报警系统，用于提供火灾报警系统数据；

自动售检票系统，用于提供自动售检票系统数据。

优选的，所述数据采集模块包括：

环境和机电设备监控系统采集模块，用于采集环境和机电设备监控系统数据；

数据采集与监视控制系统采集模块，用于提供采集数据采集与监视控制系统数据；

火灾报警系统采集模块，用于采集火灾报警系统数据；

自动售检票系统采集模块，用于采集自动售检票系统数据。

优选的，所述MPP分布式数据仓库模块，用于对所述压缩后的行车数据进行列存储生成存储后的行车数据。

优选的，还包括：

数据交互标准模块，用于将所述存储后的行车数据传输到所述Hadoop数据平台。

本发明还提供了一种行车数据处理方法，包括以下步骤：

步骤1：获取行车数据；

步骤2：将所述行车数据存储到Hbase数据库中；

步骤3：利用分布式协作服务框架将所述行车数据同步到Hadoop数据平台；

步骤4：利用所述Hadoop数据平台对所述行车数据进行归并排序生成归并排序后的行车数据；

步骤5：将所述归并排序后的行车数据进行分组并聚类得到处理后的行车数据。

优选的，所述步骤4：利用所述Hadoop数据平台对所述行车数据进行归并排序生成归并排序后的行车数据，包括：

步骤4.1：利用MapTask读取所述行车数据，并将读取后的行车数据返回给Mapper；

步骤4.2：调用Mapper中的map()方法对所述读取后的行车数据进行处理得到待排序数据；

步骤4.3：对所述待排序数据进行归并排序生成归并排序后的行车数据。

优选的，所述步骤5：将所述归并排序后的行车数据进行分组并聚类得到处理后的行车数据，包括：

步骤5.1：利用ReduceTask拷贝所述归并排序后的行车数据；

步骤5.2：对所述归并排序后的行车数据进行归并排序生成排序完成的行车数据；

步骤5.3：对所述排序完成的行车数据进行分组得到分组后的行车数据；

步骤5.4：调用reduce()方法对所述分组后的行车数据进行聚合得到处理后的行车数据。

本发明还提供了一种电子设备，包括总线、收发器(显示单元/输出单元、输入单元)、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，所述计算机程序被所述处理器执行时实现所述的一种行车数据处理方法中的步骤。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种行车数据处理方法中的步骤。

本发明提供的一种轨道交通行车指挥系统及行车数据处理方法的有益效果在于：与现有技术相比，本发明的行车数据处理方法，包括：获取行车数据；将行车数据存储到Hbase数据库中；利用分布式协作服务框架将行车数据同步到Hadoop数据平台；利用Hadoop数据平台对行车数据进行归并排序生成归并排序后的行车数据；将归并排序后的行车数据进行分组并聚类得到处理后的行车数据。本发明通过利用Hadoop数据平台对行车数据进行处理可以提高行车数据的可靠性和处理速度，进而提高了多线路行车指挥的效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种轨道交通行车指挥系统原理图。

图2为本发明实施例提供一种行车数据处理方法流程图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为实现上述目的，本发明采用的技术方案是：

请参阅图1，一种轨道交通行车指挥系统，包括：

数据源模块，用于提供各个线路的行车数据；行车数据包括环境和机电设备监控系统数据、数据采集与监视控制系统数据、火灾报警系统数据和自动售检票系统数据；此模块用于为整个系统提供数据支持。

在本发明中，数据源模块，包括：环境和机电设备监控系统(BAS，BuildingAutomatic System)、数据采集与监视控制系统(SCADA，Supervisory Control And DataAcquisition)、火灾报警系统(FAS，Fire Alarm System)和自动售检票系统(AFC，AutoFare Collection)。环境和机电设备监控系统，用于提供环境和机电设备监控系统数据；数据采集与监视控制系统，用于提供数据采集与监视控制系统数据；火灾报警系统，用于提供火灾报警系统数据；自动售检票系统，用于提供自动售检票系统数据。

数据采集模块，用于采集行车数据，包括：环境和机电设备监控系统采集模块、数据采集与监视控制系统采集模块、火灾报警系统采集模块和自动售检票系统采集模块。

环境和机电设备监控系统采集模块，用于采集环境和机电设备监控系统数据，如温度数据、湿度数据、机电设备安全信息等。数据采集与监视控制系统采集模块，用于提供采集数据采集与监视控制系统数据，如客流量数据、视频监视数据等。火灾报警系统采集模块，用于采集火灾报警系统数据，如温度数据、线路电路参数数据等。自动售检票系统采集模块，用于采集自动售检票系统数据，如电源信息、读卡模块数据等。MPP分布式数据仓库模块，用于对行车数据进行存储生成存储后的行车数据。进一步的，MPP分布式数据仓库模块，用于对压缩后的行车数据进行列存储生成存储后的行车数据；在实际应用中，MPP分布式数据仓库模块，用于对所得到的大数据(行车数据)进行列存储；在索引大数据时使用粗粒度索引；利用数据压缩技术减数据量以减少存储空间；在将大数据进行数据库存储时使用SQL优化以提高数据库性能；对数据库中进行大表关联优化以提高性能；利用资源管理来提高数据库的数据管理能力；利用动态扩展和并行加载数据等关键技术对大量的数据进行处理、查询和存储。

需要说明的是，本发明中的数据源模块还包括其他系统；数据采集模块还包括其他系统数据采集模块，用于采集各个路线的其他系统数据。进一步的，其他系统包括：自动列车监控系统(Automatic Train Supervision，ATS)、广播系统(Public-address System，PA)和闭路电视系统(Closed-Circuit Television，CCTV)等。其他系统数据采集模块包括自动列车监控系统数据采集模块，用于在自动列车监控模块中采集列车行车数据，如GPS数据，实时车速数据等，并对列车行驶进行监控；广播系统数据采集模块，包括在每个站点安装的车站广播控制台，用于采集中央广播控制台的广播数据，车站广播控制台也可对站点旅客进行服务；闭路电视系统数据采集模块，包括在每列列车中安装的网络摄像机和网络高速球，用于将每列列车的实时视频数据进行传输，并对列车行驶状况进行监控等。

Hadoop数据平台，用于对存储后的行车数据进行处理得到处理后的行车数据；

作为本发明另一种具体的实施方式，还包括：数据交互标准模块，用于将存储后的行车数据传输到Hadoop数据平台。

具体的，Hadoop数据平台，其主要用于对各个线路的行车数据进行处理，其主要步骤为：

1)获取各个线路中BAS、SCADA、FAS、AFC和/或其他系统数据中的行车数据；

2)利用HDFS作为其文件存储系统，将获取的各个线路的行车数据进行存储，存储于Hbase数据库中；

3)利用ZooKeeper(开源分布式协作服务框架)实现对整个Hadoop数据平台同步服务。具体的，首先进行leader选举，将选举成功的znode信息写入leader，其他竞选者向该znode注册watcher，然后进行同步数据；

4)利用YARN(资源调度器)负责各个集群的管理和分配、利用Map Reduce Batch模型将本系统预设的行车指挥流程和默认组件整合为一个完整的分布式运算过程、利用Spark计算模型进行对处理后的行车数据进行统计与分析，实现对大量数据的存储和处理；

5)利用Sqoop工具将分析得到的数据导入到Hbase(实时数据库)中。

大数据服务平台模块，用于接受处理后的行车数据并进行显示。大数据服务平台模块，包括多线路行车指挥平台、多线路设备运行监控平台和多线路客服信息发布平台。管控人员可根据显示的行车数据对各个线路进行行车指挥。

请参阅图2，本发明还提供了一种行车数据处理方法，包括以下步骤：

S1：获取行车数据；

S2：将行车数据存储到Hbase数据库中；

S3：利用分布式协作服务框架将行车数据同步到Hadoop数据平台；

S4：利用Hadoop数据平台对行车数据进行归并排序生成归并排序后的行车数据；

S4具体包括：

S4.1：利用MapTask读取行车数据，并将读取后的行车数据返回给Mapper；

S4.2：调用Mapper中的map()方法对读取后的行车数据进行处理得到待排序数据；

S4.3：对待排序数据进行归并排序生成归并排序后的行车数据。

S5：将归并排序后的行车数据进行分组并聚类得到处理后的行车数据。

S5具体包括：

S5.1：利用ReduceTask拷贝归并排序后的行车数据；

S5.2：对归并排序后的行车数据进行归并排序生成排序完成的行车数据；

S5.3：对排序完成的行车数据进行分组得到分组后的行车数据；

S5.4：调用reduce()方法对分组后的行车数据进行聚合得到处理后的行车数据。

需要说明的是，本发明中的行车数据处理方法应用于本发明中的Hadoop数据平台模块，下面结合具体的实施例对其进行进一步的说明：

1)获取各个线路的行车数据；

3)通过ZooKeeper(分布式协作服务框架)实现对整个Hadoop数据平台同步服务。首先进行leader选举，将选举成功的znode信息写入leader，其他竞选者向该znode注册watcher，然后进行同步数据；

4)通过YARN(资源调度器)、Map Reduce Batch模型、Spark计算模型进行对数据的统计与处理，实现对大量数据的存储和处理。其具体的步骤如下：

1、准备好待处理的数据；

2、客户端submit()前，获取待处理数据的信息，然后根据参数配置形成一个任务分配的规划；

3、客户端向Yarn集群提出请求创建Mrappmaster并提交切片等相关信息；

4、Yarn调用ResourceManager来创建Mrappmaster，而Mrappmaster则会根据切片的个数来创建几个Map Task。

5、MapTask读取步骤1)获取的各个线路的行车数据；

行车数据默认是TextInputFormat格式，每读取一行之后返回给Mapper；

6、在Mapper中调用map()方法来对每一行数据进行相关的业务上的逻辑运算处理；

7、在map()函数中，当数据处理完成后，调用OutputCollector.collect()输出结果。

8、进入到环形缓冲区之后在溢写之前会对数据进行一次排序。

9、排完序之后就溢出到文件(分区且区内有序)，整个过程会多次溢出到多个文件。

10、在所有数据都溢出到文件之后，开始Merge归并排序(对同一个分区内溢出的多个有序的结果文件合并成一个大的溢出文件且完成归并排序)。

11、之后的Combiner合并为可选流程：分区内合并和压缩。之后，写入到磁盘。至此MapTask的执行过程基本结束。

12、在所有Map Task任务都完成之后，根据分区的数量来启动相应数量的ReduceTask，并告知ReduceTask处理数据范围(数据分区)。

13、ReduceTask根据自己的分区号，去各个MapTask机器上拷贝相应分区内的数据到本地内存缓冲区，缓冲区不够的话就溢写到磁盘。待所有数据拷贝完毕之后，ReduceTask会将这些文件再进行归并排序。

14、排好序之后按照相同的key分组。

15、在分组之后一次读取一组数据到Reducer，调用reduce()方法进行聚合处理。

16、之后通过context.write默认以TextOutputFormat格式经RecordWriter下入到文件。

5)利用Sqoop工具将分析得到的数据导入到Hbase(实时数据库)中进行存储。

本发明在数据采集模块采集到行车数据后，将数据传输给MPP分布式数据仓库与Hadoop数据平台；MPP分布式数据仓库在得到数据采集模块传输过来的行车数据后，将数据进行列存储、粗粒度索引、数据压缩、SQL优化、大表关联、资源管理、动态扩展和并行加载数据等技术处理；Hadoop数据平台在获取到数据采集模块传输过来的数据后，进行存储和处理；最后在大数据服务平台中统一进行集成，将MPP分布式数据仓库和Hadoop数据平台处理的结果进行导出，形成多线路行车指挥平台，多线路设备运行监控平台和多线路客服信息发布平台。

本发明还提供了一种电子设备，包括总线、收发器(显示单元/输出单元、输入单元)、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，收发器、存储器和处理器通过总线相连，计算机程序被处理器执行时实现的一种行车数据处理方法中的步骤。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现的一种行车数据处理方法中的步骤。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种轨道交通行车指挥系统，其特征在于，包括：

数据采集模块，用于采集所述行车数据；

2.如权利要求1所述的一种轨道交通行车指挥系统，其特征在于，所述数据源模块，包括：

火灾报警系统，用于提供火灾报警系统数据；

自动售检票系统，用于提供自动售检票系统数据。

3.如权利要求2所述的一种轨道交通行车指挥系统，其特征在于，所述数据采集模块包括：

火灾报警系统采集模块，用于采集火灾报警系统数据；

自动售检票系统采集模块，用于采集自动售检票系统数据。

4.如权利要求1所述的一种轨道交通行车指挥系统，其特征在于，所述MPP分布式数据仓库模块，用于对所述压缩后的行车数据进行列存储生成存储后的行车数据。

5.如权利要求1所述的一种轨道交通行车指挥系统，其特征在于，还包括：

6.一种行车数据处理方法，其特征在于，包括以下步骤：

步骤1：获取行车数据；

步骤2：将所述行车数据存储到Hbase数据库中；

7.如权利要求6所述的一种行车数据处理方法，其特征在于，所述步骤4：利用所述Hadoop数据平台对所述行车数据进行归并排序生成归并排序后的行车数据，包括：

8.如权利要求7所述的一种行车数据处理方法，其特征在于，所述步骤5：将所述归并排序后的行车数据进行分组并聚类得到处理后的行车数据，包括：

步骤5.1：利用ReduceTask拷贝所述归并排序后的行车数据；

9.一种电子设备，包括总线、收发器(显示单元/输出单元、输入单元)、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求6至8中任一项所述的一种行车数据处理方法中的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求6至8中任一项所述的一种行车数据处理方法中的步骤。