CN111144696A - 一种基于大数据的轨道交通数据分析方法 - Google Patents
一种基于大数据的轨道交通数据分析方法 Download PDFInfo
- Publication number
- CN111144696A CN111144696A CN201911194109.2A CN201911194109A CN111144696A CN 111144696 A CN111144696 A CN 111144696A CN 201911194109 A CN201911194109 A CN 201911194109A CN 111144696 A CN111144696 A CN 111144696A
- Authority
- CN
- China
- Prior art keywords
- data
- rail transit
- management
- passenger flow
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000007405 data analysis Methods 0.000 title claims abstract description 19
- 238000012544 monitoring process Methods 0.000 claims abstract description 24
- 238000007726 management method Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000013499 data model Methods 0.000 claims abstract description 12
- 238000007619 statistical method Methods 0.000 claims abstract description 11
- 238000013523 data management Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims abstract description 7
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/067—Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Train Traffic Observation, Control, And Security (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于大数据的轨道交通数据分析方法，包括步骤(1)获取轨道交通综合监控系统集成或互联的各个子系统的结构化数据，并对所述数据进行建模，数据与数据模型存储在基于Hbase的Opentsdb时序数据库数据中；(2)采用python语言搭建统一计算框架，所述框架包括日志管理、进程管理、数据管理、模块管理功能；(3)针对轨道交通综合监控系统常用的统计指标，实现统计分析功能模块；(4)针对轨道交通客流信息，进行模型训练，预测客流数据。
Description
技术领域
本发明涉及一种基于大数据的轨道交通数据分析方法,属于轨道交通监控系统领域。
背景技术
随着城市轨道交通建设的加快，轨道交通综合监控系统集成或互联的子系统越来越多，轨道交通综合监控系统扩容之后，监控系统采集的数据量级和复杂度也在快速增长，这不仅提升了监控和运营的复杂度，也对数据分析带来了新的挑战和机遇。在轨道交通领域，建立合理有效的数据模型和计算框架，用于收集、整理、存储、处理和分析这些海量的数据，提供统一的数据存储和分析平台，为地铁系统运营和维护提供各种信息支持，从而提高轨道交通的运营水平，提升科学决策能力，提升效益降低成本，提升信息服务和安全保障能力，日益成为业界关注的重点。
轨道交通综合监控系统线路级别的数据中心在逐步建立，实现线路海量数据的存储，但是基于大数据的应用较少，效率较低，随着接入系统的增多，数据复杂性的逐渐增加，需要更加合理的数据模型和计算框架。本发明就是在对轨道交通的系统时序数据的分析处理基础上得出的方法。
发明内容
发明目的：为了克服现有技术的不足，本发明提供一种基于大数据技术的轨道交通时序数据分析方法，实现海量数据快速灵活的数据分析，进而指导轨道交通的运营。
技术方案：一种基于大数据的轨道交通数据分析方法，所述方法包括以下步骤
步骤1获取轨道交通综合监控系统集成或互联的各个子系统的结构化数据，并对所述数据进行建模，数据与数据模型存储在基于Hbase的Opentsdb时序数据库数据中；
步骤2采用python语言搭建统一计算框架，所述框架包括日志管理、进程管理、数据管理、模块管理功能；
步骤3针对轨道交通综合监控系统常用的统计指标，实现统计分析功能模块；
步骤4针对轨道交通客流信息，进行模型训练，预测客流数据。
所述的数据建模和存储方法，结合大数据平台和轨道交通的数据特点，采用基于Hbase的Opentsdb时序数据库来对数据进行存储，数据模型如下：
(1)Metric：即监控项；
(2)Tags：就是设备的维度，在OpenTSDB里，Tags由tagk和tagv组成，tagk＝takv；标签用于描述Metric，；
(3)Value：一个Value表示一个Metric的实际数值；
(4)Timestamp：时间戳。
所述统一计算框架，采用python语言来搭建统一计算框架，该框架包括日志管理、进程管理、数据管理、模块管理功能；
在计算框架内，各个模块实现各自的逻辑分析，模块与模块之间单独执行，模块的输入与输出由框架统一管理或自行管理。
所述统计分析，针对轨道交通综合监控系统常用的统计指标，实现统计分析功能模块；包括：对模拟量的最大值、最小值和平均值的统计分析。
步骤4所述，针对轨道交通客流信息，进行模型训练，用于预测客流数据；具体为选用神经网络或向量机算法对客流历史数据进行模型训练，利用训练模型预测30分钟和1小时客流。
有益效果：与现有技术相比，本发明提供的一种基于大数据的轨道交通数据分析方法，具有以下优点：
1.实现海量数据快速灵活的数据分析：本发明提供的数据分析方法，通过对于轨道交通综合监控系统集成或互联的各个子系统的结构化数据进行建模，数据与数据模型存储在基于Hbase的Opentsdb时序数据库数据中。源数据为综合监控系统采集的时序数据，数据结构比较定型变化小，通过ETL直接转化导入数据。Hbase和Opentsdb成对分布式部署在各个大数据平台节点，外部应用通过负载均衡工具接口访问数据，便于实现海量数据快速灵活的数据分析。
2.本发明通过采用python语言来搭建统一计算框架，该框架具有日志管理、进程管理、数据管理、模块管理等功能。模块设计使得框架具有良好的扩展性，模块可以用来单独处理自己的任务，不受外界干扰，适合多任务的操作。
3.本发明针对轨道交通综合监控系统常用的统计指标，在数据模型和数据接口基础上，可以快速地实现统计分析功能模块。针对轨道交通客流信息，模型训练作为框架的一个模块，接受框架的数据不断训练，训练出来的模型用于预测客流数据。
附图说明
图1是数据分析平台实现框图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
下面是本发明的一个实际案例的实施方式，本发明的目的和特点也可以从案例的说明中看出。应当理解此处描述的实例仅仅用于说明和解释本发明，并不限定本发明。
一种基于大数据技术的轨道交通数据分析方法，包括以下步骤：
步骤(1)获取轨道交通综合监控系统集成或互联的各个子系统的结构化数据，对于轨道交通综合监控系统集成或互联的各个子系统的结构化数据进行建模，数据与数据模型存储在基于Hbase的Opentsdb时序数据库数据中；
所述的数据建模和存储方法：结合大数据平台和轨道交通的数据特点，采用基于Hbase的Opentsdb时序数据库来对数据进行存储，数据模型见下表。
系统源数据为综合监控系统采集的时序数据，数据结构比较定型变化小，通过ETL直接转化导入数据。Hbase和Opentsdb成对分布式部署在各个大数据平台节点。数据模型如下：(1)Metric：即平时我们所说的监控项。例如轨道交通设备点的电表的有功功率。(2)Tags：就是设备的维度，在OpenTSDB里面，Tags由tagk和tagv组成，即tagk＝takv。标签是用来描述Metric的，例如上面为了标记是“南京南设备kgg的有功功率”，Tags可为Local＝njn、Dev＝kgg、point＝kgg.yggl。(3)Value：一个Value表示一个Metric的实际数值，譬如上面的73.1。(4)Timestamp：即时间戳，用来描述Value是什么时候的；例如功率的记录时间1532534880。
外部应用通过负载均衡工具接口访问数据。数据查询样式如下所示。
a.wd(local＝*,dev＝*point＝*)(1465920000<＝timestamp<1465923600)(aggregator＝max)：查询凌晨0点到1点之间，所有车站的所有设备所有点上的温度最大值。
b.wz(local＝njn,dev＝201kg point＝201kg.wz)(1465920000<＝timestamp<1465923600)：查询凌晨0点到1点之间，南京南站201kg位置的状态持续变化值。
c.yggl(local＝njn,dev＝b1 point＝b1.yggl)(1465920000<＝timestamp<1465923600)：查询凌晨0点到1点之间，南京南站b1的有功功率。
步骤2：采用python语言来搭建统一计算框架，该框架具有日志管理、进程管理、数据管理、模块管理等功能；在计算框架内，各个模块中只需实现模块的逻辑分析，模块与模块之间单独执行互不干扰，模块的输入与输出由框架统一管理或自行管理；
步骤3：针对轨道交通综合监控系统常用的统计指标，实现统计分析功能模块；
步骤4：针对轨道交通客流信息，进行模型训练，用于预测客流数据；例如车站的温度和湿度等；数字量的状态持续时间、次数和故障率等，例如电梯的运行时长、停运时长以及故障率；累计量的年月日统计，例如电表的有功功率和无功功率年月日等功能。
所述机器学习：针对轨道交通客流信息，进行模型训练，用于预测客流数据。选用神经网络或向量机等算法对客流历史数据进行模型训练，利用训练模型可以用来预测30分钟和1小时客流。
上面结合附图和实施例对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (5)
1.一种基于大数据的轨道交通数据分析方法，其特征在于：所述方法包括以下步骤
步骤1获取轨道交通综合监控系统集成或互联的各个子系统的结构化数据，并对所述数据进行建模，数据与数据模型存储在基于Hbase的Opentsdb时序数据库数据中；
步骤2采用python语言搭建统一计算框架，所述框架包括日志管理、进程管理、数据管理、模块管理功能；
步骤3针对轨道交通综合监控系统常用的统计指标，实现统计分析功能模块；
步骤4针对轨道交通客流信息，进行模型训练，预测客流数据。
2.根据权利要求1所述的一种基于大数据的轨道交通数据分析方法，其特征在于：所述的数据建模和存储方法，结合大数据平台和轨道交通的数据特点，采用基于Hbase的Opentsdb时序数据库来对数据进行存储，数据模型如下：
(1)Metric：即监控项；
(2)Tags：就是设备的维度，在OpenTSDB里，Tags由tagk和tagv组成，tagk＝takv；标签用于描述Metric，；
(3)Value：一个Value表示一个Metric的实际数值；
(4)Timestamp：时间戳。
3.根据权利要求2所述的一种基于大数据的轨道交通数据分析方法，其特征在于：所述统一计算框架，采用python语言来搭建统一计算框架，该框架包括日志管理、进程管理、数据管理、模块管理功能；
在计算框架内，各个模块实现各自的逻辑分析，模块与模块之间单独执行，模块的输入与输出由框架统一管理或自行管理。
4.根据权利要求3所述的一种基于大数据的轨道交通数据分析方法，其特征在于：所述统计分析，针对轨道交通综合监控系统常用的统计指标，实现统计分析功能模块；包括：对模拟量的最大值、最小值和平均值的统计分析。
5.根据权利要求1所述的一种基于大数据的轨道交通数据分析方法，其特征在于：步骤4所述，针对轨道交通客流信息，进行模型训练，用于预测客流数据；具体为选用神经网络或向量机算法对客流历史数据进行模型训练，利用训练模型预测30分钟和1小时客流。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911194109.2A CN111144696A (zh) | 2019-11-28 | 2019-11-28 | 一种基于大数据的轨道交通数据分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911194109.2A CN111144696A (zh) | 2019-11-28 | 2019-11-28 | 一种基于大数据的轨道交通数据分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111144696A true CN111144696A (zh) | 2020-05-12 |
Family
ID=70517445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911194109.2A Pending CN111144696A (zh) | 2019-11-28 | 2019-11-28 | 一种基于大数据的轨道交通数据分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111144696A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112905659A (zh) * | 2021-02-05 | 2021-06-04 | 希盟泰克(重庆)实业发展有限公司 | 一种基于bim与人工智能的城市轨道交通数据分析方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106502772A (zh) * | 2016-10-09 | 2017-03-15 | 国网浙江省电力公司信息通信分公司 | 基于分布式离线技术的电量数据批量高速处理方法及系统 |
| CN108009290A (zh) * | 2017-12-25 | 2018-05-08 | 国电南瑞科技股份有限公司 | 一种轨道交通指挥中心线网大数据的数据建模和存储方法 |
| CN109325089A (zh) * | 2018-10-10 | 2019-02-12 | 北京锐安科技有限公司 | 一种非定点对象查询方法、装置、终端设备及存储介质 |
| CN109522311A (zh) * | 2018-11-20 | 2019-03-26 | 北京锐安科技有限公司 | 数据存储方法、装置、服务器和存储介质 |
| CN110276474A (zh) * | 2019-05-22 | 2019-09-24 | 南京理工大学 | 一种城市轨道交通车站短时客流预测方法 |
-
2019
- 2019-11-28 CN CN201911194109.2A patent/CN111144696A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106502772A (zh) * | 2016-10-09 | 2017-03-15 | 国网浙江省电力公司信息通信分公司 | 基于分布式离线技术的电量数据批量高速处理方法及系统 |
| CN108009290A (zh) * | 2017-12-25 | 2018-05-08 | 国电南瑞科技股份有限公司 | 一种轨道交通指挥中心线网大数据的数据建模和存储方法 |
| CN109325089A (zh) * | 2018-10-10 | 2019-02-12 | 北京锐安科技有限公司 | 一种非定点对象查询方法、装置、终端设备及存储介质 |
| CN109522311A (zh) * | 2018-11-20 | 2019-03-26 | 北京锐安科技有限公司 | 数据存储方法、装置、服务器和存储介质 |
| CN110276474A (zh) * | 2019-05-22 | 2019-09-24 | 南京理工大学 | 一种城市轨道交通车站短时客流预测方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112905659A (zh) * | 2021-02-05 | 2021-06-04 | 希盟泰克(重庆)实业发展有限公司 | 一种基于bim与人工智能的城市轨道交通数据分析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107330056B (zh) | 基于大数据云计算平台的风电场scada系统及其运行方法 | |
| CN105574593B (zh) | 基于云计算和大数据的轨道状态静态检控系统及方法 | |
| CN108767851B (zh) | 一种变电站运维智能作业指挥方法及系统 | |
| CN106774062A (zh) | 充电桩的采集与监控系统和充电桩 | |
| Wang et al. | Data driven approaches for passenger train delay estimation | |
| CN111525684A (zh) | 一种基于云平台的风电场集群化监控的运维系统 | |
| CN103745229A (zh) | 一种基于svm的轨道交通故障诊断方法及系统 | |
| CN103699698A (zh) | 一种基于改进贝叶斯的轨道交通故障识别方法及系统 | |
| CN112698953A (zh) | 一种基于微服务的电网智能运检平台 | |
| Yang et al. | Last-train timetabling under transfer demand uncertainty: mean-variance model and heuristic solution | |
| CN111178587A (zh) | 一种基于spark框架的短期电力负荷快速预测方法 | |
| CN114297935A (zh) | 基于数字孪生的机场航站楼离港优化运行仿真系统及方法 | |
| CN109697251A (zh) | 基于分布式光伏电站的云计算方法及云服务平台 | |
| CN204539486U (zh) | 一种地铁线网客流样本追踪分析系统 | |
| Jiang et al. | Research and design of infrastructure monitoring platform of intelligent high speed railway | |
| CN103258255B (zh) | 一种适用于电网管理系统的知识发现方法 | |
| CN117374978B (zh) | 结合知识图谱构建的并网调度管理方法及系统 | |
| Ju et al. | The use of edge computing-based internet of things big data in the design of power intelligent management and control platform | |
| CN111144696A (zh) | 一种基于大数据的轨道交通数据分析方法 | |
| CN114142614A (zh) | 一种基于sd-wan网络的高速公路配电房智能运维管理系统 | |
| Du et al. | A digital twin framework and an implementation method for urban rail transit | |
| Gómez-Marín et al. | Integrating multi-agent system and microsimulation for dynamic modeling of urban freight transport | |
| CN112613790A (zh) | 应用于多站融合环境下的协同数据处理方法、设备及介质 | |
| Kang et al. | Implementation of PV monitoring system using Python | |
| CN115660893A (zh) | 一种基于负荷特性的变电站母线负荷预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200512 |