CN111753010A - 铁路接触网的数据采集网络架构及实现方法 - Google Patents
铁路接触网的数据采集网络架构及实现方法 Download PDFInfo
- Publication number
- CN111753010A CN111753010A CN202010406903.5A CN202010406903A CN111753010A CN 111753010 A CN111753010 A CN 111753010A CN 202010406903 A CN202010406903 A CN 202010406903A CN 111753010 A CN111753010 A CN 111753010A
- Authority
- CN
- China
- Prior art keywords
- data
- layer
- network architecture
- railway
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims abstract description 30
- 238000004458 analytical method Methods 0.000 claims abstract description 21
- 230000006978 adaptation Effects 0.000 claims abstract description 15
- 238000005065 mining Methods 0.000 claims abstract description 11
- 230000003068 static effect Effects 0.000 claims description 15
- 238000012800 visualization Methods 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 8
- 230000003139 buffering effect Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013523 data management Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000013079 data visualisation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010033799 Paralysis Diseases 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及铁路接触网的数据采集网络架构及实现方法，架构包括：数据接入层，用于接入原始数据；数据适配层，用于将原始数据进行适配，以消除不同原始数据之间的结构差异；汇聚层，用于将适配后的原始数据进行建模和挖掘，使其形成可视化模型并进行存储；存储层，通过分布式文件系统组成，用于将可视化模型中的数据进行深度分析，并将可视化模型中的数据以及深度分析的结果，根据要求，进行不同类型的数据源定义。本发明将数据进行前期的适配，使得数据以统一的格式输送至后续，避免了因为数据不适配引起的误差，减少了处理的工作量，同时通过分析，使得其可以通过不同类型进行定义，以满足铁路中不同群体的不同需求。
Description
技术领域
本发明涉及铁路接触网监测技术领域，具体涉及一种铁路接触网的数据采集网络架构及实现方法。
背景技术
设计面向轨道交通工程的开放式大数据管理系统架构，形成相应的行业标准规范；面向结构化与非结构化数据，以轨道交通工程知识等不同类型，研究高可扩展性、高性能、高可用性的多维感知体系，多层次环境状态信息融合与数据管理关键技术；开发大数据收集、整理、存储与检索工具，建立轨道交通工程大数据平台，是目前铁路领域亟待解决的问题。而前期数据采集方面的网络架构的实现更是解决这些技术问题的基础。
发明内容
本发明的目的是提供一种铁路接触网的数据采集网络架构及实现方法，为开放式大数据管理系统建立高性能、高可用性的网络架构。
本发明所采用的技术方案为：
铁路接触网的数据采集网络架构，其特征在于：
所述架构包括：
数据接入层，所述数据接入层用于接入原始数据，所述原始数据包括静态采集装置采集的静态数据以及动态采集装置采集的动态数据；
数据适配层，所述数据适配层用于将原始数据进行适配，以消除不同原始数据之间的结构差异；
汇聚层，所述汇聚层用于将适配后的原始数据进行建模和挖掘，使其形成可视化模型并进行存储；
存储层，所述存储层通过分布式文件系统组成，用于将可视化模型中的数据进行深度分析，并将可视化模型中的数据以及深度分析的结果，根据要求，进行不同类型的数据源定义；
所述分布式文件系统为带有FLUME组件的HDFS系统。
所述静态采集装置为数据库以及数据平台，用于业务系统中历史数据的采集。
所述动态采集装置为接口以及实时采集装置。
所述数据适配层与汇聚层之间还包括缓冲层，所述缓冲层用于原始数据的缓冲，以提供汇聚层使用。
所述汇聚层包括内存数据库、数据同步服务器以及云端数据网关，所述内存数据库用于将动态数据实时存储至所述内存数据库内，并通过数据同步服务器将其同步至云端数据网关。
所述汇聚层还包括定义模型模块，所述定义模型模块用于对静态数据进行结构定义，并将其转化为可视化模型。
所述汇聚层还包括还包括数据建模模块，所述数据建模模块以内部对象的形式，在内存数据库中进行序列和反序列化。
所述存储层中还包括可视化分析模块，所述可视化分析模块用于将汇聚层传输的可视化数据通过数据模块使得其以数据表的形式进行可视化。
所述存储层中还包括深度分析模块，所述深度分析模块通过交互服务器得到以数据表形式的可视化数据，并通过不同类型的数据源定义，使其展示出不同定义的数据。
铁路接触网的数据采集网络架构的实现方法，其特征在于：
所述方法为：
通过数据接入层接入不同的原始数据后，经数据适配层消除原始数据之间的结构差异后，通过存储层深度分析原始数据，并将深度分析后的结构根据要求，进行不同类型的数据源定义。
本发明具有以下优点：
本发明通过结合数据适配层以及汇聚层，将数据进行前期的适配，使得数据以统一的格式输送至后续，避免了因为数据不适配引起的误差，减少了处理的工作量，同时通过分析，使得其可以通过不同类型进行定义，以满足铁路中不同群体的不同需求。
本发明在汇聚层就预先进行了数据建模和挖掘，使其以可视化的模型进行存储，对于要求不严格的数据采集，此时即可得到精准数据，且汇聚层的挖掘建模，计算量适中，便于使用。
附图说明
图1为本发明结构图。
具体实施方式
下面结合具体实施方式对本发明进行详细的说明。
本发明涉及铁路接触网的数据采集网络架构，所述架构包括：
数据接入层，所述数据接入层用于接入原始数据，所述原始数据包括静态采集装置采集的静态数据以及动态采集装置采集的动态数据；
数据适配层，所述数据适配层用于将原始数据进行适配，以消除不同原始数据之间的结构差异；
汇聚层，所述汇聚层用于将适配后的原始数据进行建模和挖掘，使其形成可视化模型并进行存储；
存储层，所述存储层通过分布式文件系统组成，用于将可视化模型中的数据进行深度分析，并将可视化模型中的数据以及深度分析的结果，根据要求，进行不同类型的数据源定义；
所述分布式文件系统为带有FLUME组件的HDFS系统。
本发明通过结合数据适配层以及汇聚层，将数据进行前期的适配，使得数据以统一的格式输送至后续，避免了因为数据不适配引起的误差，以及后期的计算量增加。本发明在汇聚层就预先进行了数据建模和挖掘，使其以可视化的模型进行存储，对于要求不严格的数据采集，此时即可得到精准数据，且汇聚层的挖掘建模，计算量适中，便于使用。本发明的存储层不是单纯的存储，其通过分布式文件系统，实现多个文件的合理分布，且可以根据要求，改变数据源定义，使得其输出不同需求客户的数据源，比如可以设置可视化设计、可视化图形、组织机构定义、挖掘流设计定义、挖掘流程定义、数据源定义、场景定义以及故事定义等。
所述静态采集装置为数据库以及数据平台，用于业务系统中历史数据的采集。具体地，可以选用RDBMS、SparkSQL、MQ、HDFS、HIVE、PRESTO 、HBASE或者FLUME，其用于采集形成日志、二进制、消息列队、Txt/Csv以及RDBMS Table类型的原始数据。
具体地，RDBMS即关系数据库管理系统(Relational Database ManagementSystem)，其是将数据组织为相关的行和列的系统。SparkSQL是Spark用来处理结构化数据的一个模块，它提供了非常强大的API。在内部，SparkSQL使用额外的结构信息来执行额外的优化，在外部，使用SQL和DataSet的API与之交互。API就是操作系统留给应用程序的一个调用接口。消息队列(MQ)是一种应用程序对应用程序的通信方法。应用程序通过写和检索出入列队的针对应用程序的数据(消息)来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是ApacheHadoop Core项目的一部分。hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。Presto是Facebook开发的数据查询引擎，可对250PB以上的数据进行快速地交互式分析。HBase是一个分布式的、面向列的开源数据库。Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。
所述动态采集装置为接口以及实时采集装置。具体地，动态采集装置用于采集动态产生的日志、接触网上的电流、电压、接触网工作环境的温度、湿度等，其为动态。数据接入层通过二次开发接口，与自动化设备相连，将所有设备的数据映射为统一的数据字典，由数据采集器进行统一的收集；接入的动态数据为关系数据库表(table)、文本、二进制文件如视频，音频等、Excel、日志信息。
所述数据适配层与汇聚层之间还包括缓冲层，所述缓冲层用于原始数据的缓冲，以提供汇聚层使用。当大量数据同时涌入时，容易造成数据瘫痪等，故需要增加缓冲层，缓解压力。
所述汇聚层包括内存数据库、数据同步服务器以及云端数据网关，所述内存数据库用于将动态数据实时存储至所述内存数据库内，并通过数据同步服务器将其同步至云端数据网关。通过增加云端数据网关，后续还可以在云端网关上启动一个数据分发服务，按照订阅发布的机制将数据进行分发。
所述汇聚层还包括定义模型模块，所述定义模型模块用于对静态数据进行结构定义，并将其转化为可视化模型。为了方便用户使用，故增加定义模型模块，业务数据的元信息通过DVL、SQL 进行结构定义，并转化为可视化数据模型。
所述汇聚层还包括还包括数据建模模块，所述数据建模模块以内部对象的形式，在内存数据库中进行序列和反序列化。在汇聚层，系统所传递的数据包括，系统本身产生的日志、异常等支撑系统运行的数据，并且包括用户业务数据，此类数据被包装在SparkDataSet 中进行传递，转化、缓存等。挖掘算法模型信息以内部对象的形式在HDFS 中进行序列和反序列化。
所述存储层中还包括可视化分析模块，所述可视化分析模块用于将汇聚层传输的可视化数据通过数据模块使得其以数据表的形式进行可视化。通过在存储层的进一步分析，使得数据以数据表的形式进行可视化。
进一步地，数据模块为常用的数据可视化模块，其通过通讯方式与汇聚层中的模块通讯连接，其可以为虚拟的软件程序，也可以为带有数据可视化模块的硬件设备，在铁路接触网的网络架构时，与铁路接触网的整个监控系统连接。
所述存储层中还包括深度分析模块，所述深度分析模块通过交互服务器得到以数据表形式的可视化数据，并通过不同类型的数据源定义，使其展示出不同定义的数据。通过定义，实现了用户需求改变时，呈现的数据表进行改变的形式，满足多种客户的需求。
本实施例中，所述的交互服务器设置于存储层中，在铁路接触网的数据采集网络构架搭建时，其作为核心的硬件设备，设置于监控机房或者监控中心内。通过交互服务器，实现了存储层与汇聚层之间数据的交互，同时，交互服务器作为单独的设备，能够暂时或长期存储数据，在数据量较大时，有存储功能。
上述铁路接触网的数据采集网络架构的实现方法为：
通过数据接入层接入不同的原始数据后，经数据适配层消除原始数据之间的结构差异后，通过存储层深度分析原始数据，并将深度分析后的结构根据要求，进行不同类型的数据源定义。
本发明的内容不限于实施例所列举，本领域普通技术人员通过阅读本发明说明书而对本发明技术方案采取的任何等效的变换，均为本发明的权利要求所涵盖。
Claims (10)
1.铁路接触网的数据采集网络架构，其特征在于：
所述架构包括：
数据接入层，所述数据接入层用于接入原始数据，所述原始数据包括静态采集装置采集的静态数据以及动态采集装置采集的动态数据；
数据适配层，所述数据适配层用于将原始数据进行适配，以消除不同原始数据之间的结构差异；
汇聚层，所述汇聚层用于将适配后的原始数据进行建模和挖掘，使其形成可视化模型并进行存储；
存储层，所述存储层通过分布式文件系统组成，用于将可视化模型中的数据进行深度分析，并将可视化模型中的数据以及深度分析的结果，根据要求，进行不同类型的数据源定义；
所述分布式文件系统为带有FLUME组件的HDFS系统。
2.根据权利要求1所述的铁路接触网的数据采集网络架构，其特征在于：
所述静态采集装置为数据库以及数据平台，用于业务系统中历史数据的采集。
3.根据权利要求2所述的铁路接触网的数据采集网络架构，其特征在于：
所述动态采集装置为接口以及实时采集装置。
4.根据权利要求3所述的铁路接触网的数据采集网络架构，其特征在于：
所述数据适配层与汇聚层之间还包括缓冲层，所述缓冲层用于原始数据的缓冲，以提供汇聚层使用。
5.根据权利要求4所述的铁路接触网的数据采集网络架构，其特征在于：
所述汇聚层包括内存数据库、数据同步服务器以及云端数据网关，所述内存数据库用于将动态数据实时存储至所述内存数据库内，并通过数据同步服务器将其同步至云端数据网关。
6.根据权利要求5所述的铁路接触网的数据采集网络架构，其特征在于：
所述汇聚层还包括定义模型模块，所述定义模型模块用于对静态数据进行结构定义，并将其转化为可视化模型。
7.根据权利要求6所述的铁路接触网的数据采集网络架构，其特征在于：
所述汇聚层还包括还包括数据建模模块，所述数据建模模块以内部对象的形式，在内存数据库中进行序列和反序列化。
8.根据权利要求7所述的铁路接触网的数据采集网络架构，其特征在于：
所述存储层中还包括可视化分析模块，所述可视化分析模块用于将汇聚层传输的可视化数据通过数据模块使得其以数据表的形式进行可视化。
9.根据权利要求8所述的铁路接触网的数据采集网络架构，其特征在于：
所述存储层中还包括深度分析模块，所述深度分析模块通过交互服务器得到以数据表形式的可视化数据，并通过不同类型的数据源定义，使其展示出不同定义的数据。
10.铁路接触网的数据采集网络架构的实现方法，其特征在于：
所述方法为：
通过数据接入层接入不同的原始数据后，经数据适配层消除原始数据之间的结构差异后，通过存储层深度分析原始数据，并将深度分析后的结构根据要求，进行不同类型的数据源定义。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010406903.5A CN111753010A (zh) | 2020-05-14 | 2020-05-14 | 铁路接触网的数据采集网络架构及实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010406903.5A CN111753010A (zh) | 2020-05-14 | 2020-05-14 | 铁路接触网的数据采集网络架构及实现方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111753010A true CN111753010A (zh) | 2020-10-09 |
Family
ID=72673434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010406903.5A Pending CN111753010A (zh) | 2020-05-14 | 2020-05-14 | 铁路接触网的数据采集网络架构及实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111753010A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140007300A (ko) * | 2012-07-09 | 2014-01-17 | 부산대학교 산학협력단 | 하둡 기반 센서 스트림 데이터 처리 시스템 및 방법 |
| CN105809606A (zh) * | 2016-03-08 | 2016-07-27 | 贵州省邮电规划设计院有限公司 | 大数据应用平台系统 |
| CN108768741A (zh) * | 2018-06-08 | 2018-11-06 | 上海新炬网络技术有限公司 | 一种基于大数据的网管数据互联系统 |
| CN110019549A (zh) * | 2017-12-01 | 2019-07-16 | 广州明领基因科技有限公司 | 针对物联网平台的大数据存储系统 |
-
2020
- 2020-05-14 CN CN202010406903.5A patent/CN111753010A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140007300A (ko) * | 2012-07-09 | 2014-01-17 | 부산대학교 산학협력단 | 하둡 기반 센서 스트림 데이터 처리 시스템 및 방법 |
| CN105809606A (zh) * | 2016-03-08 | 2016-07-27 | 贵州省邮电规划设计院有限公司 | 大数据应用平台系统 |
| CN110019549A (zh) * | 2017-12-01 | 2019-07-16 | 广州明领基因科技有限公司 | 针对物联网平台的大数据存储系统 |
| CN108768741A (zh) * | 2018-06-08 | 2018-11-06 | 上海新炬网络技术有限公司 | 一种基于大数据的网管数据互联系统 |
Non-Patent Citations (1)
| Title |
|---|
| 胡琴琴;: "基于Hadoop的商业数据可视化分析模型的研究", 电脑知识与技术, no. 06, pages 3 - 6 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109492040B (zh) | 一种适用于数据中心海量短报文数据处理的系统 | |
| CN109074377B (zh) | 用于实时处理数据流的受管理功能执行 | |
| US20130124483A1 (en) | System and method for operating a big-data platform | |
| CN109063196B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| Padhy | Big data processing with Hadoop-MapReduce in cloud systems | |
| CN107066546B (zh) | 一种基于mpp引擎的跨数据中心快速查询方法和系统 | |
| CN112100265A (zh) | 面向大数据架构与区块链的多源数据处理方法及装置 | |
| CN103699656A (zh) | 一种基于GPU的面向海量多媒体数据的MapReduce平台 | |
| CN112988741A (zh) | 实时业务数据合并方法、装置及电子设备 | |
| Luo et al. | Big-data analytics: challenges, key technologies and prospects | |
| CN116166191A (zh) | 湖仓一体系统 | |
| CN112506887B (zh) | 车辆终端can总线数据处理方法及装置 | |
| Gupta et al. | HADOOP-An Open Source Framework for Big Data | |
| CN108319604B (zh) | 一种hive中大小表关联的优化方法 | |
| CN111753010A (zh) | 铁路接触网的数据采集网络架构及实现方法 | |
| Fiannaca et al. | Benchmarking of relational and nosql databases to determine constraints for querying robot execution logs | |
| CN116226139A (zh) | 一种适用大规模海洋数据的分布式存储和处理方法及系统 | |
| CN110489247A (zh) | 一种数据实时集成方法及装置 | |
| CN115391429A (zh) | 基于大数据云计算的时序数据处理方法及装置 | |
| Tripathi et al. | A comparative analysis of conventional hadoop with proposed cloud enabled hadoop framework for spatial big data processing | |
| KR101629395B1 (ko) | 데이터 분석 장치, 데이터 분석 방법 및 데이터를 분석하는 프로그램을 저장하는 저장매체 | |
| CN114153695A (zh) | 一种基于Android的松耦合、高扩展性无埋点数据采集方法 | |
| CN112765294A (zh) | 一种气象大数据处理调度系统 | |
| CN105677853A (zh) | 一种基于大数据技术框架的数据存储方法及装置 | |
| CN110866165A (zh) | 一种网络视频采集方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |