CN111930835B - 一种城市轨道交通用智能运维大数据管理系统和方法 - Google Patents

一种城市轨道交通用智能运维大数据管理系统和方法 Download PDF

Info

Publication number
CN111930835B
CN111930835B CN202010685705.7A CN202010685705A CN111930835B CN 111930835 B CN111930835 B CN 111930835B CN 202010685705 A CN202010685705 A CN 202010685705A CN 111930835 B CN111930835 B CN 111930835B
Authority
CN
China
Prior art keywords
data
module
distributed
vehicle
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010685705.7A
Other languages
English (en)
Other versions
CN111930835A (zh
Inventor
张燕忠
唐江华
尹淼
卜显利
王志云
胡林桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Yunda Intelligent Technology Co ltd
Original Assignee
Guangzhou Yunda Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Yunda Intelligent Technology Co ltd filed Critical Guangzhou Yunda Intelligent Technology Co ltd
Priority to CN202010685705.7A priority Critical patent/CN111930835B/zh
Publication of CN111930835A publication Critical patent/CN111930835A/zh
Application granted granted Critical
Publication of CN111930835B publication Critical patent/CN111930835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1044—Group management mechanisms 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Vehicle Cleaning, Maintenance, Repair, Refitting, And Outriggers (AREA)

Abstract

本发明公开了一种城市轨道交通用智能运维大数据管理系统和方法，包括用于搭建私有云集群的基础设施模块；用于将原始数据解析转换为报文数据的数据解析与接入模块；用于建立存储报文数据的数据表的异构数据存储模块；用于进行数据处理的数据处理分析模块；用于获取硬件设施以及运行状态数据，并将运行状态数据与对应的阈值进行比较，当运行状态数据超过对应的阈值时，集群监控模块给出报警信号的集群监控模块。本发明车载监测系统数据展示的实效性更强，并能够对海量结构化/非结构化数据进行有效存储和处理，为地铁车辆大数据分析提供便利，更能满足地铁车辆智能运维对信息化、数字化、精细化数据管理的需求。

Description

一种城市轨道交通用智能运维大数据管理系统和方法
技术领域
本发明涉及城市轨道交通技术领域，尤其涉及一种城市轨道交通用智能运维大数据管理系统和方法。
背景技术
随着城市轨道交通行业的发展，地铁车辆运营安全保障、精准维修、集约化资源管理已成为必然需求，地铁车辆智能运维系统为地铁车辆由传统维修向智能化维修转变提供重要支撑。地铁车辆智能运维系统主要包括车载监测系统、轨旁检测系统、业务系统，但各系统产生的数据缺乏及时有效的沟通和数据共享，造成“数据孤岛”，导致维修统筹能力不足；具体而言，地铁车辆涉及的数据包括在途实时运行状态数据、车内实时视频数据、轨旁状态感知数据、轨旁故障图片数据、检修数据、日志数据等，这些数据来源多样、类型复杂、时效性强、规模庞大、安全性要求高，反映了地铁车辆的运维方式和技术特点。尽管目前基于商业软件或基于开源软件的大数据平台能够提供通用的面向海量数据接入和数据存储分析的功能，但现有技术仍不能对地铁车辆智能运维涉及的系统单元划分问题、多源数据采集协议规范问题、海量数据有效存储以及处理分析问题进行有效解决，无法满足地铁车辆智能运维对信息化、数字化、精细化数据管理的需求。
发明内容
本发明的目的在于提供一种城市轨道交通用智能运维大数据管理系统和方法，该系统或方法可以将地铁车辆的车载监测系统、轨旁检测系统、业务系统的多源异构数据进行规范化解析和有效传输，车载监测系统数据展示的实效性更强，并能够对海量结构化/非结构化数据进行有效存储和处理，为地铁车辆大数据分析提供便利，更能满足地铁车辆智能运维对信息化、数字化、精细化数据管理的需求。
本发明通过下述技术方案实现：
一种城市轨道交通用智能运维大数据管理系统，包括基础设施模块、数据解析与接入模块、消费数据模块、异构数据存储模块、数据处理分析模块以及集群监控模块；
基础设施模块，用于搭建地铁车辆段的私有云集群；所述数据解析与接入模块、所述消费数据模块、所述异构数据存储模块、所述数据处理分析模块以及所述集群监控模块之间的数据处理均在所述私有云集群内进行；
所述数据解析与接入模块，用于接收车载监测系统、轨旁检测系统以及业务系统的原始数据，并将所述原始数据解析转换为报文数据；同时还用于将所述报文数据传输至分布式消息队列Kafka中缓存；其中，所述报文数据包括报警类数据、故障类数据、状态类数据以及测量类数据；
所述消费数据模块，用于读取缓存至所述分布式消息队列Kafka中的所述报文数据，并将读取的所述报文数据转移至所述异构数据存储模块；
所述异构数据存储模块，用于根据业务关系映射表建立用于存储所述报文数据的数据表；其中，所述业务关系映射表为所述车载监测系统、所述轨旁检测系统以及所述业务系统的字段信息表；
所述数据处理分析模块，用于对所述数据表中的数据进行处理，并将处理后的数据存储至所述异构数据存储模块；
所述集群监控模块，用于周期性获取所述私有云集群内的硬件设施以及所述消费数据模块的运行状态数据，并将所述运行状态数据与对应的阈值进行比较，当所述运行状态数据超过对应的阈值时，所述集群监控模块给出报警信号。
进一步地，所述数据解析与接入模块包括接入单元、解析单元和发送单元；
所述接入单元通过TCP/IP数据协议或UDP数据协议接收所述车载监测系统的原始数据；
所述接入单元通过HTTP数据协议接收所述轨旁检测系统的原始数据；
所述接入单元通过HTTP数据协议接收所述业务系统的原始数据；
所述解析单元根据所述业务关系映射表和所述TCP/IP数据协议或所述UDP数据协议将所述车载监测系统的原始数据解析转换为所述报警类数据、所述故障类数据和所述状态类数据；
所述解析单元根据所述业务关系映射表和所述HTTP数据协议将所述轨旁检测系统的原始数据解析转换为所述报警类数据、所述故障类数据、所述状态类数据以及所述测量类数据；
所述解析单元根据所述业务关系映射表和所述HTTP数据协议将所述业务系统的原始数据解析转换为所述报警类数据、所述故障类数据、所述状态类数据以及所述测量类数据；
所述发送单元，用于将所述报警类数据、所述故障类数据、所述状态类数据和所述测量类数据推送至所述分布式消息队列Kafka中缓存。
进一步地，所述异构数据存储模块包括内存数据库Redis、关系型数据库MySQL、分布式列式数据库HBase、数据仓库Hive和分布式文件系统，所述分布式文件系统包括HDFS或FastDFS；
所述内存数据库Redis，用于建立第一数据表，所述第一数据表用于存储所述车载监测系统生成的所述报警类数据、所述故障类数据以及所述状态类数据；还用于设置所述内存数据库Redis的最大内存容量；
所述关系型数据库MySQL，用于建立第二数据表，所述第二数据表用于存储面向业务的结构化数据；所述结构化数据包括但不限于可靠性分析结果数据、故障知识库数据、能耗分析结果数据、能耗优化推荐数据、日检作业支撑数据以及车辆运用推荐数据；
所述分布式列式数据库HBase，用于建立第三数据表，所述第三数据表用于存储所述车载监测系统、所述轨旁检测系统以及所述业务系统生成的所述报警类数据、所述故障类数据、所述状态类数据以及所述测量类数据；还用于设置所述分布式列式数据库HBase中的数据表生存时间以及数据存储时长；
所述数据仓库Hive，用于压缩存储来自所述分布式列式数据库HBase和所述关系型数据库MySQL的第三数据表和第二数据数据表；
所述分布式文件系统，用于根据所述分布式列式数据库HBase和所述关系型数据库MySQL中存储的非结构化数据链接地址，将所述非结构化数据存入所述HDFS或所述FastDFS中；其中，非结构化数据链接地址为所述车载监测系统、所述轨旁检测系统以及所述业务系统中的图片、视频以及日志存储的路径信息。
进一步地，所述数据处理分析模块包括ETL模块和分布式计算模块Spark；所述数据处理分析模块包括以下处理过程：
建立所述分布式列式数据库HBase和所述数据仓库Hive之间的映射表；
建立所述关系型数据库MySQL和所述数据仓库Hive之间的映射表；
建立所述关系型数据库MySQL的中间表和目标表；
所述ETL模块清空所述中间表；
所述ETL模块根据所述分布式列式数据库HBase和所述数据仓库Hive之间的映射表，对所述数据仓库Hive中的数据表进行预处理，并将预处理后的数据表迁移至所述数据仓库Hive中；
所述ETL模块根据所述关系型数据库MySQL和所述数据仓库Hive之间的映射表，利用Sqoop将迁移至所述数据仓库Hive中的数据表迁移至被清空的所述中间表；
对所述中间表中数据进行转换与合并，最后将合并后的数据加载至所述MySQL的目标表中；
所述分布式计算模块Spark获取所述数据仓库Hive中的数据进行统计分析和大数据分析，然后将结果数据存储至所述HDFS和所述关系型数据库MySQL中。
一种城市轨道交通用智能运维大数据管理方法，包括以下步骤：
S1：搭建地铁车辆段的私有云集群；
S2：接收车载监测系统、轨旁检测系统以及业务系统的原始数据，将所述原始数据解析转换为报文数据；并将所述报文数据传输至分布式消息队列Kafka中缓存；其中，所述报文数据包括报警类数据、故障类数据、状态类数据以及测量类数据；
S3：读取缓存至所述分布式消息队列Kafka中的所述报文数据，并将读取的所述报文数据转移至异构数据存储模块；
S4：根据业务关系映射表建立用于存储所述报文数据的数据表；所述业务关系映射表为所述车载监测系统、所述轨旁检测系统以及所述业务系统的字段信息表；
S5：对所述数据表中的数据进行处理，并将处理后的数据存储至所述异构数据存储模块；
S6：周期性获取所述私有云集群内的硬件设施以及步骤S2-S4生成的运行状态数据，并将所述运行状态数据与对应的阈值进行比较，当所述运行状态数据超过对应的阈值时，所述集群监控模块给出报警信号；
其中，步骤S2-S5均在所述私有云集群内进行。
进一步地，所述S2包括以下子步骤：
S21：通过TCP/IP数据协议或UDP数据协议接收所述车载监测系统的原始数据；通过HTTP数据协议接收所述轨旁检测系统的原始数据；通过HTTP数据协议接收所述业务系统的原始数据；
S22：根据所述业务关系映射表和所述TCP/IP数据协议或所述UDP数据协议将所述车载监测系统的原始数据解析转换为所述报警类数据、所述故障类数据和所述状态类数据；根据所述业务关系映射表和所述HTTP数据协议将所述轨旁检测系统的原始数据解析转换为所述报警类数据、所述故障类数据、所述状态类数据以及所述测量类数据；根据所述业务关系映射表和所述HTTP数据协议将所述业务系统的原始数据解析转换为所述报警类数据、所述故障类数据、所述状态类数据以及所述测量类数据；
S23：将所述报警类数据、所述故障类数据、所述状态类数据和所述测量类数据推送至所述分布式消息队列Kafka中缓存。
进一步地，所述异构数据存储模块包括内存数据库Redis、关系型数据库MySQL、分布式列式数据库HBase、数据仓库Hive和分布式文件系统，所述分布式文件系统包括HDFS或FastDFS；
所述内存数据库Redis，用于建立第一数据表，所述第一数据表用于存储所述车载监测系统生成的所述报警类数据、所述故障类数据以及所述状态类数据；还用于设置所述内存数据库Redis的最大内存容量；
所述关系型数据库MySQL，用于建立第二数据表，所述第二数据表用于存储面向业务的结构化数据；所述结构化数据包括但不限于可靠性分析结果数据、故障知识库数据、能耗分析结果数据、能耗优化推荐数据、日检作业支撑数据以及车辆运用推荐数据；
所述分布式列式数据库HBase，用于建立第三数据表，所述第三数据表用于存储所述车载监测系统、所述轨旁检测系统以及所述业务系统生成的所述报警类数据、所述故障类数据、所述状态类数据以及所述测量类数据；还用于设置所述分布式列式数据库HBase中的数据表生存时间以及数据存储时长；
所述数据仓库Hive，用于压缩存储来自所述分布式列式数据库HBase和所述关系型数据库MySQL的第三数据表和第二数据数据表；
所述分布式文件系统，用于根据所述分布式列式数据库HBase和所述关系型数据库MySQL中存储的非结构化数据链接地址，将所述非结构化数据存入所述HDFS或所述FastDFS中；其中，非结构化数据链接地址为所述车载监测系统、所述轨旁检测系统以及所述业务系统中的图片、视频以及日志存储的路径信息。
进一步地，所述S5包括以下子步骤：
S51：建立所述分布式列式数据库HBase和所述数据仓库Hive之间的映射表；建立所述关系型数据库MySQL和所述数据仓库Hive之间的映射表；建立所述关系型数据库MySQL的中间表和目标表；
S52：清空所述中间表；
S53：根据所述分布式列式数据库HBase和所述数据仓库Hive之间的映射表，对所述数据仓库Hive中的数据表进行预处理，并将预处理后的数据表迁移至所述数据仓库Hive中；
S54：根据所述关系型数据库MySQL和所述数据仓库Hive之间的映射表，利用Sqoop将迁移至所述数据仓库Hive中的数据表迁移至被清空的所述中间表；
S55：对所述中间表中数据进行转换与合并，最后将合并后的数据加载至所述MySQL的目标表中；
S56：获取所述数据仓库Hive中的数据进行统计分析和大数据分析，然后将结果数据存储至所述HDFS和所述关系型数据库MySQL中。
本发明与现有技术相比，具有如下的优点和有益效果：
该系统将地铁车辆的车载监测系统、轨旁检测系统、业务系统的多源异构数据进行规范化解析和有效传输，车载监测系统数据展示的实效性更强，并能够对海量结构化/非结构化数据进行有效存储和处理，为地铁车辆大数据分析提供便利，更能满足地铁车辆智能运维对信息化、数字化、精细化数据管理的需求。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明大数据管理系统的结构示意图；
图2为本发明数据解析与接入模块的结构示意图；
图3为本发明异构数据存储模块的结构示意图；
图4为本发明数据处理分析模块的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
一种城市轨道交通用智能运维大数据管理系统，如图1所示，包括基础设施模块、数据解析与接入模块、消费数据模块、异构数据存储模块、数据处理分析模块以及集群监控模块；
其中，基础设施模块包括防火墙、服务器、交换机以及不间断电源等，用于构建地铁车辆段的私有云集群。数据解析与接入模块、消费数据模块、异构数据存储模块、数据处理分析模块以及集群监控模块之间的数据处理均在私有云集群内进行，以保障数据的安全性和自主性，促进数据资产的有效管理。
数据解析与接入模块实时将车载监测系统、轨旁检测系统以及业务系统的原始数据引入到本申请提供的智能运维大数据管理系统中，是保障地铁车辆的车载监测系统、轨旁检测系统和业务系统的原始数据在该大数据系统中可用的基础；同时还将原始数据解析转换为规范的报文数据，以便管理系统可以根据报文数据的类型和字段信息将报文数据分为报警类数据、故障类数据、状态类数据以及测量类数据，然后根据不同的数据类型进行存储和处理，使得数据存储和处理更加有效。
具体地，如图2所示，数据解析与接入模块包括接入单元、解析单元和发送单元；
其中，接入单元通过TCP/IP数据协议或UDP数据接收协议接收来自车载监测系统的原始数据；通过HTTP数据协议接收来自轨旁检测系统的原始数据；通过HTTP数据协议接收来自业务系统的原始数据；
解析单元根据业务关系映射表和TCP/IP数据协议(或UDP数据协议)将车载监测系统的原始数据解析转换为报警类数据、故障类数据和状态类数据；根据业务关系映射表和HTTP数据协议将轨旁检测系统的原始数据解析转换为报警类数据、故障类数据、状态类数据和测量类数据；根据业务关系映射表和HTTP数据协议将业务系统的原始数据解析转换为报警类数据、故障类数据、状态类数据和测量类数据；
发送单元将报警类数据、故障类数据、状态类数据和测量类数据推送至分布式消息队列Kafka中缓存。
消费数据模块从分布式消息队列Kafka中读取缓存的报文数据，并将读取的报文数据转移至异构数据存储模块。
异构数据存储模块，用于根据业务关系映射表建立用于存储报文数据的数据表；其中，业务关系映射表为车载监测系统、轨旁检测系统以及业务系统的字段信息表。
具体地，如图3所示，异构数据存储模块包括内存数据库Redis、关系型数据库MySQL、分布式列式数据库HBase、数据仓库Hive和分布式文件系统，分布式文件系统包括HDFS或FastDFS；
其中，内存数据库Redis，用于建立第一数据表，第一数据表用于存储车载监测系统生成的报警类数据、故障类数据以及状态类数据；然后根据报警类数据、故障类数据以及状态类数据构建内存数据库Redis主从架构，并通过一个虚拟IP对外提供服务，以满足地铁车辆在线运行实时数据快速展示和内存数据库灾备的需求；同时，还用于设置内存数据库Redis的最大内存容量，避免内存溢出。
关系型数据库MySQL，用于建立第二数据表，第二数据表用于存储面向业务的结构化数据，然后根据结构化数据构建关系型数据库MySQL主从架构，并通过一个虚拟IP对外提供服务，满足面向业务数据处理的快速响应、关系型数据库灾备的需求。其中，结构化数据包括但不限于可靠性分析结果数据、故障知识库数据、能耗分析结果数据、能耗优化推荐数据、日检作业支撑数据以及车辆运用推荐数据等。
分布式列式数据库HBase，用于建立第三数据表，第三数据表用于存储车载监测系统、轨旁检测系统以及业务系统生成的报警类数据、故障类数据、状态类数据和测量类数据；还用于设置分布式列式数据库HBase中的数据表生存时间以及数据存储时长；
数据仓库Hive，用于压缩存储来自分布式列式数据库HBase和关系型数据库MySQL的第三数据表和第二数据数据表；
分布式文件系统，用于根据分布式列式数据库HBase和关系型数据库MySQL中存储的非结构化数据链接地址，将非结构化数据存入HDFS或FastDFS中；其中，非结构化数据链接地址为车载监测系统、轨旁检测系统以及业务系统中图片、视频和日志存储的路径信息。
在本方案中，分布式列式数据库HBase为数据仓库Hive和大数据分析提供基础数据，由于车载监测系统会产生大量的实时在线运行数据，数据增速快，若对分布式列式数据库HBase设计不当，将造成数据热点区间、查询速率低、数据硬盘利用率低等问题。对此，在建立数据表时，在原有字段基础上新增一列作为行键字段，将一定长度的随机信息和时间信息相结合作为行键信息；通过设置数据表的生存时间，控制数据存储时长，并定期将生存时间内的数据表迁移至数据仓库Hive进行压缩存储，集成基于JDBC API操作HBase的Phoenix，并构建二级索引，从而使得分布式列式数据库HBase满足地铁车辆海量结构化数据存储和查询需求，具备很好的横向扩展能力和容错能力，好避免了热点区间问题，提高数据查询效率和对数据硬盘的利用率。
数据处理分析模块，如图4所示，包括ETL模块和分布式计算模块Spark。数据处理分析模块用于对数据表中的数据进行预处理，并将预处理后的数据存储至异构数据存储模块。其中，本实施例中所说的预处理包括时间戳规范化(例如将2020-05-28T11:50:46.014Z处理成2020-05-28 11:50:46)、字符串裁剪(例如将"1598,1602,1601,1598"截取第一个字符"1598")等，该处理方式避免了对分布式列式数据库HBase进行列转行操作，能够节省大量时间。
具体地，
建立分布式列式数据库HBase和数据仓库Hive之间的映射表；建立关系型数据库MySQL和数据仓库Hive之间的映射表；建立关系型数据库MySQL的中间表和目标表；
ETL模块清空中间表；
ETL模块根据分布式列式数据库HBase和数据仓库Hive之间的映射表，对数据仓库Hive中的数据表进行预处理，并将预处理后的数据表迁移至数据仓库Hive中；
ETL模块根据关系型数据库MySQL和数据仓库Hive之间的映射表，利用Sqoop将迁移至数据仓库Hive中的数据表迁移至被清空的中间表；
对中间表中的数据进行转换(如时间戳规范化、字符串裁剪、去重、新增字段)与合并(将多个数据表合并成一个数据表)，最后将合并后的数据加载至关系型数据库MySQL的目标表中；
分布式计算模块Spark获取数据仓库Hive中的数据进行统计分析和大数据分析(例如基于数据仓库Hive的月度数据，获取3sigma信息进行异常值检测，根据分布式聚类算法获取不同工况下能耗的使用状况)，然后将结果数据存储述HDFS和关系型数据库MySQL中。
数据处理与分析必须由业务来驱动，若采用ETL模块直接将分布式列式数据库HBase中的多张数据表迁移至关系型数据库MySQL，在列转行操作过程会消耗较多硬件资源，并且数据转换时间过长，无法满足业务的需求。
对此，在本方案中，首先将分布式列式数据库HBase中的多张数据表进行初步预处理后再迁移至数据仓库Hive中，然后通过Sqoop将数据仓库Hive中的多张数据表迁移至关系型数据库MySQL中，在对关系型数据库MySQL中的多张数据表建立索引后，最后采用ETL模块来操作关系型数据库MySQL中的多张数据表信息进行转换和聚合，将结果保存至关系型数据库MySQL中。
集群监控模块，用于周期性获取私有云集群内的硬件设施、数据解析与接入模块、消费数据模块以及异构数据存储模块的运行状态数据，并将运行状态数据与对应的阈值进行比较，当运行状态数据超过对应的阈值时，集群监控模块给出报警信号。
一种城市轨道交通用智能运维大数据管理方法，包括以下步骤：
S1：搭建地铁车辆段的私有云集群；
S2：接收车载监测系统、轨旁检测系统以及业务系统的原始数据，将原始数据解析转换为报文数据；并将报文数据传输至分布式消息队列Kafka中缓存；其中，报文数据包括报警类数据、故障类数据、状态类数据以及测量类数据；
S3：读取缓存至分布式消息队列Kafka中的报文数据，并将读取的报文数据转移至异构数据存储模块；
S4：根据业务关系映射表建立用于存储报文数据的数据表；业务关系映射表为车载监测系统、轨旁检测系统以及业务系统的字段信息表；
S5：对数据表中的数据进行处理，并将处理后的数据存储至异构数据存储模块；
S6：周期性获取私有云集群内的硬件设施以及步骤S2-S4生成的运行状态数据，并将运行状态数据与对应的阈值进行比较，当运行状态数据超过对应的阈值时，集群监控模块给出报警信号。
其中，步骤S2-S5均在私有云集群内进行。
进一步地，S2包括以下子步骤：
S21：通过TCP/IP数据协议或UDP数据协议接收车载监测系统的原始数据；通过HTTP数据协议接收轨旁检测系统的原始数据；通过HTTP数据协议接收业务系统的原始数据；
S22：根据业务关系映射表和TCP/IP数据协议或UDP数据协议将车载监测系统的原始数据解析转换为报警类数据、故障类数据和状态类数据；根据业务关系映射表和HTTP数据协议将轨旁检测系统的原始数据解析转换为报警类数据、故障类数据、状态类数据以及测量类数据；根据业务关系映射表和HTTP数据协议将业务系统的原始数据解析转换为报警类数据、故障类数据、状态类数据以及测量类数据；
S23：将报警类数据、故障类数据、状态类数据和测量类数据推送至分布式消息队列Kafka中缓存。
进一步地，异构数据存储模块包括内存数据库Redis、关系型数据库MySQL、分布式列式数据库HBase、数据仓库Hive和分布式文件系统，分布式文件系统包括HDFS或FastDFS；
内存数据库Redis，用于建立第一数据表，第一数据表用于存储车载监测系统生成的报警类数据、故障类数据以及状态类数据；还用于设置内存数据库Redis的最大内存容量；
关系型数据库MySQL，用于建立第二数据表，第二数据表用于存储面向业务的结构化数据；结构化数据包括但不限于可靠性分析结果数据、故障知识库数据、能耗分析结果数据、能耗优化推荐数据、日检作业支撑数据以及车辆运用推荐数据；
分布式列式数据库HBase，用于建立第三数据表，第三数据表用于存储车载监测系统、轨旁检测系统以及业务系统生成的报警类数据、故障类数据、状态类数据以及测量类数据；还用于设置分布式列式数据库HBase中的数据表生存时间以及数据存储时长；
数据仓库Hive，用于压缩存储来自分布式列式数据库HBase和关系型数据库MySQL的第三数据表和第二数据数据表；
分布式文件系统，用于根据分布式列式数据库HBase和关系型数据库MySQL中存储的非结构化数据链接地址，将非结构化数据存入HDFS或FastDFS中；其中，非结构化数据链接地址为车载监测系统、轨旁检测系统以及业务系统中的图片、视频以及日志存储的路径信息。
进一步地，S5包括以下子步骤：
S51：建立分布式列式数据库HBase和数据仓库Hive之间的映射表；建立关系型数据库MySQL和数据仓库Hive之间的映射表；建立关系型数据库MySQL的中间表和目标表；
S52：清空中间表；
S53：根据分布式列式数据库HBase和数据仓库Hive之间的映射表，对数据仓库Hive中的数据表进行预处理，并将预处理后的数据表迁移至数据仓库Hive中；
S54：根据关系型数据库MySQL和数据仓库Hive之间的映射表，利用Sqoop将迁移至数据仓库Hive中的数据表迁移至被清空的中间表；
S55：对中间表中数据进行转换与合并，最后将合并后的数据加载至关系型数据库MySQL的目标表中；
S56：获取数据仓库Hive中的数据进行统计分析和大数据分析，然后将结果数据存储至HDFS和关系型数据库MySQL中。
以下，通过具体的实施例进行说明：
一种城市轨道交通用智能运维大数据管理系统，包括基础设施模块、数据解析与接入模块、异构数据存储模块、消费数据模块、数据分析处理模块以及集群监控模块；
在本具体实施例中，基础设施模块包括防火墙、服务器、交换机和不间断电源等，用于构建地铁车辆段的私有云集群，以保障数据的安全性和自主性，促进数据资产的有效管理。
搭建私有云集群后，在分布式消息队列Kafka中建立用于标识车载监测系统的主题topic；在分布式列式数据库HBase和数据仓库Hive中都建立车载监测系统的数据表；在分布式文件系统中构建用于存储车载监测系统非结构化数据的文件夹；在关系型数据库MySQL中建立车载监测系统的中间表和目标表。
数据解析与接入模块实时接收来自车载在线监测系统的原始十六进制数据，通过解析转换为规范的报文数据，根据报文类型和字段信息分为报警类、故障类和状态类三大类数据，然后写入内存数据库Redis用于车辆在线运行实时数据快速展示；同时将三大类数据发送至分布式消息队列Kafka的车载监测系统的topic进行缓存；如表1所示的车载监测系统的TCMSSIVSTATEFAULT_HMI类、TCMSDCUSTATE_HMI类、TCMS_PIS类的报文数据。
Figure BDA0002587452200000111
表1解析后的报文数据
消费数据模块拉取分布式消息队列Kafka车载监测系统的主题topic中缓存的TCMSSIVSTATEFAULT_HMI类、TCMSDCUSTATE_HMI类、TCMS_PIS类的报文数据，分别写入到分布式列式数据库HBase中的TCMSSIVSTATEFAULT_HMI类、TCMSDCUSTATE_HMI类、TCMS_PIS类数据表中。
Figure BDA0002587452200000121
表2分布式列式数据库HBase的数据表结构
数据处理分析模块将分布式列式数据库HBase中的TCMSSIVSTATEFAULT_HMI类、TCMSDCUSTATE_HMI类、TCMS_PIS类的三张数据表进行初步预处理并迁移至数据仓库Hive中，然后通过Sqoop将数据仓库Hive中的三张数据表迁移至关系型数据库MySQL的中间表，接着采用ETL模块来操作关系型数据库MySQL中的三张数据表进行转换和聚合，结果保存至目标表。通过分布式计算模块获取数据仓库中的大批量数据进行分析，结果存储至分布式文件系统和关系型数据库MySQL中。
序号 英文字段名 中文字段名 ETL后的数值
1 LINE 线路号 21
2 CX 车型 B8
3 CH 车号 21B08063064
4 DATATIME 时间 2020-05-28 11:50:46
5 KMMARK 公里标 41.7533
6 TC1_LINE_IN_U 辅助电压 1547
7 TC1_INVERTER_IN_I 辅助电流 21
8 MP1_MID_VOL MP1中间电压 1598
9 M1_MID_VOL M1中间电压 1594
10 M2_MID_VOL M2中间电压 1600
11 MP2_MID_VOL MP2中间电压 1605
12 MP1_MID_CUR MP1中间电流 5
13 M1_MID_CUR M1中间电流 7
14 REF_VELOCITY 车辆速度 107.2
15 TC1_CARLOAD TC1车载重 35.00
16 MP1_CARLOAD MP1车载重 39.50
17 M1_CARLOAD M1车载重 39.10
18 TC2_CARLOAD TC2车载重 35.20
19 MP2_CARLOAD MP2车载重 39.70
20 ...... ...... ......
表3关系型数据库MySQL的目标表
集群监控模块根据一定时间周期获取私有云集群内的硬件设施、数据解析与接入模块、消费数据模块以及异构数据存储模块的运行状态数据，尤其是资源消耗处于峰值期间，与对应的阈值进行比较，当数据超过阈值时，给出报警信号，便于集群运维。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种城市轨道交通用智能运维大数据管理系统，其特征在于，包括基础设施模块、数据解析与接入模块、消费数据模块、异构数据存储模块、数据处理分析模块以及集群监控模块；
所述基础设施模块，用于搭建地铁车辆段的私有云集群；所述数据解析与接入模块、所述消费数据模块、所述异构数据存储模块、所述数据处理分析模块以及所述集群监控模块之间的数据处理均在所述私有云集群内进行；
所述数据解析与接入模块，用于接收车载监测系统、轨旁检测系统以及业务系统的原始数据，并将所述原始数据解析转换为报文数据；同时还用于将所述报文数据传输至分布式消息队列Kafka中缓存；其中，所述报文数据包括报警类数据、故障类数据、状态类数据以及测量类数据；
所述消费数据模块，用于读取缓存至所述分布式消息队列Kafka中的所述报文数据，并将读取的所述报文数据转移至所述异构数据存储模块；
所述异构数据存储模块，用于根据业务关系映射表建立用于存储所述报文数据的数据表，所述异构数据存储模块包括内存数据库Redis、关系型数据库MySQL、分布式列式数据库HBase、数据仓库Hive和分布式文件系统，所述分布式文件系统包括HDFS或FastDFS；其中，所述业务关系映射表为所述车载监测系统、所述轨旁检测系统以及所述业务系统的字段信息表；
所述数据处理分析模块，用于对所述数据表中的数据进行处理，并将处理后的数据存储至所述异构数据存储模块，所述数据处理分析模块包括ETL模块和分布式计算模块Spark；
所述集群监控模块，用于周期性获取私有云集群内的硬件设施、数据解析与接入模块、消费数据模块以及异构数据存储模块的运行状态数据，并将所述运行状态数据与对应的阈值进行比较，当所述运行状态数据超过对应的阈值时，所述集群监控模块给出报警信号。
2.根据权利要求1所述的一种城市轨道交通用智能运维大数据管理系统，其特征在于，所述数据解析与接入模块包括接入单元、解析单元和发送单元；
所述接入单元通过TCP/IP数据协议或UDP数据协议接收所述车载监测系统的原始数据；
所述接入单元通过HTTP数据协议接收所述轨旁检测系统的原始数据；
所述接入单元通过HTTP数据协议接收所述业务系统的原始数据；
所述解析单元根据所述业务关系映射表和所述TCP/IP数据协议或所述UDP数据协议将所述车载监测系统的原始数据解析转换为所述报警类数据、所述故障类数据和所述状态类数据；
所述解析单元根据所述业务关系映射表和所述HTTP数据协议将所述轨旁检测系统的原始数据解析转换为所述报警类数据、所述故障类数据、所述状态类数据以及所述测量类数据；
所述解析单元根据所述业务关系映射表和所述HTTP数据协议将所述业务系统的原始数据解析转换为所述报警类数据、所述故障类数据、所述状态类数据以及所述测量类数据；
所述发送单元，用于将所述报警类数据、所述故障类数据、所述状态类数据和所述测量类数据推送至所述分布式消息队列Kafka中缓存。
3.根据权利要求2所述的一种城市轨道交通用智能运维大数据管理系统，其特征在于，
所述内存数据库Redis，用于建立第一数据表，所述第一数据表用于存储所述车载监测系统生成的所述报警类数据、所述故障类数据以及所述状态类数据；还用于设置所述内存数据库Redis的最大内存容量；
所述关系型数据库MySQL，用于建立第二数据表，所述第二数据表用于存储面向业务的结构化数据；所述结构化数据包括可靠性分析结果数据、故障知识库数据、能耗分析结果数据、能耗优化推荐数据、日检作业支撑数据以及车辆运用推荐数据；
所述分布式列式数据库HBase，用于建立第三数据表，所述第三数据表用于存储所述车载监测系统、所述轨旁检测系统以及所述业务系统生成的所述报警类数据、所述故障类数据、所述状态类数据以及所述测量类数据；还用于设置所述分布式列式数据库HBase中的数据表生存时间以及数据存储时长；
所述数据仓库Hive，用于压缩存储来自所述分布式列式数据库HBase和所述关系型数据库MySQL的第三数据表和第二数据表；
所述分布式文件系统，用于根据所述分布式列式数据库HBase和所述关系型数据库MySQL中存储的非结构化数据链接地址，将所述非结构化数据存入所述HDFS或所述FastDFS中；其中，非结构化数据链接地址为所述车载监测系统、所述轨旁检测系统以及所述业务系统中的图片、视频以及日志存储的路径信息。
4.根据权利要求3所述的一种城市轨道交通用智能运维大数据管理系统，其特征在于，所述数据处理分析模块包括以下处理过程：
建立所述分布式列式数据库HBase和所述数据仓库Hive之间的映射表；
建立所述关系型数据库MySQL和所述数据仓库Hive之间的映射表；
建立所述关系型数据库MySQL的中间表和目标表；
所述ETL模块清空所述中间表；
所述ETL模块根据所述分布式列式数据库HBase和所述数据仓库Hive之间的映射表，对所述数据仓库Hive中的数据表进行预处理，并将预处理后的数据表迁移至所述数据仓库Hive中；
所述ETL模块根据所述关系型数据库MySQL和所述数据仓库Hive之间的映射表，利用Sqoop将迁移至所述数据仓库Hive中的数据表迁移至被清空的所述中间表；
对所述中间表中数据进行转换与合并，最后将合并后的数据加载至所述MySQL的目标表中；
所述分布式计算模块Spark获取所述数据仓库Hive中的数据进行统计分析和大数据分析，然后将结果数据存储至所述HDFS和所述关系型数据库MySQL中。
5.一种城市轨道交通用智能运维大数据管理方法，其特征在于，包括以下步骤：
S1：搭建地铁车辆段的私有云集群；
S2：接收车载监测系统、轨旁检测系统以及业务系统的原始数据，将所述原始数据解析转换为报文数据；并将所述报文数据传输至分布式消息队列Kafka中缓存；其中，所述报文数据包括报警类数据、故障类数据、状态类数据以及测量类数据；
S3：读取缓存至所述分布式消息队列Kafka中的所述报文数据，并将读取的所述报文数据转移至异构数据存储模块；
S4：根据业务关系映射表建立用于存储所述报文数据的数据表；所述业务关系映射表为所述车载监测系统、所述轨旁检测系统以及所述业务系统的字段信息表；
S5：对所述数据表中的数据进行处理，并将处理后的数据存储至所述异构数据存储模块；
S6：周期性获取所述私有云集群内的硬件设施以及步骤S2-S4生成的运行状态数据，并将所述运行状态数据与对应的阈值进行比较，当所述运行状态数据超过对应的阈值时，集群监控模块给出报警信号；
其中，步骤S2-S5均在所述私有云集群内进行。
6.根据权利要求5所述的一种城市轨道交通用智能运维大数据管理方法，其特征在于，所述S2包括以下子步骤：
S21：通过TCP/IP数据协议或UDP数据协议接收所述车载监测系统的原始数据；通过HTTP数据协议接收所述轨旁检测系统的原始数据；通过HTTP数据协议接收所述业务系统的原始数据；
S22：根据所述业务关系映射表和所述TCP/IP数据协议或所述UDP数据协议将所述车载监测系统的原始数据解析转换为所述报警类数据、所述故障类数据和所述状态类数据；根据所述业务关系映射表和所述HTTP数据协议将所述轨旁检测系统的原始数据解析转换为所述报警类数据、所述故障类数据、所述状态类数据以及所述测量类数据；根据所述业务关系映射表和所述HTTP数据协议将所述业务系统的原始数据解析转换为所述报警类数据、所述故障类数据、所述状态类数据以及所述测量类数据；
S23：将所述报警类数据、所述故障类数据、所述状态类数据和所述测量类数据推送至所述分布式消息队列Kafka中缓存。
7.根据权利要求6所述的一种城市轨道交通用智能运维大数据管理方法，其特征在于，所述异构数据存储模块包括内存数据库Redis、关系型数据库MySQL、分布式列式数据库HBase、数据仓库Hive和分布式文件系统，所述分布式文件系统包括HDFS或FastDFS；
所述内存数据库Redis，用于建立第一数据表，所述第一数据表用于存储所述车载监测系统生成的所述报警类数据、所述故障类数据以及所述状态类数据；还用于设置所述内存数据库Redis的最大内存容量；
所述关系型数据库MySQL，用于建立第二数据表，所述第二数据表用于存储面向业务的结构化数据；所述结构化数据包括可靠性分析结果数据、故障知识库数据、能耗分析结果数据、能耗优化推荐数据、日检作业支撑数据以及车辆运用推荐数据；
所述分布式列式数据库HBase，用于建立第三数据表，所述第三数据表用于存储所述车载监测系统、所述轨旁检测系统以及所述业务系统生成的所述报警类数据、所述故障类数据、所述状态类数据以及所述测量类数据；还用于设置所述分布式列式数据库HBase中的数据表生存时间以及数据存储时长；
所述数据仓库Hive，用于压缩存储来自所述分布式列式数据库HBase和所述关系型数据库MySQL的第三数据表和第二数据表；
所述分布式文件系统，用于根据所述分布式列式数据库HBase和所述关系型数据库MySQL中存储的非结构化数据链接地址，将所述非结构化数据存入所述HDFS或所述FastDFS中；其中，非结构化数据链接地址为所述车载监测系统、所述轨旁检测系统以及所述业务系统中的图片、视频以及日志存储的路径信息。
8.权利要求7所述的一种城市轨道交通用智能运维大数据管理方法，其特征在于，所述S5包括以下子步骤：
S51：建立所述分布式列式数据库HBase和所述数据仓库Hive之间的映射表；建立所述关系型数据库MySQL和所述数据仓库Hive之间的映射表；建立所述关系型数据库MySQL的中间表和目标表；
S52：清空所述中间表；
S53：根据所述分布式列式数据库HBase和所述数据仓库Hive之间的映射表，对所述数据仓库Hive中的数据表进行预处理，并将预处理后的数据表迁移至所述数据仓库Hive中；
S54：根据所述关系型数据库MySQL和所述数据仓库Hive之间的映射表，利用Sqoop将迁移至所述数据仓库Hive中的数据表迁移至被清空的所述中间表；
S55：对所述中间表中数据进行转换与合并，最后将合并后的数据加载至所述MySQL的目标表中；
S56：获取所述数据仓库Hive中的数据进行统计分析和大数据分析，然后将结果数据存储至所述HDFS和所述关系型数据库MySQL中。
CN202010685705.7A 2020-07-16 2020-07-16 一种城市轨道交通用智能运维大数据管理系统和方法 Active CN111930835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010685705.7A CN111930835B (zh) 2020-07-16 2020-07-16 一种城市轨道交通用智能运维大数据管理系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010685705.7A CN111930835B (zh) 2020-07-16 2020-07-16 一种城市轨道交通用智能运维大数据管理系统和方法

Publications (2)

Publication Number Publication Date
CN111930835A CN111930835A (zh) 2020-11-13
CN111930835B true CN111930835B (zh) 2022-11-22

Family

ID=73313608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010685705.7A Active CN111930835B (zh) 2020-07-16 2020-07-16 一种城市轨道交通用智能运维大数据管理系统和方法

Country Status (1)

Country Link
CN (1) CN111930835B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112486995A (zh) * 2020-12-01 2021-03-12 中国人寿保险股份有限公司 海量业务数据实时更新与查询方法、装置和电子设备
CN112650754A (zh) * 2020-12-24 2021-04-13 浪潮云信息技术股份公司 一种关系型数据库的数据全量导入Hive的方法
CN112596988B (zh) * 2021-01-05 2023-04-18 株洲中车时代电气股份有限公司 一种轨道交通多专业智能运维系统及方法
CN112859740B (zh) * 2021-01-11 2022-12-13 成都耐视特科技有限公司 一种数控机床数据采集装置
CN114379608A (zh) * 2021-12-13 2022-04-22 中铁南方投资集团有限公司 一种城市轨道交通工程的多源异构数据集成处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108132982A (zh) * 2017-12-13 2018-06-08 湖南中车时代通信信号有限公司 基于大数据的列车运行监控装置数据的分析系统和方法
CN109977158A (zh) * 2019-02-28 2019-07-05 武汉烽火众智智慧之星科技有限公司 公安大数据分析处理系统及方法
CN110825801A (zh) * 2019-11-06 2020-02-21 卡斯柯信号(成都)有限公司 基于分布式架构的列车信号系统车载日志分析系统和方法
WO2020038447A1 (zh) * 2018-08-23 2020-02-27 比亚迪股份有限公司 一种轨道交通系统综合网管方法、装置及系统
CN110852457A (zh) * 2019-11-05 2020-02-28 成都铁安科技有限责任公司 地铁车辆运维系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108132982A (zh) * 2017-12-13 2018-06-08 湖南中车时代通信信号有限公司 基于大数据的列车运行监控装置数据的分析系统和方法
WO2020038447A1 (zh) * 2018-08-23 2020-02-27 比亚迪股份有限公司 一种轨道交通系统综合网管方法、装置及系统
CN109977158A (zh) * 2019-02-28 2019-07-05 武汉烽火众智智慧之星科技有限公司 公安大数据分析处理系统及方法
CN110852457A (zh) * 2019-11-05 2020-02-28 成都铁安科技有限责任公司 地铁车辆运维系统
CN110825801A (zh) * 2019-11-06 2020-02-21 卡斯柯信号(成都)有限公司 基于分布式架构的列车信号系统车载日志分析系统和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于大数据和云计算的车辆智能运维模式;曹勇等;《城市轨道交通研究》;20200410(第04期);全文 *
铁路运输设备技术状态大数据平台构建方法研究;王华伟等;《中国铁路》;20180215(第02期);全文 *

Also Published As

Publication number Publication date
CN111930835A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN111930835B (zh) 一种城市轨道交通用智能运维大数据管理系统和方法
CN108335075B (zh) 一种面向物流大数据的处理系统及方法
CN103500173A (zh) 一种轨道交通监测数据的查询方法
Obitko et al. Big data challenges in industrial automation
CN103914485A (zh) 一种远程收集和检索展示应用系统日志的系统及方法
CN113179173B (zh) 一种用于高速公路系统的运维监控系统
CN111198918B (zh) 基于大数据平台的数据处理系统及链路优化方法
CN112163039A (zh) 基于企业级数据中台分析域的数据资源标准化管理系统
CN101902497A (zh) 基于云计算的互联网信息监测系统及方法
CN110147470B (zh) 一种跨机房数据比对系统及方法
Xianglan Digital construction of coal mine big data for different platforms based on life cycle
CN110932405A (zh) 基于大数据的变电设备智能监控分析系统
CN103117878A (zh) 一种基于Nagios的分布式监控系统的设计方法
CN112905571B (zh) 一种列车轨道交通传感器数据管理方法及装置
CN106649765A (zh) 基于大数据技术的智能电网全景数据分析方法
CN201726426U (zh) 基于云计算的互联网信息监测系统
CN109446167A (zh) 一种日志数据存储、提取方法及装置
CN116629802A (zh) 一种用于铁路港口站的大数据平台系统
CN115567563B (zh) 基于端边云的综合交通枢纽监测预警系统及其控制方法
CN112306992A (zh) 一种基于互联网的大数据平台
CN108989456B (zh) 一种基于大数据的网络实现方法
CN116821106A (zh) 一种企业数据数字治理系统及方法
CN116185298A (zh) 一种日志分布式存储的方法
Jung et al. Development of Information Technology Infrastructures through Construction of Big Data Platform for Road Driving Environment Analysis
KR101878291B1 (ko) 에너지 빅데이터 관리 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant