CN106250471A - 一种用于列车atp的数据自动提取与存储系统及方法 - Google Patents
一种用于列车atp的数据自动提取与存储系统及方法 Download PDFInfo
- Publication number
- CN106250471A CN106250471A CN201610615792.2A CN201610615792A CN106250471A CN 106250471 A CN106250471 A CN 106250471A CN 201610615792 A CN201610615792 A CN 201610615792A CN 106250471 A CN106250471 A CN 106250471A
- Authority
- CN
- China
- Prior art keywords
- data
- file
- automatically
- atp
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
Abstract
本发明提供一种用于列车自动防护系统的数据自动提取与存储系统及方法，涉及列车防护系统技术领域。系统包括压缩数据文件自动解压模块、数据自动加载及故障数据自动导出模块、故障数据自动提取与存储模块和日志记录模块，方法为读取压缩数据文件并进行解压提取，存放于创建的独立文件夹，将解压后的记录数据文件逐一加载，定位故障数据点，将故障数据以CSV格式导出，分类插入数据库。本发明能快速高效地对列车ATP系统的大量TB级历史数据进行解压、加载定位、提取和存储，能极大地减少人为操作所带来的错误，缩短操作时间，提高操作效率，实现对故障数据的高效管理，方便用户对故障数据进行进一步的分析处理和挖掘。
Description
技术领域：
本发明涉及列车防护系统技术领域，尤其涉及一种用于列车自动防护系统的数据自动提取与存储系统及方法。
背景技术：
随着计算机技术、通信技术和控制技术的发展，列车控制系统已经成为了高速列车的重要组成部分，其中列车自动防护系统(Automatic Train Protection，简称ATP)是列车控制系统的重要组成部分，是保证列车安全运行的核心系统，提供列车运行间隔控制、超速防护、实时监控等安全防护功能，保证列车按照规定的速度安全运行。
在列车的ATP系统中，需要记录一系列的数据，并且需要对这些记录的数据进行分析处理。在现有ATP系统中，记录数据一般是采用专用硬件设备，通过捕获ATP系统内部各模块之间的CAN(Controller Area Network，局域控制网)通信数据帧，并插入时间信息而形成。
ATP系统逻辑复杂，功能繁多，每次列车运行都会记录TB级的历史数据，ATP中的历史数据对高速列车故障的检测、分析、预防及排除有着重要意义。由于没有专门针对ATP海量数据进行自动导出，对故障数据的定位及对数据进行分类存储管理功能的系统，因此对ATP数据的以上操作的传统方法只能是依靠研究人员将数据一一手动查看，定位到故障点进行分析，导致数据分析效率低。
发明内容：
针对现有技术的缺陷，本发明提供一种用于列车ATP的数据自动提取与存储系统及方法，实现对ATP系统的海量历史压缩数据文件进行自动解压、数据自动加载及故障数据自动导出后，进行故障数据的自动提取与存储，能极大的减少人为操作所带来的错误，并实现对故障数据的高效管理，方便用户对故障数据进行进一步地分析处理和挖掘。
一方面，本发明提供一种用于列车ATP的数据自动提取与存储系统，包括压缩数据文件自动解压模块、数据自动加载及故障数据自动导出模块、故障数据自动提取与存储模块和日志记录模块。压缩数据文件自动解压模块用于对ATP记录的所有压缩数据文件进行自动解压；数据自动加载及故障数据自动导出模块用于对压缩数据文件自动解压模块解压后的数据文件进行加载，检测出其中的故障数据点，并导出故障数据；故障数据自动提取与存储模块用于将数据自动加载及故障数据自动导出模块中所导出的所有故障数据进行数据提取并保存到数据库；日志记录模块用于记录系统运行过程中的日志信息。
压缩数据文件自动解压模块包括压缩文件检测子模块、文件夹创建子模块和压缩文件解压子模块。压缩文件检测子模块用于查找检测当前ATP系统记录的所有压缩数据文件；文件夹创建子模块用于为每一个压缩数据创建解压后存放的文件夹，所述文件夹的名称以所要解压的文件名称命名，并检测该文件夹是否存在，对已存在的文件夹重新进行命名创建；压缩文件解压子模块用于将压缩文件检测子模块检测到的压缩数据文件进行一一解压提取，并将解压后的数据文件存放于文件夹创建子模块创建的文件夹中。
数据自动加载及故障数据自动导出模块包括数据文件加载子模块、故障点自动检测定位子模块和故障数据自动加载导出子模块。数据文件加载子模块，用于自动检索压缩数据文件自动解压模块解压出的数据文件，提取出ATP系统记录的每一个数据文件，驱动ATP厂商提供的数据解析工具对ATP系统记录的每一个数据文件进行自动加载，形成详细记录数据文件；故障点自动检测定位子模块，用于自动检索记录数据文件中是否存在故障数据点；故障数据自动加载导出子模块，用于驱动ATP厂商提供的数据解析工具自动定位每一个故障数据点，并将每一个故障数据点的详细内容导出为一个CSV(Comma-SeparatedValues)格式文件。
故障数据自动提取与存储模块包括CSV文件读取子模块与CSV数据导入数据库子模块。CSV文件读取子模块用于依次加载CSV文件，读取CSV文件的每一行数据，并将读取的数据按照信息类别进行分类；CSV数据导入数据库子模块用于将分类后的数据批量插入到数据库中所对应的表格进行存储。
日志记录模块包括压缩数据文件自动解压日志记录子模块、数据自动加载及故障数据自动导出日志记录子模块和故障数据自动提取与存储日志记录子模块。压缩数据文件自动解压日志记录子模块用于记录在压缩数据文件自动解压模块进行压缩数据文件的解压提取时，所提取的压缩数据文件信息、提取过程中出现的解压错误信息及重复的文件信息；数据自动加载及故障数据自动导出日志记录子模块用于记录在数据自动加载及故障数据自动导出模块进行加载ATP系统记录数据文件时，所加载的ATP系统记录的每一个数据文件信息、形成的ATP系统所有详细记录数据文件的信息和出现加载错误的信息；故障数据自动提取与存储日志记录子模块用于记录在故障数据自动提取与存储模块进行CSV文件数据读取时，系统所读取的CSV文件信息。
进一步地，所述加载的过程为，设置列车控制系统的类型、车种、编组编号和车号信息，自动提取出ATP系统记录的数据文件中的详细记录数据，并形成详细记录数据文件。
进一步地，所述信息类别包括基本信息、报文信息、故障报文信息和版本信息。
另一方面，本发明还提供一种用于列车ATP的数据自动提取与存储方法，采用上述的用于列车ATP的数据自动提取与存储系统实现，包括如下步骤：
步骤1、提取压缩文件中的ATP系统记录数据文件，具体包括以下步骤：
步骤1.1、设置ATP系统压缩数据文件解压后的存放路径；
步骤1.2、设置提取出的ATP系统记录数据文件存放路径；
步骤1.3、检测当前ATP系统在步骤1.1设置路径中记录的所有压缩数据文件，并在步骤1.2设置的路径中为每一个压缩文件解压后的记录数据文件创建存放文件夹，文件夹名称为解压前的压缩文件名称；
步骤1.4、检测解压后的存放文件夹是否已存在，若文件夹已存在，则不提取该压缩文件，将该压缩文件的文件名和提示信息写入日志文件，执行步骤1.5；否则，执行步骤1.6；
步骤1.5、查看日志文件，如果有压缩文件的文件名重名信息，则在步骤1.2设置的路径中重新创建存放文件夹，返回步骤1.4；
步骤1.6、对压缩文件进行解压提取；
步骤1.7、检索解压出的各文件，提取出ATP系统记录的每一个记录数据文件，并将提取出的ATP系统记录数据文件存放于步骤1.3和步骤1.5创建的相应文件夹中，并将压缩数据文件信息和提取过程中出现的解压错误信息记录在指定日志文件中；
步骤2、利用ATP系统记录数据文件解析工具，加载步骤1中提取的记录数据文件，每次加载一个记录数据文件时，检索定位故障数据位置，加载故障数据，将故障数据保存为CSV格式文件，并存放在指定文件夹下，同时将加载的ATP系统的每一个记录数据文件信息、形成的ATP系统所有详细记录数据文件的信息和出现加载错误的信息记录在指定日志文件中，具体包括以下步骤：
步骤2.1、检测步骤1中是否有提取出的ATP系统记录数据文件，如果有，将加载的ATP系统的每一个记录数据文件信息记录在指定日志文件中，并执行下一步，否则，方法终止；
步骤2.2、利用ATP系统记录数据文件解析工具，加载步骤1中所有ATP系统记录数据文件的数据，形成ATP系统详细记录数据文件，将ATP系统所有详细记录数据文件的信息和出现加载错误的信息记录在指定日志文件中；
步骤2.3、检测ATP系统详细记录数据文件中是否存在故障数据，如果存在故障数据，执行步骤2.4，否则，再次执行步骤2.3，检测下一个ATP系统详细记录数据文件；
步骤2.4、定位到故障数据点；
步骤2.5、加载故障数据点，并将每一个故障数据点保存为一个CSV格式文件；
步骤2.6、判断是否所有ATP系统详细记录数据文件检测完毕，若是，则执行步骤3，否则，返回步骤2.3；
步骤3、系统提取所述CSV格式文件数据，并保存到数据库，具体包括以下步骤：
步骤3.1、为系统设置数据存放目标数据库；
步骤3.2、加载CSV格式文件数据，按行读取故障数据信息，并按照信息类别进行分类，同时将读取的CSV格式文件信息记录在指定日志文件中；
步骤3.3、将行数据信息按信息类别存入数据库相对应的目标表格中；
步骤3.4、判断读取的行数是否到达一个固定行值或者是否读取到最后一个CSV文件的最后一行，若是，则将各表格插入到数据库进行保存，否则，返回步骤3.2。
进一步地，步骤2.2中的加载过程具体包括：
步骤2.2.1、从系统中启动ATP系统记录数据文件解析工具；
步骤2.2.2、驱动ATP系统记录数据文件解析工具加载步骤1提取出的ATP系统记录数据文件；
步骤2.2.3、设定列车控制系统的类型；
步骤2.2.4、针对每一个提取出的ATP系统记录数据文件设定车种、编组编号和车号；
步骤2.2.5、提取出ATP系统记录数据文件中的详细记录数据，形成ATP系统详细记录数据文件；
步骤2.2.6、判断步骤1中所有ATP系统数据文件数据是否全部完成加载，若是，则执行步骤2.3，否则，执行步骤2.2.2至步骤2.2.6。
进一步地，在步骤3中，按照信息类别进行分类中的信息类别包括基本信息、报文信息、故障报文信息和版本信息，数据库中相对应的目标表格分别为基本信息表、报文信息表、故障报文信息表和版本信息表。
由上述技术方案可知，本发明的有益效果在于：本发明提供的一种用于列车ATP的数据自动提取与存储系统及方法，能快速高效地对列车ATP系统的大量TB级历史数据进行解压、加载定位、提取和存储，能极大地减少人为操作所带来的错误，缩短操作时间，提高操作效率，将数据存入到数据库中，构建统一的故障数据管理系统，实现对故障数据的高效管理，方便用户对故障数据进行进一步的分析处理和挖掘。
附图说明：
图1为本发明实施例提供的系统结构框图；
图2为本发明实施例提供的方法中步骤1的流程图；
图3为本发明实施例提供的方法中步骤2的流程图；
图4为本发明实施例提供的方法中步骤2.2的流程图；
图5为本发明实施例提供的方法中步骤3的流程图。
图中：1、压缩数据文件自动解压模块；2、数据自动加载及故障数据自动导出模块；3、故障数据自动提取与存储模块；4、日志记录模块。
具体实施方式：
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本实施例首先提供一种用于列车ATP的数据自动提取与存储系统，如图1所示，包括压缩数据文件自动解压模块1、数据自动加载及故障数据自动导出模块2、故障数据自动提取与存储模块3和日志记录模块4。压缩数据文件自动解压模块1用于对ATP记录的所有压缩数据文件进行自动解压；数据自动加载及故障数据自动导出模块2用于对压缩数据文件自动解压模块1解压后的数据文件进行加载，检测出其中的故障数据点，并导出故障数据；故障数据自动提取与存储模块3用于将数据自动加载及故障数据自动导出模块2中所导出的所有故障数据进行数据提取并保存到ATP系统的SQLserver数据库；日志记录模块4用于记录系统运行过程中的日志信息。
压缩数据文件自动解压模块1包括压缩文件检测子模块、文件夹创建子模块和压缩文件解压子模块。压缩文件检测子模块用于查找检测当前ATP系统记录的所有压缩数据文件；文件夹创建子模块用于为每一个压缩数据创建解压后存放的文件夹，所述文件夹的名称以所要解压的文件名称命名，并检测该文件夹是否存在，对已存在的文件夹重新进行命名创建；压缩文件解压子模块用于将压缩文件检测子模块检测到的压缩数据文件进行一一解压提取，并将解压后的数据文件存放于文件夹创建子模块创建的文件夹中。
数据自动加载及故障数据自动导出模块2包括数据文件加载子模块、故障点自动检测定位子模块和故障数据自动加载导出子模块。数据文件加载子模块，用于自动检索压缩数据文件自动解压模块1解压出的数据文件，提取出ATP系统记录的每一个数据文件，驱动ATP厂商提供的数据解析工具对ATP系统记录的每一个数据文件进行自动加载，设置列车控制系统的类型、车种、编组编号和车号信息，自动提取出ATP系统记录的数据文件中的详细记录数据，形成详细记录数据文件；故障点自动检测定位子模块，用于自动检索记录数据文件中是否存在故障数据点；故障数据自动加载导出子模块，用于驱动ATP厂商提供的数据解析工具自动定位每一个故障数据点，并将每一个故障数据点的详细内容导出为一个CSV(Comma-Separated Values)格式文件。
故障数据自动提取与存储模块3包括CSV文件读取子模块与CSV数据导入数据库子模块。CSV文件读取子模块用于依次加载CSV文件，读取CSV文件的每一行数据，并将读取的数据按照信息类别基本信息、报文信息、故障报文信息和版本信息进行分类；CSV数据导入数据库子模块用于将分类后的数据批量插入到数据库中所对应的表格进行存储。
日志记录模块4包括压缩数据文件自动解压日志记录子模块、数据自动加载及故障数据自动导出日志记录子模块和故障数据自动提取与存储日志记录子模块。压缩数据文件自动解压日志记录子模块用于记录在压缩数据文件自动解压模块1进行压缩数据文件的解压提取时，所提取的压缩数据文件信息、提取过程中出现的解压错误信息及重复的文件信息；数据自动加载及故障数据自动导出日志记录子模块用于记录在数据自动加载及故障数据自动导出模块2进行加载ATP系统记录数据文件时，所加载的ATP系统记录的每一个数据文件信息、形成的ATP系统所有详细记录数据文件的信息和出现加载错误的信息；故障数据自动提取与存储日志记录子模块用于记录在故障数据自动提取与存储模块3进行CSV文件数据读取时，系统所读取的CSV文件信息。
利用上述的系统进行列车ATP的数据自动提取与存储方法，步骤如下。
步骤1、提取压缩文件中的ATP系统数据记录PCR文件，如图2所示，具体包括：
步骤1.1、设置ATP系统RAR压缩文件存放路径DataFileFolder为“E：\Work\Research\高速列车实时故障诊断\数据源及处理结果\20151023\200H”；
步骤1.2、设置提取出的PCR文件存放路径PCRFileFolder为“E：\Work\Research\高速列车实时故障诊断\数据源及处理结果\20151023\PcfFiles\PcrFile”；
步骤1.3、检测当前ATP系统记录的所有压缩数据文件，提取路径DataFileFolder下的“\4.9\夜”(即4月9日夜间的数据记录)文件夹中的压缩文件“2011-01.rar”、“2022-01.rar”和“2027-00.rar”，并在路径PCRFileFolder中为每一个压缩文件解压后的记录数据文件创建存放文件夹，文件夹名称为压缩文件名称，分别为“4.9-夜-2011-01”、“4.9-夜-2022-01”及“4.9-夜-2027-00”；
步骤1.4、检测解压后的存放文件夹是否已存在，检测到文件夹名“4.9-夜-2022-01”已存在，则将该压缩文件的文件名和提示信息写入日志文件“文件4.9-夜-2022-01重名，请确认！”，执行步骤1.5；若文件夹不存在重名文件夹，则执行步骤1.6；
步骤1.5、查看日志文件，在路径PCRFileFolder中重新设定提取出的PCR文件存放文件夹为“4.9-夜-2022-01(2)”，转到步骤1.4；
步骤1.6、对压缩文件“2011-01.rar”、“2022-01.rar”和“2027-00.rar”进行解压提取；
步骤1.7、检索解压出的各文件，提取出ATP系统PCR格式的记录数据文件(以下简称PCR文件)“2011-01.PCR”、“2022-01.PCR”和“2027-00.PCR”，并将提取出的各PCR文件存放于路径PCRFileFolder中相应创建的文件夹中，并将压缩数据文件信息和提取过程中出现的解压错误信息记录在指定日志文件中。
步骤2、利用ATP系统记录数据文件解析工具PC卡数据读出系统，加载从步骤1中所提取的PCR文件“2011-01.PCR”、“2022-01.PCR”、“2027-00.PCR”，每次加载一个PCR文件，检索定位故障数据位置，定位故障数据，并将故障数据保存为CSV格式文件存放在指定文件夹下，如图3所示，具体包括：
步骤2.1、检测步骤1中提取出的PCR文件，将加载的ATP系统的每一个记录数据文件信息记录在指定日志文件中，并执行下一步；
步骤2.2、利用PC卡数据读出系统加载步骤1中所有PCR文件，形成PCF格式的ATP系统详细记录数据文件，如图4所示，具体包括：
步骤2.2.1、从系统中启动PC卡数据读出系统；
步骤2.2.2、驱动PC卡数据读出系统加载步骤1提取出的PCR文件“2011-01.PCR”、“2022-01.PCR”和“2027-00.PCR”；
步骤2.2.3、设定列车控制系统(简称列控系统)的类型为CTCS2；
步骤2.2.4、针对每一个提取出的ATP系统记录数据文件设定车种、编组编号-车号，将文件“2011-01.PCR”的车种、编组编号-车号分别设为ALS、000-00，将文件“2022-01.PCR”的车种、编组编号-车号分别设为ALS、000-01，将文件“2027-00.PCR”的车种、编组编号-车号分别设为ALS、000-02；
步骤2.2.5、提取“2011-01.PCR”、“2022-01.PCR”、“2027-00.PCR”文件中的详细记录数据，每个PCR文件对应形成多个PCF格式的ATP系统详细记录数据文件(以下简称PCF文件)，文件“2011-01.PCR”生成的PCF文件为“ALS 000-00-20150409-111248.pcf”、“ALS000-00-20150409-111248.pcf”和“ALS 000-00-20150409-111248.pcf”，文件“2022-01.PCR”生成的PCF文件为“ALS 000-01-20150401-222649.pcf”、“ALS 000-01-20150401-230701.pcf”、“ALS 000-01-20150401-233929.pcf”、“ALS 000-01-20150402-111226.pcf”、“ALS 000-01-20150402-121940.pcf”和“ALS 000-01-20150402-092709.pcf”，文件“2027-00.PCR”生成的PCF文件为“ALS 000-02-20150401-000000.pcf”、“ALS 000-02-20150401-213944.pcf”、“ALS 000-02-20150401-213944.pcf”、“ALS 000-02-20150401-233025.pcf”、“ALS 000-02-20150401-235926.pcf”、“ALS 000-02-20150402-000000.pcf”、“ALS 000-02-20150402-112002.pcf”、“ALS 000-02-20150402-212904.pcf”、“ALS 000-02-20150403-073255.pcf”和“ALS 000-02-20150403-212730.pcf”；
步骤2.2.6、判断步骤1中所有ATP系统数据文件数据是否全部完成加载，若是，则执行步骤2.3，否则，执行步骤2.2.2至步骤2.2.6；
步骤2.3、检测PCF文件中是否存在故障数据，如果存在故障数据，执行步骤2.4，否则，再次执行步骤2.3，检测下一个PCF文件；
步骤2.4、定位到故障数据点；
步骤2.5、加载故障数据“ALS 000-01-20150402-092709.pcf”，并将故障数据保存为CSV格式文件“ALS 000-01-20150402-092709.csv”；
步骤2.6、判断是否所有ATP系统详细记录数据文件检测完毕，若是，则执行步骤3，否则，返回步骤2.3；本实施例中只检测到“2022-01.PCR”文件中存在故障数据文件“ALS000-01-20150402-092709.pcf”。
步骤3、系统提取CSV格式文件数据，并保存到数据库，如图5所示，具体包括：
步骤3.1、为系统设置数据存放的目标SQLserver数据库，SQLserver数据库各项设置如下：数据库名称ATPData，数据库中的有表格：BasicInfo、NormBaliseDatagram、AbnBaliseMessage、ROMVerInfo；
步骤3.2、加载“ALS 000-01-20150402-092709.csv”文件，按行读取故障数据信息，将数据按信息类别分为四类，分别为基本信息、报文信息、故障报文信息、版本信息，同时将读取的CSV格式文件信息记录在指定日志文件中。其中，基本信息具体包括：时间(精确到毫秒)、信息类别编码、DRU FSC ROM Ver.(数据记录单元的存储版本信息)、动作模式、FSC状态、FSC错误信息、BTM数据编号、TSR、在线以及停止轨道电路信息、位置校正信息、轨道电路内运行距离、当前的轨道电路长、下一个轨道电路长、当前轨道电路载频、下一个轨道电路载频、自列车位置、LMA、DMI状态信息、当前轨道电路信息、A系LSI信息、B系LSI信息、DMI目标速度、DMI目标距离、DMI制动警戒时间、DMI警报等、DMI声音信息、DMI语音信息、DMI文本信息、DMI开关类别、制动指令、OPE状态、控制用速度、实际速度、SSP、加速度、EBP速度、NBP速度、W速度、P速度、累计距离、故障信息、EB制动指示要因、B7N制动指示要因、STM试验状态、STM信号信息、STM状态信息、A/B系不一致信息、SBUS错误信息、设备优先/人员优先，CTCS/2设定、设定车种、车轮径设定值、VC DI信息、地面信息状态、DRU信息(0)、DRU信息(1)、多路DI0(2)、多路DI0(1)、多路DI1(2)、多路DI1(1)、多路DI2(2)、多路DI2(1)、多路DI3(2)、多路DI3(1)、多路DI有效(0)、多路DI有效(1)、多路DI有效(2)、多路DI有效(3)、列车编号、司机ID、列车编号，司机的ID信息有效、LKJ信息(0)、LKJ信息(1)、故障触发。
步骤3.3、将行数据信息存入数据库相对应的目标表格中；
步骤3.3、判断读取的行数是否到达一个固定行值或者是否读取到最后一个CSV文件的最后一行，若是，则将各表格插入到数据库进行保存，否则，返回步骤3.2。本实施例中，当系统读取的行数到达一个固定行值10000行或者没有到达该固定值，但是读取到“ALS000-01-20150402-092709.csv”文件最后一行时，将之前读取的所有的行数据表格保存到目标数据库中，四种信息对应存放于SQL数据库的四张表BasicInfo、NormBaliseDatagram、AbnBaliseMessage、ROMVerInfo中，本实例中四张表的某一行的数据信息分别如表1、表2、表3和表4所示。
表1基本信息表(BasicInfo)
表2报文信息(NormBaliseDatagram)
表3故障报文信息(AbnBaliseMessage)
表4版本信息(ROMVerInfo)
| 信息名称 | 内容 | 信息名称 | 内容 |
| 生 | 2015 | DRU FSC ROM Ver： | 15 |
| 月 | 4 | DRU PCR ROM Ver： | 5 |
| 日 | 9 | DRU BUF ROM Ver： | 1 |
| 时 | 19 | ||
| 分 | 23 | ||
| 秒 | 16 | ||
| 毫秒 | 180 | ||
| VC1系OPE ROM Ver： | 59 | VC2系OPE ROM Ver： | 59 |
| VC1系FSC ROM Ver： | 58 | VC2系FSC ROM Ver： | 58 |
| VC1系BUF ROM Ver： | 1 | VC2系BUF ROM Ver： | 1 |
| VC1系STM A ROM Ver： | 292 | VC2系STM A ROM Ver： | 292 |
| VC1系DMI ROM Ver： | 0 | VC2系DMI ROM Ver： | 0 |
本发明提供的一种用于列车ATP的数据自动提取与存储系统及方法，能快速高效地对列车ATP系统的大量TB级历史数据进行解压、加载定位、提取和存储，能极大地减少人为操作所带来的错误，缩短操作时间，提高操作效率，将数据存入到数据库中，构建统一的故障数据管理系统，实现对故障数据的高效管理，方便用户对故障数据进行进一步的分析处理和挖掘。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。
Claims (6)
1.一种用于列车ATP的数据自动提取与存储系统，其特征在于，该系统包括压缩数据文件自动解压模块(1)、数据自动加载及故障数据自动导出模块(2)、故障数据自动提取与存储模块(3)和日志记录模块(4)；所述压缩数据文件自动解压模块(1)用于对ATP记录的所有压缩数据文件进行自动解压；所述数据自动加载及故障数据自动导出模块(2)用于对所述压缩数据文件自动解压模块(1)解压后的数据文件进行加载，检测出其中的故障数据点，并导出故障数据；所述故障数据自动提取与存储模块(3)用于将所述数据自动加载及故障数据自动导出模块(2)中所导出的所有故障数据进行数据提取并保存到数据库；所述日志记录模块(4)用于记录系统运行过程中的日志信息；
所述压缩数据文件自动解压模块(1)包括压缩文件检测子模块、文件夹创建子模块和压缩文件解压子模块；所述压缩文件检测子模块用于查找检测当前ATP系统记录的所有压缩数据文件；所述文件夹创建子模块用于为每一个压缩数据创建解压后存放的文件夹，所述文件夹的名称以所要解压的文件名称命名，并检测该文件夹是否存在，对已存在的文件夹重新进行命名创建；所述压缩文件解压子模块用于将所述压缩文件检测子模块检测到的压缩数据文件进行一一解压提取，并将解压后的数据文件存放于所述文件夹创建子模块创建的文件夹中；
所述数据自动加载及故障数据自动导出模块(2)包括数据文件加载子模块、故障点自动检测定位子模块和故障数据自动加载导出子模块；所述数据文件加载子模块，用于自动检索所述压缩数据文件自动解压模块(1)解压出的数据文件，提取出ATP系统记录的每一个数据文件，驱动ATP厂商提供的数据解析工具对ATP系统记录的每一个数据文件进行自动加载，形成详细记录数据文件；所述故障点自动检测定位子模块，用于自动检索所述记录数据文件中是否存在故障数据点；所述故障数据自动加载导出子模块，用于驱动ATP厂商提供的数据解析工具自动定位每一个故障数据点，并将每一个故障数据点的详细内容导出为一个CSV(Comma-Separated Values)格式文件；
所述故障数据自动提取与存储模块(3)包括CSV文件读取子模块与CSV数据导入数据库子模块；所述CSV文件读取子模块用于依次加载CSV文件，读取CSV文件的每一行数据，并将读取的数据按照信息类别进行分类；所述CSV数据导入数据库子模块用于将所述分类后的数据批量插入到数据库中所对应的表格进行存储；
所述日志记录模块(4)包括压缩数据文件自动解压日志记录子模块、数据自动加载及故障数据自动导出日志记录子模块和故障数据自动提取与存储日志记录子模块；所述压缩数据文件自动解压日志记录子模块用于记录在所述压缩数据文件自动解压模块(1)进行压缩数据文件的解压提取时，所提取的压缩数据文件信息、提取过程中出现的解压错误信息及重复的文件信息；所述数据自动加载及故障数据自动导出日志记录子模块用于记录在所述数据自动加载及故障数据自动导出模块(2)进行加载ATP系统记录数据文件时，所加载的ATP系统记录的每一个数据文件信息、形成的ATP系统所有详细记录数据文件的信息和出现加载错误的信息；所述故障数据自动提取与存储日志记录子模块用于记录在所述故障数据自动提取与存储模块(3)进行CSV文件数据读取时，系统所读取的CSV文件信息。
2.根据权利要求1所述的一种用于列车ATP的数据自动提取与存储系统，其特征在于，所述加载的过程为，设置列车控制系统的类型、车种、编组编号和车号信息，自动提取出ATP系统记录的数据文件中的详细记录数据，并形成详细记录数据文件。
3.根据权利要求1所述的一种用于列车ATP的数据自动提取与存储系统，其特征在于，所述信息类别包括基本信息、报文信息、故障报文信息和版本信息。
4.一种用于列车ATP的数据自动提取与存储方法，利用权利要求1所述的一种用于列车ATP的数据自动提取与存储系统实现，其特征在于，包括如下步骤：
步骤1、提取压缩文件中的ATP系统记录数据文件，具体包括以下步骤：
步骤1.1、设置ATP系统压缩数据文件解压后的存放路径；
步骤1.2、设置提取出的ATP系统记录数据文件存放路径；
步骤1.3、检测当前ATP系统在步骤1.1设置路径中记录的所有压缩数据文件，并在步骤1.2设置的路径中为每一个压缩文件解压后的记录数据文件创建存放文件夹，文件夹名称为解压前的压缩文件名称；
步骤1.4、检测解压后的存放文件夹是否已存在，若文件夹已存在，则不提取该压缩文件，将该压缩文件的文件名和提示信息写入日志文件，执行步骤1.5；否则，执行步骤1.6；
步骤1.5、查看日志文件，如果有压缩文件的文件名重名信息，则在步骤1.2设置的路径中重新创建存放文件夹，返回步骤1.4；
步骤1.6、对压缩文件进行解压提取；
步骤1.7、检索解压出的各文件，提取出ATP系统记录的每一个记录数据文件，并将提取出的ATP系统记录数据文件存放于步骤1.3和步骤1.5创建的相应文件夹中，并将压缩数据文件信息和提取过程中出现的解压错误信息记录在指定日志文件中；
步骤2、利用ATP系统记录数据文件解析工具，加载步骤1中提取的记录数据文件，每次加载一个记录数据文件时，检索定位故障数据位置，加载故障数据，将故障数据保存为CSV格式文件，并存放在指定文件夹下，同时将加载的ATP系统的每一个记录数据文件信息、形成的ATP系统所有详细记录数据文件的信息和出现加载错误的信息记录在指定日志文件中，具体包括以下步骤：
步骤2.1、检测步骤1中是否有提取出的ATP系统记录数据文件，如果有，将加载的ATP系统的每一个记录数据文件信息记录在指定日志文件中，并执行下一步，否则，方法终止；
步骤2.2、利用ATP系统记录数据文件解析工具，加载步骤1中所有ATP系统记录数据文件的数据，形成ATP系统详细记录数据文件，将ATP系统所有详细记录数据文件的信息和出现加载错误的信息记录在指定日志文件中；
步骤2.3、检测ATP系统详细记录数据文件中是否存在故障数据，如果存在故障数据，执行步骤2.4，否则，再次执行步骤2.3，检测下一个ATP系统详细记录数据文件；
步骤2.4、定位到故障数据点；
步骤2.5、加载故障数据点，并将每一个故障数据点保存为一个CSV格式文件；
步骤2.6、判断是否所有ATP系统详细记录数据文件检测完毕，若是，则执行步骤3，否则，返回步骤2.3；
步骤3、系统提取所述CSV格式文件数据，并保存到数据库，具体包括以下步骤：
步骤3.1、为系统设置数据存放目标数据库；
步骤3.2、加载CSV格式文件数据，按行读取故障数据信息，并按照信息类别进行分类，同时将读取的CSV格式文件信息记录在指定日志文件中；
步骤3.3、将行数据信息按信息类别存入数据库相对应的目标表格中；
步骤3.4、判断读取的行数是否到达一个固定行值或者是否读取到最后一个CSV文件的最后一行，若是，则将各表格插入到数据库进行保存，否则，返回步骤3.2。
5.根据权利要求4所述的一种用于列车ATP的数据自动提取与存储方法，其特征在于，所述步骤2.2中的加载过程具体包括：
步骤2.2.1、从系统中启动ATP系统记录数据文件解析工具；
步骤2.2.2、驱动ATP系统记录数据文件解析工具加载步骤1提取出的ATP系统记录数据文件；
步骤2.2.3、设定列车控制系统的类型；
步骤2.2.4、针对每一个提取出的ATP系统记录数据文件设定车种、编组编号和车号；
步骤2.2.5、提取出ATP系统记录数据文件中的详细记录数据，形成ATP系统详细记录数据文件；
步骤2.2.6、判断步骤1中所有ATP系统数据文件数据是否全部完成加载，若是，则执行步骤2.3，否则，执行步骤2.2.2至步骤2.2.6。
6.根据权利要求4所述的一种用于列车ATP的数据自动提取与存储方法，其特征在于，所述步骤3中，按照信息类别进行分类中的信息类别包括基本信息、报文信息、故障报文信息和版本信息，所述数据库中相对应的目标表格分别为基本信息表、报文信息表、故障报文信息表和版本信息表。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610615792.2A CN106250471A (zh) | 2016-07-29 | 2016-07-29 | 一种用于列车atp的数据自动提取与存储系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610615792.2A CN106250471A (zh) | 2016-07-29 | 2016-07-29 | 一种用于列车atp的数据自动提取与存储系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106250471A true CN106250471A (zh) | 2016-12-21 |
Family
ID=57605566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610615792.2A Pending CN106250471A (zh) | 2016-07-29 | 2016-07-29 | 一种用于列车atp的数据自动提取与存储系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106250471A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108574609A (zh) * | 2017-12-29 | 2018-09-25 | 北京视联动力国际信息技术有限公司 | 一种传输监控方法和装置 |
| CN110389874A (zh) * | 2018-04-20 | 2019-10-29 | 比亚迪股份有限公司 | 日志文件异常检测方法和装置 |
| CN110506298A (zh) * | 2017-04-19 | 2019-11-26 | 罗伯特·博世有限公司 | 控制设备和用于该控制设备的运行方法 |
| CN111114597A (zh) * | 2019-12-28 | 2020-05-08 | 卡斯柯信号有限公司 | 一种cocc自动监控系统的列车跟踪处理方法 |
| CN112612830A (zh) * | 2020-12-03 | 2021-04-06 | 海光信息技术股份有限公司 | 一种压缩数据批量导出方法、系统及电子设备 |
| CN114056383A (zh) * | 2021-12-24 | 2022-02-18 | 卡斯柯信号有限公司 | 一种轨道交通列车自动监控系统告警实时导出方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1842021A (zh) * | 2005-03-28 | 2006-10-04 | 华为技术有限公司 | 一种日志信息的存储方法 |
| CN102156799A (zh) * | 2011-01-17 | 2011-08-17 | 西安交通大学 | 一种可级联的复杂事件处理引擎及列车检修自动记录方法 |
| EP2371661A2 (en) * | 2010-03-18 | 2011-10-05 | Westinghouse Brake and Signal Holdings Limited | Train information exchange |
| CN103457609A (zh) * | 2013-08-20 | 2013-12-18 | 许继集团有限公司 | 故障录波数据无损压缩、解压缩方法 |
| CN103971500A (zh) * | 2014-05-08 | 2014-08-06 | 福建工程学院 | 一种远程设备故障信息采集系统数据压缩传输方法 |
| US20150074061A1 (en) * | 2013-09-09 | 2015-03-12 | Lsis Co., Ltd. | Data management apparatus and method of energy management system |
| CN105718354A (zh) * | 2016-01-20 | 2016-06-29 | 上海斐讯数据通信技术有限公司 | 一种故障信息的重现方法和重现装置 |
-
2016
- 2016-07-29 CN CN201610615792.2A patent/CN106250471A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1842021A (zh) * | 2005-03-28 | 2006-10-04 | 华为技术有限公司 | 一种日志信息的存储方法 |
| EP2371661A2 (en) * | 2010-03-18 | 2011-10-05 | Westinghouse Brake and Signal Holdings Limited | Train information exchange |
| CN102156799A (zh) * | 2011-01-17 | 2011-08-17 | 西安交通大学 | 一种可级联的复杂事件处理引擎及列车检修自动记录方法 |
| CN103457609A (zh) * | 2013-08-20 | 2013-12-18 | 许继集团有限公司 | 故障录波数据无损压缩、解压缩方法 |
| US20150074061A1 (en) * | 2013-09-09 | 2015-03-12 | Lsis Co., Ltd. | Data management apparatus and method of energy management system |
| CN103971500A (zh) * | 2014-05-08 | 2014-08-06 | 福建工程学院 | 一种远程设备故障信息采集系统数据压缩传输方法 |
| CN105718354A (zh) * | 2016-01-20 | 2016-06-29 | 上海斐讯数据通信技术有限公司 | 一种故障信息的重现方法和重现装置 |
Non-Patent Citations (1)
| Title |
|---|
| 陈曦: ""动车组ATP运行记录数据分析系统技术研究"", 《铁路通信信号工程技术》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110506298A (zh) * | 2017-04-19 | 2019-11-26 | 罗伯特·博世有限公司 | 控制设备和用于该控制设备的运行方法 |
| CN108574609A (zh) * | 2017-12-29 | 2018-09-25 | 北京视联动力国际信息技术有限公司 | 一种传输监控方法和装置 |
| CN110389874A (zh) * | 2018-04-20 | 2019-10-29 | 比亚迪股份有限公司 | 日志文件异常检测方法和装置 |
| CN111114597A (zh) * | 2019-12-28 | 2020-05-08 | 卡斯柯信号有限公司 | 一种cocc自动监控系统的列车跟踪处理方法 |
| CN112612830A (zh) * | 2020-12-03 | 2021-04-06 | 海光信息技术股份有限公司 | 一种压缩数据批量导出方法、系统及电子设备 |
| CN112612830B (zh) * | 2020-12-03 | 2023-01-31 | 海光信息技术股份有限公司 | 一种压缩数据批量导出方法、系统及电子设备 |
| CN114056383A (zh) * | 2021-12-24 | 2022-02-18 | 卡斯柯信号有限公司 | 一种轨道交通列车自动监控系统告警实时导出方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106250471A (zh) | 一种用于列车atp的数据自动提取与存储系统及方法 | |
| CN107885642A (zh) | 基于机器学习的业务监控方法及系统 | |
| CN110825801A (zh) | 基于分布式架构的列车信号系统车载日志分析系统和方法 | |
| CN107918382A (zh) | 一种汽车故障诊断方法、汽车故障诊断装置及电子设备 | |
| CN1992632B (zh) | 一种通信网络告警方法以及告警系统 | |
| CN107145445A (zh) | 软件自动化测试的报错日志的自动分析方法和系统 | |
| CN107797916A (zh) | Ddl语句审核方法和装置 | |
| CN106355673A (zh) | 一种机载防撞系统故障记录系统及故障记录解码系统 | |
| CN105912086A (zh) | 电源模块故障诊断方法、电源模块及整机柜服务器 | |
| CN110580492A (zh) | 一种基于小幅波动检测的轨道电路故障前兆发现方法 | |
| CN113505048A (zh) | 基于应用系统画像的统一监控平台及实现方法 | |
| CN109635267A (zh) | 一种审前调查报告生成方法及装置 | |
| CN112365167A (zh) | 基于动态本体模型的电网设备数字孪生体构建方法及装置 | |
| CN115269438A (zh) | 针对图像处理算法的自动化测试方法及装置 | |
| CN104008214B (zh) | 智能变电站实时运行信息的存储方法及存储系统 | |
| KR101985871B1 (ko) | 병렬 처리 기법을 이용한 사물인터넷 데이터 기반 프로세스 이상 현상 진단 방법 및 그 장치 | |
| CN113626236B (zh) | 一种分布式文件系统的故障诊断方法、装置、设备及介质 | |
| CN109344974A (zh) | 电气设备开关量记录快速纠错方法 | |
| CN112860527A (zh) | 应用服务器的故障监测方法及装置 | |
| CN103699482A (zh) | 控件合理性检测方法和装置 | |
| CN113886202A (zh) | 车辆日志的分析方法、系统、装置、介质及车辆 | |
| CN108255136A (zh) | 事件记录装置、生产线设备诊断方法及系统 | |
| CN111200315A (zh) | 一种变电站监控后台故障诊断系统和方法 | |
| CN104142827B (zh) | 一种轨道交通数据通信系统性能的快速分析方法 | |
| CN111176928B (zh) | 一种嵌入式边缘计算系统的日志处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161221 |