CN107256219B - 应用于自动列车控制系统海量日志的大数据融合分析方法 - Google Patents

应用于自动列车控制系统海量日志的大数据融合分析方法 Download PDF

Info

Publication number
CN107256219B
CN107256219B CN201710270005.XA CN201710270005A CN107256219B CN 107256219 B CN107256219 B CN 107256219B CN 201710270005 A CN201710270005 A CN 201710270005A CN 107256219 B CN107256219 B CN 107256219B
Authority
CN
China
Prior art keywords
data
analysis
log
service
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710270005.XA
Other languages
English (en)
Other versions
CN107256219A (zh
Inventor
连爱娥
李文涛
胡恩华
魏盛昕
刘晓峰
周星宇
余亮星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shentong Metro Group Co., Ltd.
Original Assignee
Shanghai Shentong Metro Co ltd
Casco Signal Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shentong Metro Co ltd, Casco Signal Ltd filed Critical Shanghai Shentong Metro Co ltd
Priority to CN201710270005.XA priority Critical patent/CN107256219B/zh
Publication of CN107256219A publication Critical patent/CN107256219A/zh
Application granted granted Critical
Publication of CN107256219B publication Critical patent/CN107256219B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L27/00—Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications

Abstract

本发明涉及一种应用于自动列车控制系统海量日志的大数据融合分析方法，其包括以下步骤：(1)对系统日志中的业务可分析项进行基础数据类型定义；(2)对系统融合分析业务进行建模；(3)基于开放、标准原则实现统一的日志采集过程；(4)基于融合分析数据处理规则实现日志数据的预处理和存储；(5)基于业务分析模型实现跨系统日志关联分析；(6)通过统一接口实现日志分析结果的可视化展示。与现有技术相比，本发明具有及时诊断系统间的异常，可有效地减少维护人员的工作量等优点。

Description

应用于自动列车控制系统海量日志的大数据融合分析方法
技术领域
本发明涉及大数据分析领域，尤其是涉及一种应用于自动列车控制系统海量日志的大数据融合分析方法。
背景技术
当前，随着用户在故障突发时对系统日志的依赖程度越来越高，同时对于历史日志数据的统计预测分析要求逐步提升，急需一种有效的日志大数据融合分析方法。
然而在目前的自动列控控制系统中，只是简单地把各子系统日志按协议解析后写入本地磁盘或同步到关系型数据库，以备后续的检索需要。这种分析方法存在的弊端：
第一、数据范围限定于传统手段捕捉到的结构化数据，且只停留于对独立系统中可见的小规模的抽样数据进行分析，对于海量的非结构化或半结构化全量数据缺乏分析；
第二、分析是建立在事先创建的关系数据模型之上的，缺乏对整体日志的综合分析，无法对跨系统日志间的关联关系进行深度挖掘利用；
第三、无法满足故障预测时效性的要求，以上的分析方法是基于定向的批处理技术，在获取所需的关键数据之前无法进行预测分析。
第四、无法满足扩展性需求，随着系统日志的海量增长，以上方法只能通过昂贵的硬件来满足其存储和处理能力需求，如大规模并行处理(MPP)系统或对称多处理(SMP)系统等。
另外，随着系统扩展，各子系统日志格式及日志形式越来越趋向于多样化，分析复杂度已远超出了基本的分析系统和分析人员的能力，随其带来的可维护性问题也是瓶颈。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种应用于自动列车控制系统海量日志的大数据融合分析方法。
本发明的目的可以通过以下技术方案来实现：
一种应用于自动列车控制系统海量日志的大数据融合分析方法，包括以下步骤：
(1)对系统日志中的业务可分析项进行基础数据类型定义：从系统日志数据中抽象出统一的数据类型定义，完整定义日志数据的基础分类方法及内容，分类结果作为后续分析的基础；
(2)对系统融合分析业务进行建模：通过业务维度抽取子系统中关联的数据定义类型并建立逻辑模型；其中业务维度包括时间维度、车次维度、设备维度；
(3)基于开放、标准原则实现统一的日志采集过程：基于开放、标准原则提取并建立统一的日志采集框架封装，实现实时日志和历史日志的融合，实现内部的一致性表示；其中日志包括不限于列控车载系统日志、列控地面系统日志、联锁系统日志、轨旁系统日志；
所述的日志为多源异构数据，采集过程包括两类：
一类是基于流的增量实时采集：TCP socket、Web Service、Streaming；
一类是基于历史数据的定时日志采集：File、DB、FTP。
(4)基于融合分析数据处理规则实现日志数据的预处理和存储：根据业务规则及日志数据特性，设计数据处理规则，通过动态策略解析并提取日志信息，通过单业务维度或多业务维度实现数据的按需存储；
(5)基于业务分析模型实现跨系统日志关联分析：实现基于业务维度的分析算法模型的封装实现，应用于实时分析和历史分析，实现实时数据和历史数据可扩展性的同步分析；
(6)通过统一接口实现日志分析结果的可视化展示：为数据共享服务层提供标准化的统一接口。所述的数据共享服务层包括Restful API、Tcp Socket、Relation DB、NoSQLDB。
所述的步骤(1)中的统一的数据类型定义具体如下：
建立基础数据类型定义表，通过该表按层次定义系统基础数据，如下：
(11)第一层级为基本类型，包括开关量、多状态量、模拟量、字符量、曲线、文本、二进制；
(12)第二层级为具体的类型码关联具体的业务类型；
(13)将上述分类关系整理为具备唯一标识表示特定业务类型的数据表形式，供后续分析统一进行引用。
所述的具体的类型码关联具体的业务类型具体为：开关量进一步细分为紧急制动状态开关量、车辆空转开关量；模拟量进一步细分为轮径模拟量、牵引力模拟量。
所述的步骤(2)对系统融合分析业务进行建模具体为：
基于统一的基础数据类型定义，对融合分析场景进行建模，对算法进行封装，分别为：
(21)对于故障诊断业务，建立智能分析的故障树分析模型；
(22)对于统计分析业务，建立趋势分析和预测模型；
所述的步骤(3)中基于开放、标准的原则实现统一的日志采集过程具体为：
日志采集将实时的日志信息导入到系统中和将已经存在的日志信息导入到系统中，采集框架实现统一的日志采集过程：
(31)为日志源头设置代理监控，包括文本日志、关系数据库日志，对这些日志的路径及代理检测时间频率进行配置；
(32)当监控到日志流后，以设定的格式发送给物理通道，该通道将收集到的日志流组成有序的序列；
(33)接收器通过流的方式，按照设定的配置规则，将流写入分布式存储。
所述的(4)中的基于融合分析数据处理规则实现日志数据的预处理和存储具体为：
(41)数据预处理：对系统日志进行有效整合、清洗、转换和提取：
(411)预处理是根据业务规则预设了处理规范及参数，对日志采集模块采集来的日志进行特征提取，对多源异构提取的相同特征进行特征融合，以实现可观的信息压缩，形成结构化更强的数据，信息压缩后的结构化数据建立了信号设备与特征数据的映射关系；
(412)对于无法拆解的日志信息暂时以字符串类型进行存储，用于后续知识库丰富后进行结构化和非结构化数据的相互关联挖掘分析；
(413)子系统数据的融合：通过合并时间数据、事件数据，或者通过多个数据间共有的关键字来合并，或者根据自定义的条件进行合并；
(42)数据存储：依据数据处理规则，将同类业务维度的信息统一以数据库和数据表的方式实现结构化数据管理，以数据库作为命名空间，其中存储方式包括：
(421)对业务数据进行划分，同一类型的数据作为一张数据表进行存储，数据表按照时间字段进行分区；
(422)根据业务维度的动态存储：按分析模型建立设备维度，车次维度的数据表，按时间进行分区存储。
所述的(5)中的基于业务分析模型实现跨系统日志关联分析具体为：
日志关联分析分为实时数据分析和历史数据分析，
(51)在自动列控控制系统中，实时数据分析用于故障诊断分析：选取系统预处理后的数据和人机界面或系统的预设参数按分析模型算法进行信息融合分析，在推理机作用下，调用知识库中的已有知识，向用户提供故障诊断决策；在基于智能分析的故障诊断系统中加入智能学习模块，故障决策经智能学习模块反馈给知识库，并对相应的规约参数进行修改，不断更新及扩充知识库；
(52)在自动列控控制系统中，历史数据分析是对设备全生命周期的数据进行统计分析，向用户提供设备状态的数据图及趋势报表信息；对设备参量进行预测分析，提供中远期的预测分析结果。
所述的(6)中的通过统一接口实现日志分析结果的可视化展示具体为：
基于自动列车控制系统关键设备和关键部件的业务逻辑，提供一个可视化的界面，接收用户的请求，用户通过界面把任务命令传输到系统中，等待系统返回接口数据：
(61)实时的监测指标数据、实时预报警信息前台展示；
(62)系统交互分析：通过可视界面向系统发送数据采集预处理归约参数、向分析系统发送建模数据及其他的交互信息；
(63)根据不同数据类型提供通用的固定组合查询统计模式，包括模拟量提供统计设定时间内超限数据的时间或次数统计功能；开关量和多状态量提供设定时间内的满足条件的次数和时间，结果提供图表展示功能；
(64)提供多列多变量的组合逻辑查询：车载日志需展示列车停不准统计分析、列车紧急制动统计分析和列车位置信息查询展示。
与现有技术相比，本发明基于分布式计算框架和存储技术，采用基于数据处理规则的动态调度方法实现日志数据的预处理和存储；采用基于业务分析模型的统一建模方法实现跨系统的日志融合分析，对自动列车控制系统关键设备和关键部件的运行状态进行在线监视，尤其对车载系统和地面系统间的过程状态和环节进行关联分析，及时诊断系统间的异常，可有效地减少维护人员的工作量。
附图说明
图1是本发明一种应用于自动列车控制系统海量日志的大数据融合分析方法中系统的整体架构图；
图2是本发明一种应用于自动列车控制系统海量日志的大数据融合分析方法中系统中对于数据预处理的示意图；
图3是本发明一种应用于自动列车控制系统海量日志的大数据融合分析方法中系统中对于日志关联分析的示意图；
图4是本发明一种应用于自动列车控制系统海量日志的大数据融合分析方法中系统中对于子系统融合分析的案例示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
如图1所示，本发明应用于自动列车控制系统海量日志的大数据融合分析方法，包括以下步骤：
1、对系统日志中的业务可分析项进行基础数据类型定义
首先需要建立基础数据类型定义表。通过该表按层次定义系统基础数据，如下：
(1)第一层级为基本类型，主要包括开关量、多状态量、模拟量、字符量、曲线、文本、二进制等；
(2)第二层级为具体的类型码关联具体的业务类型，如开关量可进一步细分为紧急制动状态开关量、车辆空转开关量；模拟量可进一步细分为轮径模拟量、牵引力模拟量等；
(3)将上述分类关系整理为具备唯一标识表示特定业务类型的数据表形式，供后续分析统一进行引用。
2、对系统融合分析业务进行建模
基于统一的基础数据类型定义，对融合分析场景进行建模，对算法进行封装。
(1)对于故障诊断业务，建立智能分析的故障树分析模型；
(2)对于统计分析业务，建立趋势分析和预测模型；
3、基于开放、标准的原则实现统一的日志采集过程
日志采集主要是将实时的日志信息导入到系统中和将已经存在的日志信息导入到系统中。采集框架实现统一的日志采集过程：
(1)为日志源头设置代理监控，如文本日志，关系数据库日志等，对这些日志的路径及代理检测时间频率进行配置；
(2)当监控到日志流后，以一定的格式发送给物理通道，该通道将收集到的日志流组成有序的序列；
(3)接收器通过流的方式，按照一定的配置规则，将流写入分布式存储。
4、基于融合分析数据处理规则实现日志数据的预处理和存储，如图2所示。
(1)数据预处理：对系统日志进行有效整合、清洗、转换和提取
(1.1)预处理是根据业务规则预设了处理规范及参数(信号系统设备信息表及数据描述规范)，对日志采集模块采集来的日志进行特征提取，对多源异构提取的相同特征进行特征融合，以实现可观的信息压缩，形成结构化更强的数据，信息压缩后的结构化数据建立了信号设备与特征数据的映射关系；
(1.2)对于无法拆解的日志信息暂时以字符串类型进行存储，用于后续知识库丰富后进行结构化和非结构化数据的相互关联挖掘分析；
(1.3)子系统数据的融合：可通过合并时间数据、事件数据，也可通过多个数据间共有的关键字来合并，还可以根据自定义的条件进行合并。
(2)数据存储：依据数据处理规则，将同类业务维度的信息统一以数据库和数据表的方式实现结构化数据管理，以数据库作为命名空间，存储方式包括：
(2.1)对业务数据进行划分，同一类型的数据作为一张数据表进行存储，数据表按照时间等不同类型字段进行分区；
(2.2)根据业务维度的动态存储：按分析模型建立设备维度，车次维度的数据表，按时间进行分区存储；
5、基于业务分析模型实现跨系统日志关联分析，如图3和图4所示。
日志关联分析主要分为实时数据分析和历史数据分析。
(1)在自动列控控制系统中，实时数据分析主要用于故障诊断分析：主要是选取系统预处理后的数据和人机界面或系统的预设参数按分析模型算法进行信息融合分析，在推理机作用下，调用知识库中的已有知识，进行逻辑推理，向用户反馈故障诊断决策。在基于智能分析的故障诊断系统中加入智能学习模块，故障决策经自智能学习模块反馈给知识库，并对相应的规约参数进行修改，不断更新及扩充识库。
(2)在自动列控控制系统中，历史数据分析主要是对设备全生命周期的数据进行统计分析，向用户提供设备状态的数据图及趋势报表信息；对设备参量进行预测分析，提供中远期的预测分析结果。
6、通过统一接口实现日志分析结果的可视化展示
基于自动列车控制系统关键设备和关键部件的业务逻辑，提供一个可视化的界面，接收用户的请求，用户通过界面把任务命令传输到系统中，等待系统返回接口数据。
(1)实时的监测指标数据、实时预报警信息前台展示；
(2)系统交互分析：通过可视界面向系统发送数据采集预处理归约参数、向分析系统发送建模数据及其他的交互信息；
(3)根据不同数据类型提供通用的固定组合查询统计模式，如模拟量提供统计一段时间内超限数据的时间或次数统计功能；开关量和多状态量提供一段时间内的满足条件的次数和时间，结果提供图表展示功能。
(4)提供多列多变量的组合逻辑查询：车载日志需展示列车停不准统计分析、列车紧急制动统计分析和列车位置信息查询展示等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (3)

1.一种应用于自动列车控制系统海量日志的大数据融合分析方法，其特征在于，包括以下步骤：
(1)对系统日志中的业务可分析项进行基础数据类型定义：从系统日志数据中抽象出统一的数据类型定义，完整定义日志数据的基础分类方法及内容，分类结果作为后续分析的基础；
(2)对系统融合分析业务进行建模：通过业务维度抽取子系统中关联的数据定义类型并建立逻辑模型；
(3)基于开放、标准原则实现统一的日志采集过程：基于开放、标准原则提取并建立统一的日志采集框架封装，实现实时日志和历史日志的融合，实现内部的一致性表示；
(4)基于融合分析数据处理规则实现日志数据的预处理和存储：根据业务规则及日志数据特性，设计数据处理规则，通过动态策略解析并提取日志信息，通过单业务维度或多业务维度实现数据的按需存储；
(5)基于业务分析模型实现跨系统日志关联分析：实现基于业务维度的分析算法模型的封装实现，应用于实时分析和历史分析，实现实时数据和历史数据可扩展性的同步分析；
(6)通过统一接口实现日志分析结果的可视化展示：为数据共享服务层提供标准化的统一接口；
所述的步骤(1)中的统一的数据类型定义具体如下：
建立基础数据类型定义表，通过该表按层次定义系统基础数据，如下：
(11)第一层级为基本类型，包括开关量、多状态量、模拟量、字符量、曲线、文本、二进制；
(12)第二层级为具体的类型码关联具体的业务类型；
(13)将上述分类关系整理为具备唯一标识表示特定业务类型的数据表形式，供后续分析统一进行引用；
所述的(4)中的基于融合分析数据处理规则实现日志数据的预处理和存储具体为：
(41)数据预处理：对系统日志进行有效整合、清洗、转换和提取：
(411)预处理是根据业务规则预设了处理规范及参数，对日志采集模块采集来的日志进行特征提取，对多源异构提取的相同特征进行特征融合，以实现可观的信息压缩，形成结构化更强的数据，信息压缩后的结构化数据建立了信号设备与特征数据的映射关系；
(412)对于无法拆解的日志信息暂时以字符串类型进行存储，用于后续知识库丰富后进行结构化和非结构化数据的相互关联挖掘分析；
(413)子系统数据的融合：通过合并时间数据、事件数据，或者通过多个数据间共有的关键字来合并，或者根据自定义的条件进行合并；
(42)数据存储：依据数据处理规则，将同类业务维度的信息统一以数据库和数据表的方式实现结构化数据管理，以数据库作为命名空间，其中存储方式包括：
(421)对业务数据进行划分，同一类型的数据作为一张数据表进行存储，数据表按照时间字段进行分区；
(422)根据业务维度的动态存储：按分析模型建立设备维度，车次维度的数据表，按时间进行分区存储；
所述的(6)中的通过统一接口实现日志分析结果的可视化展示具体为：
基于自动列车控制系统关键设备和关键部件的业务逻辑，提供一个可视化的界面，接收用户的请求，用户通过界面把任务命令传输到系统中，等待系统返回接口数据：
(61)实时的监测指标数据、实时预报警信息前台展示；
(62)系统交互分析：通过可视界面向系统发送数据采集预处理归约参数、向分析系统发送建模数据及其他的交互信息；
(63)根据不同数据类型提供通用的固定组合查询统计模式，包括模拟量提供统计设定时间内超限数据的时间或次数统计功能；开关量和多状态量提供设定时间内的满足条件的次数和时间，结果提供图表展示功能；
(64)提供多列多变量的组合逻辑查询：车载日志需展示列车停不准统计分析、列车紧急制动统计分析和列车位置信息查询展示；
采用基于业务分析模型的统一建模方法实现跨系统的日志融合分析，对自动列车控制系统关键设备和关键部件的运行状态进行在线监视，对车载系统和地面系统间的过程状态和环节进行关联分析；
所述的步骤(3)中基于开放、标准的原则实现统一的日志采集过程具体为：
日志采集将实时的日志信息导入到系统中和将已经存在的日志信息导入到系统中，采集框架实现统一的日志采集过程：
(31)为日志源头设置代理监控，包括文本日志、关系数据库日志，对这些日志的路径及代理检测时间频率进行配置；
(32)当监控到日志流后，以设定的格式发送给物理通道，该通道将收集到的日志流组成有序的序列；
(33)接收器通过流的方式，按照设定的配置规则，将流写入分布式存储；
所述的(5)中的基于业务分析模型实现跨系统日志关联分析具体为：
日志关联分析分为实时数据分析和历史数据分析，
(51)在自动列控控制系统中，实时数据分析用于故障诊断分析：选取系统预处理后的数据和人机界面或系统的预设参数按分析模型算法进行信息融合分析，在推理机作用下，调用知识库中的已有知识，进行逻辑推理，向用户提供故障诊断决策；在基于智能分析的故障诊断系统中加入智能学习模块，故障决策经智能学习模块反馈给知识库，并对相应的规约参数进行修改，不断更新及扩充知识库；
(52)在自动列控控制系统中，历史数据分析是对设备全生命周期的数据进行统计分析，向用户提供设备状态的数据图及趋势报表信息；对设备参量进行预测分析，提供中远期的预测分析结果。
2.根据权利要求1所述的一种应用于自动列车控制系统海量日志的大数据融合分析方法，其特征在于，所述的具体的类型码关联具体的业务类型具体为：开关量进一步细分为紧急制动状态开关量、车辆空转开关量；模拟量进一步细分为轮径模拟量、牵引力模拟量。
3.根据权利要求1所述的一种应用于自动列车控制系统海量日志的大数据融合分析方法，其特征在于，所述的步骤(2)对系统融合分析业务进行建模具体为：
基于统一的基础数据类型定义，对融合分析场景进行建模，对算法进行封装，分别为：
(21)对于故障诊断业务，建立智能分析的故障树分析模型；
(22)对于统计分析业务，建立趋势分析和预测模型。
CN201710270005.XA 2017-04-24 2017-04-24 应用于自动列车控制系统海量日志的大数据融合分析方法 Active CN107256219B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710270005.XA CN107256219B (zh) 2017-04-24 2017-04-24 应用于自动列车控制系统海量日志的大数据融合分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710270005.XA CN107256219B (zh) 2017-04-24 2017-04-24 应用于自动列车控制系统海量日志的大数据融合分析方法

Publications (2)

Publication Number Publication Date
CN107256219A CN107256219A (zh) 2017-10-17
CN107256219B true CN107256219B (zh) 2021-05-14

Family

ID=60027909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710270005.XA Active CN107256219B (zh) 2017-04-24 2017-04-24 应用于自动列车控制系统海量日志的大数据融合分析方法

Country Status (1)

Country Link
CN (1) CN107256219B (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109818763B (zh) * 2017-11-20 2022-04-15 北京绪水互联科技有限公司 设备故障的分析统计方法和系统及设备实时质控方法和系统
CN109842648A (zh) * 2017-11-27 2019-06-04 通号通信信息集团上海有限公司 一种基于无线的车载设备日志下载与查询系统及方法
CN108038196A (zh) * 2017-12-12 2018-05-15 北京锐安科技有限公司 一种数据处理系统和方法
CN108021809A (zh) * 2017-12-19 2018-05-11 北京明朝万达科技股份有限公司 一种数据处理方法及系统
US11113138B2 (en) 2018-01-02 2021-09-07 Carrier Corporation System and method for analyzing and responding to errors within a log file
CN108228378A (zh) * 2018-01-05 2018-06-29 中车青岛四方机车车辆股份有限公司 列车组故障预测的数据处理方法及装置
CN108259240A (zh) * 2018-01-11 2018-07-06 国电南瑞科技股份有限公司 一种电网调度控制系统体检信息的日志采集与传输方法
CN108228379B (zh) * 2018-01-24 2021-11-05 远峰科技股份有限公司 日志统计方法、收集服务器、分布式服务器及汇总服务器
CN108337122B (zh) * 2018-02-22 2021-07-30 深圳市脉山龙信息技术股份有限公司 基于分布式流计算的运维管理系统
CN108509549A (zh) * 2018-03-20 2018-09-07 北京道至易科技有限公司 一种数据统计分析系统
CN108734433A (zh) * 2018-05-29 2018-11-02 广州亿程交通信息集团有限公司 车辆日志数据分析系统
CN109039749B (zh) * 2018-08-10 2022-02-15 广州天予智能科技有限公司 一种远程日志采集和加密传输系统及方法
CN109447108A (zh) * 2018-09-14 2019-03-08 上海华岭集成电路技术股份有限公司 一种集成电路测试数据融合分析方法
CN109656979B (zh) * 2018-12-24 2021-05-04 北京小米移动软件有限公司 数据统计分析方法、装置及存储介质
CN109709589B (zh) * 2019-01-09 2023-07-18 深圳市芯鹏智能信息有限公司 一种海空区域立体感知防控系统
CN110347653A (zh) * 2019-07-10 2019-10-18 中国工商银行股份有限公司 数据处理方法及装置、电子设备和可读存储介质
CN110825801B (zh) * 2019-11-06 2023-03-10 卡斯柯信号(成都)有限公司 基于分布式架构的列车信号系统车载日志分析系统和方法
CN110991984A (zh) * 2019-11-08 2020-04-10 卡斯柯信号有限公司 基于企业信息化异构系统的数字化经营分析平台及方法
CN110955586A (zh) * 2019-11-27 2020-04-03 中国银行股份有限公司 一种基于日志的系统故障预测方法、装置和设备
CN111159280A (zh) * 2020-01-02 2020-05-15 南京欣网通信科技股份有限公司 一种大数据处理系统
CN111858270A (zh) * 2020-05-29 2020-10-30 卡斯柯信号有限公司 一种基于数据挖掘算法的联锁系统故障定位方法
CN111611219A (zh) * 2020-06-02 2020-09-01 卡斯柯信号(成都)有限公司 一种有轨电车日志的智能分析系统及方法
CN113761015B (zh) * 2020-10-22 2023-09-05 北京京东振世信息技术有限公司 一种日志处理方法、装置、系统及存储介质
CN112559618B (zh) * 2020-12-23 2023-07-11 光大兴陇信托有限责任公司 一种基于金融风控业务的外部数据整合方法
CN112579457A (zh) * 2020-12-24 2021-03-30 北京志翔能源技术有限公司 基于人工智能的数据架构管控方法及系统
CN112506913B (zh) * 2021-02-02 2021-07-09 广东工业大学 一种面向制造业数据空间的大数据体系结构构建方法
CN113190519B (zh) * 2021-04-23 2024-03-01 中国铁道科学研究院集团有限公司通信信号研究所 一种基于铁路行车场景模板的行车日志压缩方法
CN113961518B (zh) * 2021-09-08 2022-09-23 北京百度网讯科技有限公司 日志的可视化展示方法、装置、电子设备及存储介质
CN114148380A (zh) * 2021-11-29 2022-03-08 南京恩瑞特实业有限公司 一种线网行车监视系统
CN115658637A (zh) * 2022-12-26 2023-01-31 北京六方云信息技术有限公司 日志范式化处理方法、装置、存储介质及处理器
CN116541442B (zh) * 2023-07-05 2023-09-08 无锡车联天下信息技术有限公司 一种新能源汽车日志分析方法及装置
CN117407457B (zh) * 2023-12-14 2024-02-27 中国人民解放军国防科技大学 基于可配置规则的多源数据融合方法、系统及设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101267352B (zh) * 2008-04-21 2011-05-18 神州亿品科技有限公司 日志文件分析系统和日志文件分析方法
CN101938373A (zh) * 2010-08-16 2011-01-05 北京全路通信信号研究设计院 Rbc日志记录的分析处理方法和rbc记录分析器
CN106371986A (zh) * 2016-09-08 2017-02-01 上海新炬网络技术有限公司 一种日志处理运维监控系统

Also Published As

Publication number Publication date
CN107256219A (zh) 2017-10-17

Similar Documents

Publication Publication Date Title
CN107256219B (zh) 应用于自动列车控制系统海量日志的大数据融合分析方法
CN104820670B (zh) 一种电力信息大数据的采集和存储方法
CN108335075B (zh) 一种面向物流大数据的处理系统及方法
CN103023970B (zh) 一种物联网海量数据存储方法及系统
CN110825801B (zh) 基于分布式架构的列车信号系统车载日志分析系统和方法
CN103559562A (zh) 电网智能运行系统及其实现方法
CN108446396B (zh) 一种基于改进型cim模型的电力数据处理方法
CN103700031A (zh) 调控一体化模式下的电力告警信息发布方法
CN112182077B (zh) 一种基于数据中台技术的智能运维系统
CN112884452A (zh) 一种智能运维多源数据采集可视化分析系统
CN112181960A (zh) 一种基于AIOps的智能运维框架系统
CN106383916A (zh) 基于工业设备预测性维护的数据处理方法
CN111046022A (zh) 一种基于大数据技术的数据库审计方法
Ferry et al. Towards a big data platform for managing machine generated data in the cloud
CN112559634A (zh) 一种基于计算机云计算大数据用数据管理系统
CN111339052A (zh) 一种非结构化日志数据处理方法及装置
CN111125450A (zh) 一种多层拓扑网络资源对象的管理方法
CN114297290A (zh) 一种电力营销数据共享应用平台
CN106202509A (zh) 一种日志信息的处理方法
CN111104441A (zh) 一种数据采集方法及系统
CN112883001A (zh) 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质
Liu et al. Research on environmental monitoring system based on microservices and data mining
CN114266472A (zh) 基于Spark的地铁站疏散风险分析方法
Chen et al. Research on equipment situation display based on multi-source data fusion
CN112784129A (zh) 一种泵站设备运维数据监管平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180515

Address after: 200070 C/D room 27, Triumphal Arch tower, 428 Tianmu Middle Road, Zhabei District, Shanghai.

Applicant after: Casco Signal Ltd.

Applicant after: Shanghai Shentong Metro Group Co., Ltd.

Address before: 200070 C/D room 27, Triumphal Arch tower, 428 Tianmu Middle Road, Zhabei District, Shanghai.

Applicant before: Casco Signal Ltd.

REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1243520

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant