CN108306980A - 一种机务飞行保障大数据日志分析系统 - Google Patents

一种机务飞行保障大数据日志分析系统 Download PDF

Info

Publication number
CN108306980A
CN108306980A CN201810181937.1A CN201810181937A CN108306980A CN 108306980 A CN108306980 A CN 108306980A CN 201810181937 A CN201810181937 A CN 201810181937A CN 108306980 A CN108306980 A CN 108306980A
Authority
CN
China
Prior art keywords
log
data
analysis
big data
daily record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810181937.1A
Other languages
English (en)
Inventor
马鹏程
张秀梅
肖创柏
禹晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201810181937.1A priority Critical patent/CN108306980A/zh
Publication of CN108306980A publication Critical patent/CN108306980A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开一种机务飞行保障大数据日志分析系统，由部署在服务器上的大数据流式计算模块和Web服务器两部分组成；其中，大数据流式计算模块分析机务飞行保障系统的运行日志，运行日志包含用户行为日志和系统运行日志两部分，分析用户行为日志可以统计分析用户操作行为，一旦发现用户有异常行为，立即通过短信或邮件进行报警；分析系统运行日志可以实时监控系统运行状态，一旦发现系统运行异常，同样可以通过短信或者邮件进行告警；Web服务器用于展示流式计算模块分析日志的结果，包含：人员登录统计管理、人员操作统计管理、系统异常数据分析、报警联系人管理、报警信息管理。

Description

一种机务飞行保障大数据日志分析系统
技术领域
本发明属于航空领域，具体涉及一种机务飞行保障大数据日志分析系统。
背景技术
“大数据”技术是下一个创新前沿，世界各国各行业都在努力发展大数据技术，扩展大数据技术应用范围。中国电子技术标准化研究院针对大数据在我国的发展状况，开展大数据标准研制，在《大数据标准化白皮书V1.0》中指出在数据建模、元数据、数据库、数据交换及管理等方面促进大数据相关标准的制定及应用，为跨行业交叉领域数据管理能力的提高而提供标准化支持。2015年12月颁布V2.0版本进一步补充和完善了对大数据的理解和实践。
在大数据技术中蕴含着丰富的数据信息资源，它们的科学有效应用能够切实为企业带来巨大的经济产值，产生更多经济收益。因此，要利用好信息资源就要进一步开放研究大数据技术。信息资源的有效应用离不开先进的数据技术和信息化思维，网络技术人员应当将传统信息资源开发管理方法与大数据技术有机地结合起来，通过将不同数据集进行重组和整合，发挥数据集不具有的新功能，从而为企业创造出更多的价值。而掌握了数据资源处理技术的企业，在未来还能够通过将数据使用权进行出租或者转让等方式获取巨大的经济收益。
大数据需要强大的技术支持，以有效地大批量地处理纷繁复杂的数据。云计算平台、互联网、分布式数据库、大规模并行处理数据库、可扩展的存储系统、分布式文件系统、Hadoop、Hive、Storm、Kafka 等大数据技术及软件为大数据在各行各业的应用提供了技术基础。
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop实现了一个分布式文件系统，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。Hadoop框架最核心的是：HDFS和MapReduce。 HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个典型的分布式数据一致性的解决方案，分布式应用程序可以基于它实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、分布式锁和分布式队列等功能。在解决分布式数据一致性方面，ZooKeeper并没有直接使用Paxos算法，而是采用了一种称为ZAB的一致性协议。ZooKeeper可以保证如下分布式一致性特性：顺序一致性、原子性、单一视图、可靠性、实时性。
Flume是一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输系统，它支持在日志系统中定制各类数据发送方，用于收集数据。Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、HBase、Hive、Kafka等众多外部存储系统中。对于一般的采集需求，通过 Flume的简单配置即可实现。另外，它针对特殊场景也具备良好的自定义扩展能力，因此，Flume可以适用于大部分的日常数据采集场景。
Kafka是一个开源消息系统，由Scala语言编写。是由Apache软件基金会开发的一个开源消息系统项目。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，具有生产者、消费者的功能。它提供了类似于JMS的特性，但是在设计实现上完全不同，它并不是 JMS规范的实现。Kafka对消息保存时根据Topic进行归类，发送消息者称为producer，消息接受者称为 consumer，此外Kafka集群有多个实例组成，每个实例称为broker。无论是Kafka集群，还是producer和 consumer都依赖于ZooKeeper集群保存一些meta信息，来保证系统可用性。
Storm是一个分布式实时大数据处理系统，它设计用于在容错和水平可扩展方法中处理大量数据。它是一个流式数据框架，具有很高的摄取率。虽然Storm是无状态的，但是它通过ZooKeeper管理分布式环境和集群状态。它编写非常简单，可以并行地对实时数据执行各种操作，并且可以保证每个消息通过拓扑至少处理一次。
目前，急迫需要采用大数据技术对飞机机务飞行保障系统实现数据日志分析，保证机务飞行保障系统正常运行。
发明内容
本发明要解决的技术问题是，提供一种机务飞行保障大数据日志分析系统，从部队机务飞行保障工作的业务特点出发，综合利用大数据开发技术，研发并实现大数据日志分析，以保证机务飞行保障系统正常运行，对系统的运行和用户行为进行实时监控，做到问题及时发现和处理，从而减少对系统运行的影响。
本发明的机务飞行保障大数据日志分析系统，由部署在服务器上的大数据流式计算模块和Web服务器两部分组成。大数据流式计算模块采用Flume、Hadoop、Kafka、Storm、Redis和MySQL技术。Web服务器采用Spring、SpringMVC和Mybatis技术，Web服务器的前端采用jQuery EasyUI框架，方便图表的显示，数据库使用的是MySQL。大数据流式计算模块分析机务飞行保障系统的运行日志。运行日志包含用户行为日志和系统运行日志两部分。分析用户行为日志可以统计分析用户操作行为，一旦发现用户有异常行为，立即通过短信或邮件进行报警；分析系统运行日志可以实时监控系统运行状态，一旦发现系统运行异常，同样可以通过短信或者邮件进行告警。Web服务器用于展示流式计算模块分析日志的结果，包含：人员登录统计管理、人员操作统计管理、系统异常数据分析、报警联系人管理、报警信息管理等功能。
大数据流式计算模块包括以下内容：
1)将要监控的机务飞行保障管理系统部署到Linux系统(测试环境是Centos)，机务飞行保障管理系统使用Log4j产生用户行为操作日志和系统日志；
2)部署在Linux上的Flume客户端监控系统程序产生的日志信息，并发送到Kafka集群中。与此同时，将日志数据备份到Hadoop中的HDFS中，将数据保存HDFS可以方便维护人员查看；
3)开发Storm流式计算程序，由Storm的Spout去读取Kafka的数据进行消费，逐条过滤每条日志，对符合规则的日志进行统计分析或邮件和短信告警；
4)将统计的数据同时保存到Redis缓存和MySQL数据库中，这些数据可用于日志Web服务器程序展示。
Web服务器程序用于展示大数据流式计算模块统计的结果和报警信息。为了方便数据的读取，Web服务器程序使用Jedis连接Redis来获取数据，当Redis缓存中没有所需要的数据时，再连接MySQL数据库获取数据，这样可以减少用户等待时间，提高用户体验。
附图说明
图1大数据流式计算模块架构图；
图2Kafka负载均衡原理图；
图3每行日志数据操作流程图；
图4Web服务器程序功能结构图。
具体实施方式
本发明提供一种机务飞行保障大数据日志分析系统，由部署在服务器上的大数据流式计算模块和Web 服务器两部分组成。
如图1所示，大数据流式计算模块具体功能实现如下：。
1)大数据流式计算模块部署在Linux系统上(测试环境是Centos)，因为要部署分布式环境，所以要求至少三台及以上Linux服务器。
2)首先在服务器上部署ZooKeeper集群，因为Kafka集群的部署和使用需要ZooKeeper集群的支持。部署完成后，在集群上新建/service_records/crew_manager节点，该节点内存储报警邮件和短信的收件人信息。
3)然后在服务器上部署Redis集群，统计的结果数据要写入Redis缓存中，Web服务器程序会优先从缓存中读取统计的数据。
4)在服务器上部署消息队列Kafka集群，部署完成后在集群中添加一个topic：service_records，在添加topic的同时设置分区数和副本数，分区数跟Kafka中consumer负载均衡相关，Kafka负载均衡图如图2 所示。在一个group中，当有consumer加入或者离开时，会触发partitions均衡。均衡的最终目的，是提升topic的并发消费能力。
5)在服务器上部署Flume，使用Flume流式数据框架传输日志。在Flume中有三大组件：Source采集源，Sink下沉池，Channel传输通道。首先配置数据源type为exec类型，exec类型可以执行一个Linux 命令来生成数据源；然后配置command命令，用tail命令监控一个文件，只要文件增加内容，exec就可以将增加的内容作为数据源发送出去；然后配置通道的缓存大小和类型；最后配置下沉池Sink类型为org.apache.flume.sink.kafka.KafkaSink、下沉topic为service_records、配置brokerList为Kafka主机地址、 requiredAcks消息应答机制为1等。Producer消息发送的应答机制有三个值：0,1和-1。0表示producer不会等待broker发送ack确认，1表示当leader接收到消息之后发送ack确认，-1表示当所有的follower都同步消息成功后发送ack确认。
6)在服务器上部署Storm集群，开发Storm程序。本模块Storm程序思路如下：编写一个KafkaSpout 类读取每一行日志数据，需要配置topic为service_records；FilterBolt类对日志进行过滤，获取需要统计或报警的日志数据；StatisticsAndNotifyBolt用来统计登录日志信息或进行邮件报警。每行日志数据操作流程如图3所示。
7)部署Hive，将传输到HDFS中的日志数据映射为一张数据库表，从而提供SQL查询功能，它可以将SQL语句转换为MapReduce任务进行运行，方便开发人员查询日志记录。
本模块采用Flume、Kafka、Storm、Redis做流式计算具有低延迟、高可用、可扩展和数据不丢失等优点，选择Storm大数据处理框架是因为它提供了简单容易理解的接口，便于使用和开发。另外，Storm还有消息容错机制，保证消息不丢失，它可靠的信息处理机制是从Spout开始的，Spout需要记录它发射出去的tuple，当下游的Bolt处理tuple或者是子tuple失败时，Spout能够重新发射。之所以流式计算程序和应用服务器端程序是分开的，是因为当服务器端程序出现异常时，不会影响流式计算程序的运行，一旦流式计算程序通过日志判定出系统异常，会立即通知报警联系人，这样可以提高程序的安全运行机制。
Web服务器用于展示流式计算模块的统计结果数据，如图4为Web服务器程序功能结构图，下面详细介绍Web服务器程序部分。
人员登录统计管理功能包括查询、删除和导出用户登录和登出记录功能。可以查看用户每月、每周登录系统次数和每次使用系统时间、可以查看所有用户每天登录次数分布图。为了方便图表展示，在Web 服务器系统中使用百度开源图表库ECharts，它基于Html5Canvas，是一个纯Javascript图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。
人员操作统计管理功能可以查看用户每次登录系统后对系统的各个操作，比如浏览了哪些页面，查看了哪些数据，删除了哪些数据等。在此功能中，可以设置敏感数据操作提醒：用户一旦删除或修改某些重要数据，就会给管理员报警。
系统异常数据分析功能可以查看系统每次异常原因，异常次数等。通过分析异常原因，可以方便开发者优化系统，修改Bug。当系统出现异常时，也有可能是用户量太大造成的，这时就应该优化系统性能，提高系统稳定性。系统异常数据分析也是通过ECharts图表展示的。
报警联系人管理功能可以对报警的联系人进行增加、删除、修改和查询操作。联系人信息主要包括手机号码和邮箱，一旦系统出现问题或者有敏感操作，大数据流式计算程序就会调用RPC接口给相应联系人发现短信或者邮件。
报警信息管理功能主要是对报警信息进行增加、删除、修改和查询操作。报警信息包含报警原因，用户查看报警信息内容可以了解报警原因，进而了解系统运行和用户异常行为操作情况。报警信息管理还有统计功能，即报警原因统计和报警次数统计等，此功能也是通过ECharts图表向用户展示。

Claims (3)

1.一种机务飞行保障大数据日志分析系统，其特征在于，包括：大数据流式计算模块和日志Web服务器；其中，大数据流式计算模块分析机务飞行保障系统的运行日志，运行日志包含用户行为日志和系统运行日志两部分，分析用户行为日志可以统计分析用户操作行为，一旦发现用户有异常行为，立即通过短信或邮件进行报警；分析系统运行日志可以实时监控系统运行状态，一旦发现系统运行异常，同样可以通过短信或者邮件进行告警；Web服务器用于展示流式计算模块分析日志的结果，包含：人员登录统计管理、人员操作统计管理、系统异常数据分析、报警联系人管理、报警信息管理功能。
2.如权利要求1所述的机务飞行保障大数据日志分析系统，其特征在于，所述大数据流式计算模块工作流程具体包括：
1)将要监控的机务飞行保障管理系统部署到Linux系统，机务飞行保障管理系统使用Log4j产生用户行为操作日志和系统日志；
2)部署在Linux上的Flume客户端监控系统程序产生的日志信息，并发送到Kafka集群中，同时，将日志数据备份到Hadoop中的HDFS中，将数据保存HDFS；
3)开发Storm流式计算程序，由Storm的Spout去读取Kafka的数据进行消费，逐条过滤每条日志，对符合规则的日志进行统计分析或邮件和短信告警；
4)将统计的数据同时保存到Redis缓存和MySQL数据库中。
3.如权利要求2所述的机务飞行保障大数据日志分析系统，其特征在于，Web服务器使用Jedis连接Redis来获取数据，当Redis缓存中没有所需要的数据时，再连接MySQL数据库获取数据。
CN201810181937.1A 2018-03-06 2018-03-06 一种机务飞行保障大数据日志分析系统 Pending CN108306980A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810181937.1A CN108306980A (zh) 2018-03-06 2018-03-06 一种机务飞行保障大数据日志分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810181937.1A CN108306980A (zh) 2018-03-06 2018-03-06 一种机务飞行保障大数据日志分析系统

Publications (1)

Publication Number Publication Date
CN108306980A true CN108306980A (zh) 2018-07-20

Family

ID=62849180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810181937.1A Pending CN108306980A (zh) 2018-03-06 2018-03-06 一种机务飞行保障大数据日志分析系统

Country Status (1)

Country Link
CN (1) CN108306980A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109274540A (zh) * 2018-11-16 2019-01-25 四川长虹电器股份有限公司 一种基于storm的Web访问日志处理方法
CN109635264A (zh) * 2018-11-29 2019-04-16 上海哔哩哔哩科技有限公司 游戏业务数据自动化统计方法、系统和存储介质
CN109684180A (zh) * 2018-12-20 2019-04-26 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN109800782A (zh) * 2018-12-11 2019-05-24 国网甘肃省电力公司金昌供电公司 一种基于模糊knn算法的电网故障检测方法及装置
CN109933624A (zh) * 2018-12-28 2019-06-25 曙光信息产业(北京)有限公司 航空应急救援数据采集系统及方法
CN110110983A (zh) * 2019-04-26 2019-08-09 卡斯柯信号有限公司 铁路运输调度过程中作业行为自动分析系统及方法
CN110928718A (zh) * 2019-11-18 2020-03-27 上海维谛信息科技有限公司 一种基于关联分析的异常处理方法、系统、终端及介质
CN111091461A (zh) * 2019-12-20 2020-05-01 辽宁振兴银行股份有限公司 一种银行头寸风险管理系统
WO2020094022A1 (zh) * 2018-11-09 2020-05-14 南京天辰礼达电子科技有限公司 一种强夯数字化施工管理平台系统
CN111191325A (zh) * 2019-12-24 2020-05-22 中国航空工业集团公司西安飞机设计研究所 一种基于SysML的飞机直接机务准备建模方法
CN111368165A (zh) * 2020-02-25 2020-07-03 江苏物联网研究发展中心 时空流数据集成平台
CN111639098A (zh) * 2020-05-11 2020-09-08 紫光云技术有限公司 一种云日志管理方法
CN111796983A (zh) * 2020-06-23 2020-10-20 中体彩科技发展有限公司 一种体彩异常交易请求的监控系统及方法
CN112559538A (zh) * 2020-11-11 2021-03-26 中广核工程有限公司 关联关系生成方法、装置、计算机设备和存储介质
CN112702386A (zh) * 2020-11-30 2021-04-23 中国南方航空股份有限公司 一种飞机故障信息实时订阅系统
CN112948211A (zh) * 2021-02-26 2021-06-11 杭州安恒信息技术股份有限公司 一种基于日志处理的告警方法、装置、设备及介质
CN111796983B (zh) * 2020-06-23 2024-06-04 中体彩科技发展有限公司 一种体彩异常交易请求的监控系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080040174A1 (en) * 2001-03-30 2008-02-14 Murthy Raghavendra K System and method for correlating and diagnosing system component performance data
CN105183609A (zh) * 2015-09-16 2015-12-23 焦点科技股份有限公司 一种应用于软件系统的实时监控系统及方法
CN106294091A (zh) * 2016-08-11 2017-01-04 福建富士通信息软件有限公司 一种无侵入式日志拦截性能分析方法及系统
CN106850258A (zh) * 2016-12-22 2017-06-13 北京锐安科技有限公司 一种日志管理系统、方法及装置
CN107517131A (zh) * 2017-08-31 2017-12-26 四川长虹电器股份有限公司 一种基于日志采集的分析预警方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080040174A1 (en) * 2001-03-30 2008-02-14 Murthy Raghavendra K System and method for correlating and diagnosing system component performance data
CN105183609A (zh) * 2015-09-16 2015-12-23 焦点科技股份有限公司 一种应用于软件系统的实时监控系统及方法
CN106294091A (zh) * 2016-08-11 2017-01-04 福建富士通信息软件有限公司 一种无侵入式日志拦截性能分析方法及系统
CN106850258A (zh) * 2016-12-22 2017-06-13 北京锐安科技有限公司 一种日志管理系统、方法及装置
CN107517131A (zh) * 2017-08-31 2017-12-26 四川长虹电器股份有限公司 一种基于日志采集的分析预警方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李赵贤: "基于流式处理技术的日志分析系统的设计与实现", 《万方数据知识服务平台》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020094022A1 (zh) * 2018-11-09 2020-05-14 南京天辰礼达电子科技有限公司 一种强夯数字化施工管理平台系统
CN109274540A (zh) * 2018-11-16 2019-01-25 四川长虹电器股份有限公司 一种基于storm的Web访问日志处理方法
CN109635264A (zh) * 2018-11-29 2019-04-16 上海哔哩哔哩科技有限公司 游戏业务数据自动化统计方法、系统和存储介质
CN109800782A (zh) * 2018-12-11 2019-05-24 国网甘肃省电力公司金昌供电公司 一种基于模糊knn算法的电网故障检测方法及装置
CN109684180A (zh) * 2018-12-20 2019-04-26 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN109933624A (zh) * 2018-12-28 2019-06-25 曙光信息产业(北京)有限公司 航空应急救援数据采集系统及方法
CN110110983B (zh) * 2019-04-26 2023-02-14 卡斯柯信号有限公司 铁路运输调度过程中作业行为自动分析系统及方法
CN110110983A (zh) * 2019-04-26 2019-08-09 卡斯柯信号有限公司 铁路运输调度过程中作业行为自动分析系统及方法
CN110928718A (zh) * 2019-11-18 2020-03-27 上海维谛信息科技有限公司 一种基于关联分析的异常处理方法、系统、终端及介质
CN110928718B (zh) * 2019-11-18 2024-01-30 上海维谛信息科技有限公司 一种基于关联分析的异常处理方法、系统、终端及介质
CN111091461A (zh) * 2019-12-20 2020-05-01 辽宁振兴银行股份有限公司 一种银行头寸风险管理系统
CN111191325A (zh) * 2019-12-24 2020-05-22 中国航空工业集团公司西安飞机设计研究所 一种基于SysML的飞机直接机务准备建模方法
CN111368165A (zh) * 2020-02-25 2020-07-03 江苏物联网研究发展中心 时空流数据集成平台
CN111639098A (zh) * 2020-05-11 2020-09-08 紫光云技术有限公司 一种云日志管理方法
CN111796983A (zh) * 2020-06-23 2020-10-20 中体彩科技发展有限公司 一种体彩异常交易请求的监控系统及方法
CN111796983B (zh) * 2020-06-23 2024-06-04 中体彩科技发展有限公司 一种体彩异常交易请求的监控系统及方法
CN112559538A (zh) * 2020-11-11 2021-03-26 中广核工程有限公司 关联关系生成方法、装置、计算机设备和存储介质
CN112702386A (zh) * 2020-11-30 2021-04-23 中国南方航空股份有限公司 一种飞机故障信息实时订阅系统
CN112702386B (zh) * 2020-11-30 2024-05-24 中国南方航空股份有限公司 一种飞机故障信息实时订阅系统
CN112948211A (zh) * 2021-02-26 2021-06-11 杭州安恒信息技术股份有限公司 一种基于日志处理的告警方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN108306980A (zh) 一种机务飞行保障大数据日志分析系统
US10481948B2 (en) Data transfer in a collaborative file sharing system
Garlasu et al. A big data implementation based on Grid computing
US10560544B2 (en) Data caching in a collaborative file sharing system
WO2017071134A1 (zh) 分布式跟踪系统
Gracia-Tinedo et al. Crystal:{Software-Defined} Storage for {Multi-Tenant} Object Stores
US20150019557A1 (en) Dynamically processing an event using an extensible data model
US20100070981A1 (en) System and Method for Performing Complex Event Processing
CN107193909A (zh) 数据处理方法及系统
CA2743849C (en) Scalable group synthesis
Baer et al. DBStream: A holistic approach to large-scale network traffic monitoring and analysis
KR102025210B1 (ko) 큐 모니터링 및 시각화
CN112148578A (zh) 基于机器学习的it故障缺陷预测方法
Stefanov et al. A review of supercomputer performance monitoring systems
DE112021004854T5 (de) Dynamische ersetzung von verarbeitungselementen mit einem leistungsabfall in streaming-anwendungen
Chen et al. Big data storage architecture design in cloud computing
CN115766527A (zh) 信创环境下基于api网关进出流量的业务化分析系统及其方法
Pourmajidi et al. Dogfooding: Using ibm cloud services to monitor ibm cloud infrastructure
Iuhasz et al. Monitoring of exascale data processing
Wang et al. Log data modeling and acquisition in supporting SaaS software performance issue diagnosis
Racka Apache Nifi As A Tool For Stream Processing Of Measurement Data
Zhu et al. Lap: A latency‐aware parallelism framework for content‐based publish/subscribe systems
Polyantseva et al. Ensuring the Reliability of a Highly Loaded Vehicle Monitoring and Traffic Control Platform
Adamson et al. STREAM: A Scalable Federated HPC Telemetry Platform
Kim et al. Optimizing Logging and Monitoring in Heterogeneous Cloud Environments for IoT and Edge Applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180720