CN101267352B - 日志文件分析系统和日志文件分析方法 - Google Patents
日志文件分析系统和日志文件分析方法 Download PDFInfo
- Publication number
- CN101267352B CN101267352B CN2008101045894A CN200810104589A CN101267352B CN 101267352 B CN101267352 B CN 101267352B CN 2008101045894 A CN2008101045894 A CN 2008101045894A CN 200810104589 A CN200810104589 A CN 200810104589A CN 101267352 B CN101267352 B CN 101267352B
- Authority
- CN
- China
- Prior art keywords
- file
- journal file
- train
- server
- log file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明提出了日志文件分析系统和方法。其中日志文件系统包括:对比文件存储模块,用于预先存储用于与日志文件进行比较的对比文件;接收模块,用于接收关于列车上的服务器和/或终端的运行状况的日志文件;比较模块,用于对日志文件与对比文件进行比较;以及分析模块,用于根据比较结果分析服务器和/或终端的运行状况。通过本发明及时、实时、真实地反映各个列车上节目播出情况,包括无播放日志、异常关机、开机不播、加载节目源失败等情况,不需要任何的人工干预,一整套由系统自动完成;具有效率高,速度快,数据准确等特征。
Description
技术领域
本发明涉及诸如用于列车的信息服务监控技术,尤其涉及一种日志文件分析系统和日志文件分析方法。
背景技术
现有的铁路旅客信息服务系统是在综合无线网络系统技术的基础上开发的现代化高科技旅客信息服务系统,为铁路旅客提供包括视频、音频、无线上网在内的全方位多媒体信息服务。
日志记录了列车上系统的服务器或终端的运行状况,服务器或终端执行程序做一个动作,便增加一条日志记录,每个服务器或终端每天会生成独立的日志文件。
目前已有的实现方案是:
1.系统生成日志,通过人工上传回公司进行分析;
2.只是单独的记录下服务器或终端的活动,没有和相关的信息进行综合分析比对。
现有的技术需每天人工回传日志到日志服务器,再经过日志服务器分析,或者人工一个个打开日志查看记录分析,无法结合模板信息、节目源信息,既费时间又费人力、物力,所以有些异常事件 捕捉不到,无法准确地描述列车上的情况。时间越久,日志量越多,信息准确度就越小,消耗的人力、物力就越大。
再者,比如在列车上发生硬盘损坏等现象的情况下,目前的系统无法准确及时发现并解决问题,从而会大大影响客户节目的播出,导致客户的投诉等问题。
发明内容
鉴于以上所述的一个或多个问题,本发明提出了一种日志文件分析系统和一种日志文件分析方法。旨在及时准确地自动反映列车上的节目播出状况和服务器及终端的工作状况等。
根据本发明一个方面的日志文件分析系统包括:对比文件存储模块,用于预先存储用于与日志文件进行比较的对比文件;接收模块,用于在每天的第一预定时段内按第一时间间隔接收关于列车上的服务器和/或终端的运行状况的日志文件,以及在每天的非第一预定时段内按第二时间间隔接收关于列车上的服务器和/或终端的运行状况的日志文件;比较模块,用于对日志文件与对比文件进行比较;以及分析模块,用于根据比较结果分析服务器和/或终端的运行状况。
其中,日志文件包括系统日志文件和播放日志文件。系统日志文件包括以下信息中的至少一种:CPU状态信息、开机动作信息、关机动作信息、音量大小信息、及人员操作信息。播放日志文件包括以下信息中的至少一种:节目内容、节目播放开始时间、及节目播放情况。对比文件包括列车作息表和节目单。
根据本发明另一方面的日志文件分析方法包括以下步骤:步骤一,预先存储用于与日志文件进行比较的对比文件;步骤二,在每天的第一预定时段内按第一时间间隔接收关于列车上的服务器和/或终端的运行状况的日志文件,以及在每天的非第一预定时段内按第二时间间隔接收关于列车上的服务器和/或终端的运行状况的日志文件;步骤三,对日志文件与对比文件进行比较;以及步骤四,根据比较结果分析服务器和/或终端的运行状况。
其中,日志文件包括系统日志文件和播放日志文件。系统日志文件包括以下信息中的至少一种:CPU状态信息、开机动作信息、关机动作信息、音量大小信息、及人员操作信息。播放日志文件包括以下信息中的至少一种:节目内容、节目播放开始时间、及节目播放情况。对比文件包括列车作息表和节目单。
通过自动接收和分析日志文件,及时、实时、真实地反映各个列车上节目播出情况,包括无播放日志、异常关机、开机不播、加载节目源失败等情况,不需要任何的人工干预,一整套由系统自动完成;具有效率高,速度快,数据准确等特征。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明一个实施例的日志文件分析系统的框图;
图2是根据本发明另一实施例的日志文件分析方法的流程图;
图3是根据本发明又一实施例的日志文件分析方法的压缩包分析的流程图;以及
图4是根据本发明又一实施例的日志文件分析方法的分析包中所有日志的流程图;以及
图5是根据本发明的又一实施例的日志文件分析方法的对日志进行全面分析的流程图。
具体实施方式
下面参考附图,详细说明本发明的具体实施方式。
本发明可应用于安装有列车信息服务系统的铁路客运列车上,主要用于对列车上服务器或终端的运行情况进行远程监控和日志分析。本发明关键点:结合节目单模板(由节目编排系统自动完成)、发车顺序表(由铁路部门规定),真实分析列车上节目播出情况。
图1是根据本发明一个实施例的日志文件分析系统的框图。如图1所示,根据本发明一个实施例的日志文件分析系统包括:对比文件存储模块102,用于预先存储用于与日志文件进行比较的对比文件;接收模块104,用于接收关于列车上的服务器和/或终端的运行状况的日志文件;比较模块106,用于对日志文件与对比文件进行比较;以及分析模块108,用于根据比较结果分析服务器和/或终端的运行状况。该日志文件分析系统还包括:判断模块,用于判断日志文件是否合法;以及删除模块,用于在日志文件不合法的情况下删除日志文件,同时删除合法的日志文件中的垃圾文件。
其中,日志文件包括系统日志文件和播放日志文件。系统日志文件包括CPU状态信息、开机动作信息、关机动作信息、音量大小信息、及人员操作信息。播放日志文件包括节目内容、节目播放开始时间、及节目播放情况(即,列车节目是否播放成功的情况)。对比文件包括列车作息表和节目单。其中,列车作息表,包含了列车发车时间、到站时间、午间休息时间、晚间休息时间、节目播放开始时间、及节目播放结束时间。
图2是根据本发明另一实施例的日志文件分析方法的流程图。如图2所示,根据本发明另一实施例的日志文件分析方法包括以下步骤:
步骤S202,预先存储用于与日志文件进行比较的对比文件;
步骤S204,接收关于列车上的服务器和/或终端的运行状况的日志文件;
步骤S206,对日志文件与对比文件进行比较;以及
步骤S208,根据比较结果分析服务器和/或终端的运行状况。
其中,在接收日志文件之后,还包括:判断日志文件是否合法;以及在日志文件不合法的情况下删除日志文件,并删除合法的日志文件中的垃圾文件。
其中,在步骤S204中,在每天的第一预定时段内按第一时间间隔接收关于列车上的服务器和/或终端的运行情况的日志文件,以及在每天的非第一预定时段内按第二时间间隔接收关于列车上的服务器和/或终端的运行情况的日志文件。
其中,日志文件包括系统日志文件和播放日志文件。系统日志文件包括CPU状态信息、开机动作信息、关机动作信息、音量大小信息、及人员操作信息。播放日志文件包括节目内容、节目播放开始时间、节目播放情况。对比文件包括列车作息表和节目单。
下面结合图3~图5描述本发明的一个实施例。图3是根据本发明又一实施例的日志文件分析方法的压缩包分析的流程图。图4是根据本发明又一实施例的日志文件分析方法的日志全面分析的流程图。图5是根据本发明又一实施例的日志文件分析方法的对日志进行全面分析的流程图。
每天零点创建当天所有的车组的发车顺序;系统每天7:00-22:00每1个小时将列车上所产生的新日志压缩传回到日志服务器中, 其余时间每3小时传一次日志文件;在日志服务器压缩包排队(步骤S302);分析队列中的零散文件(步骤S304)。
解压缩包(步骤S402),判断文件是否合法,将合法的文件修改统一后缀名,读取日志文件内容,入库进行全面分析。将不合法的文件及分析完的文件删除(步骤S404~步骤S406)。更新压缩包信息(步骤S408);日志全面分析:日志分为系统日志、播放日志。其中,系统日志主要描述系统的CPU状态、开机动作、关机动作、音量大小等,播放日志主要描述播放器播放的节目状态、网络状态等。
i将日志概要信息,日志内容写入数据库,取得BaseID(ID)-(步骤S502),如数据中已存在,则直接读取BaseID;ii删除临时表的内容-(步骤S504);iii将日志内容写入临时表-取得日志的最终临时表(步骤S506~步骤S508);以及iv对日志进行全面分析,删除在该时间段内原有的分析结果,根据发车顺序表得到基础数据,并设置标识(步骤S510~步骤S516)。
分析异常情况(步骤S306~步骤S312)。异常情况分为:异常关机、无播放日志、开机不播、加载节目源失败等。
其中,节目有效时间:由发车顺序表判断是某一车次,再结合列车时刻表得到节目播出的有效时间;车组日志的结束时间:该车组当天发车运行一趟的日志最后结束时间;节目源时长:由节目源信息中获得。
i异常关机分为:晚开机、异常关机后又开机,异常关机后未开机。其中,晚开机:在有效时间内系统晚开机。识别系统日志中标识确定系统晚开机。异常关机后又开机:识别系统日志中的标识,确定服务器或终端在有效时间内有异常关机后又自行开机的动作。 异常关机未开机:系统日志、播放日志中有标识确定服务器或终端在有效时间内有异常关机,且后并未自行开机。
ii无播放日志分为部分无播放日志和全天无播放日志。其中,部分无播放日志:系统日志、播放日志系统自动回传,但经过比对日志不全。全天无播放日志:无日志回传,即可判断为全天无播放日志。
iii开机不播:在有效时间内系统日志有记录,播放日志无记录,表示终端开机未播。
iv加载节目源失败:在播放日志内容中出现查找不到(Can notFind)等字符,表示终端加载节目源失败。
分析完毕显示当前最新的节目播出情况。
本发明的具体实施:凡是在列车上装有我公司研发的铁路旅客信息服务系统设备,系统每天7:00-22:00自动通过无线宽带传输,每1个小时回传一次最新的日志,其余时间3个小时回传一次到日志服务器上,服务器引擎马上依照程序进行日志分析,并显示出最新结果,整个过程不需要任何人工参与,十分方便准确。
本发明就是针对列车旅客信息服务系统(以下简称本系统或系统)服务器和播放器生成日志进行分析,进而实现对整个系统远程无线监控。
在本发明中,系统每隔一段时间(例如,1个小时)通过无线网络自动传回列车上服务器或终端的日志,并结合播放节目单、节目模板、节目源信息、发车顺序表实时分析并显示当前列车播放的情况,从而实现远程实时监控。真实地反应某一段时间列车系统的服务器或终端的工作情况。真实地反应每日列车系统的服务器或终 端的工作情况。真实地反应每一时刻列车系统的服务器或终端的工作情况。真实地反应最新时刻列车系统的服务器或终端的工作情况。本发明及时、实时、真实地反映各个列车上节目播出情况,包括无播放日志、异常关机、开机不播、加载节目源失败等情况,不需要任何的人工干预,一整套由系统自动完成;具有效率高,速度快,数据准确等特征。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种日志文件分析系统,其特征在于,包括:
对比文件存储模块,用于预先存储用于与日志文件进行比较的对比文件,所述对比文件包括列车作息表和节目单;
接收模块,用于在每天的第一预定时段内按第一时间间隔接收关于列车上的服务器和/或终端的运行状况的日志文件,以及在每天的非第一预定时段内按第二时间间隔接收关于列车上的服务器和/或终端的运行状况的所述日志文件;
比较模块,用于对所述日志文件与所述对比文件进行比较;以及
分析模块,用于根据比较结果分析所述服务器和/或所述终端的运行状况。
2.根据权利要求1所述的日志文件分析系统,其特征在于,所述日志文件包括系统日志文件和播放日志文件。
3.根据权利要求2所述的日志文件分析系统,其特征在于,所述系统日志文件包括以下信息中的至少一种:CPU状态信息、开机动作信息、关机动作信息、音量大小信息、及人员操作信息。
4.根据权利要求2所述的日志文件分析系统,其特征在于,所述播放日志文件包括以下信息中的至少一种:节目内容、节目播放开始时间、及节目播放情况。
5.一种日志文件分析方法,其特征在于,包括以下步骤:
步骤一,预先存储用于与日志文件进行比较的对比文件,所述对比文件包括列车作息表和节目单;
步骤二,在每天的第一预定时段内按第一时间间隔接收关于列车上的服务器和/或终端的运行状况的日志文件,以及在每天的非第一预定时段内按第二时间间隔接收关于列车上的服务器和/或终端的运行状况的所述日志文件;
步骤三,对所述日志文件与所述对比文件进行比较;以及
步骤四,根据比较结果分析所述服务器和/或所述终端的运行状况。
6.根据权利要求5所述的日志文件分析方法,其特征在于,所述日志文件包括系统日志文件和播放日志文件。
7.根据权利要求6所述的日志文件分析方法,其特征在于,所述系统日志文件包括以下信息中的至少一种:CPU状态信息、开机动作信息、关机动作信息、音量大小信息、及人员操作信息。
8.根据权利要求6所述的日志文件分析方法,其特征在于,所述播放日志文件包括以下信息中的至少一种:节目内容、节目播放开始时间、及节目播放情况。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008101045894A CN101267352B (zh) | 2008-04-21 | 2008-04-21 | 日志文件分析系统和日志文件分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008101045894A CN101267352B (zh) | 2008-04-21 | 2008-04-21 | 日志文件分析系统和日志文件分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101267352A CN101267352A (zh) | 2008-09-17 |
CN101267352B true CN101267352B (zh) | 2011-05-18 |
Family
ID=39989500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008101045894A Expired - Fee Related CN101267352B (zh) | 2008-04-21 | 2008-04-21 | 日志文件分析系统和日志文件分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101267352B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9767171B2 (en) | 2015-04-03 | 2017-09-19 | Oracle International Corporation | Method and system for implementing an operating system hook in a log analytics system |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102075691B (zh) * | 2009-11-24 | 2015-06-17 | 新奥特(北京)视频技术有限公司 | 一种具有日志管理功能的字幕编播系统 |
CN102075670B (zh) * | 2009-11-24 | 2015-05-27 | 新奥特(北京)视频技术有限公司 | 一种播出机的日志记录方法和装置 |
US11226975B2 (en) | 2015-04-03 | 2022-01-18 | Oracle International Corporation | Method and system for implementing machine learning classifications |
US11727025B2 (en) | 2015-04-03 | 2023-08-15 | Oracle International Corporation | Method and system for implementing a log parser in a log analytics system |
CN107256219B (zh) * | 2017-04-24 | 2021-05-14 | 卡斯柯信号有限公司 | 应用于自动列车控制系统海量日志的大数据融合分析方法 |
US11681944B2 (en) | 2018-08-09 | 2023-06-20 | Oracle International Corporation | System and method to generate a labeled dataset for training an entity detection system |
CN112261449B (zh) * | 2020-10-14 | 2022-07-26 | 杭州当虹科技股份有限公司 | 一种编单自动化测试的方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1553711A (zh) * | 2003-06-05 | 2004-12-08 | 上海网上乐园信息技术有限公司 | 一种流动多媒体节目播放系统及其实现方法 |
CN1567293A (zh) * | 2003-07-07 | 2005-01-19 | 莫伟 | 一种嵌入式智能多媒体播放系统、嵌入式智能多媒体播放器及其方法 |
CN1592146A (zh) * | 2003-08-28 | 2005-03-09 | 梁栋 | 可传输多媒体文件的装置及传输多媒体文件的方法 |
CN2852564Y (zh) * | 2005-12-08 | 2006-12-27 | 厦门雅迅网络股份有限公司 | 出租车联网广告播放车载机 |
-
2008
- 2008-04-21 CN CN2008101045894A patent/CN101267352B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1553711A (zh) * | 2003-06-05 | 2004-12-08 | 上海网上乐园信息技术有限公司 | 一种流动多媒体节目播放系统及其实现方法 |
CN1567293A (zh) * | 2003-07-07 | 2005-01-19 | 莫伟 | 一种嵌入式智能多媒体播放系统、嵌入式智能多媒体播放器及其方法 |
CN1592146A (zh) * | 2003-08-28 | 2005-03-09 | 梁栋 | 可传输多媒体文件的装置及传输多媒体文件的方法 |
CN2852564Y (zh) * | 2005-12-08 | 2006-12-27 | 厦门雅迅网络股份有限公司 | 出租车联网广告播放车载机 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9767171B2 (en) | 2015-04-03 | 2017-09-19 | Oracle International Corporation | Method and system for implementing an operating system hook in a log analytics system |
Also Published As
Publication number | Publication date |
---|---|
CN101267352A (zh) | 2008-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101267352B (zh) | 日志文件分析系统和日志文件分析方法 | |
CN109409633B (zh) | 业务监测与风险预警系统 | |
CN101453378B (zh) | 日志转储与审计的方法和系统 | |
CN100458733C (zh) | 备份系统以及备份方法 | |
CA3038767A1 (en) | Methods, apparatus, and systems for ai-assisted or automatic video production | |
US8645987B2 (en) | Advertisement airing audit system and associated methods | |
DE102005021103A1 (de) | Verfahren und System für eine Fernaktualisierung | |
US20050234985A1 (en) | System, method and computer program product for extracting metadata faster than real-time | |
CN101493838B (zh) | 一种事件录像处理装置和系统 | |
CN101408852B (zh) | 一种调度任务的方法、装置和系统 | |
CN101222283A (zh) | 基于用户位置实时播报交通信息的网络电台系统 | |
CN113032379B (zh) | 面向配网运检多源数据采集的方法 | |
CN111143404B (zh) | 一种业务处理方法及装置 | |
CN114266235A (zh) | 数据的处理方法及装置、存储介质、电子装置 | |
CN102298609B (zh) | 文档收集系统和方法 | |
CN102594889B (zh) | 一种基于数据召测的数据同步与分析系统 | |
CN116957528A (zh) | 一种对多来源打卡数据自动生成考勤结果的方法及系统 | |
CN112187873B (zh) | 车联网数据智能分发方法、装置及系统 | |
CN114266671A (zh) | 财产保险自动化索赔系统及方法 | |
CN109921937B (zh) | 一种对流协议长时间任务进行自动验证的测试系统及方法 | |
CN110515955A (zh) | 数据的存储、查询方法、系统、电子设备和存储介质 | |
KR102714759B1 (ko) | 배출가스 관련부품 현황 보고서 생성 시스템 및 그 구동방법 | |
CN117541199B (zh) | 一种基于统一调度的事件枢纽平台 | |
CN117744947A (zh) | 城轨运维数据管理系统及方法 | |
CN114640511B (zh) | 应用接口监控平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110518 Termination date: 20140421 |