CN106407071A - 一种基于linux的内容服务后台日志自动分析工具 - Google Patents

一种基于linux的内容服务后台日志自动分析工具 Download PDF

Info

Publication number
CN106407071A
CN106407071A CN201610807659.7A CN201610807659A CN106407071A CN 106407071 A CN106407071 A CN 106407071A CN 201610807659 A CN201610807659 A CN 201610807659A CN 106407071 A CN106407071 A CN 106407071A
Authority
CN
China
Prior art keywords
class
log
information
daily record
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610807659.7A
Other languages
English (en)
Inventor
彭志胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Gotech Intelligent Technology Co Ltd
Original Assignee
Zhuhai Gotech Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Gotech Intelligent Technology Co Ltd filed Critical Zhuhai Gotech Intelligent Technology Co Ltd
Priority to CN201610807659.7A priority Critical patent/CN106407071A/zh
Publication of CN106407071A publication Critical patent/CN106407071A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种基于linux(一种操作系统)的内容服务后台日志自动分析工具，程序用Java（一种编程语言）语言编写但不限于该语言，利用多线程、DOM（文档对象模型）解析技术、正则表达式，实现配置文件动态加载器、日志摄取器、日志分析器、日志导入器的运行，使用正则表达式分析日志的格式数据，匹配出关键信息，实现日志分类。本发明对内容服务后台日志实时高效分析，摄取重要数据分类存储到数据库，为前台监控和服务器运行维护提供良好和直观的数据支持，借助Java(一种编程语言)平台的跨平台特性，实现日志系统的跨平台运行，本发明只占用少量的系统资源，可完成高效的数据分析任务。

Description

一种基于linux的内容服务后台日志自动分析工具
技术领域：
本发明属于互联网领域，涉及一种内容分发服务后台日志的自动分析和实现。
背景技术：
随着互联网的高速发展，内容分发(内容分发是指通过实现用户对网站的就近访问及网络流量的智能分析，将本节点的流媒体资源库中的指定内容，根据业务运营商定义的内容分发策略向下层节点推送)技术日趋成熟，内容提供商为客户提供高码率和高质量内容服务越来越重要，同时服务器带宽和负载随着客户量的增大会急速增加。由于网络、软硬件资源占用的原因，对于服务的运行和维护越来越困难，尤其是对服务器错误的分析定位和解决。为了能更好的监控服务器的运行状况，以及对突发事件的快速解决，借助服务器的运行日志系统能更好的定位到具体的问题，对实时解决问题也有很好的辅助作用。人工分析日志和监控服务器运行状况是一件费时费力的工作，目前大多数日志分析工具多基于网站的分析，而且多为运行于Windows平台，对日志格式要求很高，扩展性差；对于Linux(一种操作系统)内容服务的日志分析很少，相应功能也多集成在图形界面，对系统资源占用比较大。
发明内容：
本发明目的就是提供一种基于Linux(一种操作系统)的内容服务后台日志自动分析工具，用于对线上服务产生的后台日志摄取和分析以及分类存储，为前端监控界面和服务器运行维护、问题分析解决提供实时高效的数据支持。
为实现上述目的，本发明的技术方案为：
本发明基于linux(一种操作系统)的内容服务后台日志自动分析工具，程序用Java(一种编程语言)语言编写，利用多线程、DOM(文档对象模型)解析技术、正则表达式，实现配置文件动态加载器、日志摄取器、日志分析器、日志导入器的运行，使用正则表达式分析日志的格式数据，匹配出关键信息，实现日志分类，其中：
所述配置文件动态加载器技术流程过程包括：第一步打开配置文件，第二步读取配置文件，第三步实例化配置对象，休眠5秒钟后再返回第一步读取配置文件，循环读取配置文件，运用Java(一种编程语言)的DOM(文档对象模型)解析xml(可扩展标记语言)文件，实例化程序单实例配置，实现功能动态开启和关闭，动态改变数据导入mysql(一种数据库)数据库服务器，动态分析模块的后台日志等功能，间隔5秒钟读取一次配置文件；
所述的日志摄取器技术流程过程包括：第一步获取日志文件序列号，第二步获取日志文件名，第三步打开日志文件，第四步读取一条日志，读取成功后到第五步是否到达文件末尾，读取失败后再返回第一步获取日志文件序列号，在第五步是否到达文件末尾时，如果是到达第六步关闭日志文件，如果否返回第四步读取一条日志，第六步关闭日志文件完成后再返回第一步获取日志文件序列号，日志摄取器读取后台日志系统数据，运用Java(一种编程语言)文件流，实时操作日志序列号文件、后台日志文件、日志文件切换功能，日志摄取器先获取日志文件序列号，根据序列号获取日志文件的全路径，然后读入内存；
所述的日志分析器执行流程过程包括：第一步分析一条日志信息，第二步正则匹配各类信息，各类信息包括：直播节目信息、点播节目信息、http(超文本传输协议)客户端信息、rudp(可靠用户数据协议)客户端信息、m3u8(一个或多个媒体文件地址的纯文本)客户端信息、客户端连接客户信息，日志分析器包含有公共接口，分析某模块后台日志，可扩展更多的模块日志分析和功能，执行过程分析了内容服务器的客户访问信息数据和拥有的信息数据，通过分析一条日志信息，正则匹配出关键信息，根据分类实例化对应对象，放入相应队列中；
所述的日志导入器执行流程过程包括：第一步获取日志信息对象，第二步找到数据库操作接口，第三步导入相应直播信息表、点播信息表、连接数量信息表中，日志导入器将从日志分析器队列中取出日志实例导入到mysql(一种数据库)数据库保存，并将数据分类插入数据表中，实现数据分类导入、数据库重连、数据库切换、数据库定期清理功能；
所述的日志分类的类设计包括：CdnConfig类、CdnMod类、CdnLog类、ClientConnection类、VodChannel类、DatabaseHelper类，其中，ClientConnection类包括http(超文本传输协议)、rudp(可靠用户数据包协议)、m3u8(一个或多个媒体文件地址的纯文本)三种通信协议的连接数量，CdnConfig类是程序配置参数类，CdnMod类是模块信息记录类，CdnLog是日志信息类，ClientConnection类是客户端连接数类，VodChannel类是点播节目信息类，DatabaseHelper类是数据库操作接口类；
所述的用Java(一种编程语言)语言编写的程序，也可以用C语言编写程序；也可以用C++语言编写程序；也可以用shell(一种编程语言)语言编写程序。
本发明的有益效果：通过提供一种基于linux(一种操作系统)的内容服务后台日志自动分析工具，对内容服务后台日志实时高效分析，摄取重要数据分类存储到数据库，为前台监控和服务器运行维护提供更加良好和直观的数据支持，在实施过程中可节省人力、物力，实时性强，能够实时得到内容服务运行的状态数据，并借助Java(一种编程语言)平台自身的跨平台特性，实现日志系统的跨平台运行，同时，本发明运行于Linux(一种操作系统)的服务器，只占用少量的系统资源，完成高效的数据分析任务。
附图说明：
本发明说明书包括五幅附图，附图的图面说明如下：
图1是本发明配置文件动态加载器流程图。
图2是本发明日志摄取器流程图。
图3是本发明日志分析器流程图。
图4是本发明日志导入器流程图。
图5是本发明的类设计图。
具体实施方式：
以下结合说明书附图，对本发明作出详细描述：
本发明基于linux(一种操作系统)的内容服务后台日志自动分析工具，程序用Java(一种编程语言)语言编写，利用多线程、DOM(文档对象模型)解析技术、正则表达式，实现配置文件动态加载器、日志摄取器、日志分析器、日志导入器的运行，使用正则表达式分析日志的格式数据，匹配出关键信息，实现日志分类，其中：
如图1所示，所述配置文件动态加载器技术流程过程包括：第一步打开配置文件，第二步读取配置文件，第三步实例化配置对象，休眠5秒钟后再返回第一步读取配置文件，循环读取配置文件，配置文件读取采用xml(可扩展标记语言)格式，运用Java(一种编程语言)的DOM(文档对象模型)解析xml(可扩展标记语言)文件，实例化程序单实例配置，实现功能动态开启和关闭，动态改变数据导入mysql(一种数据库)数据库服务器，动态分析模块的后台日志等功能，间隔5秒钟读取一次配置文件。
如图2所示，日志摄取器技术流程过程包括：第一步获取日志文件序列号，第二步获取日志文件名，第三步打开日志文件，第四步读取一条日志，读取成功后到第五步是否到达文件末尾，读取失败后再返回第一步获取日志文件序列号，在第五步是否到达文件末尾时，如果是到达第六步关闭日志文件，如果否返回第四步读取一条日志，第六步关闭日志文件完成后再返回第一步获取日志文件序列号，日志摄取器读取后台日志系统数据，运用Java(一种编程语言)文件流，实时操作日志序列号文件、后台日志文件、日志文件切换功能，日志摄取器先获取日志文件序列号，根据序列号获取日志文件的全路径，然后读入内存。
如图3所示，日志分析器执行流程过程包括：第一步分析一条日志信息，第二步正则匹配各类信息，各类信息包括：直播节目信息、点播节目信息、http(超文本传输协议)客户端信息、rudp(可靠用户数据协议)客户端信息、m3u8(一个或多个媒体文件地址的纯文本)客户端信息、客户端连接客户信息，日志分析器包含有公共接口，分析某模块后台日志，可扩展更多的模块日志分析和功能，执行过程分析了内容服务器的客户访问信息数据和拥有的信息数据，通过分析一条日志信息，正则匹配出关键信息，根据分类实例化对应对象，放入相应队列中。
如图4所示，日志导入器执行流程过程包括：第一步获取日志信息对象，第二步找到数据库操作接口，第三步导入相应直播信息表、点播信息表、连接数量信息表中，日志导入器将从日志分析器队列中取出日志实例导入到mysql(一种数据库)数据库保存，并将数据分类插入数据表中，实现数据分类导入、数据库重连、数据库切换、数据库定期清理功能，数据存储采用mysql(一种数据库)数据库InnoDB(存储引擎)。
如图5所示，所述日志分类的类设计包括：CdnConfig类、CdnMod类、CdnLog类、ClientConnection类、VodChannel类、DatabaseHelper类，其中，ClientConnection类包括http(超文本传输协议)、rudp(可靠用户数据包协议)、m3u8(一个或多个媒体文件地址的纯文本)三种通信协议的连接数量，CdnConfig类是程序配置参数类，CdnMod类是模块信息记录类，CdnLog是日志信息类，ClientConnection类是客户端连接数类，VodChannel类是点播节目信息类，DatabaseHelper类是数据库操作接口类，类和表命名采用驼峰命名法。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于linux(一种操作系统)的内容服务后台日志自动分析工具，其特征在于：程序用Java(一种编程语言)语言编写，利用多线程、DOM(文档对象模型)解析技术、正则表达式，实现配置文件动态加载器、日志摄取器、日志分析器、日志导入器的运行，使用正则表达式分析日志的格式数据，匹配出关键信息，实现日志分类。
2.根据权利要求1所述的基于linux(一种操作系统)的内容服务后台日志自动分析工具，其特征在于所述的配置文件动态加载器技术流程过程包括：第一步打开配置文件，第二步读取配置文件，第三步实例化配置对象，休眠5秒钟后再返回第一步读取配置文件，循环读取配置文件，运用Java(一种编程语言)的DOM(文档对象模型)解析xml(可扩展标记语言)文件，实例化程序单实例配置，实现功能动态开启和关闭，动态改变数据导入mysql(一种数据库)数据库服务器，动态分析模块的后台日志等功能，间隔5秒钟读取一次配置文件。
3.根据权利要求1所述的基于linux(一种操作系统)的内容服务后台日志自动分析工具，其特征在于所述的日志摄取器技术流程过程包括：第一步获取日志文件序列号，第二步获取日志文件名，第三步打开日志文件，第四步读取一条日志，读取成功后到第五步是否到达文件末尾，读取失败后再返回第一步获取日志文件序列号，在第五步是否到达文件末尾时，如果是到达第六步关闭日志文件，如果否返回第四步读取一条日志，第六步关闭日志文件完成后再返回第一步获取日志文件序列号，日志摄取器读取后台日志系统数据，运用Java(一种编程语言)文件流，实时操作日志序列号文件、后台日志文件、日志文件切换功能，日志摄取器先获取日志文件序列号，根据序列号获取日志文件的全路径，然后读入内存。
4.根据权利要求1所述的基于linux(一种操作系统)的内容服务后台日志自动分析工具，其特征在于所述的日志分析器执行流程过程包括：第一步分析一条日志信息，第二步正则匹配各类信息，各类信息包括：直播节目信息、点播节目信息、http(超文本传输协议)客户端信息、rudp(可靠用户数据协议)客户端信息、m3u8(一个或多个媒体文件地址的纯文本)客户端信息、客户端连接客户信息，日志分析器包含有公共接口，分析某模块后台日志，可扩展更多的模块日志分析和功能，执行过程分析了内容服务器的客户访问信息数据和拥有的信息数据，通过分析一条日志信息，正则匹配出关键信息，根据分类实例化对应对象，放入相应队列中。
5.根据权利要求1所述的基于linux(一种操作系统)的内容服务后台日志自动分析工具，其特征在于所述的日志导入器执行流程过程包括：第一步获取日志信息对象，第二步找到数据库操作接口，第三步导入相应直播信息表、点播信息表、连接数量信息表中，日志导入器将从日志分析器队列中取出日志实例导入到mysql(一种数据库)数据库保存，并将数据分类插入数据表中，实现数据分类导入、数据库重连、数据库切换、数据库定期清理功能。
6.根据权利要求1所述的基于linux(一种操作系统)的内容服务后台日志自动分析工具，其特征在于所述的日志分类的类设计包括：CdnConfig类、CdnMod类、CdnLog类、ClientConnection类、VodChannel类、DatabaseHelper类，其中，ClientConnection类包括http(超文本传输协议)、rudp(可靠用户数据包协议)、m3u8(一个或多个媒体文件地址的纯文本)三种通信协议的连接数量，CdnConfig类是程序配置参数类，CdnMod类是模块信息记录类，CdnLog是日志信息类，ClientConnection类是客户端连接数类，VodChannel类是点播节目信息类，DatabaseHelper类是数据库操作接口类。
7.根据权利要求1所述的基于linux(一种操作系统)的内容服务后台日志自动分析工具，其特征在于所述的用Java(一种编程语言)语言编写的程序也可以用C语言编写程序；也可以用C++语言编写程序；也可以用shell(一种编程语言)语言编写程序。
CN201610807659.7A 2016-09-06 2016-09-06 一种基于linux的内容服务后台日志自动分析工具 Pending CN106407071A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610807659.7A CN106407071A (zh) 2016-09-06 2016-09-06 一种基于linux的内容服务后台日志自动分析工具

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610807659.7A CN106407071A (zh) 2016-09-06 2016-09-06 一种基于linux的内容服务后台日志自动分析工具

Publications (1)

Publication Number Publication Date
CN106407071A true CN106407071A (zh) 2017-02-15

Family

ID=57998901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610807659.7A Pending CN106407071A (zh) 2016-09-06 2016-09-06 一种基于linux的内容服务后台日志自动分析工具

Country Status (1)

Country Link
CN (1) CN106407071A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107741956A (zh) * 2017-09-18 2018-02-27 杭州安恒信息技术有限公司 一种基于web容器配置文件的日志搜索方法
CN108710573A (zh) * 2018-05-21 2018-10-26 北京五八信息技术有限公司 一种基于日志埋点的测试方法、装置、存储介质及终端
CN109766254A (zh) * 2018-12-17 2019-05-17 上海华讯网络系统有限公司 It系统运维监控数据辅助预处理方法和系统
CN110389874A (zh) * 2018-04-20 2019-10-29 比亚迪股份有限公司 日志文件异常检测方法和装置
CN110851293A (zh) * 2019-10-15 2020-02-28 中国直升机设计研究所 一种信息系统联动处理的系统及方法
CN111881094A (zh) * 2020-07-28 2020-11-03 平安科技（深圳）有限公司 日志中关键信息提取方法、装置、终端及存储介质
CN113111280A (zh) * 2020-01-09 2021-07-13 福建天泉教育科技有限公司 流程图形式显示日志内容的方法、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102891873A (zh) * 2011-07-21 2013-01-23 腾讯科技（深圳）有限公司 一种存储日志数据的方法及日志数据存储系统
CN104536972A (zh) * 2014-12-03 2015-04-22 北京邮电大学 基于cdn的网页内容感知系统及方法
CN105138593A (zh) * 2015-07-31 2015-12-09 山东蚁巡网络科技有限公司 一种利用正则表达式自定义提取日志关键信息的方法
CN105205167A (zh) * 2015-10-10 2015-12-30 国网信息通信产业集团有限公司 一种日志数据系统
CN105677876A (zh) * 2016-01-12 2016-06-15 国家电网公司 一种基于物理级的数据库日志挖掘方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102891873A (zh) * 2011-07-21 2013-01-23 腾讯科技（深圳）有限公司 一种存储日志数据的方法及日志数据存储系统
CN104536972A (zh) * 2014-12-03 2015-04-22 北京邮电大学 基于cdn的网页内容感知系统及方法
CN105138593A (zh) * 2015-07-31 2015-12-09 山东蚁巡网络科技有限公司 一种利用正则表达式自定义提取日志关键信息的方法
CN105205167A (zh) * 2015-10-10 2015-12-30 国网信息通信产业集团有限公司 一种日志数据系统
CN105677876A (zh) * 2016-01-12 2016-06-15 国家电网公司 一种基于物理级的数据库日志挖掘方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
姬朝阳 等: ""基于SSH的日志统计分析系统的分析与设计"", 《计算机技术与发展》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107741956A (zh) * 2017-09-18 2018-02-27 杭州安恒信息技术有限公司 一种基于web容器配置文件的日志搜索方法
CN107741956B (zh) * 2017-09-18 2020-07-03 杭州安恒信息技术股份有限公司 一种基于web容器配置文件的日志搜索方法
CN110389874A (zh) * 2018-04-20 2019-10-29 比亚迪股份有限公司 日志文件异常检测方法和装置
CN108710573A (zh) * 2018-05-21 2018-10-26 北京五八信息技术有限公司 一种基于日志埋点的测试方法、装置、存储介质及终端
CN109766254A (zh) * 2018-12-17 2019-05-17 上海华讯网络系统有限公司 It系统运维监控数据辅助预处理方法和系统
CN109766254B (zh) * 2018-12-17 2022-04-08 上海华讯网络系统有限公司 It系统运维监控数据辅助预处理方法和系统
CN110851293A (zh) * 2019-10-15 2020-02-28 中国直升机设计研究所 一种信息系统联动处理的系统及方法
CN110851293B (zh) * 2019-10-15 2023-06-27 中国直升机设计研究所 一种信息系统联动处理的系统及方法
CN113111280A (zh) * 2020-01-09 2021-07-13 福建天泉教育科技有限公司 流程图形式显示日志内容的方法、存储介质
CN113111280B (zh) * 2020-01-09 2023-05-23 福建天泉教育科技有限公司 流程图形式显示日志内容的方法、存储介质
CN111881094A (zh) * 2020-07-28 2020-11-03 平安科技（深圳）有限公司 日志中关键信息提取方法、装置、终端及存储介质
CN111881094B (zh) * 2020-07-28 2023-07-18 平安科技（深圳）有限公司 日志中关键信息提取方法、装置、终端及存储介质

Similar Documents

Publication Publication Date Title
CN106407071A (zh) 一种基于linux的内容服务后台日志自动分析工具
CN107577805B (zh) 一种面向日志大数据分析的业务服务系统
CN104090891B (zh) 数据处理方法、装置及系统
US7721262B2 (en) System, methods and apparatus for markup language debugging
CN104394211A (zh) 一种基于Hadoop用户行为分析系统设计与实现方法
CN108038207A (zh) 一种日志数据处理系统、方法和服务器
CN105224435B (zh) 数据运维监控方法及装置
CN105786998A (zh) 数据库中间件系统及利用其处理数据的方法
CN107239499A (zh) 基于多维异构数据源集成与整合模型的分析方法及系统
CN104267953A (zh) 一种基于浏览器的Word试题导入控件与方法
CN108228664B (zh) 非结构化数据处理方法及装置
CN111177193A (zh) 一种基于Flink的日志流式处理方法及系统
CN104239353A (zh) 一种web分类控制和日志审计的方法
CN109446042A (zh) 一种用于智能用电设备的日志管理方法及系统
CN110572698B (zh) 一种统计巡检和监控播放记录的方法、装置、设备、介质
CN104298671B (zh) 数据统计分析方法及装置
CN103916368B (zh) 一种实现不同数据源之间数据处理的方法及装置
CN104331512B (zh) 一种bbs页面自动采集方法
CN107480189A (zh) 一种多维度实时分析系统及方法
CN112258015A (zh) 一种基于云数据分析的实验室管理预警系统及其预警方法
CN204288199U (zh) 打印设备打印口数据虚拟化系统
CN112883088A (zh) 一种数据处理方法、装置、设备及存储介质
CN102006512B (zh) 应用sax解析引擎的数字电视hsml解析方法及系统
CN110297820A (zh) 一种数据处理方法、装置、设备和存储介质
CN101986303A (zh) 应用dom解析引擎的数字电视hsml解析方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170215