CN108520071A - 一种基于记录仪平台的日志检索系统及方法 - Google Patents
一种基于记录仪平台的日志检索系统及方法 Download PDFInfo
- Publication number
- CN108520071A CN108520071A CN201810333588.0A CN201810333588A CN108520071A CN 108520071 A CN108520071 A CN 108520071A CN 201810333588 A CN201810333588 A CN 201810333588A CN 108520071 A CN108520071 A CN 108520071A
- Authority
- CN
- China
- Prior art keywords
- log
- message channel
- data
- file data
- retrieval
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明涉及一种基于记录仪平台的日志检索系统及方法，属于记录仪日志管理领域。本发明是为了解决现有的日志检索分析系统用时较慢、处理速度较低的缺点而提出的，本发明的系统包括：服务器日志检索模块，用于根据检索条件读取日志文件，并发送给检索后日志处理模块；检索后日志处理模块，用于对接收到的日志文件进行数据清洗，并按照系统时间进行排序；日志处理后存储模块，用于汇总所有经过排序的日志文件并批量保存至数据库中。本发明适用于记录仪平台日志管理。
Description
技术领域
本发明涉及一种基于记录仪平台的日志检索系统及方法，属于记录仪日志管理领域。
背景技术
航天科技记录仪管理平台每天有超过1W辆车辆在线，每天会产生大量的操作日志，日志存储到多台服务器上，用户在使用平台过程中遇到的问题，都可以通过分析日志找到问题原因，所以每天要频繁的从多台服务器上检索日志信息进行分析。现有技术的日志检索分析用时较慢，处理速度较低。
发明内容
本发明的目的是为了解决现有的日志检索分析系统用时较慢，处理速度较低的缺点，而提出一种基于记录仪平台的日志检索系统及方法。
一种于记录仪平台的日志检索系统及系统，包括：
服务器日志检索模块，用于根据检索条件读取日志文件，并发送给检索后日志处理模块；
检索后日志处理模块，用于对接收到的日志文件进行数据清洗，并按照系统时间进行排序；
日志处理后存储模块，用于汇总所有经过排序的日志文件并批量保存至数据库中。
本发明还提供一种基于记录仪平台的日志检索方法，包括：
步骤一、根据检索条件读取日志文件；
步骤二、对接收到的日志文件进行数据清洗，并按照系统时间进行排序；
步骤三、汇总所有经过排序的日志文件并批量保存至数据库中。
本发明的有益效果为：
1、系统采用spring integration作为系统框架，多线程、定时器、消息通道等易出错误部分，都是使用框架内固有的成熟稳定模块，通过xml配置文件进行调用使用，该方式将研发人员从复杂的技术问题中解脱出来，集中精力关注具体的业务逻辑的实现，大大提高了研发速度和整个系统的稳定性。
2、系统的主要运算、缓存部分，主要集中在检索后日志处理模块中，该模块可以根据任务量，进行灵活扩充，从而提升系统的整体运算性能。
3、检索后日志处理模块提供了清洗、分片缓存策略，在整个数据处理过程中，能够减少接收、发送的数据量，提升系统整体的运算性能。处理速度相比于传统方法至少提升了10％。
附图说明
图1为本发明一个实施例的基于记录仪平台的日志检索系统的结构图；
图2为本发明一个实施例的基于记录仪平台的日志检索方法的流程图。
具体实施方式
具体实施方式一：本实施方式的基于记录仪平台的日志检索系统，如图1所示，包括：
服务器日志检索模块100，用于根据检索条件读取日志文件，并发送给检索后日志处理模块200；
检索后日志处理模块200，用于对接收到的日志文件进行数据清洗，并按照系统时间进行排序；
日志处理后存储模块300，用于汇总所有经过排序的日志文件并批量保存至数据库400中。
具体实施方式二：本实施方式与具体实施方式一不同的是：服务器日志检索模块100包括：
读取器120，用于按照时间戳循环从服务器中根据检索条件读取日志文件，并将读取到的日志文件数据发送至第一消息通道110中进行缓存；第一消息通道110，用于缓存日志文件数据；分发器130，用于从第一消息通道中读取日志文件数据，并发送至检索后日志处理模块200。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是：检索后日志处理模块200包括：
接收单元220，用于接收日志文件数据，并缓存至第二消息通道210中；
第二消息通道210，用于缓存日志文件数据；
处理单元230，用于从第二消息通道210中读取日志文件数据，并清洗掉文件内容为空以及时间异常的数据，并将清洗后的数据按照系统时间进行排序；
分片缓存单元240，用于缓存排序后的数据进行缓存，当缓存的日志文件数据的数量大于一定数量时，将日志文件数据存入第二消息通道并发送至日志处理后存储模块300中。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：日志处理后存储模块300包括：
第三消息通道310，用于接收并汇总来自检索后日志处理模块200的日志文件数据；
存储单元320，用于将第三消息通道310中的日志文件数据批量存储至数据库中400。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：服务器日志检索模块100、检索后日志处理模块200、日志处理后存储模块300均通过springintegration框架进行实现。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式提供一种基于记录仪平台的日志检索方法，如图2所示，包括：
步骤一、根据检索条件读取日志文件；
步骤二、对接收到的日志文件进行数据清洗，并按照系统时间进行排序；
步骤三、汇总所有经过排序的日志文件并批量保存至数据库中。
具体实施方式七：本实施方式与具体实施方式六不同的是：步骤二具体为：
按照时间戳循环从服务器中根据检索条件读取日志文件，并将读取到的日志文件数据发送至第一消息通道中进行缓存；
从第一消息通道中读取日志文件数据。
其它步骤及参数与具体实施方式六相同。
具体实施方式八：本实施方式与具体实施方式六或七不同的是：步骤三具体为：
接收日志文件数据，并缓存至第二消息通道中；
从第二消息通道中读取日志文件数据，并清洗掉文件内容为空以及时间异常的数据，并将清洗后的数据按照系统时间进行排序；
缓存排序后的数据进行缓存，当缓存的日志文件数据的数量大于一定数量时，将日志文件数据存入第二消息通道。
其它步骤及参数与具体实施方式六或七相同。
具体实施方式九：本实施方式与具体实施方式六至八之一不同的是：步骤三具体为：
接收并汇总来自检索后日志处理模块的日志文件数据，存入第三消息通道中；
将第三消息通道中的日志文件数据批量存储至数据库中。
其它步骤及参数与具体实施方式六至八之一相同。
具体实施方式十：本实施方式与具体实施方式六至八之一不同的是：步骤一、步骤二、步骤三均通过spring integration框架实现。
其它步骤及参数与具体实施方式六至九之一相同。
具体实施方式十一：本实施方式中，系统主要包括3部分：服务器日志检索(DataSch)、检索后日志处理(HandleDate)、日志处理后存储(DataSaver)。服务器日志检索负责从已经配置好的各个服务器中，按照日志检索条件(时间、关键字)检索日志，时间用于检索文件，关键字用于检索文件内容，并将检索后的日志发送给HandleDate,等待处理。
HandleNode接收到数据后，对数据进行清洗、转换、整理、合并等运算，并将处理结果发送给DataSaver。DataSaver接收到HandleNode发送来的处理结果，批量保存进数据库中。
DataSch由读取器(reader)、消息通道(message channel)、分发器(sender)组成。reader按时间戳，循环从各个服务器中按照检索条件读取日志文件，并将数据发送到message channel中进行缓存。Sender发送message channel中的日志文件数据，通道中的数据是字符串类型数据，并且每条数据都带有系统时间。通过远程调用函数(RPC)发送到HandleDate。
HandleDate由消息通道message channel、接收、清洗、排序、分片缓存及部分组成。当HandleDate接收到DataSch传入的消息后，缓存至message channel中，由接收程序接收到message channel中的数据后，清洗掉文件内容为空、时间异常等的无效数据，将有效数据的时间按照系统时间进行排序。通过缓存程序，当缓存区日志条数到100条时，将日志放入message channel并发送至DataSaver，并清空
DataSaver接收到所有HandleDate传入的汇总结果，缓存至message channel中，并由saver将message channel中的数据，批量保存至数据库中。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (10)
1.一种基于记录仪平台的日志检索系统，其特征在于，包括：
服务器日志检索模块，用于根据检索条件读取日志文件，并发送给检索后日志处理模块；
检索后日志处理模块，用于对接收到的日志文件进行数据清洗，并按照系统时间进行排序；
日志处理后存储模块，用于汇总所有经过排序的日志文件并批量保存至数据库中。
2.根据权利要求1所述的基于记录仪平台的日志检索系统，其特征在于，服务器日志检索模块包括：
读取器，用于按照时间戳循环从服务器中根据检索条件读取日志文件，并将读取到的日志文件数据发送至第一消息通道中进行缓存；
第一消息通道，用于缓存日志文件数据；
分发器，用于从第一消息通道中读取日志文件数据，并发送至检索后日志处理模块。
3.根据权利要求1所述基于记录仪平台的日志检索系统，其特征在于，检索后日志处理模块包括：
接收单元，用于接收日志文件数据，并缓存至第二消息通道中；
第二消息通道，用于缓存日志文件数据；
处理单元，用于从第二消息通道中读取日志文件数据，并清洗掉文件内容为空和时间异常的数据，并将清洗后的数据按照系统时间进行排序；
分片缓存单元，用于缓存排序后的数据进行缓存，当缓存的日志文件数据的数量大于一定数量时，将日志文件数据存入第二消息通道并发送至日志处理后存储模块中。
4.根据权利要求1所述的基于记录仪平台的日志检索系统，其特征在于，日志处理后存储模块包括：
第三消息通道，用于接收并汇总来自检索后日志处理模块的日志文件数据；
存储单元，用于将第三消息通道中的日志文件数据批量存储至数据库中。
5.根据权利要求1所述的基于记录仪平台的日志检索系统，其特征在于，服务器日志检索模块、检索后日志处理模块、日志处理后存储模块均通过spring integration框架进行实现。
6.一种基于记录仪平台的日志检索方法，其特征在于，包括：
步骤一、根据检索条件读取日志文件；
步骤二、对接收到的日志文件进行数据清洗，并按照系统时间进行排序；
步骤三、汇总所有经过排序的日志文件并批量保存至数据库中。
7.根据权利要求6所述的基于记录仪平台的日志检索方法，其特征在于，步骤二具体为：
按照时间戳循环从服务器中根据检索条件读取日志文件，并将读取到的日志文件数据发送至第一消息通道中进行缓存；
从第一消息通道中读取日志文件数据。
8.根据权利要求6所述的基于记录仪平台的日志检索方法，其特征在于，步骤三具体为：
接收日志文件数据，并缓存至第二消息通道中；
从第二消息通道中读取日志文件数据，并清洗掉文件内容为空以及时间异常的数据，并将清洗后的数据按照系统时间进行排序；
缓存排序后的数据进行缓存，当缓存的日志文件数据的数量大于一定数量时，将日志文件数据存入第二消息通道。
9.根据权利要求6所述的基于记录仪平台的日志检索方法，其特征在于，步骤三具体为：
接收并汇总来自检索后日志处理模块的日志文件数据，存入第三消息通道中；
将第三消息通道中的日志文件数据批量存储至数据库中。
10.根据权利要求6所述的基于记录仪平台的日志检索方法，其特征在于，
步骤一、步骤二、步骤三均通过spring integration框架实现。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810333588.0A CN108520071A (zh) | 2018-04-13 | 2018-04-13 | 一种基于记录仪平台的日志检索系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810333588.0A CN108520071A (zh) | 2018-04-13 | 2018-04-13 | 一种基于记录仪平台的日志检索系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108520071A true CN108520071A (zh) | 2018-09-11 |
Family
ID=63429151
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810333588.0A Pending CN108520071A (zh) | 2018-04-13 | 2018-04-13 | 一种基于记录仪平台的日志检索系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108520071A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104298771A (zh) * | 2014-10-30 | 2015-01-21 | 南京信息工程大学 | 一种海量web日志数据查询与分析方法 |
| CN105426292A (zh) * | 2015-10-29 | 2016-03-23 | 网易（杭州）网络有限公司 | 一种游戏日志实时处理系统及方法 |
| CN107291928A (zh) * | 2017-06-29 | 2017-10-24 | 国信优易数据有限公司 | 一种日志存储系统和方法 |
| CN107610468A (zh) * | 2017-09-28 | 2018-01-19 | 航天科技控股集团股份有限公司 | 基于记录仪管理的车速密度分析系统及方法 |
-
2018
- 2018-04-13 CN CN201810333588.0A patent/CN108520071A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104298771A (zh) * | 2014-10-30 | 2015-01-21 | 南京信息工程大学 | 一种海量web日志数据查询与分析方法 |
| CN105426292A (zh) * | 2015-10-29 | 2016-03-23 | 网易（杭州）网络有限公司 | 一种游戏日志实时处理系统及方法 |
| CN107291928A (zh) * | 2017-06-29 | 2017-10-24 | 国信优易数据有限公司 | 一种日志存储系统和方法 |
| CN107610468A (zh) * | 2017-09-28 | 2018-01-19 | 航天科技控股集团股份有限公司 | 基于记录仪管理的车速密度分析系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102843396B (zh) | 一种分布式缓存系统中的数据写入及读取方法及装置 | |
| US10652265B2 (en) | Method and apparatus for network forensics compression and storage | |
| CN109542733A (zh) | 一种高可靠的实时日志收集及可视化检索方法 | |
| CN104794228B (zh) | 一种搜索结果提供方法及装置 | |
| CN104156400B (zh) | 一种海量网络流数据的存储方法及装置 | |
| CN109710731A (zh) | 一种基于Flink的数据流多向处理系统 | |
| CN106202569A (zh) | 一种基于大数据量的清洗方法 | |
| CN107943802A (zh) | 一种日志分析方法和系统 | |
| CN106991177A (zh) | 一种分布式环境下实时日志的无损采集方法及其系统 | |
| CN109145040A (zh) | 一种基于双消息队列的数据治理方法 | |
| CN107451233A (zh) | 时间属性优先的时空轨迹数据文件在辅助存储设备中的存储方法 | |
| CN106992886A (zh) | 一种基于分布式存储的日志分析方法及装置 | |
| CN106169959A (zh) | 一种日志处理装置 | |
| CN111752804A (zh) | 一种基于数据库日志扫描的数据库缓存系统 | |
| CN109947935A (zh) | 新闻事件的生成方法及装置 | |
| CN117251414B (zh) | 一种基于异构技术的数据存储及处理方法 | |
| CN102937956A (zh) | 一种智能变电站中实时报文的存储方法及其装置 | |
| CN110569399A (zh) | 基于pinpoint日志的链路构建方法 | |
| CN108520071A (zh) | 一种基于记录仪平台的日志检索系统及方法 | |
| US7139801B2 (en) | Systems and methods for monitoring events associated with transmitted electronic mail messages | |
| CN109446167A (zh) | 一种日志数据存储、提取方法及装置 | |
| CN108958667A (zh) | 一种基于分布式存储系统的数据读取方法、系统及装置 | |
| CN103095595B (zh) | 一种基于单向并行多链表的网络数据管理方法及系统 | |
| CN108509648A (zh) | 一种基于记录仪平台的日志检索系统 | |
| CN106227797A (zh) | 一种海量日志信息的处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180911 |
|
| WD01 | Invention patent application deemed withdrawn after publication |