CN110825598A

CN110825598A - 一种日志实时处理方法及系统

Info

Publication number: CN110825598A
Application number: CN201910897915.XA
Authority: CN
Inventors: 周滔
Original assignee: Wuhan Zhimei Interconnection Technology Co Ltd
Current assignee: Wuhan Zhimei Interconnection Technology Co Ltd
Priority date: 2019-09-23
Filing date: 2019-09-23
Publication date: 2020-02-21

Abstract

本发明公开了一种日志实时处理方法及系统，包括：接收日志：采用mmap的libpcap捕获日志报文；过滤报文：根据发送日志的设备IP过滤掉非法报文；解析日志：按照预设格式逐个字段解析日志；格式化日志：按照预设字段顺序拼接成标准csv格式的字符串，多线程入无锁队列；生成csv文件：根据硬件适配写csv文件的线程及多队列的数量；采用所适配的多线程多队列，从无锁队列中取出数据写入csv文件中；csv文件入库：动态监测csv文件大小，若csv文件大于预设阈值，则立即入库；对数据库表进行分区并设定索引key值；数据汇聚：按照预设条件对数据库的原始数据进行汇聚。

Description

一种日志实时处理方法及系统

技术领域

本发明涉及数据处理技术领域，具体涉及一种日志实时处理方法及系统。

背景技术

如今网络节点设备都会实时产生各种日志数据，日志大致分为两种，一是业务日志(通过计算、分析业务产生)，二是设备本身系统日志(告警日志，系统状态日志等)，这些日志一般都会实时上传到指定的服务器上，供服务器分析、计算、整合数据，这样可实时了解各个网络节点设备的业务状况，设备状态。这些数据也会被存放到服务器上，以便后续查询、导出以及进一步的业务展开。

目前大多日志数据采用下述两种处理方式：

1、收到日志解析后直接写入文件，直接写文件对于日志数据解析后写入比较简单方便不必设计过多的代码；

2、写行式数据库方式，即收到日志解析后通过接口操作数据库，插入到数据库(基本上都是行式数据库)；写行式数据库方式，目前都是写mysql,postgres等，这种操作方便，接口丰富，网上资料较多；

上述两种处理方式存在的缺陷为：

1、第一种处理方式的缺点为：后面查询数据复杂繁琐，获取数据实时性差，不能做实时性很强的业务；

2、第二种处理方式的缺点为：当一张表的数据量超过百万量级以后，查询非常慢，对于实时展示曲线、柱状图等业务体验非常差；

3、上述两种处理方式没有根据硬件适配处理日志的线程和队列数，最大程度保证数据不丢失，同时也没有对csv文件进行动态的监测保证入库效率。

发明内容

针对上述问题中存在的不足之处，本发明提供一种日志实时处理方法及系统。

本发明公开了一种日志实时处理方法，包括：

接收日志：

采用mmap的libpcap捕获日志报文；

过滤报文：

根据发送日志的设备IP过滤掉非法报文；

解析日志：

按照预设格式逐个字段解析日志；

格式化日志：

按照预设字段顺序拼接成标准csv格式的字符串，多线程入无锁队列；

生成csv文件：

根据硬件适配写csv文件的线程及多队列的数量；

采用所适配的多线程多队列，从所述无锁队列中取出数据写入csv文件中；

csv文件入库：

动态监测所述csv文件大小，若csv文件大于预设阈值，则立即入库；

对数据库表进行分区并设定索引key值；

数据汇聚：

按照预设条件对数据库的原始数据进行汇聚。

作为本发明的进一步改进，在所述接收日志中：

所述libpcap采用零拷贝技术，支持多线程。

作为本发明的进一步改进，在所述生成csv文件中：

从所述无锁队列中取出的数据采用写内存文件系统方案写入csv文件中。

作为本发明的进一步改进，在所述csv文件入库中：

若csv文件不大于预设阈值，则间隔预设的时间入库一次；

若csv文件为空，则删除空文件。

作为本发明的进一步改进，在所述csv文件入库中：

根据日志数据量的大小，对数据库表进行分区；

根据业务查询条件，设定索引key值。

本发明还公开了一种日志实时处理系统，包括：

接收日志模块，用于：

采用mmap的libpcap捕获日志报文；

过滤报文模块，用于：

根据发送日志的设备IP过滤掉非法报文；

解析日志模块，用于：

按照预设格式逐个字段解析日志；

格式化日志模块，用于：

生成csv文件模块，用于：

根据硬件适配写csv文件的线程及多队列的数量；

csv文件入库模块，用于：

对数据库表进行分区并设定索引key值；

数据汇聚模块，用于：

按照预设条件对数据库的原始数据进行汇聚。

作为本发明的进一步改进，在所述接收日志模块中：

所述libpcap采用零拷贝技术，支持多线程。

作为本发明的进一步改进，在所述生成csv文件模块中：

作为本发明的进一步改进，在所述csv文件入库模块中：

若csv文件不大于预设阈值，则间隔预设的时间入库一次；

若csv文件为空，则删除空文件。

作为本发明的进一步改进，在所述csv文件入库模块中：

根据日志数据量的大小，对数据库表进行分区；

根据业务查询条件，设定索引key值。

与现有技术相比，本发明的有益效果为：

本发明采用mmap的libpcap捕获日志报文，libpcap采用零拷贝技术，减少拷贝次数；同时支持多线程，大幅度提高处理效率；

本发明根据发送日志的设备IP过滤掉非法报文，减少不必要的解析判断，提高处理效率；

本发明采用无锁队列对解析的日志数据进行数据缓冲，减少锁开销，极大的提高写入、读取效率；

本发明根据硬件适配写csv文件的线程及多队列的数量，保证数据丢掉的几率，同时也能最大程度上避免cpu和内存浪费；

本发明入库之前先监测csv文件的大小，保证csv文件大小在最合适的范围，同时过滤为空的csv文件，这样保证高效的入数据库；

本发明按照一定的条件对数据库的原始数据进行汇聚，有效的缩小了数据集，保证最快的查询到日志和展示结果。

本发明平台移植性较好，数据解析入库效率高，日志展示查询快，用户体验好，同时为后续业务的展开，扩展提供良好的支撑。

附图说明

图1为本发明一种实施例公开的日志实时处理方法的流程图；

图2为本发明一种实施例公开的日志实时处理系统的框架图；

图3为图1、2中接收日志的示意图；

图4为图1、2中数据入队出队示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图对本发明做进一步的详细描述：

如图1所示，本发明提供一种日志实时处理方法，包括：

S1、接收日志：

如图3所示，本发明采用mmap的libpcap捕获日志报文，可达每秒5万的日志量；libpcap采用零拷贝技术(zero-copy)，减少拷贝次数；同时支持多线程，大幅度提高处理效率。

S2、过滤报文：

根据发送日志的设备IP过滤掉非法报文，减少不必要的解析判断，提高处理效率；具体的：

事先建立一个配置文件，配置合法发送日志设备的IP，程序起来时加载到内存；收日志时，剥报文取出源IP进行匹配，匹配到了进入下一个流程，否则直接丢弃掉该报文。

S3、解析日志：

按照预设格式逐个字段解析日志，解析的日志填充指定的数据结构(无锁队列数据结构)中。

S4、格式化日志：

按照预设字段顺序拼接成标准csv格式的字符串，多线程入无锁队列；本发明采用无锁队列对解析的日志数据进行数据缓冲，减少锁开销，极大的提高写入、读取效率。

S5、生成csv文件：

此部分主要工作是从无锁队列中取出数据写入csv文件中，如果数据量比较大，那么会产生生产者大于消费者的情况，无锁队列很快就会溢出，则会导致数据丢失。为了解决这个问题此部分从两个方便设计和优化：

一是写内存文件系统方案(tmpfs挂载)，因为理论上数据写入内存的效率明显高于写磁盘文件；

二是根据硬件适配写csv文件的线程及多队列的数量，采用所适配的多线程多队列读取无锁队列的数据并写入csv文件；

数据入队出队模型如图4所示。

S6、csv文件入库：

此时已经生成了标准的csv文件，csv文件如果过大或者过小，会影响入库的效率；即，过大入库比较缓慢，过小则会产生大量零散文件，加重clickhouse(一种列式数据库)的负担；

为此，本发明加入监测机制，即：

设定一个阈值；

动态监测csv文件大小；

若csv文件大于预设阈值，则立即入库，并新建csv文件用于写入；若文件不大于预设阈值，则则间隔预设的时间(1min)入库一次；

若csv文件为空，则删除空文件。

具体为：

csv文件大小为0时直接过滤删掉，文件大小小于500M时一分钟入库一次，若超过则立即入库。

在csv文件入库前：

根据日志数据量的大小(可以是小时，天，月视实际情况而定)，对数据库表进行分区；避免随着时间的推移，形成过多的表，同时合理的分区将会让查询数据更高效；

索引的key值确定主要根据业务查询而定，查询语句的条件字段一般设定为索引key值，这样会加快查询的速率。

S7、数据汇聚：

按照预设条件对数据库的原始数据进行汇聚；

具体为：

日志中的流量，包数，及其他需要计算的字段我们可以提前进行聚合，聚合的条件可以根据具体的业务而定(比如根据五元组聚合等)，聚合可以有效地缩小数据集，避免查询时做临时聚合计算(数据量庞大时临时聚合计算过程缓慢)，因为数据集的大小很大程度上决定了查询的效率，这样前端展示日志数据的速率会更快，体验效果会更好。

如图2所示，本发明提供一种日志实时处理系统，包括：

接收日志模块，用于实现上述S1；

过滤报文模块，用于实现上述S2；

解析日志模块，用于实现上述S3；

格式化日志模块，用于实现上述S4；

生成csv文件模块，用于实现上述S5；

csv文件入库模块，用于实现上述S6；

数据汇聚模块，用于实现上述S7。

本发明获取cpu的个数，根据个数得到合适的线程数和队列数，这样能保证数据丢掉的几率，同时也能最大程度上避免cpu和内存浪费；入库之前先监测csv文件的大小，保证csv文件大小在最合适的范围，同时过滤为空的csv文件，这样保证高效的入数据库；按照一定的条件对数据库的原始数据进行汇聚，有效的缩小了数据集，保证最快的查询到日志和展示结果；同时，平台移植性较好，数据解析入库效率高，日志展示查询快，用户体验好，同时为后续业务的展开，扩展提供良好的支撑。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种日志实时处理方法，其特征在于，包括：

接收日志：

采用mmap的libpcap捕获日志报文；

过滤报文：

根据发送日志的设备IP过滤掉非法报文；

解析日志：

按照预设格式逐个字段解析日志；

格式化日志：

生成csv文件：

根据硬件适配写csv文件的线程及多队列的数量；

csv文件入库：

对数据库表进行分区并设定索引key值；

数据汇聚：

按照预设条件对数据库的原始数据进行汇聚。

2.如权利要求1所述的方法，其特征在于，在所述接收日志中：

所述libpcap采用零拷贝技术，支持多线程。

3.如权利要求1所述的方法，其特征在于，在所述生成csv文件中：

4.如权利要求1所述的方法，其特征在于，在所述csv文件入库中：

若csv文件不大于预设阈值，则间隔预设的时间入库一次；

若csv文件为空，则删除空文件。

5.如权利要求1所述的方法，其特征在于，在所述csv文件入库中：

根据日志数据量的大小，对数据库表进行分区；

根据业务查询条件，设定索引key值。

6.一种日志实时处理系统，其特征在于，包括：

接收日志模块，用于：

采用mmap的libpcap捕获日志报文；

过滤报文模块，用于：

根据发送日志的设备IP过滤掉非法报文；

解析日志模块，用于：

按照预设格式逐个字段解析日志；

格式化日志模块，用于：

生成csv文件模块，用于：

根据硬件适配写csv文件的线程及多队列的数量；

csv文件入库模块，用于：

对数据库表进行分区并设定索引key值；

数据汇聚模块，用于：

按照预设条件对数据库的原始数据进行汇聚。

7.如权利要求1所述的系统，其特征在于，在所述接收日志模块中：

所述libpcap采用零拷贝技术，支持多线程。

8.如权利要求1所述的系统，其特征在于，在所述生成csv文件模块中：

9.如权利要求1所述的系统，其特征在于，在所述csv文件入库模块中：

若csv文件不大于预设阈值，则间隔预设的时间入库一次；

若csv文件为空，则删除空文件。

10.如权利要求1所述的系统，其特征在于，在所述csv文件入库模块中：

根据日志数据量的大小，对数据库表进行分区；

根据业务查询条件，设定索引key值。