CN115629944B - 一种容器日志的处理方法和日志处理系统 - Google Patents

Abstract

本发明公开了一种容器日志的处理方法和日志处理系统，属于电数字数据处理技术领域，所述处理方法包括：拦截写类系统调用，获得第一数据；基于日志的特征，获取匹配模板；根据所述匹配模板，判断所述第一数据是否为日志数据；若是，将所述日志数据保存到环形缓冲区。通过拦截容器写类系统调用的第一数据，并通过匹配模块筛选出日志数据、通过环形缓冲区转移到用户态，方便进行日志的后续处理，减少日志在内存中的拷贝次数、并提高主机资源的利用率。

Description

一种容器日志的处理方法和日志处理系统

技术领域

本发明涉及电数字数据处理技术领域，具体涉及一种容器日志的处理方法和日志处理系统。

背景技术

在Kubernetes容器集群中，部署的容器化应用通常是基于微服务架构的。这些应用的各个模块以容器形式分散在各个主机节点上。微服务架构的特点决定了这些容器可以进行任意的水平扩展、也可以在主机节点间相互迁移，这导致了每个容器的生命周期相对于传统应用大为缩短。这种场景下，容器日志往往分散于各个节点，甚至同一个应用的日志会随着容器的迁移而留在不同的节点上，传统的日志分析方式较难处理这类碎片化的日志。

因此Kubernetes提出了“集群级日志”（cluster-level logging）的概念，集群级日志架构要求集群内（或云端）存在一个统一的后端，负责存储、分析和查询日志。

出于容器安全性与隔离性的考虑，通常情况下容器内文件系统与主机文件系统相互隔离，容器间的文件系统也相互隔离。因此容器内应用无法将日志文件直接输出到主机上，位于主机内的日志处理模块也无法直接获取到应用日志。

在kubernetes+docker的容器集群场景下，docker采用了管道转发的机制，将容器内部应用的日志输出重定向到可以读写主机文件系统的containerd-shim进程（该进程处于容器和主机之间，负责控制容器进程的守护进程），由containerd-shim进程将日志写入主机的日志目录中。而日志处理模块会挂载该日志目录，直接访问主机文件系统读取容器日志。这种以日志文件作为中转进行的跨文件系统日志转发操作存在以下的性能问题：

总体CPU使用率高：为了跨越容器和主机文件系统间的隔离，日志需要经过containerd-shim的转发才能被写入主机的页面缓存。containerd-shim对日志文件的转发操作引入了额外的内存数据复制开销，使得日志转发过程的CPU使用率大幅增加。

内存缓冲区占用大：除了应用和日志处理模块本身需要缓存日志内容外，内核管道缓冲区、containerd-shim用户态内存缓冲区以及主机日志文件页面缓存都是由这套日志收集转发系统引入的额外开销。

磁盘IO耗时较多：随着容器日志转发使用的内存缓冲区大小不断增长，最终Linux系统会将页面缓存中的日志页回写到磁盘上的日志文件中，而磁盘IO的过程耗时较多，可能会影响到其他业务应用的IO执行。

发明内容

针对现有技术中存在的上述技术问题，本发明提供一种容器日志的处理方法和日志处理系统，基于eBPF截取容器日志，并通过环形缓冲区转移到用户态，减少日志在内存中的拷贝次数、并提高主机资源的利用率。

本发明公开了一种容器日志的处理方法，所述处理方法包括：拦截写类系统调用，获得第一数据；基于日志的特征，获取匹配模板；根据所述匹配模板，判断所述第一数据是否为日志数据；若是，将所述日志数据保存到环形缓冲区。

优选的，在用户态，从所述环形缓冲区提取日志数据，并进行代理转发。

优选的，构建匹配模板的方法包括：

汇总多个日志来源的日志格式及其特征，构建日志匹配模板，其中，所述匹配模板的长度小于32字节。

优选的，第一数据与匹配模板的匹配规则包括：模糊匹配、精确字符匹配和IPv4地址匹配；

其中，所述模糊匹配包括字母模糊匹配、数字模糊匹配和字符模糊匹配。

优选的，构建匹配缓存的方法包括：

获取第一数据的第一文件描述符和发起所述写类系统调用/调用方的第一进程号；

建立所述第一进程号和第一文件描述符与第一数据类型的第一映射关系，获得匹配缓存，所述第一数据类型包括日志数据和非日志数据；

拦截写类系统调用，获得第二数据及第二数据的第二文件描述符和调用方的第二进程号；

根据第二描述符和第二进程号，判断所述第二数据是否与所述匹配缓存相匹配；

若匹配，根据第一数据类型，获得所述第二数据的类型；

若不匹配，通过所述匹配模板获得所述第二数据的类型。

优选的，维护匹配缓存的方法：

拦截关闭类系统调用，获得第三数据；

获取第三数据的第三文件描述符和调用方的第三进程号；

判断所述第三进程号是否关闭；

若所述第三进程号关闭，通过所述第三进程号在所述匹配缓存中进行检索，并清除所检索到的第一映射关系；

若所述第三进程号不关闭、且所述第三文件描述符关闭，通过所述第三进程号和第三文件描述符在所述匹配缓存中进行检索，并清除所检索到的第一映射关系。

优选的，通过映射缓存维护匹配缓存的方法：

以第一数据的第一文件描述符为键值、第一进程号为索引，建立第一进程号和第一文件描述符的第二映射关系，获得映射缓存；

若所述第三进程号关闭，判断所述第三进程号与所述第二映射关系的索引是否匹配；

若匹配，根据映射缓存获取第三进程号相应的第三文件描述符，并删除相应的第一映射关系和所匹配的第二映射关系；

若第三进程号不关闭、所述第三文件描述符关闭、且第三文件描述符与第二映射关系相匹配，清除所匹配的第二映射关系和相应的第一映射关系。

优选的，所述关闭类系统调用包括：close、kill、exit或exit_group；

所述写类系统调用包括：write、writev、pwrite或pwritev。

优选的，第一数据缓存的方法：

通过基于eBPF的写类系统调用的入口挂载函数，获得第一数据；

通过基于eBPF的写类系统调用的出口挂载函数，根据第一数据和匹配模板获得日志数据，将日志数据写入日志环形缓冲区、并更新写入时间；

通过基于eBPF的sched_switch挂载函数，判断是满足以下条件：日志环形缓冲区有数据、且写入时间与当前时间的间隔超过刷新时间；

若满足，通过sched_switch挂载函数写入空事件、并唤醒用户态的回调函数；

通过所述回调函数，读取环形缓冲区的日志数据。

本发明还提供一种日志处理系统，用于实现上述日志处理方法，所述日志处理系统包括：拦截模块、匹配模块和写入模块，

所述拦截模块用于基于eBPF,拦截写类系统调用，获得第一数据；

所述匹配模块用于根据匹配模板，从所述第一数据中获得日志数据；

所述写入模块用于将日志数据保存到环形缓冲区。

与现有技术相比，本发明的有益效果为：

通过拦截容器写类系统调用的第一数据，并通过匹配模块筛选出日志数据、通过环形缓冲区转移到用户态，方便进行日志的后续处理，减少日志在内存中的拷贝次数、并提高主机资源的利用率。

附图说明

图1是本发明的容器日志的处理方法流程图；

图2是根据进程号构建匹配缓存的方法流程图；

图3是维护匹配缓存的方法流程图；

图4是日志处理系统的逻辑框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图对本发明做进一步的详细描述：

一种容器日志的处理方法，如图1所示，所述处理方法包括：

步骤S1：基于eBPF拦截写类系统调用，获得第一数据。其中，所述写类系统调用包括：write、writev、pwrite或pwritev。

步骤S2：基于日志的特征，获取日志的匹配模板。日志通常具有特定的特征，如格式特征，匹配模板反映了日志的特征，用于第一数据的过滤和筛选。

步骤S3：根据所述匹配模板，判断所述第一数据是否为日志数据。

若是，执行步骤S4：将所述日志数据保存到环形缓冲区，执行步骤S5。

若否，丢弃所述第一数据。

步骤S5：在用户态，从环形缓冲区读取日志数据，并进行后续处理。例如进行日志数据的转存、日志代理转发等。在一个具体实施例中，通过节点的日志代理容器组（POD）进行后续处理包括：监听并捕获节点上日志文件的更新、进行日志代理处理和转发等，但不限于此。

通过拦截容器写类系统调用的第一数据，通过匹配模块筛选出日志数据、并通过环形缓冲区转移到用户态，方便进行日志的后续处理，减少日志在内存中的拷贝次数、并提高主机资源的利用率。

在一个具体实施例中，汇总多个日志来源的日志格式及其特征，构建日志匹配模板，参见表1，但不限于此。所述特征可以包括开头段的特征，包括日期特征、标签特征、字段特征和IP特征等。由于eBPF在较低版本的内核（Linux 5.3以前）中需要将定长有界循环完全展开，且在非特权模式下整个eBPF程序最多使用4096个汇编指令。这些限制使得在eBPF程序中无法实现完整的正则匹配功能，因此限定了匹配模板的长度小于32字节。保证了匹配模块的执行效率，确保不会影响其他系统调用的正常执行。

表1

表1中还包括匹配字符，该匹配字符的说明如表2，包括模糊匹配、精确字符匹配和IPv4地址匹配，其中所述模糊匹配包括字母模糊匹配、数字模糊匹配和字符模糊匹配。

表2

容器应用如Nginx的访问日志内会出现较多的以点分十进制表示的IPv4地址，其中四个十进制数字的长度是不固定的，无法采用逐字符匹配的规则。本发明采用了基于DFA的匹配算法进行IPv4地址的匹配：通过IPv4的敏感字符串进行模糊匹配。

由于一台主机上通常同时运行多个Pod，每个Pod的应用都可能使用不同的日志输出格式，因此日志匹配的模板不是全局统一设定的。通常情况下Pod内的同一应用进程会使用相同的日志输出格式，因此可以根据进程号进行匹配。用户可以针对不同应用的日志特征，根据日志格式编写不同的日志匹配模板，并通过进程号、进程名指定每个进程需要应用的日志匹配模板。

因此，本发明还包括根据进程号构建匹配缓存的方法，如图2：

步骤201：获取第一数据的第一件描述符和发起所述写类系统调用/调用方的第一进程号。可以从系统调用的入参中获得文件描述符，通过eBPF辅助函数获得进程号。

步骤202：建立所述第一进程号和第一文件描述符与第一数据类型的第一映射关系，获得匹配缓存（hashmap）。所述类型包括日志数据和非日志数据。例如，以进程号和文件描述符为索引，第一数据类型为键值，具体的-1表示为非日志；再如，以进程号为索引、文件描述符和类型为字段，但不限于此。

步骤203：拦截写类系统调用，获得第二数据及其第二文件描述符和调用方的第二进程号。

步骤204：根据第二描述符和第二进程号，判断所述第二数据是否与所述匹配缓存相匹配。

若匹配，执行步骤205：根据第一数据类型，获得所述第二数据的类型。即第二数据的第二进程号、第二描述符与第一数据的相同，则说明第二数据的类型与第一数据相同。

若不匹配，执行步骤206：通过所述匹配模板，获得所述第二数据的类型，即是否为日志数据。

例如，在匹配缓存匹配到后，若类型为-1,则第二数据为非日志数据；若类型为非-1，则第二数据为日志数据。通过匹配缓存，有利的减少CPU开支、提高匹配效率。

业务应用在执行的过程中，不可避免的关闭部分文件描述符或进程。因此需要对匹配缓存进行维护，及时清理缓存；避免进程号和文件描述符复用时与已有的缓存冲突。

实施例1

如图3，维护匹配缓存的方法包括：

步骤301：拦截关闭类系统调用，获得第三数据。所述关闭类系统调用包括：close、kill、exit或exit_group。

步骤302：获取第三数据的第三文件描述符和调用方的第三进程号。

步骤303：判断所述第三进程号是否关闭。

若所述第三进程号关闭，执行步骤304：通过所述第三进程号在所述匹配缓存中进行检索，并清除所检索到的第一映射关系。即消除第三进程号相关联的文件描述符、类型的第一映射关系。

例如，exit或exit_group系统调用将关闭第三进程；Kill系统调用由其他进程发起的，挂载函数需要从参数中获取目标进程的进程号，并判断信号是否为终止信号（SIGTERM、SIGKILL信号），若是将使第三进程停止。

若所述第三进程号不关闭、且所述第三文件描述符关闭，执行步骤305：通过所述第三进程号和第三文件描述符在所述匹配缓存中进行检索，并清除所检索到的第一映射关系。例如，close系统调用时，文件描述符被关闭，通常仅删除一条记录。

实施例2

通过映射缓存维护匹配缓存：

步骤401：以第一数据的第一文件描述符为键值、调用方的第一进程号为索引，建立第一进程号和第一文件描述符的第二映射关系，获得映射缓存。映射缓存用于维护进程号及其所有文件描述符的映射，与匹配缓存相比，更加精简，且适应于缓存中键-值的存储格式。

若所述第三进程号关闭，执行步骤402：判断所述第三进程号与所述第二映射关系的索引是否匹配。

若匹配，执行步骤403：根据映射缓存获取第三进程号相应的第三文件描述符，删除相应的第一映射关系（匹配缓存）和所匹配的第二映射关系（映射缓存）。即根据通过第三进程号在映射缓存中查找所有相关联的文件描述符，并根据查找到的结果清除第一映射关系和第二映射关系。

若第三进程号不关闭、所述第三文件描述符关闭、且第三文件描述符与第二映射关系相匹配，执行步骤404：在映射缓存中删除所匹配的第三进程号与第三文件描述符的第二映射关系、在匹配缓存中删除相应的第一映射关系。

若第三进程号或第三文件描述符与第二映射关系不匹配时，丢弃第三文件描述符和第三进程号。

通过映射缓存，利于在进程退出时找到进程使用的所有文件描述符，并清除所对应的匹配缓存。

实施例3

本实施例，对第一数据进行缓存：

步骤501：通过基于eBPF的写类系统调用的入口挂载函数，获得第一数据。

步骤502：通过基于eBPF的写类系统调用的出口挂载函数，根据第一数据和匹配模板获得日志数据，将日志数据写入日志环形缓冲区、并更新写入时间；

步骤503：通过基于eBPF的sched_switch挂载函数，判断是满足以下条件：日志环形缓冲区有数据、且写入时间与当前时间的间隔超过刷新时间。内核执行上下文切换时会触发该函数挂载函数，每秒钟会触发约一万次，根据执行次数可作为粗略的定时触发机制。

若满足，执行步骤504：通过sched_switch挂载函数写入空事件、并唤醒用户态的回调函数，执行步骤505；

若不满足，等待下一次sched_switch系统调用。

步骤505：通过所述回调函数，读取环形缓冲区的日志数据。

通过对第一数据进行缓存，能够减少日志的读取次数，减少系统开支。

实施例4

本实施例提供一种日志处理系统，用于实现上述日志处理方法，如图4所示，包括拦截模块1、匹配模块2和写入模块3，

拦截模块1用于基于eBPF,拦截写类系统调用，获得第一数据；

匹配模块2用于根据匹配模板，从所述第一数据中获得日志数据；

写入模块3用于将日志数据保存到环形缓冲区。

所述日志处理系统还包括代理模块5和缓存管理模块4，代理模块5用于在用户态从环形缓冲区中读取日志数据，并进行日志数据的代理转发；缓存管理模块4用于管理匹配缓存和/或映射缓存。

本发明，eBPF技术应用于容器日志的处理，提高了日志处理的效率、减少了日志处理的性能开销；通过匹配模板，对拦截的第一数据进行过滤和筛选，过滤掉非日志的数据，可通过进程号、进程名、日志特征等多角度进行日志匹配；针对日志匹配耗时较多的问题，通过匹配缓存减少性能开销，通过映射缓存对匹配缓存进行维护，及时清理过期缓存。

在一个具体实施例中，针对CPU使用率、内存使用量、磁盘IO以及Nginx响应延迟这几种指标，我们在5k和10kQPS的日志压力下对本发明的日志处理方法部署了日志代理系统，并与现有的Rsyslog日志代理工具进行了性能对比实验以及消融实验。性能对比实验的结果表明本发明的日志代理系统在绝大部分场景下性能胜过了Rsyslog日志代理工具，能够节省约20-40%的CPU使用率和80-130MB的内存。消融实验的结果表明缓存模块具有可接受的内存和磁盘IO开销，同时可以较大程度的节省CPU利用率、大幅降低对Nginx响应延迟的影响。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种容器日志的处理方法，其特征在于，所述处理方法包括：

拦截写类系统调用，获得第一数据；

基于日志的特征，获取匹配模板；

根据所述匹配模板，判断所述第一数据是否为日志数据；

若是，将所述日志数据保存到环形缓冲区;

还包括构建匹配缓存的方法：

获取第一数据的第一文件描述符和发起所述写类系统调用/调用方的第一进程号；

建立所述第一进程号和第一文件描述符与第一数据类型的第一映射关系，获得匹配缓存，所述第一数据类型包括日志数据和非日志数据；

拦截写类系统调用，获得第二数据及第二数据的第二文件描述符和调用方的第二进程号；

根据第二描述符和第二进程号，判断所述第二数据是否与所述匹配缓存相匹配；

若匹配，根据第一数据类型，获得所述第二数据的类型；

若不匹配，通过所述匹配模板获得所述第二数据的类型。

2.根据权利要求1所述的处理方法，其特征在于，还包括维护匹配缓存的方法：

拦截关闭类系统调用，获得第三数据；

获取第三数据的第三文件描述符和调用方的第三进程号；

判断所述第三进程号是否关闭；

若所述第三进程号关闭，通过所述第三进程号在所述匹配缓存中进行检索，并清除所检索到的第一映射关系；

若所述第三进程号不关闭、且所述第三文件描述符关闭，通过所述第三进程号和第三文件描述符在所述匹配缓存中进行检索，并清除所检索到的第一映射关系。

3.根据权利要求2所述的处理方法，其特征在于，还包括通过映射缓存维护匹配缓存的方法：

以第一数据的第一文件描述符为键值、第一进程号为索引，建立第一进程号和第一文件描述符的第二映射关系，获得映射缓存；

若所述第三进程号关闭，判断所述第三进程号与所述第二映射关系的索引是否匹配；

若匹配，根据映射缓存获取第三进程号相应的第三文件描述符，并删除相应的第一映射关系和所匹配的第二映射关系；

若第三进程号不关闭、所述第三文件描述符关闭、且第三文件描述符与第二映射关系相匹配，清除所匹配的第二映射关系和相应的第一映射关系。

4.根据权利要求3所述的处理方法，其特征在于，所述关闭类系统调用包括：close、kill、exit或exit_group；

所述写类系统调用包括：write、writev、pwrite或pwritev。

5.根据权利要求1所述的处理方法，其特征在于，

在用户态，从所述环形缓冲区提取日志数据，并进行代理转发。

6.根据权利要求1所述的处理方法，其特征在于，构建匹配模板的方法包括：

汇总多个日志来源的日志格式及其特征，构建日志匹配模板，其中，所述匹配模板的长度小于32字节。

7.根据权利要求6所述的处理方法，其特征在于，第一数据与匹配模板的匹配规则包括：模糊匹配、精确字符匹配和IPv4地址匹配；

其中，所述模糊匹配包括字母模糊匹配、数字模糊匹配和字符模糊匹配。

8.根据权利要求1所述的处理方法，其特征在于，还包括第一数据缓存的方法：

通过基于eBPF的写类系统调用的入口挂载函数，获得第一数据；

通过基于eBPF的写类系统调用的出口挂载函数，根据第一数据和匹配模板获得日志数据，将日志数据写入日志环形缓冲区、并更新写入时间；

通过基于eBPF的sched_switch挂载函数，判断是满足以下条件：日志环形缓冲区有数据、且写入时间与当前时间的间隔超过刷新时间；

若满足，通过sched_switch挂载函数写入空事件、并唤醒用户态的回调函数；

通过所述回调函数，读取环形缓冲区的日志数据。

9. 一种日志处理系统，其特征在于，用于实现如权利要求1-8任一项所述的处理方法，所述日志处理系统包括：拦截模块、匹配模块和写入模块，

所述拦截模块用于基于eBPF，拦截写类系统调用，获得第一数据；

所述匹配模块用于根据匹配模板，从所述第一数据中获得日志数据；

所述写入模块用于将日志数据保存到环形缓冲区。

Images