CN115269531A - 一种基于akka框架的云原生日志收集方法和系统 - Google Patents

Abstract

本发明公开了一种基于akka框架的云原生日志收集方法和系统，所述方法包括：构建akka框架的日志同步服务，并将所述日志同步服务植入到应用容器中，利用akka框架的actor模型构建日志事件传递方法；利用所述akka框架的actor模型监控系统日志事件，并判断是否存在新增日志事件；构建文件队列，监控的日志事件判断当前存在新增日志事件的文件名是否存在于所述文件队列中，若存在于所述文件队列中，则将所述文件名放入到所述文件队列中；所述方法通过判断云日志中新增日志事件的文件名是否在所述文件修改队列中，若存在则将新增的日志同步到数据库，否则释放否则释放空闲资源和链接，从而大幅降低日志收集系统的资源消耗。

Description

一种基于akka框架的云原生日志收集方法和系统

技术领域

本发明涉及日志收集技术领域，特别涉及一种基于akka框架的云原生日志收集方法和系统。

背景技术

目前云原生场景下通过spark on kubernetes, flink on kubernetes产生日志，存在于kubernetes 容器中，产生的日志将随着容器结束而清除。针对上述云原生场景下的现有日志收集方法和系统主要为elasticSearch + logstash + kibana架构的技术方案，上述在云原生场景下的日志收集系统架构中logstash需要占用大量的资源从而使得架构比较沉重，由于logstash缺少消息队列缓存，从而容易导致数据丢失，现有技术系统中需要维护多个服务，并且通过上述现有技术收集到日志时，后续通过kibana进行查询时无法保证查询结果的顺序。

发明内容

本发明其中一个发明目的在于提供一种基于akka框架的云原生日志收集方法和系统，所述方法和系统在系统内部配置了调度任务，并且配置以文件名为匹配对象的的文件队列，通过判断云日志中新增日志事件的文件名是否在所述文件修改队列中，若存在则将新增的日志的同步到HDFS中，否则释放空闲资源和链接，从而大幅降低日志收集系统的资源消耗。

本发明另一个发明目的在于提供一种基于akka框架的云原生日志收集方法和系统，所述方法和系统设置的文件队列设置了超时事件，若当前当前文件在原生云中超过预设时间阈值未生成修改文件事件的日志，则直接触发超时事件，将之前建立的当前文件和HDFS的链接和文件描述符释放，并将当前文件移出所述文件队列，从而大幅降低日志收集系统的资源占用。

本发明另一个发明目的在于提供一种基于akka框架的云原生日志收集方法和系统，所述方法和系统监控文件的父目录，对于父目录可以被看成是文件路径，针对父目录下文件所发生的修改日志进行增量队列同步，因此在避免传统的logstash缺少消息队列缓存，从而容易导致数据丢失同时，还可以因为仅监控文件路径而实现无入侵的方式进行日志同步。

本发明另一个发明目的在于提供一种基于akka框架的云原生日志收集方法和系统，所述方法和系统采用固定大小的缓冲区数据流处理的方式进行日志同步，并且用换行符将文件以行为粒度切割到HDFS中，从而实现低延迟的日志同步操作。

为了实现至少一个上述发明目的，本发明进一步提供一种基于akka框架的云原生日志收集方法，所述方法包括：

构建akka框架的日志同步服务，并将所述日志同步服务植入到应用容器中，利用akka框架的actor模型构建日志事件传递方法；

利用所述akka框架的actor模型监控系统日志事件，并判断是否存在新增日志事件；

在系统内部构建文件队列，监控的日志事件判断当前存在新增日志事件的日志文件名是否存在于所述文件队列中，若存在于所述文件队列中，执行对应日志文件的同步，否则将所述日志文件名放入到所述文件队列中；

创建Hadoop Configuration对象，并根据所述Hadoop Configuration对象Hadoop文件系统并将Hadoop Configuration对象传入到Hadoop文件系统中；

利用Akka HdfsFlow连接HDFS，创建用于日志文件传输的数据管道，执行每一变化文件日志同步到HDFS中。

根据本发明其中一个较佳实施例，所述文件队列根据监控到的新增日志事件进行内部调度,所述内部调度方法包括：利用actor模型监控每一日志事件，并根据监控到的日志事件识别存在文件行为目标文件的日志文件名，将所述目标文件的日志文件名和预先构建的文件队列进行匹配，若匹配到所述文件队列中存在所述目标文件的日志文件名，则执行当前目标文件日志的同步操作。

根据本发明另一个较佳实施例，若利用所述actor模型监控到每一日志事件并识别日志事件对应的目标文件的日志文件名后，在所述文件队列中不存在所述目标文件的日志文件名，则将所述目标文件的日志文件名放入到所述文件队列中，进一步将所述文件队列中的目标文件日志执行同步操作。

根据本发明另一个较佳实施例，所述内部调度操作还包括：在系统内部设置超时阈值，计算当前目标文件日志文件名在所述文件队列中的时长，若利用所述actor模型监控到目标文件名新日志事件的时间超过所述超时阈值，则触发超时事件，进一步将所述目标文件日志文件名移出所述文件队列，且释放当前文件和HDFS的链接，并释放所述目标文件的文件描述符。

根据本发明另一个较佳实施例，所述内部调度方法包括：在系统内部维护一个多层级的文件结构，并通过Akka Flow的file-monitor监听所述多层级的文件结构的父级目录，若当前父级目录下文件存在变化，则根据所述父级目录下对应目标文件的文件路径识别变化的目标文件日志文件名，并将所述目标文件日志文件名和对应的文件队列匹配。

根据本发明另一个较佳实施例，所述日志同步传输方法包括：利用所述Akka Flow获取存在变化的目标日志数据流，将所述目标日志数据流存储到固定大小的缓冲区，利用换行符将缓冲去的目标日志数据流进行切割，切割后按行将所述目标日志数据流存储到所述HDFS上。

根据本发明另一个较佳实施例，将所述日志服务植入到应用容器中，在所述应用容器启动后，通过日志请求返回的消息判断日志服务是否就绪，在应用启动先完成所述日志服务就绪。

根据本发明另一个较佳实施例，在应用容器启动后，捕获kill信号，在容器接收所述kill信号后，关闭JAVA虚拟机，并且在程序结束后，使用所述kill信号关闭日志服务。

为了实现至少一个上述发明目的，本发明进一步提供一种基于akka框架的云原生日志收集系统，所述系统执行上述一种基于akka框架的云原生日志收集方法。

本发明进一步提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被处理器执行上述一种基于akka框架的云原生日志收集方法。

附图说明

图1显示的是本发明一种基于akka框架的云原生日志收集方法的流程示意图。

图2显示的是本发明内部调度的流程示意图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

请结合图1-图2，本发明公开了一种基于akka框架的云原生日志收集方法和系统，所述方法和系统基于akka框架的actor模型的通讯机制实现的日志收集方法。所述方法主要包括如下步骤：针对应用容器中植入日志服务，所述日志服务包括日志收集和日志同步服务，该服务可以在容器启动时，自动收集应用文件的行为信息对应的日志信息。需要说明的是，由于每个应用文件在执行包括删除、修改和新增等变化操作时，都会生成对应的日志事件，日志事件对应的日志文件记载了目标应用文件的行为。进一步将触发日志事件的目标文件日志同步到HDFS中，其中HDFS为Hadoop的分布式文件系统。

值得一提的是，本发明所述日志收集方法和系统设置了消息队列，所述消息队列用于判断文件日志是否是队列中目标文件日志，若是队列中目标文件日志，则执行对应目标文件日志的同步操作。本发明中通过所述akka框架的actor模型和文件建立通讯机制，所述actor模型包括状态（state），行为（Behavior）和邮箱(mailBox)，其中所述状态（state）用于记载actor对象的变量信息，行为（Behavior）是actor模型的计算逻辑，所述行为（Behavior）在满足计算逻辑时，可以改变所述actor模型状态。所述邮箱(mailBox)用于传递actor模型之间的消息。

本发明中进一步将目标文件的日志文件名作为参数，并利用akka框架下的AkkaFileTailSource和目标文件建立通讯链接，生成目标文件的actor模型，所述文件actor模型还和主actor模型建立通讯链接，主actor模型可以通过邮箱(mailBox)获取对应的文件的日志消息。其中文件actor模型在接收到目标文件日志事件后处理消息，并在处理完毕后可以将处理结果发送给所述主actor模型，其中不同actor模型之前可以通过ActorRef（actor代理的方式实现）。举例来说，在本发明中，通过所述actor模型接收来自文件的日志事件，若当前目标文件生成了新的日志事件，在所述文件actor模型中预设的计算规则：判断是否存在新日志事件，若存在则提取所述日志事件对应的日志文件名，并将所述日志文件名发送给主actor模型。因此根据所述文件actor模型的计算规则，提取更新的日志文件名，并将所述更新的日志名发送给对应的主actor模型，在本发明其中一个较佳实施例中，所述主actor模型可以根据接收到的不同文件actor模型传输的更新的日志文件名；在所述主actor模型中可以构建所述文件列表，并设置匹配逻辑，若当前的接收到的日志文件名在所述文件列表中存在，则在所述主actor模型中生成日志文件同步指令，发送给所述文件actor模型后执行文件同步到HDFS中。

本发明中，所述系统维护一个多层级的文件结构数据，通过所述actor模型可以监听日志文件的父级目录，并监听父级目录下所有日志文件的更新情况，由于日志文件针对目标文件的修改、增加和删除等文件行为都会增加新的日志文件，其中父级日志文件目录相当于是文件存储的路径，因此可以直接通过所述父级日志文件目录获取日志文件名，从而无需入侵文件的操作。当通过监听所述日志文件的父级目录后，判断所述父级目录下的日志文件存在新增后，将新增的日志文件名和所述预设的文件队列进行匹配，若从文件队列中匹配到相同的日志文件名，则说明当前新增的日志文件为目标日志文件，且将该新增的日志文件同步到所述HDFS中；若当前文件队列中不存在新增的日志文件名，此时对应的日志文件名为新增日志文件名，将所述新增日志文件名保存到所述文件队列中，并进一步将新增的日志文件名对应的日志文件同步到所述HDFS。

进一步的，所述系统还设置了超时阈值，此时记录所述目标日志文件名在所述文件队列中的时间，若目标日志文件名队列中的时间超过所述超时阈值，则将所述目标日志文件名从所述文件队列中移出，且释放当前文件和HDFS的链接，并释放所述目标文件的文件描述符。需要说明的是，每个目标日志文件名的时间都单独计算，比如第一目标日志文件名在所述目标队列中时间自所述第一目标日志文件名进入到所述目标队列起算，其他目标日志文件名在所述目标队列中时间自所述其他目标日志文件名进入到所述文件队列起算。若当前第一目标日志文件名在上述超时阈值范围内监听到相同日志文件名的日志事件，此时监听目标文件获取和所述第一目标文件日志名相同的第二日志文件（表明所述第一目标日志文件名下的目标文件存在删除、修改和增加等新的文件操作），提取所述新增的第二目标日志文件名，并将所述第二目标日志文件名和在所述文件队列中的第一目标文件名进行匹配（此时第二目标日志文件名和第一目标日志文件名基于相同的目标文件进行的行为操作而相同），因此重新计算所述第一目标日志文件名在队列中的时间，并执行所述第二目标日志文件的同步操作。通过所述超时阈值设置，可以有效地减少空间文件日志的资源占用，同时也避免文件在同步过程中丢失的问题。

值得一提的是，本发明进行日志同步的方法包括：第一步，读取Hadoop配置文件core-site.xml, hdfs-site.xml，通过所述配置文件创建Hadoop Configuration对象；第二步，通过日志文件名作为通讯参数，利用Akka FileTailSource和文件建立通讯链接，生成actor模型用于查询文件的日志文件，并预设查询频率，间隔一定时间查询文件的日志文件，用于判断当前文件是否存在修改、删除和增加等新的文件行为，新的上述文件行为会生成新的日志文件；第三步，根据Hadoop Configuration创建Hadoop FileSystem（Hadoop文件系统）; 传入FileSystem, 使用Akka HdfsFlow连接HDFS, 创建数据管道（channle）,值得一提的是：本发明采用Akkaflow执行数据流的任务调度操作，其中通过所述Akkaflow中存在master节点和worker节点执行任务的调度操作，比如master节点对应的主actor模型，worker节点对应的是文件actor模型。并且所述Akkaflow中包括了如下行动节点：文件监控节点（file-monitor），用于监听本地文件和HDFS文件、数据传输节点（transfer/）和sql节点等，并且所述Akkaflow在部署后还存在用于存在日志的目录名：logs。因此通过上述节点配置介绍和上述方法可以实现本发明低资源消耗、零入侵、低延迟的日志同步操作。

本发明中通过设置固定大小的缓冲区，其中所述缓冲区的设置大小可被设置为1mb，并通过所述缓冲区对获取的日志文件数据流进行处理，采用换行符对所述日志文件数据流切割成行数据，并依据切割的行数据为粒度逐行存入到所述HDFS中。

本发明进一步对所述日志服务的启动和关闭时间进行设置：将所述日志服务植入到应用容器中，在所述应用容器启动后，通过日志请求返回的消息判断日志服务是否就绪，在应用启动先完成所述日志服务就绪，在所述日志服务就绪后，才能进一步执行所述应用启动。通过shell命令进行管理，容器启动时，通过curl命令请求日志服务， 一直等待日志服务返回就绪, 启动应用程序。 当应用程序结束，使用kill -15命令 结束日志收集服务。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线段、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线段的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线段、电线段、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明，本发明的目的已经完整并有效地实现，本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (10)

1.一种基于akka框架的云原生日志收集方法，其特征在于，所述方法包括：

构建akka框架的日志同步服务，并将所述日志同步服务植入到应用容器中，利用akka框架的actor模型构建日志事件传递方法；

利用所述akka框架的actor模型监控系统日志事件，并判断是否存在新增日志事件；

在系统内部构建文件队列，监控的日志事件判断当前存在新增日志事件的日志文件名是否存在于所述文件队列中，若存在于所述文件队列中，执行对应日志文件的同步，否则将所述日志文件名放入到所述文件队列中；

创建Hadoop Configuration对象，并根据所述Hadoop Configuration对象Hadoop文件系统并将Hadoop Configuration对象传入到Hadoop文件系统中；

利用Akka HdfsFlow连接HDFS，创建用于日志文件传输的数据管道，执行每一个变化文件日志同步到HDFS中。

2.根据权利要求1所述的一种基于akka框架的云原生日志收集方法，其特征在于，所述文件队列根据监控到的新增日志事件进行内部调度,所述内部调度方法包括：利用actor模型监控每一日志事件，并根据监控到的日志事件识别存在文件行为目标文件的日志文件名，将所述目标文件的日志文件名和预先构建的文件队列进行匹配，若匹配到所述文件队列中存在所述目标文件的日志文件名，则执行当前目标文件日志的同步操作。

3.根据权利要求1所述的一种基于akka框架的云原生日志收集方法，其特征在于，若利用所述actor模型监控到每一日志事件并识别日志事件对应的目标文件的日志文件名后，在所述文件队列中不存在所述目标文件的日志文件名，则将所述目标文件放入到所述文件队列中，进一步将所述文件队列中的目标文件日志执行同步操作。

4.根据权利要求2所述的一种基于akka框架的云原生日志收集方法，其特征在于，所述内部调度操作还包括：在系统内部设置超时阈值，计算当前目标文件的日志文件名在所述文件队列中的时长，若利用所述actor模型监控到目标文件名新日志事件的时间超过所述超时阈值，则触发超时事件，进一步将所述目标文件的日志文件名移出所述文件队列，且释放当前文件和HDFS的链接，并释放所述目标文件的文件描述符。

5.根据权利要求2所述的一种基于akka框架的云原生日志收集方法，其特征在于，所述内部调度方法包括：在系统内部维护一个多层级的文件结构，并通过Akka Flow的file-monitor监听所述多层级的文件结构的父级目录，若当前父级目录下文件存在变化，则根据所述父级目录下对应目标文件的文件路径识别变化的目标文件的日志文件名，并将所述目标文件的日志文件名和对应的文件队列匹配。

6.根据权利要求1所述的一种基于akka框架的云原生日志收集方法，其特征在于，所述日志同步传输方法包括：利用所述Akka Flow获取存在变化的目标日志数据流，将所述目标日志数据流存储到固定大小的缓冲区，利用换行符将缓冲去的目标日志数据流进行切割，切割后按行将所述目标日志数据流存储到所述HDFS上。

7.根据权利要求1所述的一种基于akka框架的云原生日志收集方法，其特征在于，将所述日志服务植入到应用容器中，在所述应用容器启动后，通过日志请求返回的消息判断日志服务是否就绪，在应用启动先完成所述日志服务就绪。

8.根据权利要求7所述的一种基于akka框架的云原生日志收集方法，其特征在于，在应用容器启动后，捕获kill信号，在容器接收所述kill信号后，关闭JAVA虚拟机，并且在程序结束后，使用所述kill信号关闭日志服务。

9.一种基于akka框架的云原生日志收集系统，其特征在于，所述系统执行权利要求1-8中任意一项所述的一种基于akka框架的云原生日志收集方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被处理器执行权利要求1-8中任意一项所述的一种基于akka框架的云原生日志收集方法。

Images