CN115941454A - 一种日志传输存储方法和装置 - Google Patents

Abstract

本发明提供了一种日志传输存储方法和装置，涉及大数据，该方法包括：将待传输的日志信息进行二进制协议压缩，确定二进制日志数据；将二进制日志数据通过UDP协议批量发送至POD；通过GRPC协议将POD中的二进制日志数据发送至日志接收器，解析得到日志信息；将日志信息在ES中建立索引，根据索引存储至HBASE。本发明通过更高效的通讯、存储方式，达到成本更低、效率更高、延时更低的特点。

Description

一种日志传输存储方法和装置

技术领域

本发明涉及大数据技术领域，尤其涉及一种日志传输存储方法和装置。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着业务规模越来越大，大部分服务都采用了ELK(Elasticsearch,Logstash,Kibana，轻量级的日志收集处理工具)来收集日志，随着微服务兴起，业务规模越来越大，日志量越来越大，原有的ELK在及时性方面很难满足日益增长业务规模，伴随而来的还有更大的CPU、内存、磁盘的消耗。

因此，如何提供一种新的方案，其能够解决上述技术问题是本领域亟待解决的技术难题。

发明内容

本发明实施例提供一种日志传输存储方法，通过更高效的通讯、存储方式，达到成本更低、效率更高、延时更低的特点，该方法包括：

将待传输的日志信息进行二进制协议压缩，确定二进制日志数据；

将二进制日志数据通过UDP协议批量发送至POD；

通过GRPC协议将POD中的二进制日志数据发送至日志接收器，解析得到日志信息；

将日志信息在ES中建立索引，根据索引存储至HBASE。

本发明实施例还提供一种日志传输存储装置，包括：

二进制协议压缩模块，用于将待传输的日志信息进行二进制协议压缩，确定二进制日志数据；

日志发送模块，用于将二进制日志数据通过UDP协议批量发送至POD；

转发解析模块，用于通过GRPC协议将POD中的二进制日志数据发送至日志接收器，解析得到日志信息；

日志存储模块，用于将日志信息在ES中建立索引，根据索引存储至HBASE。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种日志传输存储方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种日志传输存储方法。

本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述一种日志传输存储方法。

本发明实施例提供的一种日志传输存储方法和装置，该方法包括：将待传输的日志信息进行二进制协议压缩，确定二进制日志数据；将二进制日志数据通过UDP协议批量发送至POD；通过GRPC协议将POD中的二进制日志数据发送至日志接收器，解析得到日志信息；将日志信息在ES中建立索引，根据索引存储至HBASE。本发明实施例通过更高效的通讯、存储方式，达到成本更低、效率更高、延时更低的特点，具体来说，消除磁盘的读写、用户态核心态之间的转换带来的消耗；二进制压缩的方式降低了传输流量的成本；ES+HBASE降低原本只有ES存储的成本。采用UDP而非TCP的方式发送，大幅提高发送效率；日志直接发送，减少了之前磁盘读写的步骤；二进制协议压缩大幅提升序列化和反序列化的速度；使用GRPC协议，提供了流式大批量处理和负载均衡功能。由于在发送速度上的提升和采用二进制压缩方式带来的序列化和反序列化速度提升，还有GRPC批处理协议，大幅提升新系统的吞吐能力，带来了更低的延时，更快的响应。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例一种日志传输存储方法示意图。

图2为本发明实施例一种日志传输存储方法的架构图。

图3为本发明实施例一种日志传输存储方法的二进制日志数据存储格式示意图。

图4为本发明实施例一种日志传输存储方法的日志发送流程图。

图5为本发明实施例一种日志传输存储方法的POD转发流程图。

图6为本发明实施例一种日志传输存储方法的日志解析流程图。

图7为运行本发明实施的一种日志传输存储方法的计算机设备示意图。

图8为本发明实施例一种日志传输存储装置示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

图1为本发明实施例一种日志传输存储方法示意图，如图1所示，本发明实施例提供一种日志传输存储方法，通过更高效的通讯、存储方式，达到成本更低、效率更高、延时更低的特点，该方法包括：

步骤101：将待传输的日志信息进行二进制协议压缩，确定二进制日志数据；

步骤102：将二进制日志数据通过UDP协议批量发送至POD；

步骤103：通过GRPC协议将POD中的二进制日志数据发送至日志接收器，解析得到日志信息；

步骤104：将日志信息在ES中建立索引，根据索引存储至HBASE。

本发明实施例提供的一种日志传输存储方法和装置，该方法包括：将待传输的日志信息进行二进制协议压缩，确定二进制日志数据；将二进制日志数据通过UDP协议批量发送至POD；通过GRPC协议将POD中的二进制日志数据发送至日志接收器，解析得到日志信息；将日志信息在ES中建立索引，根据索引存储至HBASE。本发明实施例通过更高效的通讯、存储方式，达到成本更低、效率更高、延时更低的特点，具体来说，消除磁盘的读写、用户态核心态之间的转换带来的消耗；二进制压缩的方式降低了传输流量的成本；ES+HBASE降低原本只有ES存储的成本。采用UDP而非TCP的方式发送，大幅提高发送效率；日志直接发送，减少了之前磁盘读写的步骤；二进制协议压缩大幅提升序列化和反序列化的速度；使用GRPC协议，提供了流式大批量处理和负载均衡功能。由于在发送速度上的提升和采用二进制压缩方式带来的序列化和反序列化速度提升，还有GRPC批处理协议，大幅提升新系统的吞吐能力，带来了更低的延时，更快的响应。

现存近似实现方案是在一个POD中部署一个FILEBEAT，在配置好的系统路径下采集日志，然后通过HTTP协议发送给消息队列，LOGSTASH解析日志然后发送到ES。

针对请求任务处理的现有技术，存在以下缺点：需要占用大量磁盘，在磁盘成本上造成浪费；读写磁盘的IO消耗，以及用户态与核心态二者之间的相互转换，消耗大量CPU；占用业务流量，特别是数据量大的时候，尤为凸显，会导致服务出现网络阻塞，引发一系列线上问题；数据查询ES的成本过高，所有数据存在ES中，对CPU、内存、硬盘要求过高。

基于以上不足，本发明提出一种机制，可以在没有磁盘成本的情况下(从而消除了大量读写磁盘的IO消耗)，支持在不占用业务流量，大幅减少ES服务器的CPU和内存成本的一套轻量的引擎。

图2为本发明实施例一种日志传输存储方法的架构，如图2所示，具体实施本发明实施例提供的一种日志传输存储方法时，在一个实施例中，包括：

将待传输的日志信息进行二进制协议压缩，确定二进制日志数据；

将二进制日志数据通过UDP协议(User Datagram Protocol，用户数据报协议)批量发送至POD；

通过GRPC协议((gRPC Remote Procedure Calls)将POD中的二进制日志数据发送至日志接收器，解析得到日志信息；

将日志信息在ES(Elaticsearch，开源的高扩展的分布式全文搜索引擎)中建立索引，根据索引存储至HBASE。

实施例中，上述UDP协议，用户数据报协议UDP只在IP的数据报服务之上增加了很少一点的功能，这就是复用和分用的功能以及查错检测的功能；UDP是无连接的，即发送数据之前不需要建立连接(发送数据结束时也没有连接可释放)，减少了开销和发送数据之前的时延UDP使用尽最大努力交付，即不保证可靠交付，主机不需要维持复杂的连接状态表；UDP是面向报文的，发送方的UDP对应用程序交下来的报文，在添加首部后就向下交付IP层。UDP对应用层交下来的报文，既不合并，也不拆分，而是保留这些报文的边界。UDP无连接，时间上不存在建立连接需要的时延。空间上，TCP需要在端系统中维护连接状态，需要一定的开销。此连接装入包括接收和发送缓存，拥塞控制参数和序号与确认号的参数。UCP不维护连接状态，也不跟踪这些参数，开销小。空间和时间上都具有优势。

上述POD，是kubernetes中最小的资源管理组件，Pod也是最小化运行容器化应用的资源对象。一个Pod代表着集群中运行的一个进程。kubernetes中其他大多数组件都是围绕着Pod来进行支撑和扩展Pod功能的，例如，用于管理Pod运行的StatefulSet和Deployment等控制器对象，用于暴露Pod应用的Service和Ingress对象，为Pod提供存储的PersistentVolume存储资源对象等。

上述，GRPC协议，是开源的基于Protobuf和HTTP2.0的RPC框架(RPC RemoteProcedure Call，远程过程调用)，可知支持跨语言的rpc调用，比如：Java rpc Java，Javarpc C#，Java rpc C++,Java rpc python等。同时，它以可插拔的方式对对负载平衡、跟踪、健康检查和身份验证进行支持。另外，它还适用于分布式计算的最后一公里：将设备、移动APP和浏览器都连接到后端服务。

上述ES，The Elastic Stack,包括Elasticsearch、Kibana、Beats和Logstash(也称为ELK Stack)。能够安全可靠地获取任何来源、任何格式的数据，然后实时地对数据进行搜索、分析和可视化。Elaticsearch，简称为ES，ES是一个开源的高扩展的分布式全文搜索引擎，是整个ElasticStack技术栈的核心。它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。

上述HBASE是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。

本发明通过如下几点保证对日志收集的高效处理：服务实例发送日志时，采用UDP批量发送日志，日志格式采用二进制协议提升序列化和反序列化的速度，同时减少了传输的大小，数据统一接收采用GRPC流式处理大数据传输，ES中只存储索引，HBASE中存储源文件。

图3为本发明实施例一种日志传输存储方法的二进制日志数据存储格式示意图，如图3所示，将待传输的日志信息进行二进制协议压缩，得到二进制日志数据。

图4为本发明实施例一种日志传输存储方法的日志发送流程图，如图4所示，具体实施本发明实施例提供的一种日志传输存储方法时，在一个实施例中，将二进制日志数据通过UDP协议批量发送至POD，包括：

将二进制日志数据放入第一代发池；

判定第一代发池中的二进制日志数据的数据量是否达到UDP包上限值；

在第一代发池中的二进制日志数据的数据量未达到UDP包上限值时，继续接收二进制日志数据；

在第一代发池中的二进制日志数据的数据量达到UDP包上限值时，将第一代发池中的二进制日志数据打包，通过UDP协议批量发送至POD。

图5为本发明实施例一种日志传输存储方法的POD转发流程图，图6为本发明实施例一种日志传输存储方法的日志解析流程图，如图5和图6所示，具体实施本发明实施例提供的一种日志传输存储方法时，在一个实施例中，通过GRPC协议将POD中的二进制日志数据发送至日志接收器，解析得到日志信息，包括：

接收二进制日志数据，放入POD的第二代发池；

通过GRPC协议将第二代发池中的二进制日志数据发送至日志接收器；

通过kafka消息队列读取日志接收器中的二进制日志数据，传输至LOGSTASH，对二进制日志数据进行解压缩，通过二进制解析得到日志信息。

具体实施本发明实施例提供的一种日志传输存储方法时，在一个实施例中，将日志信息在ES中建立索引，根据索引存储至HBASE，包括：

根据日志信息，确定索引数据；

根据索引数据，在ES中建立索引；

根据索引，将日志信息存储至HBASE，建立日志信息与索引的映射关系。

下面结合具体场景，对本发明实施例提供的一种日志传输存储方法进行简要描述：

本发明实施例提出了一种不占用业务流量，且更为轻量的一种处理方式，通过UDP协议实现数据发送，在一个POD中统一收集，并发给日志收集中心，然后通过消息队列发送到LOGSTASH中，LOGSTASH进过格式解析存放到ES和HABSE。技术人员需要完成日志发送模块的二进制压缩和UDP封装发送，以及POD接收模块接收传递日志，和日志统一处理模块的解析和发送，以及存储和查询模块的拆解。

本产品主要包括日志发送模块、POD转发模块、日志统一处理模块、存储和查询模块、监控模块。

日志发送模块：针对要发送的日志进行二进制协议压缩，然后通过UDP批量发送到POD转发模块。

POD转发模块：将接收到的数据通过GRPC批量发送给日志统一处理模块。

日志统一处理模块：将接收到的数据进行解压缩，进行必要的解析和补充发送到存储和查询模块。

存储和查询模块：将接收到的数据在ES建立和存储索引，在HBASE中存储原始数据。

监控模块：监控链路中的每个节点的发送数据量情况，以及消息队列中的延期数据、每个服务占用存储大小、查询系统响应速度等情况。

本发明实施例可以极致降低成本：消除磁盘的读写、用户态新心态的转换带来的消耗，二进制压缩的方式还降低传输流量的成本，ES+HBASE大幅降低内存成本；对业务流量零影响：采用UDP方式，和业务TCP走的不是一个通道，对业务影响极低。

采用UDP而非TCP的方式发送，大幅提升发送效率，日志直接发送，减少了之前磁盘读写的步骤，二进制协议压缩大幅提升序列化和反序列化的速度，POD接收和转发使用GRPC协议，提供了流式大批量处理和负载均衡功能，ES存储索引、HBASE存储原始数据降低成本。

图7为运行本发明实施的一种日志传输存储方法的计算机设备示意图，如图7所示，本发明实施例还提供一种计算机设备700，包括存储器710、处理器720及存储在存储器上并可在处理器上运行的计算机程序730，所述处理器执行所述计算机程序时实现上述一种日志传输存储方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种日志传输存储方法。

本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述一种日志传输存储方法。

本发明实施例中还提供了一种日志传输存储装置，如下面的实施例所述。由于该装置解决问题的原理与一种日志传输存储方法相似，因此该装置的实施可以参见一种日志传输存储方法的实施，重复之处不再赘述。

图8为本发明实施例一种日志传输存储装置示意图，如图8所示，本发明实施例还提供一种日志传输存储装置。

具体实施本发明实施例提供的一种日志传输存储装置时，在一个实施例中，包括：

二进制协议压缩模块801，用于将待传输的日志信息进行二进制协议压缩，确定二进制日志数据；

日志发送模块802，用于将二进制日志数据通过UDP协议批量发送至POD；

转发解析模块803，用于通过GRPC协议将POD中的二进制日志数据发送至日志接收器，解析得到日志信息；

日志存储模块804，用于将日志信息在ES中建立索引，根据索引存储至HBASE。

具体实施本发明实施例提供的一种日志传输存储装置时，在一个实施例中，日志发送模块，具体用于：

将二进制日志数据放入第一代发池；

判定第一代发池中的二进制日志数据的数据量是否达到UDP包上限值；

在第一代发池中的二进制日志数据的数据量未达到UDP包上限值时，继续接收二进制日志数据；

在第一代发池中的二进制日志数据的数据量达到UDP包上限值时，将第一代发池中的二进制日志数据打包，通过UDP协议批量发送至POD。

具体实施本发明实施例提供的一种日志传输存储装置时，在一个实施例中，转发解析模块，具体用于：

接收二进制日志数据，放入POD的第二代发池；

通过GRPC协议将第二代发池中的二进制日志数据发送至日志接收器；

通过kafka消息队列读取日志接收器中的二进制日志数据，传输至LOGSTASH，对二进制日志数据进行解压缩，通过二进制解析得到日志信息。

具体实施本发明实施例提供的一种日志传输存储装置时，在一个实施例中，日志存储模块，具体用于：

根据日志信息，确定索引数据；

根据索引数据，在ES中建立索引；

根据索引，将日志信息存储至HBASE，建立日志信息与索引的映射关系。

综上，本发明实施例提供的一种日志传输存储方法和装置，该方法包括：将待传输的日志信息进行二进制协议压缩，确定二进制日志数据；将二进制日志数据通过UDP协议批量发送至POD；通过GRPC协议将POD中的二进制日志数据发送至日志接收器，解析得到日志信息；将日志信息在ES中建立索引，根据索引存储至HBASE。本发明实施例通过更高效的通讯、存储方式，达到成本更低、效率更高、延时更低的特点，具体来说，消除磁盘的读写、用户态核心态之间的转换带来的消耗；二进制压缩的方式降低了传输流量的成本；ES+HBASE降低原本只有ES存储的成本。采用UDP而非TCP的方式发送，大幅提高发送效率；日志直接发送，减少了之前磁盘读写的步骤；二进制协议压缩大幅提升序列化和反序列化的速度；使用GRPC协议，提供了流式大批量处理和负载均衡功能。由于在发送速度上的提升和采用二进制压缩方式带来的序列化和反序列化速度提升，还有GRPC批处理协议，大幅提升新系统的吞吐能力，带来了更低的延时，更快的响应。

本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定，本申请获取的个人、客户和人群等相关的个人身份数据、操作数据、行为数据等多种类型的数据，均已获得授权。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种日志传输存储方法，其特征在于，包括：

将待传输的日志信息进行二进制协议压缩，确定二进制日志数据；

将二进制日志数据通过UDP协议批量发送至POD；

通过GRPC协议将POD中的二进制日志数据发送至日志接收器，解析得到日志信息；

将日志信息在ES中建立索引，根据索引存储至HBASE。

2.如权利要求1所述的方法，其特征在于，将二进制日志数据通过UDP协议批量发送至POD，包括：

将二进制日志数据放入第一代发池；

判定第一代发池中的二进制日志数据的数据量是否达到UDP包上限值；

在第一代发池中的二进制日志数据的数据量未达到UDP包上限值时，继续接收二进制日志数据；

在第一代发池中的二进制日志数据的数据量达到UDP包上限值时，将第一代发池中的二进制日志数据打包，通过UDP协议批量发送至POD。

3.如权利要求1所述的方法，其特征在于，通过GRPC协议将POD中的二进制日志数据发送至日志接收器，解析得到日志信息，包括：

接收二进制日志数据，放入POD的第二代发池；

通过GRPC协议将第二代发池中的二进制日志数据发送至日志接收器；

通过kafka消息队列读取日志接收器中的二进制日志数据，传输至LOGSTASH，对二进制日志数据进行解压缩，通过二进制解析得到日志信息。

4.如权利要求1所述的方法，其特征在于，将日志信息在ES中建立索引，根据索引存储至HBASE，包括：

根据日志信息，确定索引数据；

根据索引数据，在ES中建立索引；

根据索引，将日志信息存储至HBASE，建立日志信息与索引的映射关系。

5.一种日志传输存储装置，其特征在于，包括：

二进制协议压缩模块，用于将待传输的日志信息进行二进制协议压缩，确定二进制日志数据；

日志发送模块，用于将二进制日志数据通过UDP协议批量发送至POD；

转发解析模块，用于通过GRPC协议将POD中的二进制日志数据发送至日志接收器，解析得到日志信息；

日志存储模块，用于将日志信息在ES中建立索引，根据索引存储至HBASE。

6.如权利要求5所述的装置，其特征在于，日志发送模块，具体用于：

将二进制日志数据放入第一代发池；

判定第一代发池中的二进制日志数据的数据量是否达到UDP包上限值；

在第一代发池中的二进制日志数据的数据量未达到UDP包上限值时，继续接收二进制日志数据；

在第一代发池中的二进制日志数据的数据量达到UDP包上限值时，将第一代发池中的二进制日志数据打包，通过UDP协议批量发送至POD。

7.如权利要求5所述的装置，其特征在于，转发解析模块，具体用于：

接收二进制日志数据，放入POD的第二代发池；

通过GRPC协议将第二代发池中的二进制日志数据发送至日志接收器；

通过kafka消息队列读取日志接收器中的二进制日志数据，传输至LOGSTASH，对二进制日志数据进行解压缩，通过二进制解析得到日志信息。

8.如权利要求5所述的装置，其特征在于，日志存储模块，具体用于：

根据日志信息，确定索引数据；

根据索引数据，在ES中建立索引；

根据索引，将日志信息存储至HBASE，建立日志信息与索引的映射关系。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一所述方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至4任一所述方法。

11.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至4任一所述方法。

Images