CN116074388B - 一种基于日志队列的流量转发方法及系统 - Google Patents

Abstract

本发明公开一种基于日志队列的流量转发方法及系统，涉及信息处理技术领域，方法包括：将客户端的请求内容保存至日志文件中；并采用日志采集器读取日志文件中的请求内容；最后采用日志采集器将所述请求内容发送至日志服务消息队列。本发明通过将客户端的各种协议请求的请求内容保存到日志文件，并通过日志采集器将日志文件中的请求内容发送到日志服务消息队列中，避免了直接通过tcp等协议请求进行流量转发所产生的流量丢失的问题，从而保证了保存到日志服务消息队列的请求内容的一致性和完整性。

Description

一种基于日志队列的流量转发方法及系统

技术领域

本发明涉及信息处理技术领域，特别是涉及一种基于日志队列的流量转发方法及系统。

背景技术

TCPCopy是一种请求复制（复制基于TCP的packets）工具，现存的TcpCopy（流量拷贝技术）容易出现部分TCP包丢失，将收到不完整的数据，请求前后流量转发不一样的问题，从而无法复现真实的用户场景。

发明内容

本发明的目的是提供一种基于日志队列的流量转发方法及系统，提高流量数据转发的一致性和完整性。

为实现上述目的，本发明提供了如下方案：

一种基于日志队列的流量转发方法，包括以下步骤：

步骤1：将客户端的请求内容保存至日志文件中；

步骤2：采用日志采集器读取日志文件中的请求内容；

步骤3：采用日志采集器将所述请求内容发送至日志服务消息队列。

可选的，所述方法还包括：

在采用日志采集器读取日志文件中的请求内容时，记录所述请求内容的来源状态参数；日志采集器发送至日志服务消息队列的请求内容携带有所述请求内容的来源状态参数，所述来源状态参数包括所述请求内容所属日志文件的文件状态和所述请求内容在所属日志文件中的位置信息；

比较消息回执中的请求内容来源状态参数与记录的请求内容的来源状态参数是否相同，若不同，则基于消息回执中的请求内容的来源状态参数，采用日志采集器继续读取日志文件中的请求内容；所述消息回执，由所述日志服务消息队列接收到所述请求内容后发送，包括所述请求内容携带的来源状态参数。

可选的，在步骤3之后，还包括：

监听消息队列监听所述日志服务消息队列的消息；

若监听到所述消息，则对所述消息进行消费。

可选的，对所述消息进行消费，具体包括：

对所述消息进行解析，得到标准数据类型结构数据。

可选的，所述数对所述消息进行解析，得到标准数据类型结构数据，具体包括：

将所述消息中的数据进行json对象处理，获取所述数据对应key的value值的类型；

基于字段类型原始表，对所述数据对应key的value值的类型进行检查。

可选的，所述日志采集器为FileBeats轻量型日志采集器。

可选的，所述将所述请求内容保存到日志文件中，具体包括：

采用OpenResty负载均衡服务将所述请求内容保存到日志文件中。

本发明还提供了一种基于日志队列的流量转发系统，包括：

数据保存模块，用于将客户端的请求内容保存至日志文件中；

数据读取模块，用于采用日志采集器读取日志文件中的请求内容；

数据发送模块，用于采用日志采集器将所述请求内容发送至日志服务消息队列。

根据本发明提供的具体实施例，公开了以下技术效果：本发明提供一种基于日志队列的流量转发方法及系统，方法包括：将客户端的请求内容保存至日志文件中；并采用日志采集器读取日志文件中的请求内容；最后采用日志采集器将所述请求内容发送至日志服务消息队列。本发明通过将客户端的各种协议请求的请求内容保存到日志文件，并通过日志采集器将日志文件中的请求内容发送到日志服务消息队列中，避免了直接通过tcp等协议请求进行流量转发所产生的流量丢失的问题，从而保证了保存到日志服务消息队列的请求内容的一致性和完整性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于日志队列的流量转发方法流程图；

图2为本发明实施例中的流量转发控制系统示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于日志队列的流量转发方法及系统，提高流量数据转发的一致性和完整性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供一种基于日志队列的流量转发方法，包括以下步骤：

步骤1：将客户端的请求内容保存至日志文件中。

步骤2：采用日志采集器读取日志文件中的请求内容。

步骤3：采用日志采集器将所述请求内容发送至日志服务消息队列。

在一些实施例中，由于客户端为短信应用系统平台客户端，例如PC、平板、小程序、app，因此将客户端的请求内容保存至日志文件中，具体方法可以如下：

在获取到客户端的大量请求过来之后，OpenResty（负载均衡服务），实时将请求内容保存到日志文件中，其中，以时间顺序对请求内容进行保存。

具体的，请求内容：请求头、请求方式、请求体等；请求体包括参数、数据、文件流。

在一些实施例中，采用日志采集器读取日志文件中的请求内容，具体方法可以如下：

通过FileBeats（轻量型日志采集器）实时采集日志文件，其中日志采集器将请求内容发送至日志服务消息队列采用Protobuf、MQTT、AMQP通信协议进行发送；每当读取一次http请求数据或者TCP、UDP传输数据，日志采集器记录该次采集文件的状态、文件读取的offset（位置信息），通过文件状态和文件位置信息，来确保每次采集数据的一致性，确保做到发送的消息不重复。当采集到请求数据后，将每次获取数据的请求协议，请求地址、请求头、请求体等组装成json字符串保存到日志服务消息队列请求数据topic的一条消息中。

在将每次采集的日志数据在放入消息队列中的时候，要确保收到消息回执，消息回执中包括存入日志服务消息队列中的文件的请求内容携带有所述请求内容的来源状态参数，来源状态参数包括所述请求内容所属日志文件的文件状态和所述请求内容在所属日志文件中的位置信息。在FileBeats（轻量型日志采集器）收到消息回执后，FileBeats才会去更改文件状态和文件的下一次的读取位置，从而保证数据采集来源的一致性和完整性。

其中，当消息队列中数据如果出现堆积时，可以动态调整采集日志采集服务器的并发处理能力，来控制消息队列中消息的数量。

此外，在日志采集器读取日志文件中的请求内容时，不可避免地会出现一些采集故障，因此为了保证当日志采集器恢复工作后的采集能够与故障前所采集的位置及内容保持一致，基于日志队列的流量转发方法还可以包括：

在采用日志采集器读取日志文件中的请求内容时，记录所述请求内容的来源状态参数；日志采集器发送至日志服务消息队列的请求内容携带有所述请求内容的来源状态参数，所述来源状态参数包括所述请求内容所属日志文件的文件状态和所述请求内容在所属日志文件中的位置信息。

比较消息回执中的请求内容来源状态参数与记录的请求内容的来源状态参数是否相同，若不同，则基于消息回执中的请求内容的来源状态参数，采用日志采集器继续读取日志文件中的请求内容；所述消息回执，由所述日志服务消息队列接收到所述请求内容后发送，包括所述请求内容携带的来源状态参数。

例如，一号日志文件共包含100行请求内容，当日志采集器读取日志文件中的请求内容时，实时地记录一号日志文件读取的具体行数（以读取到第50行为例），此时，日志采集器将第50行的请求内容保存到日志服务消息队列中，当日志服务消息队列完成了第50行请求内容保存，向日志采集器发送消息回执，此时日志采集器将进行一号日志文件的第51行请求内容的读取和采集。若在日志采集器读取到一号日志文件的第51行请求内容时，系统发生了故障，在系统进行重启后，此时消息回执中的请求内容来源状态参数为一号文件第50行，而日志采集器中的请求内容的来源状态参数为第一号日志文件的第51行，此时，按照消息回执中记载的完成了第50行请求内容保存的消息，日志采集器对一号文件继续进行第51行的读取。

在一些实施例中，在步骤3之后，还可以包括：

监听消息队列监听所述日志服务消息队列的消息。

若监听到所述消息，则对所述消息进行消费。

具体的，在对消息进行消费过程中，需要对消费的消息进行解析（清洗、转换数据类型），获取到标准数据类型结构数据。

其中，对消费的消息进行解析，具体包括：

将获取的数据进行json对象处理，获取对应key的value值的类型跟原始表中对用的字段类型作比较。

如果数据类型正确，直接进行落盘处理。如果类型不一致，对此数据清洗，类型转换，转换完成放入数据格式正确的topic，然后消费者消费这个topic，然后进行数据落盘。最后获取到标准数据类型结构数据。

本发明还提供了一种基于日志队列的流量转发系统，包括：

数据保存模块，用于将客户端的请求内容保存至日志文件中。

数据读取模块，用于采用日志采集器读取日志文件中的请求内容。

数据发送模块，用于采用日志采集器将所述请求内容发送至日志服务消息队列。

实验测试过程如下：

1、将得到的标准数据发送到仿真系统及实时数仓，具体步骤可以如下：

获取到客户端请求过来的标准数据，通过TCP、UDP协议与仿真系统进行长链接传输数据，模拟线上通过cmpp协议发送短信服务。

其中，标准数据通过HTTP协议进行接口调用仿真系统，模仿线上用户操作应用发送短信的真实场景。

2、在仿真系统中做服务性能测试，具体步骤可以如下：

将数据直接转发到仿真环境做服务性能测试。

来源：在其它服务器部署跟线上环境一模一样的服务。

类型：自建的仿真系统。

仿真过程：获取线上访问日志，通过采集日志的数据模拟线上请求参数来调用仿真环境服务，模仿线上真实用户请求系统的高并发、系统告警、限流、风险等功能。

具体所要测试的内容包括：

1）测试系统某一时刻的最大并发量及服务器的资源使用情况。

2）测试服务器并发最大时候，用户请求响应速率、成功与失败的比例。

3）测试防刷及恶意攻击即使通过发送指令实时调用线上系统配置相关拦截。

4）统计用户请求中发送短信的次数及发送短信的成功率。

5）测试用户画像，根据用户请求接口的时间和次数，做这个用户的请求路径分析。

6）根据请求数据用窗口函数来实现每秒，每分钟，每小时，每天，每月的实时指标分析（如今天比昨天的新增率、新增短信条数、发送成功条数、发送失败条数、通道成功率、通道失败率、运营商户发送的成功条数等）。

控制方式：发送指令到线上服务执行相应操作进行控制。会给线上系统进行反馈：通过指令的方式，给线上系统发送对应的指令去操作具体的限流、拦截等功能。

控制逻辑：按接口、用户维度统计每秒同一接口的请求次数大于设置的阈值就会发送指令调用线上系统将此用户的请求的ip放入黑名单，防止此用户进行攻击系统保证系统安全；统计每秒请求服务的的并发度当大于服务能承受的阈值时发送限流指令到线上环境更改令牌桶的流量大小进行实时限流。

控制内容：限流、安全拦截、防攻击。

控制结果：保障系统的稳定运行，提高系统的安全性。

3、在实时数仓做实时分析数据，具体步骤可以如下：

将数据落盘（确保数据已经安全地写到磁盘，以便在系统宕机或重启之后还能读到这些数据）到实时数仓（能够支持数据回溯，支持数据更新，实现数据批量读写，支持实时接入的数据仓库）中做实时分析数据。

实时分析：将消费的数据要按照一定规则、规范进行清洗转换得到一条标准的数据，存入建好的原始数据类型表中，基于原始数据表创建基于不同维度（用户维度、通道维度、商户维度、运营商维度、关键字维度、时间维度等）模型的实时数据表，根据实时数据表分析用户每秒、每分、每小时、每天、每月发送短信的条数、发送短信的成功率、发送短信失败率、通道发送短信的成功率、商户发送短信的条数、今天比昨天的新增率、运营商发送短信的成功率、运营商发送短信的条数、关键字拦截的条数、用户回执短信的次数、用户的新增率、用户的留存率、系统的并发数等。

监控线上系统的情况做安全、限流等控制。

综上所述，本发明具有以下优点：

1）数据一致性和完整性：通过将客户端的各种协议请求的请求内容保存到日志文件，并通过日志采集器将日志文件中的请求内容发送到日志服务消息队列中，避免了直接通过tcp等协议请求进行流量转发所产生的流量丢失的问题，从而保证了保存到日志服务消息队列的请求内容的一致性和完整性。

2）数据的安全性：获取客户端的实时请求信息，然后对效应成功的请求信息做处理，确保数据的安全性。

3）数据的实时性：通过处理实时采集的数据，建立实时数仓，做数据分析。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于日志队列的流量转发方法，其特征在于，包括以下步骤：

步骤1：将客户端的请求内容保存至日志文件中；

步骤2：采用日志采集器读取日志文件中的请求内容；

步骤3：采用日志采集器将所述请求内容发送至日志服务消息队列；

在采用日志采集器读取日志文件中的请求内容时，记录所述请求内容的来源状态参数；日志采集器发送至日志服务消息队列的请求内容携带有所述请求内容的来源状态参数，所述来源状态参数包括所述请求内容所属日志文件的文件状态和所述请求内容在所属日志文件中的位置信息；

比较消息回执中的请求内容来源状态参数与记录的请求内容的来源状态参数是否相同，若不同，则基于消息回执中的请求内容的来源状态参数，采用日志采集器继续读取日志文件中的请求内容；所述消息回执，由所述日志服务消息队列接收到所述请求内容后发送，包括所述请求内容携带的来源状态参数。

2.根据权利要求1所述的基于日志队列的流量转发方法，其特征在于，在步骤3之后，还包括：

监听消息队列监听所述日志服务消息队列的消息；

若监听到所述消息，则对所述消息进行消费。

3.根据权利要求2所述的基于日志队列的流量转发方法，其特征在于，对所述消息进行消费，具体包括：

对所述消息进行解析，得到标准数据类型结构数据。

4.根据权利要求3所述的基于日志队列的流量转发方法，其特征在于，所述对所述消息进行解析，得到标准数据类型结构数据，具体包括：

将所述消息中的数据进行json对象处理，获取所述数据对应key的value值的类型；

基于字段类型原始表，对所述数据对应key的value值的类型进行检查。

5.根据权利要求1所述的基于日志队列的流量转发方法，其特征在于，所述日志采集器为FileBeats轻量型日志采集器。

6.根据权利要求1所述的基于日志队列的流量转发方法，其特征在于，所述将所述请求内容保存到日志文件中，具体包括：

采用OpenResty负载均衡服务将所述请求内容保存到日志文件中。

7.一种基于日志队列的流量转发系统，其特征在于，包括：

数据保存模块，用于将客户端的请求内容保存至日志文件中；数据读取模块，用于采用日志采集器读取日志文件中的请求内容；

数据发送模块，用于采用日志采集器将所述请求内容发送至日志服务消息队列；

在采用日志采集器读取日志文件中的请求内容时，记录所述请求内容的来源状态参数；日志采集器发送至日志服务消息队列的请求内容携带有所述请求内容的来源状态参数，所述来源状态参数包括所述请求内容所属日志文件的文件状态和所述请求内容在所属日志文件中的位置信息；

比较消息回执中的请求内容来源状态参数与记录的请求内容的来源状态参数是否相同，若不同，则基于消息回执中的请求内容的来源状态参数，采用日志采集器继续读取日志文件中的请求内容；所述消息回执，由所述日志服务消息队列接收到所述请求内容后发送，包括所述请求内容携带的来源状态参数。

Images