CN107911254B - 日志传输方法、装置、计算设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种日志传输方法、装置、计算设备及存储介质。其中，该方法包括：将日志行的时间部分标准化为第一预定长度的时间数据；对日志行的内容部分进行压缩，得到压缩内容数据；以及将时间数据和压缩内容数据按预定顺序组合为发送数据包。该方案能够实现日志数据中时间部分的标准化，提高了数据压缩率，有利于后续的系统处理，从而提高日志传输的效率。

Description

日志传输方法、装置、计算设备及存储介质

技术领域

本发明涉及网络通信技术领域，尤其涉及一种日志传输的方法、装置、计算设备及存储介质。

背景技术

目前的业务支撑系统(包括CRM\BOSS\BASS\BOMC等)大多采用分布式架构，并向X86平台转移，应用运行的设备数量急剧增长。同时，为了维护需要和实现端到端的业务监控，系统记录了大量的日志，用于故障时分析问题。现有的方案一般由Flume对日志采集，并传输到Kafka中间件中交给流处理平台进行汇总计算分析。

但是，现有技术方案中Logstash在采集到日志数据后，一般使用内置的gzip算法对数据进行压缩，但是直接压缩会造成压缩后无法进行关键数据判定，不利于进行数据的标准化，日志传输效率较低。

发明内容

本发明实施例提供了一种日志传输方法、装置、计算设备及存储介质，能够实现日志数据中时间部分的标准化，提高数据压缩率，有利于后续的系统处理，提高日志传输效率。

第一方面，本发明实施例提供了一种日志传输方法，方法包括：

将日志行的时间部分标准化为第一预定长度的时间数据；

对日志行的内容部分进行压缩，得到压缩内容数据；以及

将时间数据和压缩内容数据按预定顺序组合为发送数据包。

优选地，该方法还包括：分析日志行的内容部分，确定日志行的级别，得到第二预定长度的级别数据，其中，将级别数据、时间数据和压缩内容数据按预定顺序组合为发送数据包。

优选地，时间数据包括从预定日期到日志行日期的天数数据和从当日0点到日志行时间的毫秒数数据。

优选地，该日志传输方法还包括：

采集网络流量参数；优选地，每隔预定时间段采集一次所述网络流量参数。

基于所采集的网络流量参数，计算流量控制算法所需算法参数的至少部分；优选地，可以基于网络流量参数和发送数据包占用带宽比计算所述速率；以及基于所述速率和平均每行日志占用的数据尺寸计算所述令牌总数。

基于算法参数，使用流量控制算法，对发送数据包进行流量控制。

优选地，流量控制算法为标准令牌桶算法，算法参数包括速率、令牌总数和刷新率中的至少一个。优选地，在使用流量控制算法对所述发送数据包进行流量控制的步骤中，还基于级别数据进行流量控制。优选地，根据流量控制的结果将发送数据包放入待发送队列。

优选地，该方法还包括：

收集各日志网关的负载值；

以日志采集发送端、各日志网关和日志接收端作为网络上的各个节点，基于日志网关的负载值，设定相邻节点到每个日志网关的距离；

在距离大于或等于预定阈值的情况下，将距离修改为放大预定倍数后的距离；

确定从日志采集发送端到日志接收端具有最短距离的路径。

优选地，使用SPFA算法确定从日志采集发送端到日志接收端具有最短距离的路径。

第二方面，本发明实施例提供了一种日志传输装置，装置包括：

标准化模块，用于将日志行的时间部分标准化为第一预定长度的时间数据；

压缩模块，用于对日志行的内容部分进行压缩，得到压缩内容数据；以及

组合模块，用于将标准化模块得到的时间数据和压缩模块得到的压缩内容数据按预定顺序组合为发送数据包。

第三方面，本发明实施例提供了一种计算设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

本发明实施例提供的日志传输方法、装置、设备及介质，通过对日志文件中时间部分和内容部分分别处理，能够实现日志数据中时间部分的标准化，提高了数据压缩率，有利于后续的系统处理，从而提高日志传输的效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明一实施例的日志传输方法的示意性流程图。

图2示出了本发明一实施例的日志传输方法的示意性流程图。

图3示出了本发明一实施例的最小路径选择算法的示意性流程图。

图4示出了本发明一实施例的日志传输路径选择的示意图。

图5示出了本发明一实施例的日志传输装置的示意性结构图。

图6示出了本发明一实施例的计算设备的示意性结构图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明在传统方案上增加了自定义压缩、自适应流量控制、智能传输路径选择的方法，解决了传统方案的不足。下面针对各步骤进行详细说明：

图1示出了本发明实施例提供的日志传输方法，如图1所示，该方法包括：

在步骤S100中将日志行的时间部分标准化为第一预定长度的时间数据。

其中，日志文件的格式一般都由时间戳和日志内容两部分组成，例如“2017-06-0215:12:11.010用户13912345678办理了开户业务。”、“Jul28,2017 03:12:11PM ERROR:System fault.”。不同的应用的时间部分可能有不同的表现形式，因此，为了后续实现统一的数据处理，可以在预处理环节提前将其转换为标准的8个字节的二进制数据，以便于系统分析。

在步骤S2200中对日志行的内容部分进行压缩，得到压缩内容数据。

例如，可以使用LZW(串表压缩算法)对日志内容进行压缩，即通过建立一个字符串表，用较短的代码来表示较长的字符串来实现压缩。

在步骤S300中将时间数据和压缩内容数据按预定顺序组合为发送数据包。

在一个优选的实施例中，该方法还包括：

分析日志行的内容部分，确定日志行的级别，得到第二预定长度的级别数据，其中，将级别数据、时间数据和压缩内容数据按预定顺序组合为发送数据包。

由于日志的信息一般包括几种内容：业务性能信息、业务运行信息、业务故障信息。在维护过程中，为了减少故障时长，我们第一时间关心的是业务故障信息。传统方案中对所有数据是顺序处理的，而发生故障时，一般日志数据量都会变大，导致故障信息送到维护人员手中时，已经有了一定时间的延迟，导致故障不能在第一时间被发现，变相加长了故障时长，影响用户体验。

因此，在对日志内容部分预处理时，可以确定日志行的级别。例如，对日志的内容部分进行关键字匹配，确定本日志行的级别，可以以1字节表示不同的级别。因此，发送数据包的数据结构可以包括三部分：

1)1字节，表示日志行的级别，用于判断是否关键日志数据(如检测ERROR字样)。

2)8字节，表示时间戳。

3)不定长，日志内容部分压缩后的字节流。

本发明实施例中，时间数据可以包括从预定日期到日志行日期的天数数据和从当日0点到日志行时间的毫秒数数据。

其中，日志行日期是指日志文件中记录的日期。例如，可以将时间部分标准化为8个字节，分别由2个4字节整型数据a和b组成。以上述日志文件为例，其中，整型数据a表示日期部分，如自1900/1/1起到2017-06-02经过的天数，整型数据b表示时间部分，如，自2017-06-02日0点起到15:12:11经过的毫秒数。

上述步骤S100和S200的顺序可以更变，也可以并行执行，完成日志数据的预处理和压缩后可以将生成的数据按顺序组合成数据包。

上述方法通过对日志数据的时间部分和内容部分分别处理，使时间数据标准化，相比标准压缩器，提高了压缩率，有利于后续的系统处理，解决了由于压缩率低使日志在传输过程中占用带宽较多的问题。

在流量控制方面，一般情况下，流量控制的参数(如速率、阀值、突发上限等)都是设定好的固定值。本发明实施例中通过增加流量监控，通过计算，动态修改流量控制算法中的各项参数，实现自适应的流量控制。

图2示出了根据本发明一实施例的日志传输方法的示意性结构图。

如图2所示，本发明实施例的日志传输方法还可以包括：

在步骤S400中采集网络流量参数。

其中，网络流量参数可以包括可通过的最大流量值、当前通过的总流量值及当前所述发送数据包的流量值中的至少一个。在一个优选的实施例中，可以每隔预定时间段采集一次所述网络流量参数。

例如，通过流量监控，每分钟采集以下KPI指标：max:可通过的最大的流量值，取网络带宽；current:当前网卡上通过的总流量数；log:当前日志发送占用的流量数。将上述参数采集完后，对流量控制算法中用到的参数进行动态计算，并写入结果进行保存，以供算法使用。

其中，流量控制算法可以为标准令牌桶算法，算法参数包括速率、令牌总数和刷新率中的至少一个。

在步骤S500中可以基于所采集的网络流量参数，计算流量控制算法所需算法参数的至少部分。

例如，首先定义本算法中的变量：avgsize:128，平均每行日志占用的数据尺寸；percent:发送数据包占用带宽比率。

本发明实施例中，可以基于网络流量参数和发送数据包占用带宽比计算所述速率；以及基于速率和平均每行日志占用的数据尺寸计算所述令牌总数。例如，Rate(速率)：(max–current–log)*percent；Count(令牌总数):Rate/avgsize；Refresh(刷新率)：固定配置值，不变。

在步骤S600中基于算法参数，使用流量控制算法，对发送数据包进行流量控制。

其中，在步骤S600中还可以基于级别数据进行流量控制。这样，关键的日志信息能够优先送到日志处理中心，提高维护效率，降低故障时长。

可以根据流量控制的结果将所述发送数据包放入待发送队列。待发送队列可以通过调用SPFA算法获取传输路径进行传输。

通过上述自适应流量控制方法，可以动态更新流量控制中令牌桶算法的相关参数，从而最大程度的利用系统资源。业务系统忙时，可以动态降低流量阀值，保障业务系统；业务系统闲值，增加流量的阀值，提高传输效率。

由于主流方案一般由Flume采集到数据后，直接向Kafka所在主机发送数据，数据都是通过固定的网络路径传输的。这样的话，会导致我们的网络环境中，某些设备的使用率非常高，而有的设备使用率却很低。如果业务系统同时也大量使用这些利率高的设备时，就会产生一定的延时，影响用户体验。

因此，为了快速选择一个资源占用较少的传输路径以及避开资源占用较多的节点进行传输，本发明实施例的日志传输方法中提供一种为发送数据包快速选择最短传输路径的方案，图4示出了根据本发明一实施例的日志传输路径选择的示意图。

如图4所示，0节点为发送端，1-5为日志网关(传输节点)，6为接收端；节点上的百分比表示当前此节点的资源占用情况。

通过收集各日志网关的负载值，记录各节点资源占用情况。优选地，可以设置资源使用监控，向发送端定时发送日志网关的资源占用情况。

如图4所示，从发送端0到接收端6共4条传输路径：

0-1-3-5-6(和值170％)

0-1-4-6(和值130％)

0-2-3-5-6(和值180％)

0-2-4-6(和值140％)

可以使用SPFA算法确定从日志采集发送端到所述日志接收端具有最短距离的路径。

例如，可以使用改进的SPFA算法快速选择传输路径，在改进的SPFA算法的松弛操作环节进行优化，以避开高负载的传输节点。其中，松弛操作即对每个顶点进行最短路径估计，如果当前估值较小，则记录下来供后续比较。

图3示出了本发明一实施例的改进的SPFA算法的示意性流程图。

如图3所示，改进的SPFA算法包括以下步骤：

步骤1、设网络图上有x个节点，则定义长度为x的数组dist，记录从发送端到各设备的总负载。初始化第一个点的值为0，其他为最大整数值。生成队列Q，将发送端加入到Q。

步骤2、如果Q有数据，则转到步骤3，否则转到步骤8。

步骤3、将队列Q的第一条数据u取出，并移出队列。

步骤4、对u和u相邻的所有设备负载进行松弛操作(松弛操作即对每个顶点进行最短路径估计，如果当前估值较小，则记录下来供后续比较)。在松弛操作时，针对业务场景进行优化，如果负载较高，即n[j]>＝9时，取值时将n[j]*10。

步骤5、如果结果变小，则在dist上记录变小的值，并转到步骤6。否则转到步骤2。

步骤6、判定结果变小的设备是否在队列Q中，如果不在，则转入步骤7，否则转入步骤2。

步骤7、将设备加入Q的最尾端。

步骤8、dist数组此时存储的就是发送端到每个设备节点的最小负载。

本发明实施例以图4为例，用实际情况解释上述算法：

可以以日志采集发送端、各日志网关和日志接收端作为网络上的各个节点，基于所述日志网关的负载值，设定相邻节点到每个日志网关的距离。

如图4所示，负载每增加10％，可以设距离增加1。数组dist表示0到每个节点的负载，首先，将0加入队列中。

第1轮计算,对0进松弛操作：

1变小(1)，且不在队列中，加入队列

2变小(2)，且不在队列中，加入队列

距离调整后:dist[]＝0 1 2INF INF INF INF

此时队列内容为:1 2。

第2轮计算,对1进松弛操作：

3变小(7)，且不在队列中，加入队列

4变小(91)，且不在队列中，加入队列

本发明实施例中，在距离大于或等于预定阈值的情况下，将距离修改为放大预定倍数后的距离。例如，如果负载较高，即n[j]>＝9时，取值时将n[j]*10。

距离调整后:dist[]＝0 1 2 7 91 INF INF

此时队列内容为:2 3 4。

第3轮计算,对2进松弛操作：

距离调整后:dist[]＝0 1 2 7 91 INF INF

此时队列内容为:3 4。

第4轮计算,对3进松弛操作：

5变小(14)，且不在队列中，加入队列

距离调整后:dist[]＝0 1 2 7 91 14 INF

此时队列内容为:4 5。

第5轮计算,对4进松弛操作：

6变小(94)，且不在队列中，加入队列

距离调整后:dist[]＝0 1 2 7 91 14 94

此时队列内容为:5 6。

第6轮计算,对5进松弛操作：

距离调整后:dist[]＝0 1 2 7 91 14 17

此时队列内容为:6。

第7轮计算,对6进松弛操作：

距离调整后:dist[]＝0 1 2 7 91 14 17

队列已空，结束计算。

最后，得出最小的负载为17，路径是0->1->3->5->6。

从上例可以看出，我们通过算法改进，成功的避开的负载较高的设备4。

通过上述方法，可以将负载值定时传送给SPFA算法，使得每次传输时都会从当前的最优路径进行。在SPFA算法中的松弛操作时，进行优化，使最终结果避让开负载高的设备。这样，可以优化网络资源利用率，有利于业务系统的稳定。

本发明实施例的日志传输方法可以由日志传输装置500来实现。图5示出了本发明实施例提供的日志传输装置的结构示意图。如图5所示，该装置500包括：标准化模块510、压缩模块520及组合模块530。

标准化模块510可以将日志行的时间部分标准化为第一预定长度的时间数据。

压缩模块520可以对日志行的内容部分进行压缩，得到压缩内容数据。

组合模块530可以将标准化模块510得到的时间数据和压缩模块520得到的压缩内容数据按预定顺序组合为发送数据包。

根据本发明一实施例，日志传输装置500还可以包括：分析模块。

分析模块可以分析日志行的内容部分，确定日志行的级别，得到第二预定长度的级别数据，其中，将级别数据、时间数据和压缩内容数据按预定顺序组合为发送数据包。

根据本发明一实施例，日志传输装置500还可以包括：采集模块、计算模块和控制模块。

其中，采集模块可以采集网络流量参数。

计算模块可以基于所采集的网络流量参数，计算流量控制算法所需算法参数的至少部分。

控制模块可以基于所述算法参数，使用所述流量控制算法，对所述发送数据包进行流量控制。

根据本发明一实施例，日志传输装置500还可以包括：收集模块、设定模块、修改模块和确定模块。

其中，收集模块可以收集各日志网关的负载值。

设定模块可以以日志采集发送端、各日志网关和日志接收端作为网络上的各个节点，基于日志网关的负载值，设定相邻节点到每个日志网关的距离。

修改模块可以在距离大于或等于预定阈值的情况下，将距离修改为放大预定倍数后的距离。

确定模块可以确定从日志采集发送端到日志接收端具有最短距离的路径。

通过上述装置，能够实现日志数据中时间部分的标准化，提高了数据压缩率，有利于后续的系统处理，从而提高日志传输的效率。

另外，本发明提供一种计算设备可以包括处理器601以及存储有计算机程序指令的存储器602。

具体地，上述处理器601可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器602可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器602可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器602可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器602可在数据处理装置的内部或外部。在特定实施例中，存储器602是非易失性固态存储器。在特定实施例中，存储器602包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器601通过读取并执行存储器602中存储的计算机程序指令，以实现上述实施例中的任意一种日志传输方法。

在一个示例中，计算设备还可包括通信接口603和总线610。其中，如图5所示，处理器601、存储器602、通信接口603通过总线610连接并完成相互间的通信。

通信接口603，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线610包括硬件、软件或两者，将计算设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线610可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

另外，结合上述实施例中的日志传输方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种日志传输方法。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (11)

1.一种日志传输方法，其特征在于，所述方法包括：

将日志行的时间部分标准化为第一预定长度的时间数据；

对所述日志行的内容部分进行压缩，得到压缩内容数据；以及

将所述时间数据和所述压缩内容数据按预定顺序组合为发送数据包；

分析所述日志行的内容部分，确定所述日志行的级别，得到第二预定长度的级别数据；

将所述级别数据、所述时间数据和所述压缩内容数据按预定顺序组合为所述发送数据包；

收集各日志网关的负载值；

以日志采集发送端、各日志网关和日志接收端作为网络上的各个节点，基于所述日志网关的负载值，设定相邻节点到每个日志网关的距离；

在所述距离大于或等于预定阈值的情况下，将所述距离修改为放大预定倍数后的距离；

确定从所述日志采集发送端到所述日志接收端具有最短距离的路径。

2.根据权利要求1所述的方法，其特征在于，

所述时间数据包括从预定日期到日志行日期的天数数据和从当日预定时间点到日志行时间的毫秒数数据。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

每隔预定时间段采集网络流量参数；

基于所采集的网络流量参数，计算流量控制算法所需算法参数的至少部分；

基于所述算法参数，使用所述流量控制算法，对所述发送数据包进行流量控制。

4.根据权利要求3所述的方法，其特征在于，

所述流量控制算法为标准令牌桶算法，所述算法参数包括速率、令牌总数和刷新率中的至少一个。

5.根据权利要求3所述的方法，其特征在于，

所述网络流量参数包括可通过的最大流量值、当前通过的总流量值及当前所述发送数据包的流量值中的至少一个。

6.根据权利要求4所述的方法，其特征在于，所述基于所采集的网络流量参数，计算流量控制算法所需的算法参数的步骤包括：

基于所述网络流量参数和发送数据包占用带宽比计算所述速率；以及

基于所述速率和平均每行日志占用的数据尺寸计算所述令牌总数。

7.根据权利要求3所述的方法，其特征在于，

在使用所述流量控制算法对所述发送数据包进行流量控制的步骤中，还基于所述级别数据进行流量控制。

8.根据权利要求1所述的方法，其特征在于，该方法还包括：

使用SPFA算法确定从所述日志采集发送端到所述日志接收端具有最短距离的路径。

9.一种日志传输装置，其特征在于，所述装置包括：

标准化模块，用于将日志行的时间部分标准化为第一预定长度的时间数据；

压缩模块，用于对所述日志行的内容部分进行压缩，得到压缩内容数据；以及

组合模块，用于将所述标准化模块得到的时间数据和所述压缩模块得到的压缩内容数据按预定顺序组合为发送数据包；

分析模块，用于分析所述日志行的内容部分，确定所述日志行的级别，得到第二预定长度的级别数据，以及将所述级别数据、所述时间数据和所述压缩内容数据按预定顺序组合为所述发送数据包；

收集模块，用于收集各日志网关的负载值；

设定模块，用于以日志采集发送端、各日志网关和日志接收端作为网络上的各个节点，基于所述日志网关的负载值，设定相邻节点到每个日志网关的距离；

修改模块，用于在所述距离大于或等于预定阈值的情况下，将所述距离修改为放大预定倍数后的距离；

确定模块，用于确定从所述日志采集发送端到所述日志接收端具有最短距离的路径。

10.一种计算设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-8任一项所述的方法。

11.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-8中任一项所述的方法。

Images