CN107911254A - 日志传输方法、装置、计算设备及存储介质 - Google Patents

日志传输方法、装置、计算设备及存储介质 Download PDF

Info

Publication number
CN107911254A
CN107911254A CN201711434827.3A CN201711434827A CN107911254A CN 107911254 A CN107911254 A CN 107911254A CN 201711434827 A CN201711434827 A CN 201711434827A CN 107911254 A CN107911254 A CN 107911254A
Authority
CN
China
Prior art keywords
data
log
daily record
time
flow control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711434827.3A
Other languages
English (en)
Other versions
CN107911254B (zh
Inventor
王鑫
胡炜
张愚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Jiangsu Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Jiangsu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Jiangsu Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201711434827.3A priority Critical patent/CN107911254B/zh
Publication of CN107911254A publication Critical patent/CN107911254A/zh
Application granted granted Critical
Publication of CN107911254B publication Critical patent/CN107911254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/069Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例公开了一种日志传输方法、装置、计算设备及存储介质。其中,该方法包括:将日志行的时间部分标准化为第一预定长度的时间数据;对日志行的内容部分进行压缩,得到压缩内容数据;以及将时间数据和压缩内容数据按预定顺序组合为发送数据包。该方案能够实现日志数据中时间部分的标准化,提高了数据压缩率,有利于后续的系统处理,从而提高日志传输的效率。

Description

日志传输方法、装置、计算设备及存储介质
技术领域
本发明涉及网络通信技术领域,尤其涉及一种日志传输的方法、装置、计算设备及存储介质。
背景技术
目前的业务支撑系统(包括CRM\BOSS\BASS\BOMC等)大多采用分布式架构,并向X86平台转移,应用运行的设备数量急剧增长。同时,为了维护需要和实现端到端的业务监控,系统记录了大量的日志,用于故障时分析问题。现有的方案一般由Flume对日志采集,并传输到Kafka中间件中交给流处理平台进行汇总计算分析。
但是,现有技术方案中Logstash在采集到日志数据后,一般使用内置的gzip算法对数据进行压缩,但是直接压缩会造成压缩后无法进行关键数据判定,不利于进行数据的标准化,日志传输效率较低。
发明内容
本发明实施例提供了一种日志传输方法、装置、计算设备及存储介质,能够实现日志数据中时间部分的标准化,提高数据压缩率,有利于后续的系统处理,提高日志传输效率。
第一方面,本发明实施例提供了一种日志传输方法,方法包括:
将日志行的时间部分标准化为第一预定长度的时间数据;
对日志行的内容部分进行压缩,得到压缩内容数据;以及
将时间数据和压缩内容数据按预定顺序组合为发送数据包。
优选地,该方法还包括:分析日志行的内容部分,确定日志行的级别,得到第二预定长度的级别数据,其中,将级别数据、时间数据和压缩内容数据按预定顺序组合为发送数据包。
优选地,时间数据包括从预定日期到日志行日期的天数数据和从当日0点到日志行时间的毫秒数数据。
优选地,该日志传输方法还包括:
采集网络流量参数;优选地,每隔预定时间段采集一次所述网络流量参数。
基于所采集的网络流量参数,计算流量控制算法所需算法参数的至少部分;优选地,可以基于网络流量参数和发送数据包占用带宽比计算所述速率;以及基于所述速率和平均每行日志占用的数据尺寸计算所述令牌总数。
基于算法参数,使用流量控制算法,对发送数据包进行流量控制。
优选地,流量控制算法为标准令牌桶算法,算法参数包括速率、令牌总数和刷新率中的至少一个。优选地,在使用流量控制算法对所述发送数据包进行流量控制的步骤中,还基于级别数据进行流量控制。优选地,根据流量控制的结果将发送数据包放入待发送队列。
优选地,该方法还包括:
收集各日志网关的负载值;
以日志采集发送端、各日志网关和日志接收端作为网络上的各个节点,基于日志网关的负载值,设定相邻节点到每个日志网关的距离;
在距离大于或等于预定阈值的情况下,将距离修改为放大预定倍数后的距离;
确定从日志采集发送端到日志接收端具有最短距离的路径。
优选地,使用SPFA算法确定从日志采集发送端到日志接收端具有最短距离的路径。
第二方面,本发明实施例提供了一种日志传输装置,装置包括:
标准化模块,用于将日志行的时间部分标准化为第一预定长度的时间数据;
压缩模块,用于对日志行的内容部分进行压缩,得到压缩内容数据;以及
组合模块,用于将标准化模块得到的时间数据和压缩模块得到的压缩内容数据按预定顺序组合为发送数据包。
第三方面,本发明实施例提供了一种计算设备,包括:至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令,当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序指令,当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
本发明实施例提供的日志传输方法、装置、设备及介质,通过对日志文件中时间部分和内容部分分别处理,能够实现日志数据中时间部分的标准化,提高了数据压缩率,有利于后续的系统处理,从而提高日志传输的效率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明一实施例的日志传输方法的示意性流程图。
图2示出了本发明一实施例的日志传输方法的示意性流程图。
图3示出了本发明一实施例的最小路径选择算法的示意性流程图。
图4示出了本发明一实施例的日志传输路径选择的示意图。
图5示出了本发明一实施例的日志传输装置的示意性结构图。
图6示出了本发明一实施例的计算设备的示意性结构图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例,为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细描述。应理解,此处所描述的具体实施例仅被配置为解释本发明,并不被配置为限定本发明。对于本领域技术人员来说,本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明在传统方案上增加了自定义压缩、自适应流量控制、智能传输路径选择的方法,解决了传统方案的不足。下面针对各步骤进行详细说明:
图1示出了本发明实施例提供的日志传输方法,如图1所示,该方法包括:
在步骤S100中将日志行的时间部分标准化为第一预定长度的时间数据。
其中,日志文件的格式一般都由时间戳和日志内容两部分组成,例如“2017-06-0215:12:11.010用户13912345678办理了开户业务。”、“Jul28,2017 03:12:11PM ERROR:System fault.”。不同的应用的时间部分可能有不同的表现形式,因此,为了后续实现统一的数据处理,可以在预处理环节提前将其转换为标准的8个字节的二进制数据,以便于系统分析。
在步骤S2200中对日志行的内容部分进行压缩,得到压缩内容数据。
例如,可以使用LZW(串表压缩算法)对日志内容进行压缩,即通过建立一个字符串表,用较短的代码来表示较长的字符串来实现压缩。
在步骤S300中将时间数据和压缩内容数据按预定顺序组合为发送数据包。
在一个优选的实施例中,该方法还包括:
分析日志行的内容部分,确定日志行的级别,得到第二预定长度的级别数据,其中,将级别数据、时间数据和压缩内容数据按预定顺序组合为发送数据包。
由于日志的信息一般包括几种内容:业务性能信息、业务运行信息、业务故障信息。在维护过程中,为了减少故障时长,我们第一时间关心的是业务故障信息。传统方案中对所有数据是顺序处理的,而发生故障时,一般日志数据量都会变大,导致故障信息送到维护人员手中时,已经有了一定时间的延迟,导致故障不能在第一时间被发现,变相加长了故障时长,影响用户体验。
因此,在对日志内容部分预处理时,可以确定日志行的级别。例如,对日志的内容部分进行关键字匹配,确定本日志行的级别,可以以1字节表示不同的级别。因此,发送数据包的数据结构可以包括三部分:
1)1字节,表示日志行的级别,用于判断是否关键日志数据(如检测ERROR字样)。
2)8字节,表示时间戳。
3)不定长,日志内容部分压缩后的字节流。
本发明实施例中,时间数据可以包括从预定日期到日志行日期的天数数据和从当日0点到日志行时间的毫秒数数据。
其中,日志行日期是指日志文件中记录的日期。例如,可以将时间部分标准化为8个字节,分别由2个4字节整型数据a和b组成。以上述日志文件为例,其中,整型数据a表示日期部分,如自1900/1/1起到2017-06-02经过的天数,整型数据b表示时间部分,如,自2017-06-02日0点起到15:12:11经过的毫秒数。
上述步骤S100和S200的顺序可以更变,也可以并行执行,完成日志数据的预处理和压缩后可以将生成的数据按顺序组合成数据包。
上述方法通过对日志数据的时间部分和内容部分分别处理,使时间数据标准化,相比标准压缩器,提高了压缩率,有利于后续的系统处理,解决了由于压缩率低使日志在传输过程中占用带宽较多的问题。
在流量控制方面,一般情况下,流量控制的参数(如速率、阀值、突发上限等)都是设定好的固定值。本发明实施例中通过增加流量监控,通过计算,动态修改流量控制算法中的各项参数,实现自适应的流量控制。
图2示出了根据本发明一实施例的日志传输方法的示意性结构图。
如图2所示,本发明实施例的日志传输方法还可以包括:
在步骤S400中采集网络流量参数。
其中,网络流量参数可以包括可通过的最大流量值、当前通过的总流量值及当前所述发送数据包的流量值中的至少一个。在一个优选的实施例中,可以每隔预定时间段采集一次所述网络流量参数。
例如,通过流量监控,每分钟采集以下KPI指标:max:可通过的最大的流量值,取网络带宽;current:当前网卡上通过的总流量数;log:当前日志发送占用的流量数。将上述参数采集完后,对流量控制算法中用到的参数进行动态计算,并写入结果进行保存,以供算法使用。
其中,流量控制算法可以为标准令牌桶算法,算法参数包括速率、令牌总数和刷新率中的至少一个。
在步骤S500中可以基于所采集的网络流量参数,计算流量控制算法所需算法参数的至少部分。
例如,首先定义本算法中的变量:avgsize:128,平均每行日志占用的数据尺寸;percent:发送数据包占用带宽比率。
本发明实施例中,可以基于网络流量参数和发送数据包占用带宽比计算所述速率;以及基于速率和平均每行日志占用的数据尺寸计算所述令牌总数。例如,Rate(速率):(max–current–log)*percent;Count(令牌总数):Rate/avgsize;Refresh(刷新率):固定配置值,不变。
在步骤S600中基于算法参数,使用流量控制算法,对发送数据包进行流量控制。
其中,在步骤S600中还可以基于级别数据进行流量控制。这样,关键的日志信息能够优先送到日志处理中心,提高维护效率,降低故障时长。
可以根据流量控制的结果将所述发送数据包放入待发送队列。待发送队列可以通过调用SPFA算法获取传输路径进行传输。
通过上述自适应流量控制方法,可以动态更新流量控制中令牌桶算法的相关参数,从而最大程度的利用系统资源。业务系统忙时,可以动态降低流量阀值,保障业务系统;业务系统闲值,增加流量的阀值,提高传输效率。
由于主流方案一般由Flume采集到数据后,直接向Kafka所在主机发送数据,数据都是通过固定的网络路径传输的。这样的话,会导致我们的网络环境中,某些设备的使用率非常高,而有的设备使用率却很低。如果业务系统同时也大量使用这些利率高的设备时,就会产生一定的延时,影响用户体验。
因此,为了快速选择一个资源占用较少的传输路径以及避开资源占用较多的节点进行传输,本发明实施例的日志传输方法中提供一种为发送数据包快速选择最短传输路径的方案,图4示出了根据本发明一实施例的日志传输路径选择的示意图。
如图4所示,0节点为发送端,1-5为日志网关(传输节点),6为接收端;节点上的百分比表示当前此节点的资源占用情况。
通过收集各日志网关的负载值,记录各节点资源占用情况。优选地,可以设置资源使用监控,向发送端定时发送日志网关的资源占用情况。
如图4所示,从发送端0到接收端6共4条传输路径:
0-1-3-5-6(和值170%)
0-1-4-6(和值130%)
0-2-3-5-6(和值180%)
0-2-4-6(和值140%)
可以使用SPFA算法确定从日志采集发送端到所述日志接收端具有最短距离的路径。
例如,可以使用改进的SPFA算法快速选择传输路径,在改进的SPFA算法的松弛操作环节进行优化,以避开高负载的传输节点。其中,松弛操作即对每个顶点进行最短路径估计,如果当前估值较小,则记录下来供后续比较。
图3示出了本发明一实施例的改进的SPFA算法的示意性流程图。
如图3所示,改进的SPFA算法包括以下步骤:
步骤1、设网络图上有x个节点,则定义长度为x的数组dist,记录从发送端到各设备的总负载。初始化第一个点的值为0,其他为最大整数值。生成队列Q,将发送端加入到Q。
步骤2、如果Q有数据,则转到步骤3,否则转到步骤8。
步骤3、将队列Q的第一条数据u取出,并移出队列。
步骤4、对u和u相邻的所有设备负载进行松弛操作(松弛操作即对每个顶点进行最短路径估计,如果当前估值较小,则记录下来供后续比较)。在松弛操作时,针对业务场景进行优化,如果负载较高,即n[j]>=9时,取值时将n[j]*10。
步骤5、如果结果变小,则在dist上记录变小的值,并转到步骤6。否则转到步骤2。
步骤6、判定结果变小的设备是否在队列Q中,如果不在,则转入步骤7,否则转入步骤2。
步骤7、将设备加入Q的最尾端。
步骤8、dist数组此时存储的就是发送端到每个设备节点的最小负载。
本发明实施例以图4为例,用实际情况解释上述算法:
可以以日志采集发送端、各日志网关和日志接收端作为网络上的各个节点,基于所述日志网关的负载值,设定相邻节点到每个日志网关的距离。
如图4所示,负载每增加10%,可以设距离增加1。数组dist表示0到每个节点的负载,首先,将0加入队列中。
第1轮计算,对0进松弛操作:
1变小(1),且不在队列中,加入队列
2变小(2),且不在队列中,加入队列
距离调整后:dist[]=0 1 2INF INF INF INF
此时队列内容为:1 2。
第2轮计算,对1进松弛操作:
3变小(7),且不在队列中,加入队列
4变小(91),且不在队列中,加入队列
本发明实施例中,在距离大于或等于预定阈值的情况下,将距离修改为放大预定倍数后的距离。例如,如果负载较高,即n[j]>=9时,取值时将n[j]*10。
距离调整后:dist[]=0 1 2 7 91 INF INF
此时队列内容为:2 3 4。
第3轮计算,对2进松弛操作:
距离调整后:dist[]=0 1 2 7 91 INF INF
此时队列内容为:3 4。
第4轮计算,对3进松弛操作:
5变小(14),且不在队列中,加入队列
距离调整后:dist[]=0 1 2 7 91 14 INF
此时队列内容为:4 5。
第5轮计算,对4进松弛操作:
6变小(94),且不在队列中,加入队列
距离调整后:dist[]=0 1 2 7 91 14 94
此时队列内容为:5 6。
第6轮计算,对5进松弛操作:
距离调整后:dist[]=0 1 2 7 91 14 17
此时队列内容为:6。
第7轮计算,对6进松弛操作:
距离调整后:dist[]=0 1 2 7 91 14 17
队列已空,结束计算。
最后,得出最小的负载为17,路径是0->1->3->5->6。
从上例可以看出,我们通过算法改进,成功的避开的负载较高的设备4。
通过上述方法,可以将负载值定时传送给SPFA算法,使得每次传输时都会从当前的最优路径进行。在SPFA算法中的松弛操作时,进行优化,使最终结果避让开负载高的设备。这样,可以优化网络资源利用率,有利于业务系统的稳定。
本发明实施例的日志传输方法可以由日志传输装置500来实现。图5示出了本发明实施例提供的日志传输装置的结构示意图。如图5所示,该装置500包括:标准化模块510、压缩模块520及组合模块530。
标准化模块510可以将日志行的时间部分标准化为第一预定长度的时间数据。
压缩模块520可以对日志行的内容部分进行压缩,得到压缩内容数据。
组合模块530可以将标准化模块510得到的时间数据和压缩模块520得到的压缩内容数据按预定顺序组合为发送数据包。
根据本发明一实施例,日志传输装置500还可以包括:分析模块。
分析模块可以分析日志行的内容部分,确定日志行的级别,得到第二预定长度的级别数据,其中,将级别数据、时间数据和压缩内容数据按预定顺序组合为发送数据包。
根据本发明一实施例,日志传输装置500还可以包括:采集模块、计算模块和控制模块。
其中,采集模块可以采集网络流量参数。
计算模块可以基于所采集的网络流量参数,计算流量控制算法所需算法参数的至少部分。
控制模块可以基于所述算法参数,使用所述流量控制算法,对所述发送数据包进行流量控制。
根据本发明一实施例,日志传输装置500还可以包括:收集模块、设定模块、修改模块和确定模块。
其中,收集模块可以收集各日志网关的负载值。
设定模块可以以日志采集发送端、各日志网关和日志接收端作为网络上的各个节点,基于日志网关的负载值,设定相邻节点到每个日志网关的距离。
修改模块可以在距离大于或等于预定阈值的情况下,将距离修改为放大预定倍数后的距离。
确定模块可以确定从日志采集发送端到日志接收端具有最短距离的路径。
通过上述装置,能够实现日志数据中时间部分的标准化,提高了数据压缩率,有利于后续的系统处理,从而提高日志传输的效率。
另外,本发明提供一种计算设备可以包括处理器601以及存储有计算机程序指令的存储器602。
具体地,上述处理器601可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器602可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器602可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器602可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器602可在数据处理装置的内部或外部。在特定实施例中,存储器602是非易失性固态存储器。在特定实施例中,存储器602包括只读存储器(ROM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器601通过读取并执行存储器602中存储的计算机程序指令,以实现上述实施例中的任意一种日志传输方法。
在一个示例中,计算设备还可包括通信接口603和总线610。其中,如图5所示,处理器601、存储器602、通信接口603通过总线610连接并完成相互间的通信。
通信接口603,主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线610包括硬件、软件或两者,将计算设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线610可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线,但本发明考虑任何合适的总线或互连。
另外,结合上述实施例中的日志传输方法,本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种日志传输方法。
需要明确的是,本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本发明的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本发明的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本发明中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本发明不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
以上所述,仅为本发明的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (13)

1.一种日志传输方法,其特征在于,所述方法包括:
将日志行的时间部分标准化为第一预定长度的时间数据;
对所述日志行的内容部分进行压缩,得到压缩内容数据;以及
将所述时间数据和所述压缩内容数据按预定顺序组合为发送数据包。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
分析所述日志行的内容部分,确定所述日志行的级别,得到第二预定长度的级别数据;
将所述级别数据、所述时间数据和所述压缩内容数据按预定顺序组合为所述发送数据包。
3.根据权利要求1所述的方法,其特征在于,
所述时间数据包括从预定日期到日志行日期的天数数据和从当日预定时间点到日志行时间的毫秒数数据。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
每隔预定时间段采集网络流量参数;
基于所采集的网络流量参数,计算流量控制算法所需算法参数的至少部分;
基于所述算法参数,使用所述流量控制算法,对所述发送数据包进行流量控制。
5.根据权利要求4所述的方法,其特征在于,
所述流量控制算法为标准令牌桶算法,所述算法参数包括速率、令牌总数和刷新率中的至少一个。
6.根据权利要求4所述的方法,其特征在于,
所述网络流量参数包括可通过的最大流量值、当前通过的总流量值及当前所述发送数据包的流量值中的至少一个。
7.根据权利要求4所述的方法,其特征在于,所述基于所采集的网络流量参数,计算流量控制算法所需的算法参数的步骤包括:
基于所述网络流量参数和发送数据包占用带宽比计算所述速率;以及
基于所述速率和平均每行日志占用的数据尺寸计算所述令牌总数。
8.根据权利要求4所述的方法,其特征在于,
在使用所述流量控制算法对所述发送数据包进行流量控制的步骤中,还基于所述级别数据进行流量控制。
9.根据权利要求1所述的方法,其特征在于,该方法还包括:
收集各日志网关的负载值;
以日志采集发送端、各日志网关和日志接收端作为网络上的各个节点,基于所述日志网关的负载值,设定相邻节点到每个日志网关的距离;
在所述距离大于或等于预定阈值的情况下,将所述距离修改为放大预定倍数后的距离;
确定从所述日志采集发送端到所述日志接收端具有最短距离的路径。
10.根据权利要求9所述的方法,其特征在于,该方法还包括:
使用SPFA算法确定从所述日志采集发送端到所述日志接收端具有最短距离的路径。
11.一种日志传输装置,其特征在于,所述装置包括:
标准化模块,用于将日志行的时间部分标准化为第一预定长度的时间数据;
压缩模块,用于对所述日志行的内容部分进行压缩,得到压缩内容数据;以及
组合模块,用于将所述标准化模块得到的时间数据和所述压缩模块得到的压缩内容数据按预定顺序组合为发送数据包。
12.一种计算设备,其特征在于,包括:至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令,当所述计算机程序指令被所述处理器执行时实现如权利要求1-10任一项所述的方法。
13.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,当所述计算机程序指令被处理器执行时实现如权利要求1-10中任一项所述的方法。
CN201711434827.3A 2017-12-26 2017-12-26 日志传输方法、装置、计算设备及存储介质 Active CN107911254B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711434827.3A CN107911254B (zh) 2017-12-26 2017-12-26 日志传输方法、装置、计算设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711434827.3A CN107911254B (zh) 2017-12-26 2017-12-26 日志传输方法、装置、计算设备及存储介质

Publications (2)

Publication Number Publication Date
CN107911254A true CN107911254A (zh) 2018-04-13
CN107911254B CN107911254B (zh) 2021-09-28

Family

ID=61871462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711434827.3A Active CN107911254B (zh) 2017-12-26 2017-12-26 日志传输方法、装置、计算设备及存储介质

Country Status (1)

Country Link
CN (1) CN107911254B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111628967A (zh) * 2020-04-20 2020-09-04 深圳市广和通无线股份有限公司 日志数据的传输方法、装置、计算机设备和存储介质
CN111913885A (zh) * 2020-08-07 2020-11-10 腾讯科技(深圳)有限公司 日志处理方法、装置、计算机可读存储介质及设备
CN112860443A (zh) * 2021-04-23 2021-05-28 深圳华锐金融技术股份有限公司 文件数据分发方法、系统
CN114866483A (zh) * 2022-03-25 2022-08-05 新华三大数据技术有限公司 数据压缩流控方法、装置及电子设备
CN115017218A (zh) * 2022-06-17 2022-09-06 中国电信股份有限公司 分布式调用链的处理方法及装置、存储介质、电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104468222A (zh) * 2014-12-15 2015-03-25 北京奇虎科技有限公司 上报日志信息的方法、装置及系统
CN105404472A (zh) * 2015-11-23 2016-03-16 天脉聚源(北京)传媒科技有限公司 一种压缩日志时间数据的存储空间的方法及装置
CN106209615A (zh) * 2016-07-05 2016-12-07 云南大学 一种基于spfa算法计算转发路径的动态路由控制方法
CN106341187A (zh) * 2016-09-08 2017-01-18 国家电网公司 一种otn 中通信流量请求转发方法及装置
CN106354617A (zh) * 2016-08-29 2017-01-25 广州华多网络科技有限公司 程序压缩性日志文件输出方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104468222A (zh) * 2014-12-15 2015-03-25 北京奇虎科技有限公司 上报日志信息的方法、装置及系统
CN105404472A (zh) * 2015-11-23 2016-03-16 天脉聚源(北京)传媒科技有限公司 一种压缩日志时间数据的存储空间的方法及装置
CN106209615A (zh) * 2016-07-05 2016-12-07 云南大学 一种基于spfa算法计算转发路径的动态路由控制方法
CN106354617A (zh) * 2016-08-29 2017-01-25 广州华多网络科技有限公司 程序压缩性日志文件输出方法及装置
CN106341187A (zh) * 2016-09-08 2017-01-18 国家电网公司 一种otn 中通信流量请求转发方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
仲思惠: "基于令牌桶算法的流量控制服务的设计与实现", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 *
刘宇翔: "基于令牌桶算法的交换网流量控制方法", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111628967A (zh) * 2020-04-20 2020-09-04 深圳市广和通无线股份有限公司 日志数据的传输方法、装置、计算机设备和存储介质
CN111913885A (zh) * 2020-08-07 2020-11-10 腾讯科技(深圳)有限公司 日志处理方法、装置、计算机可读存储介质及设备
CN111913885B (zh) * 2020-08-07 2021-07-27 腾讯科技(深圳)有限公司 日志处理方法、装置、计算机可读存储介质及设备
CN112860443A (zh) * 2021-04-23 2021-05-28 深圳华锐金融技术股份有限公司 文件数据分发方法、系统
CN114866483A (zh) * 2022-03-25 2022-08-05 新华三大数据技术有限公司 数据压缩流控方法、装置及电子设备
CN114866483B (zh) * 2022-03-25 2023-10-03 新华三大数据技术有限公司 数据压缩流控方法、装置及电子设备
CN115017218A (zh) * 2022-06-17 2022-09-06 中国电信股份有限公司 分布式调用链的处理方法及装置、存储介质、电子设备
CN115017218B (zh) * 2022-06-17 2024-01-30 中国电信股份有限公司 分布式调用链的处理方法及装置、存储介质、电子设备

Also Published As

Publication number Publication date
CN107911254B (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN107911254A (zh) 日志传输方法、装置、计算设备及存储介质
CN103999409B (zh) 用于带宽变化移动数据网络的链路缓冲器大小和队列长度估算的方法
CN104125153B (zh) 网络拓扑发现方法和设备
US20090310491A1 (en) Distributed Flow Analysis
CN102480433B (zh) 网络伺服器及其平均负载的路由方法
CN109067807A (zh) 基于web应用防火墙过载的安全防护方法、装置及电子设备
JP4261389B2 (ja) 不正アクセス検出装置及び不正アクセス検出プログラム
EP3720054A1 (en) Abnormal communication detection device, abnormal communication detection method, and program
CN110300008A (zh) 一种确定网络设备的状态的方法及装置
CN104734905A (zh) 检测数据流的方法及装置
CN114513470A (zh) 网络流量控制方法、装置、设备及计算机可读存储介质
CN109862052A (zh) 服务请求的调用方法、装置、计算机设备及存储介质
CN107409098A (zh) 控制设备、业务控制方法及记录有计算机程序的记录介质
EP2465283B1 (en) Estimation method and device for loss rates in a packetized network
JPWO2019107149A1 (ja) ビットアサイン推定装置、ビットアサイン推定方法、プログラム
CN116866950A (zh) 一种基于深度学习的无线网络资源优化系统及方法
CN103577296A (zh) 一种总线可靠性测试方法及系统
CN114726892B (zh) 基于人工智能大数据的边缘数据收集方法
CN115174435A (zh) 电力通信传输网性能综合评估方法
CN108429659A (zh) 路由器的远程故障监控方法、装置及路由器
CN112217665A (zh) 一种物联网终端接收和发射性能的定量评估方法
CN112365162A (zh) 一种基于事故致因网络的铁路运行风险控制方法
CN112671616B (zh) 流监控方法、装置、可编程芯片、存储介质及电子装置
CN115052264B (zh) 基于多路径筛选的铁路客站无线网络通信方法及装置
CN108205592A (zh) 用户上网信令内容解析方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant