CN113596097A - 一种日志的传输方法及电子设备 - Google Patents

一种日志的传输方法及电子设备 Download PDF

Info

Publication number
CN113596097A
CN113596097A CN202110736087.9A CN202110736087A CN113596097A CN 113596097 A CN113596097 A CN 113596097A CN 202110736087 A CN202110736087 A CN 202110736087A CN 113596097 A CN113596097 A CN 113596097A
Authority
CN
China
Prior art keywords
template
log
log template
type
information corresponding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110736087.9A
Other languages
English (en)
Other versions
CN113596097B (zh
Inventor
张闯
吴娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202110736087.9A priority Critical patent/CN113596097B/zh
Publication of CN113596097A publication Critical patent/CN113596097A/zh
Application granted granted Critical
Publication of CN113596097B publication Critical patent/CN113596097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种日志的传输方法及电子设备,通过从待传输的日志中提取第一日志模板和第一参数,第一日志模板用于表征待传输的日志的语义,第一参数用于表征待传输的日志中的特定数据,根据第一日志模板确定第一日志模板的模板类型,在确定模板类型为已有模板的情况下,将已有模板对应的第一信息、第一日志模板对应的第二信息及第一参数发送给中心节点,从而在日志的传输过程中,针对第一日志的模板类型为已有模板的情况下,可以直接将已有模板对应的第一信息、第一日志模板对应的第二信息及第一参数发送给中心节点,而无需传输从待传输的日志中提取到的第一日志模板,从而可以大大减少待传输的日志在传输时的带宽。

Description

一种日志的传输方法及电子设备
技术领域
本申请涉及信息处理技术领域,尤其涉及一种日志的传输方法及电子设备。
背景技术
在一些场景中,经常有一些终端节点需要将采集到的日志传输到中心节点的场景,日志往往数量比较大,并且日志内容中重复的部分比较多,原始日志直接传输比较浪费带宽和占用磁盘空间。比如目前的多接入边缘计算(MEC)传输日志到配置管理员(CMO)就是原始日志直接传输,占用带宽比较大。
发明内容
有鉴于此,本发明实施例通过提供一种日志传输方法及电子设备,用以解决现有技术中原始日志直接传输,占用带宽比较大的技术问题。
为了解决上述问题,第一方面,本发明实施例提供了一种日志的传输方法,用于终端节点,包括:获取待传输的日志;从待传输的日志中提取第一日志模板和第一参数,第一日志模板用于表征待传输的日志的语义,第一参数用于表征待传输的日志中的特定数据;根据第一日志模板确定第一日志模板的模板类型;在确定模板类型为已有模板的情况下,将已有模板对应的第一信息、第一日志模板对应的第二信息及第一参数发送给中心节点。
可选地,根据第一日志模板确定第一日志模板的模板类型,包括:在检测到日志模板库中存在与第一日志模板相同的第二日志模板的情况下,确定第一日志模板的模板类型为已有模板。
可选地,日志的传输方法还包括:在检测到日志模板库中存在与第一日志模板匹配的第二日志模板,且根据第一日志模板确定第二日志模板中存在第二参数的情况下,确定第一日志模板的模板类型为修改模板。
可选地,日志的传输方法还包括:在确定模板类型为修改模板的情况下,将修改模板对应的第三信息、第一日志模板对应的第二信息、第一参数及第一日志模板发送给中心节点。
可选地,日志的传输方法还包括:在确定模板类型为修改模板的情况下,将日志模板库中的第二日志模板替换为第一日志模板。
可选地,第一日志模板的第二信息的确定步骤包括:确定第一日志模板的第二信息为与第一日志模板相同/匹配的第二日志模板的第四信息。
可选地,日志的传输方法还包括:在检测到日志模板库中不存在与第一日志模板匹配的第二日志模板,确定第一日志模板的模板类型为新建模板。
可选地,日志的传输方法还包括:在确定模板类型为新建模板的情况下,按照模板信息确定规则确定第一日志模板对应的第二信息;将新建模板对应的第五信息、第一日志模板对应的第二信息、第一参数及第一日志模板发送给中心节点。
可选地,日志的传输方法还包括:在确定模板类型为新建模板的情况下,将第一日志模板及第一日志模板对应的第二信息存入日志模板库。
第二方面,本发明实施例提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器执行如第一方面或第一方面任意实施方式中的日志的传输方法。
本发明实施例提供的日志的传输方法及电子设备,通过获取待传输的日志;从待传输的日志中提取第一日志模板和第一参数,第一日志模板用于表征待传输的日志的语义,第一参数用于表征待传输的日志中的特定数据;根据第一日志模板确定第一日志模板的模板类型;在确定模板类型为已有模板的情况下,将已有模板对应的第一信息、第一日志模板对应的第二信息及第一参数发送给中心节点;从而在日志的传输过程中,针对第一日志的模板类型为已有模板的情况下,也即在已经存储的日志模板中能够找到与第一日志模板相同的日志模板的情况下,可以直接将已有模板对应的第一信息、第一日志模板对应的第二信息及第一参数发送给中心节点,而对于从待传输的日志中提取到的用于表征待传输的日志的语义的第一日志模板,则不用传输,由于第一日志模板用于表征待传输的日志的语义,占用的字节较长,且在日志传输过程中重复的概率很大,传输日志时,不用传输第一日志模板,可以大大减少待传输的日志在传输时的带宽;并且,在中心节点,由于存储的日志中不包括日志模板,可以节省日志存储的空间。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
图1为本发明实施例中一种基于显示界面的目录组合方法的流程示意图;
图2为本发明实施例中一种电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种日志的传输方法,用于终端节点,如图1所示,包括:
S101.获取待传输的日志;
具体地,待传输的日志为在终点节点产生或终端节点采集到的准备传输到中心节点的日志。
大部分情况下,待传输的日志中,对于数字、IP和0x打头的数据一般自动认为是可变的数据,是第一参数,而剩余的内容为格式内容。对于待传输的日志,将可变的数据以某种特定符号进行标识,就可以得到第一日志模板。
表1示出了多个待传输的日志。从表1中可以看出,第1、2、4、5、9行待传输的日志的第一日志模板都是一样的,都是PacketResponder<*>forblock<*>terminating样式的。第3、6、7、8行待传输的日志的第一日志模板也都是一样的,都是BLOCK*NameSystem.addStoredBlock:blockMap updated:<*>is added to<*>size<*>样式的。其中,<*>代表可变的内容。这些第一日志模板的传输实际上是一种重复传输,会占用大量的带宽。
表1
Figure BDA0003141757540000041
Figure BDA0003141757540000051
S102.从待传输的日志中提取第一日志模板和第一参数,第一日志模板用于表征待传输的日志的语义,第一参数用于表征待传输的日志中的特定数据。
具体地,由于待传输的日志包括用于表征待传输的日志的语义的第一日志模板和用于表征待传输的日志中的第一参数,因此,可以从当前待传输的日志中提取到第一日志模板和第一参数。而有关第一日志模板和第一参数的提取方法,为本领域技术人员所熟知,在此不再予以赘述。
表2示出了表1中各待传输的日志的第一日志模板和第一参数。
表2
Figure BDA0003141757540000052
S103.根据第一日志模板确定第一日志模板的模板类型;具体地,在终端节点,日志模板库中存储有多个第二日志模板,模板库中存储的多个第二日志模板可以在持续的日志传输过程中对提取到的第一日志模板进行保存得到,也可以是通过对批量历史日志进行提取得到。对于存储的第二日志模板,可以由终端节点传输到中心节点,在中心节点也进行保存。针对当前提取到的第一日志模板,可以将第一日志模板与日志模板库中的第二日志模板进行匹配,从而确定第一日志模板的模板类型。模板类型主要包括三种:已有模板、修改模板和新建模板。当模板类型为已有模板时,说明日志模板库中存储有第一日志模板相同的第二日志模板。当模板类型为修改模板时,说明日志模板库中存储有第一日志模板匹配的第二日志模板,但第二日志模板中还存在可变的内容,需要根据第一日志模板对第二日志模板进行修改。当模板类型为新建模板时,说明日志模板库中未存储有第一日志模板匹配的第二日志模板,需要新建日志模板。
S104.在确定模板类型为已有模板的情况下,将已有模板对应的第一信息、第一日志模板对应的第二信息及第一参数发送给中心节点。
具体地,第一信息可以为已有模板这种模板类型对应的标识信息,例如已有模板对应的标识信息为1,则第一信息为1。第二信息可以为第一日志模板对应的标识信息,例如模板ID。第一日志模板的第二信息的确定步骤包括:确定第一日志模板的第二信息为与第一日志模板相同的第二日志模板的第四信息。第四信息可以为第二日志模板对应的标识信息。将第二日志模板存储在日志模板库中时,可以按照模板信息确定规则确定每个第二日志模板存储时的模板ID,作为第二日志模板的标识信息。从而当第一日志模板的模板类型为已有模板时,可以提取第二日志模板对应的标识信息,作为第一日志模板对应的第二信息,从而将已有模板对应的第一信息、第一日志模板对应的第二信息及第一参数发送给中心节点,中心节点对第一信息、第二信息及第一参数进行保存。
在中心节点,由于也存储有对日志模板库,当需要还原日志时,可以根据接收到的日志中的第一信息确定模板类型,然后根据模板的类型及第二信息查找到相应的日志模板,然后将参数(例如第一参数)填入查找到的日志模板即可还原出日志。
本发明实施例提供的日志的传输方法,通过获取待传输的日志;从待传输的日志中提取第一日志模板和第一参数,第一日志模板用于表征待传输的日志的语义,第一参数用于表征待传输的日志中的特定数据;根据第一日志模板确定第一日志模板的模板类型;在确定模板类型为已有模板的情况下,将已有模板对应的第一信息、第一日志模板对应的第二信息及第一参数发送给中心节点;从而在日志的传输过程中,针对第一日志的模板类型为已有模板的情况下,也即在已经存储的日志模板中能够找到与第一日志模板相同的日志模板的情况下,可以直接将已有模板对应的第一信息、第一日志模板对应的第二信息及第一参数发送给中心节点,而对于从待传输的日志中提取到的用于表征待传输的日志的语义的第一日志模板,则不用传输,由于第一日志模板用于表征待传输的日志的语义,占用的字节较长,且在日志传输过程中重复的概率很大,传输日志时,不用传输第一日志模板,可以大大减少待传输的日志在传输时的带宽;并且,在中心节点,由于存储的日志中不包括日志模板,可以节省日志存储的空间。
在一个可选的实施例中,步骤S103,根据第一日志模板确定第一日志模板的模板类型,具体包括:在检测到日志模板库中存在与第一日志模板相同的第二日志模板的情况下,确定第一日志模板的模板类型为已有模板。
在本发明这一实施例中,通过在终端节点建立日志模板库,并在日志模板库中查找与第一日志模板相同的第二日志模板的方式,来确定第一日志模板是否为已有模板,可以快速、准确地得到第一日志模板的模板类型。
在一个可选的实施例中,日志的传输方法还包括:在检测到日志模板库中存在与第一日志模板匹配的第二日志模板,且根据第一日志模板确定第二日志模板中存在第二参数的情况下,确定第一日志模板的模板类型为修改模板。
具体地,对于一些特殊的数据,例如用户名,应该作为可变内容,但是模板提取算法在第一次或前几次提取第一日志模板/第二日志模板时,由于没有足够的数据来判定用户名是否为第一参数,因此,在第一次或前几次提取第一日志模板/第二日志模板时,会暂且将用户名作为第一日志模板/第二日志模板的一部分。但是当有足够的数据判定用户名为可变内容时,第一日志模板中会不存在用户名,而此时根据第一日志模板可以在日志模板库中查找与第一日志模板匹配的第二日志模板,但第一日志模板与第二日志模板不完全相同,第二日志模板中存在用户名,此时可以确定第一日志模板的类型为修改模板,需要根据第一日志模板对模板库中的第二日志模板进行修改。
在本发明这一实施例中,通过在终端节点建立日志模板库,并在日志模板库中查找与第一日志模板匹配的第二日志模板的方式,并根据第一日志模板确定第一日志模板是否为修改模板,可以快速、准确地得到第一日志模板的模板类型。
在一个可选的实施例中,日志的传输方法还包括:在确定模板类型为修改模板的情况下,将修改模板对应的第三信息、第一日志模板对应的第二信息、第一参数及第一日志模板发送给中心节点。
具体地,第三信息可以为修改模板这种模板类型对应的标识信息,例如修改模板对应的标识信息为2,则第三信息为2。第一日志模板的第二信息的确定步骤包括:确定第一日志模板的第二信息为与第一日志模板匹配的第二日志模板的第四信息。第四信息可以为第二日志模板对应的标识信息。当第一日志模板的模板类型为修改模板时,可以提取第二日志模板对应的标识信息,作为第一日志模板对应的第二信息,并将修改模板对应的第三信息、第一日志模板对应的第二信息及第一参数发送给中心节点。
同时,在终端节点确定第一日志模板的模板类型为修改模板的情况下,为了对中心节点的日志模板库中的第二日志模板进行修改,除了需要将第三信息、第二信息及第一参数发送给中心节点,也需要将提取到第一日志模板发送给中心节点。从而中心节点可以根据第三信息确定模板类型为修改模板,此时需要对中心节点中的日志模板库中的第二日志模板进行修改,可以根据第二信息查找到需要修改的第二日志模板,然后将第一日志模板替换第二日志模板,从而完成对第二日志模板的修改。
在本发明这一实施例中,在确定模板类型为修改模板的情况下,通过将修改模板对应的第三信息、第一日志模板对应的第二信息、第一参数及第一日志模板发送给中心节点,从而中心节点可以根据第一日志模板对日志模板库中的第二日志模板进行修改,实现对中心节点的日志模板库的更新。
在一个可选的实施例中,日志的传输方法还包括:在确定模板类型为修改模板的情况下,将日志模板库中的第二日志模板替换为第一日志模板。
具体地,为了对终端节点的日志模板库中的第二日志模板进行修改,在确定模板类型为修改模板的情况下,需要将日志模板库中的第二日志模板替换为第一日志模板。
在本发明这一实施例中,在确定模板类型为修改模板的情况下,通过将日志模板库中的第二日志模板替换为第一日志模板,从而可以对终端节点内的日志模板库中的第二日志模板进行修改,实现对终端节点的日志模板库的更新。
在一个可选的实施例中,日志的传输方法还包括:在检测到日志模板库中不存在与第一日志模板匹配的第二日志模板,确定第一日志模板的模板类型为新建模板。
在本发明这一实施例中,通过在终端节点建立日志模板库,并在日志模板库中查找与第一日志模板匹配的第二日志模板的方式,来确定第一日志模板是否为新建模板,可以快速、准确地得到第一日志模板的模板类型。
在一个可选的实施例中,日志的传输方法还包括:在确定模板类型为新建模板的情况下,按照模板信息确定规则确定第一日志模板对应的第二信息;将新建模板对应的第五信息、第一日志模板对应的第二信息、第一参数及第一日志模板发送给中心节点。
具体地,在确定模板类型为新建模板的情况下,说明终端节点和中心节点的日志模板库中存在与第一日志模板匹配的第二日志模板,为了对
第五信息可以为新建模板这种模板类型对应的标识信息,例如新建模板对应的标识信息为3,则第五信息为3。在确定模板类型为新建模板的情况下,可以按照模板信息确定规则确定第一日志模板对应的第二信息。第二信息可以为第一日志模板对应的标识信息,例如模板ID。然后将修改模板对应的第五信息、第一日志模板对应的第二信息及第一参数发送给中心节点。
同时,在终端节点确定第一日志模板的模板类型为新建模板的情况下,为了对中心节点的日志模板库进行更新,除了需要将第五信息、第二信息及第一参数发送给中心节点,也需要将提取到第一日志模板发送给中心节点。从而中心节点可以根据第五信息确定模板类型为新建模板,此时需要将第二信息及第一日志模板保存至中心节点中的日志模板库中。
在本发明这一实施例中,在确定模板类型为新建模板的情况下,通过将新建模板对应的第五信息、第一日志模板对应的第二信息、第一参数及第一日志模板发送给中心节点,从而中心节点可以将第二信息及第一日志模板保存至中心节点中的日志模板库中,实现对中心节点的日志模板库的更新。
在一个可选的实施例中,日志的传输方法还包括:在确定模板类型为新建模板的情况下,将第一日志模板及第一日志模板对应的第二信息存入日志模板库。
在本发明这一实施例中,在确定模板类型为新建模板的情况下,通过第一日志模板及第一日志模板对应的第二信息存入日志模板库,从而可以实现对终端节点的日志模板库的更新。
为了便于理解,下述以一具体过程样例对本发明进行进一步的说明。
对于冷起动的情况,也就是新部署的情况,由于终端节点事先不知道日志是什么样的,所以自动提取的日志模板也是不断演进的,终端节点每次更新了日志模板后需要将相关情况发给中心节点。
大部分情况下对于IP和0x打头的一般自动认为是参数,因此缺省可以配置这些自动解析为参数。对于例外场景,修改配置文件即可。参数通常的配置如下所示:
Figure BDA0003141757540000121
具体过程如下所示,比如终端节点新部署,采集到的最开始的七条日志如下所示:
connected to 10.0.0.1;
connected to 10.0.0.2;
connected to 10.0.0.3;
Hex number 0xDEADBEAF;
Hex number 0x10000;
user davidoh logged in;
user eranr logged in;
user abc logged in。
日志传输格式如下:
模板类型/模板ID/[参数A,参数B,……]/第一日志模板(只有模板类型为新建模板和修改模板时含此字段)。
模板类型为:
1:新建模板;
2:修改模板;
3:已有模板。
1.当接收到第一条日志connected to 10.0.0.1时;
在日志模板库中新建一个日志模板,赋予ID为1,如下所示cluster_id,同时将change_type置为cluster_created表示新建模板,提取到的模板为connected to<:IP:>,这里,提取到的参数为'10.0.0.1'。
终端节点处理结果:
{"change_type":"cluster_created","cluster_id":1,"cluster_size":1,"template_mined":"connected to<:IP:>","cluster_count":1,"parameters":['10.0.0.1']}。
终端节点将1/1/['10.0.0.1']/"connected to<:IP:>"这些信息传输给中心节点。中心节点接受这些信息进行存储。
2.当接收到第二条日志connected to 10.0.0.2时;
经过日志模板提取后发现与第一条日志是同一个日志模板,因此终端节点只用传输日志模板ID:1和参数‘10.0.0.2‘给中心结点即可。
终端节点将3/1/['10.0.0.2']这些信息传输给中心节点。中心节点接受这些信息进行存储。
3.当接收到第三条日志connected to 10.0.0.3时;
经过日志模板提取发现与第一条日志是同一个日志模板,因此,终端节点只用传输日志模板ID:1和参数‘10.0.0.3‘给中心结点即可。
终端节点将3/1/['10.0.0.3']这些信息传输给中心节点。中心节点接受这些信息进行存储。
4.当接收到第四条日志Hex number 0xDEADBEAF时;
在日志模板库中发现没有此日志对应的日志模板,因此在日志模板库中新建一个日志模板,赋予模板ID为2,同时change_type为cluster_created,标识新建模板,提取到的模板为Hex number<:HEX:>,提取到的参数为'10.0.0.1'。
终端节点处理结果:
{"change_type":"cluster_created","cluster_id":2,"cluster_size":1,"template_mined":"Hex number<:HEX:>","cluster_count":2,"parameters":['0xDEADBEAF']}。
终端节点将1/2/['0xDEADBEAF']/"Hex number<:HEX:>"这些信息传输给中心节点。中心节点接受这些信息进行存储。
5.当接收到第五条日志Hex number 0x10000时;
经过日志模板提取后发现与第四条日志是同一个日志模板,因此,终端节点只用传输日志模板ID:2和参数‘0x10000‘给中心结点即可。
终端节点将3/2/['0x10000']这些信息传输给中心节点。中心节点接受这些信息进行存储。
6.当接收到第六条日志user davidoh logged in时;
在日志模板库中发现没有此日志对应的模板,因此在日志模板库中新建一个模板,赋予模板ID为3,同时change_type为cluster_created,标识新建模板,提取到的模板为user davidoh logged in;
注意虽然davidoh是一个用户名,明显应该算一个参数,但是由于是第一次遇到这样的日志,因此日志模板提取算法并没有足够的数据来判定davidoh是参数,而是暂且当作日志模板的一部分。
终端节点处理结果:
{"change_type":"cluster_created","cluster_id":3,"cluster_size":1,"template_mined":"user davidoh logged in","cluster_count":3,"parameters":[]}
终端节点将1/3/[]/"user davidoh logged in"这些信息传输给中心节点。中心节点接受这些信息进行存储。
7.当接收到第七条日志user eranr logged in时;
此时终端节点的日志模板提取算法已经可以发现user后面的内容为可变内容,并且匹配模板ID 3,因此修改以前的模板,置change_type为cluster_template_changed标志已有模板发生变化,
发送template_mined为user<:*:>logged in标识提取的日志模板的内容,参数为eranr。
终端处理结果:
{"change_type":"cluster_template_changed","cluster_id":3,"cluster_size":2,"template_mined":"user<:*:>logged in","cluster_count":3,"parameters":['eranr']}。
终端节点将2/3/['eranr']/"user<:*:>logged in"这些信息传输给中心节点。中心节点接受这些信息进行存储。
8.当接收到第八条日志user abc logged in时;
此时终端节点发现日志匹配模板ID 3,
终端处理结果只用将模板ID 3和参数发送给中心节点即可。
终端节点将3/3/['abc']这些信息传输给中心节点。中心节点接受这些信息进行存储。
如上所述,可以看到当有重复样式的日志时,实际传输的内容可以被大大压缩,可以大大减少日志在传输时的带宽。
基于与前述实施例中一种日志的传输方法同样的发明构思,本发明实施例还提供一种电子设备,如图2所示,包括:处理器31和存储器32,其中处理器31和存储器32可以通过总线或者其他方式连接,图2中以通过总线连接为例进行说明。
处理器31可以为中央处理器(Central Processing Unit,CPU)。处理器31还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器32作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本发明实施例中的日志的传输方法对应的程序指令/模块。处理器31通过运行存储在存储器32中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施例中的日志的传输方法。
存储器32可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器31所创建的数据等。此外,存储器32可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器32可选包括相对于处理器31远程设置的存储器,这些远程存储器可以通过网络连接至处理器31。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的一个或者多个模块存储在存储器32中,当被处理器31执行时,执行如图1所示实施例中的日志的传输方法。
上述电子设备具体细节可以对应参阅图1所示的实施例中对应的相关描述和效果进行理解,此处不再赘述。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random AccessMemory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程信息处理设备的处理器以产生一个机器,使得通过计算机或其他可编程信息处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程信息处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程信息处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种日志的传输方法,用于终端节点,包括:
获取待传输的日志;
从所述待传输的日志中提取第一日志模板和第一参数,所述第一日志模板用于表征所述待传输的日志的语义,所述第一参数用于表征所述待传输的日志中的特定数据;
根据所述第一日志模板确定所述第一日志模板的模板类型;
在确定所述模板类型为已有模板的情况下,将所述已有模板对应的第一信息、所述第一日志模板对应的第二信息及所述第一参数发送给中心节点。
2.根据权利要求1所述的日志的传输方法,所述根据所述第一日志模板确定所述第一日志模板的模板类型,包括:
在检测到日志模板库中存在与所述第一日志模板相同的第二日志模板的情况下,确定所述第一日志模板的模板类型为已有模板。
3.根据权利要求2所述的日志的传输方法,还包括:
在检测到日志模板库中存在与所述第一日志模板匹配的第二日志模板,且根据所述第一日志模板确定所述第二日志模板中存在第二参数的情况下,确定所述第一日志模板的模板类型为修改模板。
4.根据权利要求3所述的日志的传输方法,还包括:
在确定所述模板类型为修改模板的情况下,将所述修改模板对应的第三信息、所述第一日志模板对应的第二信息、所述第一参数及所述第一日志模板发送给中心节点。
5.根据权利要求3所述的日志的传输方法,还包括:
在确定所述模板类型为修改模板的情况下,将日志模板库中的所述第二日志模板替换为所述第一日志模板。
6.根据权利要求1-5任一项所述的日志的传输方法,所述第一日志模板的第二信息的确定步骤包括:
确定所述第一日志模板的第二信息为与所述第一日志模板相同/匹配的第二日志模板的第四信息。
7.根据权利要求2所述的日志的传输方法,还包括:
在检测到日志模板库中不存在与所述第一日志模板匹配的第二日志模板,确定所述第一日志模板的模板类型为新建模板。
8.根据权利要求7所述的日志的传输方法,还包括:
在确定所述模板类型为新建模板的情况下,按照模板信息确定规则确定所述第一日志模板对应的第二信息;
将所述新建模板对应的第五信息、所述第一日志模板对应的第二信息、所述第一参数及所述第一日志模板发送给中心节点。
9.根据权利要求8所述的日志的传输方法,还包括:
在确定所述模板类型为新建模板的情况下,将所述第一日志模板及所述第一日志模板对应的第二信息存入所述日志模板库。
10.一种电子设备,包括:
至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行如权利要求1-9任意一项所述的日志的传输方法。
CN202110736087.9A 2021-06-30 2021-06-30 一种日志的传输方法及电子设备 Active CN113596097B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110736087.9A CN113596097B (zh) 2021-06-30 2021-06-30 一种日志的传输方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110736087.9A CN113596097B (zh) 2021-06-30 2021-06-30 一种日志的传输方法及电子设备

Publications (2)

Publication Number Publication Date
CN113596097A true CN113596097A (zh) 2021-11-02
CN113596097B CN113596097B (zh) 2023-08-18

Family

ID=78245364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110736087.9A Active CN113596097B (zh) 2021-06-30 2021-06-30 一种日志的传输方法及电子设备

Country Status (1)

Country Link
CN (1) CN113596097B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080059524A1 (en) * 2006-08-30 2008-03-06 Stefan Biedenstein Hybrid data provider
US20090094263A1 (en) * 2007-10-04 2009-04-09 Microsoft Corporation Enhanced utilization of network bandwidth for transmission of structured data
CN103402089A (zh) * 2013-07-24 2013-11-20 江苏晓山信息产业股份有限公司 一种基于宏块技术的虚拟桌面图像压缩方法
CN103685476A (zh) * 2013-11-26 2014-03-26 优视科技有限公司 利用网页模板实现网页展现的方法和网页模板服务器
CN107992490A (zh) * 2016-10-26 2018-05-04 华为技术有限公司 一种数据处理方法以及数据处理设备
CN111163057A (zh) * 2019-12-09 2020-05-15 中国科学院信息工程研究所 一种基于异构信息网络嵌入算法的用户识别系统及方法
CN111416875A (zh) * 2020-04-10 2020-07-14 中国人民解放军国防科技大学 一种面向云边协同的服务目录同步方法及系统
CN111654542A (zh) * 2020-06-03 2020-09-11 支付宝(杭州)信息技术有限公司 代理服务器、执行服务器、接收设备以及任务执行方法
CN111708860A (zh) * 2020-06-15 2020-09-25 北京优特捷信息技术有限公司 信息提取方法、装置、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080059524A1 (en) * 2006-08-30 2008-03-06 Stefan Biedenstein Hybrid data provider
US20090094263A1 (en) * 2007-10-04 2009-04-09 Microsoft Corporation Enhanced utilization of network bandwidth for transmission of structured data
CN103402089A (zh) * 2013-07-24 2013-11-20 江苏晓山信息产业股份有限公司 一种基于宏块技术的虚拟桌面图像压缩方法
CN103685476A (zh) * 2013-11-26 2014-03-26 优视科技有限公司 利用网页模板实现网页展现的方法和网页模板服务器
CN107992490A (zh) * 2016-10-26 2018-05-04 华为技术有限公司 一种数据处理方法以及数据处理设备
CN111163057A (zh) * 2019-12-09 2020-05-15 中国科学院信息工程研究所 一种基于异构信息网络嵌入算法的用户识别系统及方法
CN111416875A (zh) * 2020-04-10 2020-07-14 中国人民解放军国防科技大学 一种面向云边协同的服务目录同步方法及系统
CN111654542A (zh) * 2020-06-03 2020-09-11 支付宝(杭州)信息技术有限公司 代理服务器、执行服务器、接收设备以及任务执行方法
CN111708860A (zh) * 2020-06-15 2020-09-25 北京优特捷信息技术有限公司 信息提取方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李娟: "分布式应用软件的日志分析系统的设计与实现", 《中国知网硕士电子期刊信息科技辑》, no. 3 *

Also Published As

Publication number Publication date
CN113596097B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN105187475A (zh) 数据同步的方法和系统
CN109189758B (zh) 运维流程设计方法、装置和设备、运行方法、装置和主机
CN111818099B (zh) 一种tcp协议报文过滤方法及装置
CN107066303B (zh) 固件比对方法和装置
CN110737719A (zh) 数据同步方法、装置、设备及计算机可读存储介质
CN108446110B (zh) Lua脚本生成方法、装置、终端及计算机可读介质
CN111367922A (zh) 一种数据更新方法及相关设备
CN110990350B (zh) 日志的解析方法及装置
US10938773B2 (en) Method and apparatus for synchronizing contact information and medium
CN110012124B (zh) 一种对网络地址范围段进行拆分的方法及装置
CN110460668B (zh) 一种文件上传方法、装置、计算机设备和存储介质
CN104079623A (zh) 多级云存储同步控制方法及系统
CN112269588B (zh) 算法的升级方法、装置、终端和计算机可读存储介质
CN113821249A (zh) 项目开发配置的方法、装置、电子设备和可读存储介质
CN113596097B (zh) 一种日志的传输方法及电子设备
CN110768811B (zh) 更新yang模型文件库的方法、装置和系统
CN116074308A (zh) 车端升级包下载方法、系统、设备及可读存储介质
CN115328520A (zh) 远程升级方法、装置、电子设备和存储介质
CN114691651A (zh) 事件处理方法、装置、设备以及存储介质
CN112737831A (zh) 一种固件升级包处理方法、装置、电子设备和存储介质
CN115004667B (zh) 信息推送方法、装置、电子设备及计算机可读介质
CN110896391B (zh) 一种报文处理方法和装置
CN113326141A (zh) 一种区块链节点的内存管理方法和装置
CN112947991A (zh) 版本差异代码文件的获取方法、装置、计算机设备和介质
CN110825406A (zh) 一种软件升级的方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant