CN109710502A - 日志传输方法、装置及存储介质 - Google Patents
日志传输方法、装置及存储介质 Download PDFInfo
- Publication number
- CN109710502A CN109710502A CN201811566508.2A CN201811566508A CN109710502A CN 109710502 A CN109710502 A CN 109710502A CN 201811566508 A CN201811566508 A CN 201811566508A CN 109710502 A CN109710502 A CN 109710502A
- Authority
- CN
- China
- Prior art keywords
- log
- key
- transmitted
- transmission
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本申请涉及一种日志传输方法、装置及存储介质,属于通信技术领域,该方法包括:获取客户端生成的待传输日志;确定所述待传输日志与已存储的关键日志之间的相似度;在所述相似度大于或等于预设的相似度阈值时,获取所述关键日志的参考信息;获取所述待传输日志中与所述关键日志不同部分的差异信息;将所述参考信息和所述差异信息发送至服务器;可以解决现有的日志传输方法无法同时满足日志传输的实时性和节省网络资源两种要求的问题;由于参考信息和所述差异信息的总数据量小于待传输日志的数据量,因此,既可以保证日志传输的实时性;又可以减少日志传输时所需的网络资源。
Description
技术领域
本申请涉及日志传输方法、装置及存储介质,属于通信技术领域。
背景技术
随着计算机系统和各类网络设备的复杂性越来越高,各类系统常常使用日志记录一些关键信息,比如:使用日志记录系统资源的使用情况、异常操作等信息。日志系统包括服务器和客户端,其中,客户端用于生成日志,并将该日志发送给服务器;相应地,服务器用于对接收到的日志进行记录与管理。
目前的日志系统中,客户端向服务器发送日志的方式包括:第一种:客户端每生成一条日志便将该日志发送至服务器;第二种:客户端将生成的日志缓存,在日志的条数达到预设条数后,将缓存的日志进行无损压缩并发送至服务器。
在第一种方式中,虽然可以保证日志传输的实时性,但是在客户端数量较多时由于网络带宽有限可能会导致日志中的部分内容丢失;而在第二种方式中,虽然可以节省网络传输资源以保证日志内容不丢失,但是日志的实时性较差。
发明内容
本申请提供了一种日志传输方法、装置及存储介质,可以解决现有的日志传输方法无法同时满足日志传输的实时性和节省网络资源两种要求的问题。本申请提供如下技术方案:
第一方面,提供了一种日志传输方法,所述方法包括:
获取客户端生成的待传输日志;
确定所述待传输日志与已存储的关键日志之间的相似度,所述关键日志是所述客户端生成并完整保存的日志;
在所述相似度大于或等于预设的相似度阈值时,获取所述关键日志的参考信息,所述参考信息用于指示所述关键日志与所述待传输日志相同的部分;
获取所述待传输日志中与所述关键日志不同部分的差异信息;
将所述参考信息和所述差异信息发送至服务器;所述参考信息用于供所述服务器确定出所述关键日志,所述差异信息用于供所述服务器结合确定出的所述关键日志还原所述待传输日志。
可选地,所述确定所述待传输日志与已存储的关键日志之间的相似度,包括:
以指定分隔符分隔开的每个字符串为单位,将所述待传输日志中的传输字符串与所述关键日志中的关键字符串进行比较;
统计与关键字符串相同的传输字符串的第一数量;
计算所述第一数量与所述传输字符串的总数量的商,得到所述相似度。
可选地,所述确定所述待传输日志与已存储的关键日志之间的相似度,包括:
以指定分隔符分隔开的每个字符串为单位,对于所述待传输日志中的每个传输字符串,若所述传输字符串与所述关键日志中的一个关键字符串存在连续n个字符相同时,则计算n与所述传输字符串的字符总数的商,得到所述传输字符串的相似度权值;n为大于2的整数;
计算所述待传输日志中各个传输字符串的相似度权值的和与所述传输字符串的总数量的商,得到所述相似度。
可选地,所述获取所述关键日志的参考信息,包括:
获取所述关键日志的日志标识,以及所述关键日志中与所述待传输日志中的传输字符串相同的关键字符串的位置信息,得到所述参考信息。
可选地,所述获取所述待传输日志中与所述关键日志不同部分的差异信息,包括:
获取所述待传输日志中与所述关键日志中的关键字符串不同的传输字符串,及所述与所述关键字符串不同的传输字符串的位置信息,得到所述差异信息。
可选地,所述客户端包括至少一个程序模块,所述确定所述待传输日志与已存储的关键日志之间的相似度,包括:
确定生成所述待传输日志的目标程序模块;
确定所述待传输日志与所述目标程序模块对应的关键日志之间的相似度。
可选地,所述方法还包括:
在所述相似度小于所述相似度阈值时,将所述待传输日志标记为关键日志,并为所述待传输日志分配对应的日志标识;
将具有关键日志标记的所述待传输日志进行加密,得到加密后的关键日志;
将所述加密后的关键日志发送至所述服务器。
第二方面,提供了一种日志传输方法,所述方法包括:
接收客户端发送的日志数据;
确定所述日志数据是否为关键日志的日志数据;
在所述日志数据不是所述关键日志的日志数据时,根据所述日志数据中的参考信息确定关键日志;
根据确定出的所述关键日志、所述参考信息与所述日志数据中的差异信息还原得到原始日志。
第三方面,提供了一种日志传输装置,所述装置包括:
日志获取模块,用于获取客户端生成的待传输日志;
相似度确定模块,用于确定所述待传输日志与已存储的关键日志之间的相似度,所述关键日志是所述客户端生成并完整保存的日志;
第一获取模块,用于在所述相似度大于或等于预设的相似度阈值时,获取所述关键日志的参考信息,所述参考信息用于指示所述关键日志与所述待传输日志相同的部分;
第二获取模块,用于获取所述待传输日志中与所述关键日志不同部分的差异信息;
数据发送模块,用于将所述参考信息和所述差异信息发送至服务器;所述参考信息用于供所述服务器确定出所述关键日志,所述差异信息用于供所述服务器结合确定出的所述关键日志还原所述待传输日志。
第四方面,提供了一种日志传输装置,所述装置包括:
数据接收模块,用于接收客户端发送的日志数据;
类型确定模块,用于确定所述日志数据是否为关键日志的日志数据;
日志确定模块,用于在所述日志数据不是所述关键日志的日志数据时,根据所述日志数据中的参考信息确定关键日志;
日志还原模块,用于根据确定出的所述关键日志、所述参考信息与所述日志数据中的差异信息还原得到原始日志。
第五方面,提供一种日志传输装置,所述装置包括处理器和存储器;所述存储器中存储有程序,所述程序由所述处理器加载并执行以实现第一方面所述的日志传输方法;或者,实现第二方面所述的日志传输方法。
第六方面,提供一种计算机可读存储介质,所述存储介质中存储有程序,所述程序由所述处理器加载并执行以实现第一方面所述的日志传输方法;或者,实现第二方面所述的日志传输方法。
本申请的有益效果在于:通过获取客户端生成的待传输日志;确定所述待传输日志与已存储的关键日志之间的相似度;在所述相似度大于或等于预设的相似度阈值时,获取所述关键日志的参考信息;获取所述待传输日志中与所述关键日志不同部分的差异信息;将所述参考信息和所述差异信息发送至服务器;可以解决现有的日志传输方法无法同时满足日志传输的实时性和节省网络资源两种要求的问题;由于参考信息和所述差异信息的总数据量小于待传输日志的数据量,因此,在待传输日志不是关键日志时可以节省传输日志所需的网络资源,且可以实时传输该待传输日志,既可以保证日志传输的实时性;又可以减少日志传输时所需的网络资源。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,并可依照说明书的内容予以实施,以下以本申请的较佳实施例并配合附图详细说明如后。
附图说明
图1是本申请一个实施例提供的日志传输系统的结构示意图;
图2是本申请一个实施例提供的日志传输方法的流程图;
图3是本申请一个实施例提供的客户端发送日志数据的方法的流程图;
图4是本申请一个实施例提供的日志传输装置的框图;
图5是本申请一个实施例提供的日志传输装置的框图;
图6是本申请一个实施例提供的日志传输装置的框图。
具体实施方式
下面结合附图和实施例,对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请,但不用来限制本申请的范围。
图1是本申请一个实施例提供的日志传输系统的结构示意图,如图1所示,该系统至少包括:至少一个客户端110和服务器120。
可选地,客户端110运行于终端中,该终端可以是计算机、手机、可穿戴式设备、平板电脑等设备,本实施例不对该终端的类型作限定。
客户端110包括至少一个程序模块,每个程序模块运行时会产生日志,客户端110需要将这些日志发送至服务器120,以供服务器120根据日志对客户端110的运行状态进行分析。
可选地,同一程序模块生成的日志相似的概率较大,基于此特性,本实施例中客户端110可以将与其它日志均不相似的日志作为关键日志,对于与该关键日志相似的日志,可以仅将与该关键日志不同的部分发送至服务器120从而既保证日志的实时性,又可以节省传输资源。
客户端110在向服务器120发送日志之前,需要向服务器120发送连接请求;相应地,服务器120根据该连接请求建立与客户端110之间的连接。
可选地,若服务器120所连接的客户端110的总数量小于或等于最大连接数,则根据连接请求建立与客户端110之间的连接;若服务器120所连接的客户端110的总数量大于最大连接数,则拒绝与客户端110之间建立连接。
服务器120用于为客户端110提供日志的存储及管理服务。可选地,服务器120可以是单独的服务器主机;或者,也可以是由多个服务器主机构成的服务器集群,本实施例不对服务器120的结构作限定。
示意性地,客户端110获取待传输日志;确定待传输日志与已存储的关键日志之间的相似度,关键日志是客户端生成并完整保存的日志;在相似度大于或等于预设的相似度阈值时,获取关键日志的参考信息;获取待传输日志中与关键日志不同部分的差异信息;将参考信息和差异信息发送至服务器120。
其中,参考信息用于指示关键日志与待传输日志相同的部分。参考信息用于供服务器确定出关键日志,差异信息用于供服务器结合确定出的关键日志还原待传输日志。
服务器120用于接收客户端发送的日志数据;确定日志数据是否为关键日志的日志数据;在日志数据不是关键日志的日志数据时,根据日志数据中的参考信息确定关键日志;根据确定出的关键日志、所述参考信息与日志数据中的差异信息还原得到原始日志。
图2是本申请一个实施例提供的日志传输方法的流程图,本实施例以该方法应用于图1所示的日志传输系统中为例进行说明。该方法至少包括以下几个步骤:
步骤201,客户端获取生成的待传输日志。
客户端包括至少一个程序模块,每个程序模块都可以在运行过程中生成待传输日志。
步骤202,客户端确定待传输日志与已存储的关键日志之间的相似度。
其中,关键日志是客户端生成并完整保存的日志。
可选地,客户端在获取到生成的待传输日志之后,确定生成待传输日志的目标程序模块;确定待传输日志与目标程序模块对应的关键日志之间的相似度。若待传输日志是目标程序模块生成的第一条日志无需确定相似度,直接确定为该程序模块对应的关键日志。
由于同一程序模块生成的日志之间相似的概率较大(比如:具有相同的模块名、进程信息等),因此,本实施例中通过将目标程序模块生成的待传输日志与该目标程序模块对应的关键日志之间进行比较,可以减少所需比较的关键日志的数量,节省客户端的资源。当然,客户端也可以将待传输日志与各个程序模块生成的关键日志均进行比较确定相似度。
在一个示例中,客户端确定待传输日志与已存储的关键日志之间的相似度,包括:以指定分隔符分隔开的每个字符串为单位,将待传输日志中的传输字符串与关键日志中的关键字符串进行比较;统计与关键字符串相同的传输字符串的第一数量;计算第一数量与传输字符串的总数量的商,得到相似度。
比如:关键日志为:His English teacher is Mrs Wang;待传输的日志为:MrsWang is also Jack’s English teacher。其中,空格为分隔符。将待传输的日志中的传输字符串与关键日志中的关键字符串进行比较的过程为:将Mrs与关键日志中的每个关键字符串进行比较,得到与该Mrs相同的关键字符串Mrs;将Wang与关键日志中的每个关键字符串进行比较,得到与该Wang相同的关键字符串Wang;依次循环,直至所有的传输字符串遍历完成时停止,得到与关键字符串相同的传输字符串Mrs、Wang、is、English、teacher,第一数量为5;传输字符串的总数量为7,则相似度为5/7×100%=71.43%。
在另一个示例中,客户端确定待传输日志与已存储的关键日志之间的相似度,包括:以指定分隔符分隔开的每个字符串为单位,对于待传输日志中的每个传输字符串,若传输字符串与关键日志中的一个关键字符串存在连续n个字符相同时,则计算n与传输字符串的字符总数的商,得到传输字符串的相似度权值;计算待传输日志中各个传输字符串的相似度权值的和与传输字符串的总数量的商,得到相似度。n为大于2的整数。
比如:关键日志为:world,待传输的日志为:word,且n为3,则传输字符串word与关键字符串world存在连续的3个字符相同,即,wor相同,此时,传输字符串word的相似度权值为3/4=0.75,则将传输字符串的相似度权值的和除以传输字符串的总数量的商为0.75,即相似度为0.75。
步骤203,在相似度大于或等于预设的相似度阈值时,客户端获取关键日志的参考信息。
可选地,相似度阈值的取值可以为70%、80%等,本实施例不对相似度阈值的取值作限定,示意性地,相似度阈值大于或等于70%。相似度和相似度阈值可以使用百分数表示;或者,也可以使用小数表示,本实施例不对相似度和相似度阈值的表示方式作限定。
其中,参考信息用于指示关键日志与待传输日志相同的部分。
可选地,客户端获取关键日志的日志标识,以及关键日志中与待传输日志中的传输字符串相同的关键字符串的位置信息,得到参考信息。
日志标识用于唯一地标识关键日志,该日志标识可以为关键日志的编号、哈希值、和/或关键日志中的部分内容等,本实施例不对日志标识的表示方式作限定。由于日志标识越短客户端所需传输的数据量越少,因此,本实施例中日志标识使用关键日志的编号为例进行说明。
关键日志中与待传输日志中的传输字符串相同的关键字符串的位置信息按照传输字符串在待传输日志中的排列顺序排列。比如:关键日志为:His English teacher isMrs Wang;待传输的日志为:Mrs Wang is also Jack’s English teacher,关键日志中与待传输日志中的传输字符串相同的关键字符串的位置信息为2、3、4、5、6,则按照传输字符串在待传输日志中的排列顺序排列得到的位置信息为:5、6、4、2、3。
可选地,在相似度小于相似度阈值时,客户端将待传输日志标记为关键日志,并为待传输日志分配对应的日志标识;将具有关键日志标记的待传输日志进行加密,得到加密后的关键日志;将加密后的关键日志发送至服务器。
可选地,在客户端将待传输日志标记为关键日志后,将该待传输日志存储至指定位置,该指定位置用于存储每个程序模块对应的关键日志。
步骤204,客户端获取待传输日志中与关键日志不同部分的差异信息。
可选地,客户端获取待传输日志中与关键日志中的关键字符串不同的传输字符串,及与关键字符串不同的传输字符串的位置信息,得到差异信息。
比如:关键日志为:His English teacher is Mrs Wang;待传输的日志为:MrsWang is also Jack’s English teacher,则差异信息包括传输字符串also、Jack’s,以及位置信息4和5。
步骤205,客户端将参考信息和差异信息发送至服务器。
其中,参考信息和差异信息的总数据量小于待传输日志的数据量。参考信息用于供服务器确定出关键日志。差异信息用于供服务器结合确定出的关键日志还原待传输日志。
示意性地,为了更清楚地理解本申请提供的客户端发送日志数据的过程,本实施例对该过程举一个实例进行说明,参考图3,本实例中各个步骤的执行主体为客户端,该过程包括步骤31至36。
步骤31,获取目标程序模块生成的待传输日志;
步骤32,检测该待传输日志是否是目标程序模块生成的第一条日志;若是,则执行步骤33;若不是,则执行步骤34;
步骤33,将该待传输日志标记为关键日志,并为待传输日志分配对应的日志标识,将该待传输日志存储至指定位置;对该待传输日志进行加密后执行步骤36;
步骤34,将待传输日志与目标程序模块对应的关键日志进行比较,确定相似度;在相似度大于或等于相似度阈值时,执行步骤35;在相似度小于相似度阈值时,执行步骤33;
步骤35,获取关键日志的参考信息以及待传输日志中与关键日志不同部分的差异信息;
步骤36,将日志数据发送至服务器。
日志数据可以是步骤33得到的关键日志;或者,也可以是步骤35得到的参考信息和差异信息。
步骤206,服务器接收客户端发送的日志数据。
步骤207,服务器确定日志数据是否为关键日志的日志数据。
可选地,客户端发送的关键日志携带有关键日志标记,若服务器接收到的日志数据包括该关键日志标记,则该日志数据是关键日志的日志数据,服务器存储该关键日志,流程结束;若服务器接收到的日志数据不包括该关键日志标记,则该日志数据不是关键日志的日志数据,执行步骤208。
步骤208,在日志数据不是关键日志的日志数据时,服务器根据日志数据中的参考信息确定关键日志。
由于参考信息包括关键日志的日志标识,因此,服务器可以根据该日志标识确定出关键日志。
步骤209,服务器根据确定出的关键日志、参考信息与日志数据中的差异信息还原得到原始日志。
其中,原始日志即为客户端发送的待传输日志。
示意性地,服务器根据参考信息中的位置信息从关键日志中确定出与原始日志中传输字符串相同的关键字符串;然后,将差异信息中的传输字符串按照该差异信息中的位置信息排列,将排列好的传输字符串与确定出的关键字符串结合得到原始日志。
比如:关键日志为:His English teacher is Mrs Wang,参考信息中的位置信息为5、6、4、2、3,得到的关键字符串为Mrs、Wang、is、English、teacher;差异信息包括传输字符串also、Jack’s,以及位置信息4和5,则将also和Jack’s排列在原始日志的第四个位置和第五个位置并与传输字符串结合后,得到原始日志:Mrs Wang is also Jack’s Englishteacher。
综上所述,本实施例提供的日志传输方法,通过获取客户端生成的待传输日志;确定所述待传输日志与已存储的关键日志之间的相似度;在所述相似度大于或等于预设的相似度阈值时,获取所述关键日志的参考信息;获取所述待传输日志中与所述关键日志不同部分的差异信息;将所述参考信息和所述差异信息发送至服务器;可以解决现有的日志传输方法无法同时满足日志传输的实时性和节省网络资源两种要求的问题;由于参考信息和所述差异信息的总数据量小于待传输日志的数据量,因此,在待传输日志不是关键日志时可以节省传输日志所需的网络资源,且可以实时传输该待传输日志,既可以保证日志传输的实时性;又可以减少日志传输时所需的网络资源。
另外,对于不是关键日志的待传输日志,由于只发送该待传输日志的参考信息和差异信息,也可以提高待传输日志的破解难度,从而提高待传输日志的安全性。
可选地,在上述实施例中,步骤201-205可单独实现为客户端侧的方法实施例;步骤206-209可单独实现为服务器侧的方法实施例。
图4是本申请一个实施例提供的日志传输装置的框图,本实施例以该装置应用于图1所示的日志传输系统中的客户端110为例进行说明。该装置至少包括以下几个模块:日志获取模块410、相似度确定模块420、第一获取模块430、第二获取模块440和数据发送模块450。
日志获取模块410,用于获取客户端生成的待传输日志;
相似度确定模块420,用于确定所述待传输日志与已存储的关键日志之间的相似度,所述关键日志是所述客户端生成并完整保存的日志;
第一获取模块430,用于在所述相似度大于或等于预设的相似度阈值时,获取所述关键日志的参考信息,所述参考信息用于指示所述关键日志与所述待传输日志相同的部分;
第二获取模块440,用于获取所述待传输日志中与所述关键日志不同部分的差异信息;
数据发送模块450,用于将所述参考信息和所述差异信息发送至服务器;所述参考信息用于供所述服务器确定出所述关键日志,所述差异信息用于供所述服务器结合确定出的所述关键日志还原所述待传输日志。
相关细节参考上述方法实施例。
图5是本申请一个实施例提供的日志传输装置的框图,本实施例以该装置应用于图1所示的日志传输系统中的服务器120为例进行说明。该装置至少包括以下几个模块:数据接收模块510、类型确定模块520、日志确定模块530和日志还原模块540。
数据接收模块510,用于接收客户端发送的日志数据;
类型确定模块520,用于确定所述日志数据是否为关键日志的日志数据;
日志确定模块530,用于在所述日志数据不是所述关键日志的日志数据时,根据所述日志数据中的参考信息确定关键日志;
日志还原模块540,用于根据确定出的所述关键日志、所述参考信息与所述日志数据中的差异信息还原得到原始日志。
相关细节参考上述方法实施例。
需要说明的是:上述实施例中提供的日志传输装置在进行日志传输时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将日志传输装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的日志传输装置与日志传输方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图6是本申请一个实施例提供的日志传输装置的框图,该装置可以是运行有客户端的终端也可以是服务器,本实施例对此不作限定。该装置至少包括处理器601和存储器602。
处理器601可以包括一个或多个处理核心,比如:4核心处理器、6核心处理器等。处理器601可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器601可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器601还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器601所执行以实现本申请中方法实施例提供的日志传输方法。
在一些实施例中,日志传输装置还可选包括有:外围设备接口和至少一个外围设备。处理器601、存储器602和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。示意性地,外围设备包括但不限于:射频电路、触摸显示屏、音频电路、和电源等。
当然,日志传输装置还可以包括更少或更多的组件,本实施例对此不作限定。
可选地,本申请还提供有一种计算机可读存储介质,所述计算机可读存储介质中存储有程序,所述程序由处理器加载并执行以实现上述方法实施例的日志传输方法。
可选地,本申请还提供有一种计算机产品,该计算机产品包括计算机可读存储介质,所述计算机可读存储介质中存储有程序,所述程序由处理器加载并执行以实现上述方法实施例的日志传输方法。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种日志传输方法,其特征在于,所述方法包括:
获取客户端生成的待传输日志;
确定所述待传输日志与已存储的关键日志之间的相似度,所述关键日志是所述客户端生成并完整保存的日志;
在所述相似度大于或等于预设的相似度阈值时,获取所述关键日志的参考信息,所述参考信息用于指示所述关键日志与所述待传输日志相同的部分;
获取所述待传输日志中与所述关键日志不同部分的差异信息;
将所述参考信息和所述差异信息发送至服务器;所述参考信息用于供所述服务器确定出所述关键日志,所述差异信息用于供所述服务器结合确定出的所述关键日志还原所述待传输日志。
2.根据权利要求1所述的方法,其特征在于,所述确定所述待传输日志与已存储的关键日志之间的相似度,包括:
以指定分隔符分隔开的每个字符串为单位,将所述待传输日志中的传输字符串与所述关键日志中的关键字符串进行比较;
统计与关键字符串相同的传输字符串的第一数量;
计算所述第一数量与所述传输字符串的总数量的商,得到所述相似度。
3.根据权利要求1所述的方法,其特征在于,所述确定所述待传输日志与已存储的关键日志之间的相似度,包括:
以指定分隔符分隔开的每个字符串为单位,对于所述待传输日志中的每个传输字符串,若所述传输字符串与所述关键日志中的一个关键字符串存在连续n个字符相同时,则计算n与所述传输字符串的字符总数的商,得到所述传输字符串的相似度权值;n为大于2的整数;
计算所述待传输日志中各个传输字符串的相似度权值的和与所述传输字符串的总数量的商,得到所述相似度。
4.根据权利要求1至3任一所述的方法,其特征在于,所述获取所述关键日志的参考信息,包括:
获取所述关键日志的日志标识,以及所述关键日志中与所述待传输日志中的传输字符串相同的关键字符串的位置信息,得到所述参考信息。
5.根据权利要求1至3任一所述的方法,其特征在于,所述获取所述待传输日志中与所述关键日志不同部分的差异信息,包括:
获取所述待传输日志中与所述关键日志中的关键字符串不同的传输字符串,及所述与所述关键字符串不同的传输字符串的位置信息,得到所述差异信息。
6.根据权利要求1至3任一所述的方法,其特征在于,所述客户端包括至少一个程序模块,所述确定所述待传输日志与已存储的关键日志之间的相似度,包括:
确定生成所述待传输日志的目标程序模块;
确定所述待传输日志与所述目标程序模块对应的关键日志之间的相似度。
7.根据权利要求1至3任一所述的方法,其特征在于,所述方法还包括:
在所述相似度小于所述相似度阈值时,将所述待传输日志标记为关键日志,并为所述待传输日志分配对应的日志标识;
将具有关键日志标记的所述待传输日志进行加密,得到加密后的关键日志;
将所述加密后的关键日志发送至所述服务器。
8.一种日志传输方法,其特征在于,所述方法包括:
接收客户端发送的日志数据;
确定所述日志数据是否为关键日志的日志数据;
在所述日志数据不是所述关键日志的日志数据时,根据所述日志数据中的参考信息确定关键日志;
根据确定出的所述关键日志、所述参考信息与所述日志数据中的差异信息还原得到原始日志。
9.一种日志传输装置,其特征在于,所述装置包括:
日志获取模块,用于获取客户端生成的待传输日志;
相似度确定模块,用于确定所述待传输日志与已存储的关键日志之间的相似度,所述关键日志是所述客户端生成并完整保存的日志;
第一获取模块,用于在所述相似度大于或等于预设的相似度阈值时,获取所述关键日志的参考信息,所述参考信息用于指示所述关键日志与所述待传输日志相同的部分;
第二获取模块,用于获取所述待传输日志中与所述关键日志不同部分的差异信息;
数据发送模块,用于将所述参考信息和所述差异信息发送至服务器;所述参考信息用于供所述服务器确定出所述关键日志,所述差异信息用于供所述服务器结合确定出的所述关键日志还原所述待传输日志。
10.一种日志传输装置,其特征在于,所述装置包括:
数据接收模块,用于接收客户端发送的日志数据;
类型确定模块,用于确定所述日志数据是否为关键日志的日志数据;
日志确定模块,用于在所述日志数据不是所述关键日志的日志数据时,根据所述日志数据中的参考信息确定关键日志;
日志还原模块,用于根据确定出的所述关键日志、所述参考信息与所述日志数据中的差异信息还原得到原始日志。
11.一种日志传输装置,其特征在于,所述装置包括处理器和存储器;所述存储器中存储有程序,所述程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的日志传输方法;或者,实现如权利要求8所述的日志传输方法。
12.一种计算机可读存储介质,其特征在于,所述存储介质中存储有程序,所述程序被处理器执行时用于实现如权利要求1至7任一项所述的日志传输方法;或者,实现如权利要求8所述的日志传输方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811566508.2A CN109710502B (zh) | 2018-12-19 | 2018-12-19 | 日志传输方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811566508.2A CN109710502B (zh) | 2018-12-19 | 2018-12-19 | 日志传输方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109710502A true CN109710502A (zh) | 2019-05-03 |
CN109710502B CN109710502B (zh) | 2022-06-14 |
Family
ID=66257043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811566508.2A Active CN109710502B (zh) | 2018-12-19 | 2018-12-19 | 日志传输方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109710502B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111143157A (zh) * | 2019-11-28 | 2020-05-12 | 华为技术有限公司 | 故障日志处理方法和装置 |
CN112416694A (zh) * | 2019-08-20 | 2021-02-26 | 中国电信股份有限公司 | 信息处理方法、系统、客户端和计算机可读存储介质 |
CN113535654A (zh) * | 2021-06-11 | 2021-10-22 | 安徽安恒数智信息技术有限公司 | 日志处理方法、系统、电子装置和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101950293A (zh) * | 2010-08-11 | 2011-01-19 | 东软集团股份有限公司 | 日志萃取方法及装置 |
US20150370842A1 (en) * | 2014-06-24 | 2015-12-24 | Ca, Inc. | Analyzing log streams based on correlations between data structures of defined node types |
CN108040041A (zh) * | 2017-12-05 | 2018-05-15 | 东北大学 | 一种基于业务驱动的图像差异传输协议设计系统及方法 |
CN108134775A (zh) * | 2017-11-21 | 2018-06-08 | 华为技术有限公司 | 一种数据处理方法和设备 |
CN109002480A (zh) * | 2018-06-20 | 2018-12-14 | 郑州云海信息技术有限公司 | 一种数据处理方法和服务器 |
-
2018
- 2018-12-19 CN CN201811566508.2A patent/CN109710502B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101950293A (zh) * | 2010-08-11 | 2011-01-19 | 东软集团股份有限公司 | 日志萃取方法及装置 |
US20150370842A1 (en) * | 2014-06-24 | 2015-12-24 | Ca, Inc. | Analyzing log streams based on correlations between data structures of defined node types |
CN108134775A (zh) * | 2017-11-21 | 2018-06-08 | 华为技术有限公司 | 一种数据处理方法和设备 |
CN108040041A (zh) * | 2017-12-05 | 2018-05-15 | 东北大学 | 一种基于业务驱动的图像差异传输协议设计系统及方法 |
CN109002480A (zh) * | 2018-06-20 | 2018-12-14 | 郑州云海信息技术有限公司 | 一种数据处理方法和服务器 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112416694A (zh) * | 2019-08-20 | 2021-02-26 | 中国电信股份有限公司 | 信息处理方法、系统、客户端和计算机可读存储介质 |
CN111143157A (zh) * | 2019-11-28 | 2020-05-12 | 华为技术有限公司 | 故障日志处理方法和装置 |
CN111143157B (zh) * | 2019-11-28 | 2021-08-27 | 华为技术有限公司 | 故障日志处理方法和装置 |
CN113535654A (zh) * | 2021-06-11 | 2021-10-22 | 安徽安恒数智信息技术有限公司 | 日志处理方法、系统、电子装置和存储介质 |
CN113535654B (zh) * | 2021-06-11 | 2023-10-31 | 安徽安恒数智信息技术有限公司 | 日志处理方法、系统、电子装置和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109710502B (zh) | 2022-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106161633B (zh) | 一种基于云计算环境下打包文件的传输方法及系统 | |
CN107566786A (zh) | 一种获取监控视频的方法、装置及终端设备 | |
US20200274943A1 (en) | Data Processing Method and Apparatus, Server, and Controller | |
CN107665233A (zh) | 数据库数据处理方法、装置、计算机设备和存储介质 | |
CN110719215B (zh) | 虚拟网络的流信息采集方法及装置 | |
US20190207887A1 (en) | Techniques for message deduplication | |
CN109710502A (zh) | 日志传输方法、装置及存储介质 | |
CN103259762A (zh) | 一种基于云存储的文件加密、解密方法及系统 | |
CN107819891A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN104579970B (zh) | 一种IPv6报文的策略匹配装置 | |
WO2016095149A1 (zh) | 一种数据压缩存储方法、装置,及分布式文件系统 | |
US9215294B2 (en) | Management of communications between a client equipment and a server equipment providing to the client equipment computer resources represented according to a file system | |
US20170155712A1 (en) | Method and device for updating cache data | |
CN110719526B (zh) | 视频播放方法及装置 | |
CN109788251A (zh) | 视频处理方法、装置及存储介质 | |
CN110740138A (zh) | 数据传输方法和装置 | |
JP2023031248A (ja) | エッジコンピューティングネットワーク、データ伝送方法、装置、機器、及び記憶媒体 | |
CN105939278B (zh) | 一种流量处理方法及装置 | |
WO2017088382A1 (zh) | 数据处理的方法和装置 | |
CN109218009A (zh) | 一种提高设备id安全性的方法、客户端和服务器 | |
CN114238404A (zh) | 数据的查询方法、装置、存储介质及设备 | |
CN106844574A (zh) | 一种远程数据同步的方法和装置 | |
CN111988195B (zh) | 用于分组测试的应答方案确定方法、装置、设备及介质 | |
CN114726564B (zh) | 安全检测方法、安全检测装置、电子设备及介质 | |
CN115665210B (zh) | 一种用户问题处理方法、用户问题处理装置及客服系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |