CN109617708B - 一种埋点日志的压缩方法、设备及系统 - Google Patents
一种埋点日志的压缩方法、设备及系统 Download PDFInfo
- Publication number
- CN109617708B CN109617708B CN201811285324.9A CN201811285324A CN109617708B CN 109617708 B CN109617708 B CN 109617708B CN 201811285324 A CN201811285324 A CN 201811285324A CN 109617708 B CN109617708 B CN 109617708B
- Authority
- CN
- China
- Prior art keywords
- log
- content
- buried point
- logs
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
- H04L67/5651—Reducing the amount or size of exchanged application data
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种埋点日志的压缩方法、设备及系统。该方法,包括:获取埋点日志;根据埋点日志,确定埋点日志中的相同内容和差异内容;若确定相同内容与已存在相同内容相同,则将差异内容与已存在相同内容进行拼接,获得更新后的一条压缩日志,已存在相同内容包括至少两个第一埋点日志中均存在的内容相同的部分,至少两个第一埋点包括在获取埋点日志之前获取到的所有埋点日志。实现了将同一埋点获取的多次埋点日志进行相同内容+差异内容的拼接,从而获得合并生成的一条日志,进而实现了对多条埋点日志的压缩,极大地减少埋点日志的体积,同时提高移动终端处理埋点日志的速度。
Description
技术领域
本发明涉及互联网技术领域,尤指一种埋点日志的压缩方法、设备及系统。
背景技术
在用户通过移动终端的手机应用(Application,简称为App)进行内容浏览时,App会产生大量的埋点日志。
通常,首先对移动终端的App产生的日志进行采集,接着,将采集的埋点日志存储到本地日志文件中,然后通过网络将埋点日志上传到日志服务器,其中,该App具有对本地日志文件进行读写的权限,以及具有采用蜂窝网络方式或Wifi方式对互联网进行访问的权限。为了节省存储日志到本地日志文件的空间,以及节省上传到日志服务器过程中所需占用大量空间,现有技术可以采用通用的压缩技术,对日志中全部字节进行通用压缩。
然而,本领域技术人员在实现上述现有技术的过程中发现,现有技术通常采用一固定字符串替代日志中重复出现的字节,因此无法对日志进行有效的压缩,导致日志压缩率较低。
发明内容
为了解决上述技术问题,本发明提供了一种埋点日志的压缩方法、设备及系统,能够解决日志压缩率较低的问题。
为了达到本发明目的,本发明提供了一种埋点日志的压缩方法,包括:
获取埋点日志;
根据所述埋点日志,确定所述埋点日志中的相同内容和差异内容;
若确定所述相同内容与已存在相同内容相同,则将所述差异内容与所述已存在相同内容进行拼接,获得更新后的一条压缩日志,所述已存在相同内容包括至少两个第一埋点日志中均存在的内容相同的部分,所述至少两个第一埋点包括在获取所述埋点日志之前获取到的所有埋点日志。
进一步的,所述根据所述埋点日志,确定所述埋点日志中的相同内容和差异内容,包括:
根据所述埋点日志,确定所述埋点日志中的埋点标识和/或基本信息为所述相同内容,所述埋点日志中的业务信息为所述差异内容,所述埋点标识用于对埋点对应的业务内容进行标识的信息;所述基本信息包括所有埋点日志均具有的信息,所述业务信息包括除所述埋点标识和所述基本信息之外的信息。
进一步的,所述业务内容为列表形式时,所述埋点标识包括:标识前缀和序号,所述标识前缀包括所述业务内容的列表信息,所述序号包括所述埋点中曝光信息在序列表中的序号;
所述根据所述埋点日志,确定埋点日志中的相同内容和差异内容,还包括:
确定所述标识前缀为所述相同内容;确定所述序号为所述差异内容。
进一步的,所述将所述差异内容与所述已存在相同内容进行拼接,获得更新后的一条压缩日志,包括:
将所述差异内容按照获得的顺序依次设置在所述已存在相同内容的后面,获得更新后的一条所述压缩日志;或者,
根据预设规则,将所述差异内容与所述已存在相同内容进行拼接,获得更新后的一条所述压缩日志。
进一步的,所述获得更新后的压缩日志之后,还包括:
获取埋点结束指令,所述埋点结束指令包括结束对所述埋点进行访问的指令;
将所述压缩日志存储至日志文件;
将存储在所述日志文件的所述压缩日志向日志服务器进行发送。
进一步的,所述方法,还包括:
当接收到对更新后的压缩日志进行解密的指令时,选取所述更新后的压缩日志中每条所述差异内容分别与所述相同内容进行拼接,获得解压缩后的日志。
本发明还提供了一种埋点日志的压缩装置,包括:
获取模块,用于获取埋点日志;
处理模块,用于根据所述埋点日志,确定所述埋点日志中的相同内容和差异内容;
压缩模块,用于若确定所述相同内容与已存在相同内容相同,则将所述差异内容与所述已存在相同内容进行拼接,获得更新后的一条压缩日志,所述已存在相同内容包括至少两个第一埋点日志中均存在的内容相同的部分,所述至少两个第一埋点包括在获取所述埋点日志之前获取到的所有埋点日志。
本发明还提供一种埋点日志的压缩装置,包括:
获取模块,用于获取埋点日志;
处理模块,用于根据所述埋点日志,确定所述埋点日志中的相同内容和差异内容;
压缩模块,用于若确定所述相同内容与已存在相同内容相同,则将所述差异内容与所述已存在相同内容进行拼接,获得更新后的一条压缩日志,所述已存在相同内容包括至少两个第一埋点日志中均存在的内容相同的部分,所述至少两个第一埋点包括在获取所述埋点日志之前获取到的所有埋点日志。
进一步的,所述处理模块,具体用于根据所述埋点日志,确定所述埋点日志中的埋点标识和/或基本信息为所述相同内容,所述埋点日志中的业务信息为所述差异内容,所述埋点标识用于对埋点对应的业务内容进行标识的信息;所述基本信息包括所有埋点日志均具有的信息;
所述差异内容包括:业务信息;所述业务信息包括除所述埋点标识和所述基本信息之外的信息。
进一步的,所述业务内容为列表形式时,所述埋点标识包括:标识前缀和序号,所述标识前缀包括所述业务内容的列表信息,所述序号包括所述埋点中曝光信息在序列表中的序号;
所述处理模块,还用于确定所述标识前缀为所述相同内容;确定所述序号为所述差异内容。
进一步的,所述压缩模块,用于将所述差异内容按照获得的顺序依次设置在所述已存在相同内容的后面,获得更新后的一条所述压缩日志;或者,根据预设规则,将所述差异内容与所述已存在相同内容进行拼接,获得更新后的一条所述压缩日志。
进一步的,还包括:存储模块,发送模块;
所述获取模块,还用于获取埋点结束指令,所述埋点结束指令包括结束对所述埋点进行访问的指令;
所述存储模块,用于将所述压缩日志存储至日志文件;
所述发送模块,用于将存储在所述日志文件的所述压缩日志向日志服务器进行发送。
本发明还提供一种埋点日志的解压缩装置,包括:
获取模块,用于获取压缩日志,所述压缩日志包括将埋点日志中差异内容与已存在相同内容进行拼接获得的日志;
解压缩模块,用于选取所述压缩日志中每条所述差异内容分别与所述相同内容进行拼接,获得解压缩后的日志。
本发明还提供一种埋点日志的压缩系统,包括:如上述所述的埋点日志的压缩装置,以及如上述所述的埋点日志的解压缩装置。
本发明还提供一种埋点日志的压缩设备,包括:
处理器;
以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时通过所述处理器执行上述所述的埋点日志的压缩方法。
本发明还提供一种埋点日志的解压缩设备,包括:
处理器;
以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时通过所述处理器执行上述权利要求6所述的埋点日志的解压缩方法。
本发明还提供一种埋点日志的压缩系统,包括:如上述所述的埋点日志的压缩设备,以及如上述所述的埋点日志的解压缩设备。
与现有技术相比,本发明通过获取埋点日志;根据所述埋点日志,确定所述埋点日志中的相同内容和差异内容;若确定所述相同内容与已存在相同内容相同,则将所述差异内容与所述已存在相同内容进行拼接,获得更新后的压缩日志;若确定所述相同内容与已存在相同内容不相,则将所述差异内容与所述相同内容进行拼接,获得新建的的压缩日志。实现了在一埋点上获取的埋点日志与之前在该埋点获取的埋点日志中相同的内容进行合并获得相同内容,并将相同内容与差异内容进行拼接,从而将在同一埋点上获取的多次埋点日志合并生成一条压缩日志,进而实现了对多条埋点日志的压缩,极大地减少埋点日志的体积,同时提高移动终端处理埋点日志的速度。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1为本发明埋点日志的压缩方法一实施例的示意图;
图2为本发明埋点日志的压缩方法一实施例中相同内容和差异内容的示意图;
图3为本发明埋点日志的压缩方法二实施例的示意图;
图4为本发明埋点日志的压缩装置一实施例的示意图;
图5为本发明埋点日志的压缩装置二实施例的示意图;
图6为本发明埋点日志的解压缩装置一实施例的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1为本发明埋点日志的压缩方法一实施例的示意图。图2为本发明埋点日志的压缩方法一实施例中相同内容和差异内容的示意图。如图1所示,本实施例的执行主体是日志的压缩装置,其中,日志的压缩装置可以独立设置,也可以设置在设置有埋点的系统上。本实施例的适用场景为对埋点的日志进行压缩时。本实施例提供的日志的压缩方法,包括:
步骤101、获取埋点日志;
本实施例中的埋点日志包括:用户在访问页面时产生的数据信息,例如,该埋点日志可以是用户在访问页面时点击的页面内容信息,用户在该页面的停留时间的信息,以及该页面曝光的各模块信息,甚至还可以包括用户在访问该页面时点击的子页面的信息。
在本实施例中,每条埋点日志可以包括:埋点标识、基本信息,在此基础上,埋点日志还可以包括:业务信息,其中,所述埋点标识用于对埋点对应的业务内容进行标识的信息;所述基本信息包括所有埋点日志均具有的信息;所述业务信息包括除所述埋点标识和所述基本信息之外的信息。其中,该业务内容可以是页面内容,该页面可以是首页、搜索页、详情页;或者,该业务内容可以是区块内容,该区块内容可以是类目区块、搜索页的搜索结果区块、详情页的推荐区块,或者,该业务内容可以是位置信息,该位置信息可以是类目区块中的某一位置、搜索结果区块的某一位置。举例来讲,所述基本信息至少包括以下任意一项或其组合:手机应用App信息、终端设备信息、用户信息;所述业务信息至少包括以下任意一项或其组合:推荐内容、埋点对象的序列号。
步骤102、根据所述埋点日志,确定埋点日志中的相同内容和差异内容。
对于根据所述埋点日志,确定埋点日志中的相同内容和差异内容至少包括以下两种实现方式:
第一种实现方式、如果埋点对应的业务内容为列表形式,即埋点标识可以包括标识前缀和序号,其中,标识前缀包括业务内容的列表信息,序号包括所述埋点中曝光信息在序列表中的序号;
根据埋点日志,确定埋点日志中的相同内容,包括:标识前缀、基本信息,同时,确定差异内容,包括:序号和业务信息,举例来讲,如图2所示,若埋点对应的业务内容为列表形式时,则将埋点标识MonitorID拆分为了2部分:MonitorID=标识前缀Monitor_Prefix+序号Postion其中,该标识前缀为已固定值;因此,将MonitorID拆分后,Monitor_Prefix属于相同内容,Postion属于差异内容,因此,相同内容,包括:Monitor_Prefix和基本信息(BaseInfo),差异内容,包括:Postion和业务信息(ExtInfo)。
第二种实现方式、如果埋点对应的业务内容为非列表形式,即埋点标识仅包括标识前缀,其中,标识前缀包括业务内容的列表信息。
根据埋点日志,确定埋点日志中的埋点标识和/或基本信息为相同内容,例如:标识前缀、基本信息,同时,确定埋点日志中的差异内容,例如,埋点日志中的业务信息为所述差异内容。举例来讲,所述标识前缀包括所述业务内容所在的序列表信息。如图2所示,若埋点对应的业务内容为非列表形式时,则MonitorID=Monitor_Prefix,因此,相同内容,包括:Monitor_Prefix和基本信息(BaseInfo),差异内容,包括:业务信息(ExtInfo)。
步骤103、若确定相同内容与已存在相同内容相同时,则将差异内容与已存在相同内容进行拼接,获得更新后的一条压缩日志;
具体的,所述已存在相同内容包括至少两个第一埋点日志中均存在的内容相同的部分,所述至少两个第一埋点包括在获取所述埋点日志之前获取到的所有埋点日志。或者,若确定相同内容与已存在相同内容不相,则将差异内容与相同内容进行拼接,获得新建的的压缩日志。举例来讲,通过对埋点的埋点日志进行的压缩过程包括,在用户对同一埋点的访问过程中,多次提取埋点日志的相同内容,例如App信息、设备信息、用户信息,同时按照规则将差异部分进行拼接,获得将相同内容+差异拼接内容合并生成的一条日志,从而获得压缩日志,进而达到多个日志合并为一个日志的目的。进一步的,可以将压缩日志存储至本地日志文件。
在本实施例中,通过获取埋点日志;根据所述埋点日志,确定所述埋点日志中的相同内容和差异内容;若确定所述相同内容与已存在相同内容相同,则将所述差异内容与所述已存在相同内容进行拼接,获得更新后的一条压缩日志,所述已存在相同内容包括至少两个第一埋点日志中均存在的内容相同的部分,所述至少两个第一埋点包括在获取所述埋点日志之前获取到的所有埋点日志。实现了将同一埋点获取的多次埋点日志进行相同内容+差异内容的拼接,从而获得合并生成的一条日志,进而实现了对多条埋点日志的压缩,极大地减少埋点日志的体积,同时提高移动终端处理埋点日志的速度。
优选的,在上述实施例的基础上,所述根据所述埋点日志,确定所述埋点日志中的相同内容和差异内容,包括:
根据所述埋点日志,确定所述埋点日志中的埋点标识和/或基本信息为所述相同内容,所述埋点日志中的业务信息为所述差异内容,所述埋点标识用于对埋点对应的业务内容进行标识的信息;所述基本信息包括所有埋点日志均具有的信息,所述业务信息包括除所述埋点标识和所述基本信息之外的信息。
进一步的,在上述实施例的基础上,所述将所述差异内容与所述已存在相同内容进行拼接,获得更新后的一条压缩日志,包括:
将所述差异内容按照获得的顺序依次设置在所述已存在相同内容的后面,获得更新后的一条所述压缩日志;或者,
根据预设规则,将所述差异内容与所述已存在相同内容进行拼接,获得更新后的一条所述压缩日志。
在上述实施例的基础上,另一实施例还可以包括:所述获得更新后的压缩日志之后,或者所述获得新建的的压缩日志之后,还包括:
获取埋点结束指令,所述埋点结束指令包括结束对所述埋点进行访问的指令;
将所述压缩日志存储至日志文件;
将存储在所述日志文件的所述压缩日志向日志服务器进行发送。
具体的,在用户关闭对一埋点的内容信息访问时,或者用户对另一买点的内容信息进行访问时,可以获取到获取埋点结束指令,接着,将用户对该埋点的内容信息进行访问时产生的压缩日志写入本地的日志文件进行存储,进而可以将存储在所述日志文件的所述压缩日志向日志服务器进行发送。
在本实施例中,对同一埋点产生的不同埋点日志进行了相同内容+差异内容的拼接压缩,从而有效的压缩了埋点日志,进而在将压缩日志存储至本地文件的过程中,移动终端使用流畅无卡的现象,同时,将压缩日志向日志服务器进行发送过程中,由于压缩日志占用流量较少,因此传输压缩日志到服务器的速度较快。
进一步的,在上述实施例的基础上,另一实施例还可以包括:所述将存储在所述日志文件的所述压缩日志向日志服务器进行发送之后,还包括:
选取所述压缩日志中每条所述差异内容分别与所述相同内容进行拼接,获得解压缩后的日志。
优选的,所述方法,还可以包括:
当接收到对更新后的压缩日志进行解密的指令时,选取所述更新后的压缩日志中每条所述差异内容分别与所述相同内容进行拼接,获得解压缩后的日志。
具体的,在需要对压缩日志进行解压缩时,可以将相同内容与拼接的一个差异内容生成一个解压缩后的日志,也就是说,有N条差异内容,就至少可以获得N条解压缩后的日志。
图3为本发明埋点日志的压缩方法二实施例的示意图。如图3所示,本实施例的执行主体是日志的压缩装置,在上述实施例的基础上,本实施例提供的日志的压缩方法,包括:
步骤301、获取埋点日志;
步骤302、根据所述埋点日志,确定所述埋点日志中的相同内容和差异内容;
步骤303、确定所述相同内容与已存在相同内容是否相同。
具体的,若相同,则执行步骤304;若不同,则执行步骤305。
步骤304、将所述差异内容与已存在相同内容进行拼接,获得更新后的压缩日志。
举例来讲,追加差异内容,将相同内容进行合并。
步骤305、将所述差异内容与所述相同内容进行拼接,获得新建的的压缩日志。
步骤306、确定是否获取到埋点结束指令。
具体的,埋点结束指令包括结束对所述埋点进行访问的指令。若确定获取到埋点结束指令,则执行步骤307;若确定没有获取到埋点结束指令,则执行步骤301。
步骤307、将所述压缩日志存储至日志文件。
步骤308、将存储在所述日志文件的所述压缩日志向日志服务器进行发送。
步骤309、选取所述压缩日志中每条所述差异内容分别与所述相同内容进行拼接,获得解压缩后的日志。
图4为本发明埋点日志的压缩装置一实施例的示意图。如图4所示,本实施例提供的日志的压缩装置,包括:获取模块41、处理模块42和压缩模块43。其中,
获取模块41,用于获取埋点日志;
处理模块42,用于根据所述埋点日志,确定所述埋点日志中的相同内容和差异内容;
压缩模块43,用于若确定所述相同内容与已存在相同内容相同,则将所述差异内容与所述已存在相同内容进行拼接,获得更新后的一条压缩日志;所述已存在相同内容包括至少两个第一埋点日志中均存在的内容相同的部分,所述至少两个第一埋点包括在获取所述埋点日志之前获取到的所有埋点日志。
在本实施例中,通过获取埋点日志;根据所述埋点日志,确定所述埋点日志中的相同内容和差异内容;若确定所述相同内容与已存在相同内容相同,则将所述差异内容与所述已存在相同内容进行拼接,获得更新后的一条压缩日志;所述已存在相同内容包括至少两个第一埋点日志中均存在的内容相同的部分,所述至少两个第一埋点包括在获取所述埋点日志之前获取到的所有埋点日志。实现了将同一埋点获取的多次埋点日志进行相同内容+差异内容的拼接,从而获得合并生成的一条日志,进而实现了对多条埋点日志的压缩,极大地减少埋点日志的体积,同时提高移动终端处理埋点日志的速度。
优选的,所述处理模块42,具体用于根据所述埋点日志,确定所述埋点日志中的埋点标识和/或基本信息为所述相同内容,所述埋点日志中的业务信息为所述差异内容,所述埋点标识用于对埋点对应的业务内容进行标识的信息;所述基本信息包括所有埋点日志均具有的信息;
所述差异内容包括:业务信息;所述业务信息包括除所述埋点标识和所述基本信息之外的信息。
进一步的,在上述实施例的基础上,所述业务内容为列表形式时,所述埋点标识包括:标识前缀和序号,所述标识前缀包括所述业务内容的列表信息,所述序号包括所述埋点中曝光信息在序列表中的序号;
所述处理模块42,还用于确定所述标识前缀为所述相同内容;确定所述序号为所述差异内容。
进一步的,在上述实施例的基础上,所述压缩模块,用于将所述差异内容按照获得的顺序依次设置在所述已存在相同内容的后面,获得更新后的一条所述压缩日志;或者,根据预设规则,将所述差异内容与所述已存在相同内容进行拼接,获得更新后的一条所述压缩日志。
图5为本发明埋点日志的压缩装置二实施例的示意图。如图5所示,在上述实施例的基础上,本实施例提供的日志的压缩装置,还包括:存储模块44,发送模块45;
所述获取模块41,还用于获取埋点结束指令,所述埋点结束指令包括结束对所述埋点进行访问的指令;
所述存储模块44,用于将所述压缩日志存储至日志文件;
所述发送模块45,用于将存储在所述日志文件的所述压缩日志向日志服务器进行发送。
在本实施例中,对同一埋点产生的不同埋点日志进行了相同内容+差异内容的拼接压缩,从而有效的压缩了埋点日志,进而在将压缩日志存储至本地文件的过程中,移动终端使用流畅无卡的现象,同时,将压缩日志向日志服务器进行发送过程中,由于压缩日志占用流量较少,因此传输压缩日志到服务器的速度较快。
图6为本发明埋点日志的解压缩装置一实施例的示意图。如图6所示,在上述实施例的基础上,本实施例提供的日志的解压缩装置,包括:获取模块61和解压缩模块62,其中,
获取模块61,用于获取压缩日志,所述压缩日志包括将埋点日志中差异内容与已存在相同内容进行拼接获得的日志;
解压缩模块62,用于选取所述压缩日志中每条所述差异内容分别与所述相同内容进行拼接,获得解压缩后的日志。
具体的,在需要对压缩日志进行解压缩时,可以将相同内容与拼接的一个差异内容生成一个解压缩后的日志,也就是说,有N条差异内容,就至少可以获得N条解压缩后的日志。
在本实施例中,埋点日志的解压缩装置,包括:获取模块,用于获取压缩日志,所述压缩日志包括将埋点日志中差异内容与已存在相同内容进行拼接获得的日志;解压缩模块,用于选取所述压缩日志中每条所述差异内容分别与所述相同内容进行拼接,获得解压缩后的日志。实现了对压缩文件的解压缩,提高了解压缩的效率。
本实施例还提供的一种埋点日志的压缩系统,其特征在于,包括:如上述图4-图5所述的埋点日志的压缩装置,以及如上述图6所述的埋点日志的解压缩装置。
本实施例还提供的一种埋点日志的压缩设备,包括:
处理器;
以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时通过所述处理器执行图1和图2所述的埋点日志的压缩方法。
本实施例还提供的一种埋点日志的解压缩设备,包括:
处理器;
以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时通过所述处理器执行上述图3所述的埋点日志的解压缩方法。
虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (15)
1.一种埋点日志的压缩方法,其特征在于,包括:
获取埋点日志,其中,获取的埋点日志为同一埋点的埋点日志;
根据所述埋点日志,确定所述埋点日志中的相同内容和差异内容;
若确定所述相同内容与已存在相同内容相同,则将所述差异内容与所述已存在相同内容进行拼接,获得更新后的一条压缩日志,所述已存在相同内容包括至少两个第一埋点日志中均存在的内容相同的部分,所述至少两个第一埋点包括在获取所述埋点日志之前获取到的所有埋点日志;以及
若确定所述相同内容与所述已存在相同内容不相同,则将所述差异内容与所述相同内容进行拼接,获得新建的压缩日志;
所述将所述差异内容与所述已存在相同内容进行拼接,获得更新后的一条压缩日志包括:将所述差异内容按照获得的顺序依次设置在所述已存在相同内容的后面,获得更新后的一条所述压缩日志。
2.根据权利要求1所述的方法,其特征在于,所述根据所述埋点日志,确定所述埋点日志中的相同内容和差异内容,包括:
根据所述埋点日志,确定所述埋点日志中的埋点标识和/或基本信息为所述相同内容,所述埋点日志中的业务信息为所述差异内容,所述埋点标识用于对埋点对应的业务内容进行标识的信息;所述基本信息包括所有埋点日志均具有的信息,所述业务信息包括除所述埋点标识和所述基本信息之外的信息。
3.根据权利要求2所述的方法,其特征在于,所述业务内容为列表形式时,所述埋点标识包括:标识前缀和序号,所述标识前缀包括所述业务内容的列表信息,所述序号包括所述埋点中曝光信息在序列表中的序号;
所述根据所述埋点日志,确定埋点日志中的相同内容和差异内容,还包括:
确定所述标识前缀为所述相同内容;确定所述序号为所述差异内容。
4.根据权利要求1-3任一项所述的方法,所述将所述差异内容与所述已存在相同内容进行拼接,获得更新后的一条压缩日志,还包括:
根据预设规则,将所述差异内容与所述已存在相同内容进行拼接,获得更新后的一条所述压缩日志。
5.根据权利要求4所述的方法,其特征在于,所述获得更新后的压缩日志之后,还包括:
获取埋点结束指令,所述埋点结束指令包括结束对所述埋点进行访问的指令;
将所述压缩日志存储至日志文件;
将存储在所述日志文件的所述压缩日志向日志服务器进行发送。
6.根据权利要求1所述的方法,其特征在于,所述方法,还包括:
当接收到对更新后的压缩日志进行解密的指令时,选取所述更新后的压缩日志中每条所述差异内容分别与所述相同内容进行拼接,获得解压缩后的日志。
7.一种埋点日志的压缩装置,其特征在于,包括:
获取模块,用于获取埋点日志,其中,获取的埋点日志为同一埋点的埋点日志;
处理模块,用于根据所述埋点日志,确定所述埋点日志中的相同内容和差异内容;
压缩模块,用于若确定所述相同内容与已存在相同内容相同,则将所述差异内容与所述已存在相同内容进行拼接,获得更新后的一条压缩日志,所述已存在相同内容包括至少两个第一埋点日志中均存在的内容相同的部分,所述至少两个第一埋点包括在获取所述埋点日志之前获取到的所有埋点日志;以及若确定所述相同内容与所述已存在相同内容不相同,则将所述差异内容与所述相同内容进行拼接,获得新建的压缩日志;
所述压缩模块,还用于将所述差异内容按照获得的顺序依次设置在所述已存在相同内容的后面,获得更新后的一条所述压缩日志。
8.根据权利要求7所述的装置,其特征在于,所述处理模块,具体用于根据所述埋点日志,确定所述埋点日志中的埋点标识和/或基本信息为所述相同内容,所述埋点日志中的业务信息为所述差异内容,所述埋点标识用于对埋点对应的业务内容进行标识的信息;所述基本信息包括所有埋点日志均具有的信息;
所述差异内容包括:业务信息;所述业务信息包括除所述埋点标识和所述基本信息之外的信息。
9.根据权利要求8所述的装置,其特征在于,所述业务内容为列表形式时,所述埋点标识包括:标识前缀和序号,所述标识前缀包括所述业务内容的列表信息,所述序号包括所述埋点中曝光信息在序列表中的序号;
所述处理模块,还用于确定所述标识前缀为所述相同内容;确定所述序号为所述差异内容。
10.根据权利要求7-9任一项所述的装置,其特征在于,所述压缩模块,用于根据预设规则,将所述差异内容与所述已存在相同内容进行拼接,获得更新后的一条所述压缩日志。
11.根据权利要求10所述的装置,其特征在于,还包括:存储模块,发送模块;
所述获取模块,还用于获取埋点结束指令,所述埋点结束指令包括结束对所述埋点进行访问的指令;
所述存储模块,用于将所述压缩日志存储至日志文件;
所述发送模块,用于将存储在所述日志文件的所述压缩日志向日志服务器进行发送。
12.一种埋点日志的解压缩装置,其特征在于,包括:
获取模块,用于获取压缩日志,所述压缩日志包括将埋点日志中差异内容与已存在相同内容进行拼接获得的日志或者将埋点日志中差异内容与相同内容进行拼接获得的日志;其中,所述埋点日志为同一埋点的埋点日志;将埋点日志中差异内容与已存在相同内容进行拼接得到的压缩日志包括将所述差异内容按照获得的顺序依次设置在所述已存在相同内容的后面得到的压缩日志;
解压缩模块,用于选取所述压缩日志中每条所述差异内容分别与所述相同内容进行拼接,获得解压缩后的日志。
13.一种埋点日志的压缩系统,其特征在于,包括:如上述权利要求7-11中任一项所述的埋点日志的压缩装置,以及如上述权利要求12所述的埋点日志的解压缩装置。
14.一种埋点日志的压缩设备,其特征在于,包括:
处理器;
以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时通过所述处理器执行上述权利要求1-5中任一项所述的埋点日志的压缩方法。
15.一种埋点日志的解压缩设备,其特征在于,包括:
处理器;
以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时通过所述处理器执行上述权利要求6所述的埋点日志的解压缩方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811285324.9A CN109617708B (zh) | 2018-10-31 | 2018-10-31 | 一种埋点日志的压缩方法、设备及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811285324.9A CN109617708B (zh) | 2018-10-31 | 2018-10-31 | 一种埋点日志的压缩方法、设备及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109617708A CN109617708A (zh) | 2019-04-12 |
CN109617708B true CN109617708B (zh) | 2020-07-31 |
Family
ID=66002249
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811285324.9A Active CN109617708B (zh) | 2018-10-31 | 2018-10-31 | 一种埋点日志的压缩方法、设备及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109617708B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112416694A (zh) * | 2019-08-20 | 2021-02-26 | 中国电信股份有限公司 | 信息处理方法、系统、客户端和计算机可读存储介质 |
CN112492353B (zh) * | 2019-09-12 | 2023-06-23 | 杭州山草互娱科技有限公司 | 直播间中数据的加工方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101605028A (zh) * | 2009-02-17 | 2009-12-16 | 北京安天电子设备有限公司 | 一种日志记录合并方法和系统 |
CN104050269A (zh) * | 2014-06-23 | 2014-09-17 | 上海帝联信息科技股份有限公司 | 日志压缩方法及装置、解压缩方法及装置 |
CN104090898A (zh) * | 2013-12-21 | 2014-10-08 | 腾讯科技(深圳)有限公司 | 本地音乐与库内音乐匹配的方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100862661B1 (ko) * | 2006-11-16 | 2008-10-10 | 삼성전자주식회사 | 지연된 로깅 방법 및 그 장치 |
-
2018
- 2018-10-31 CN CN201811285324.9A patent/CN109617708B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101605028A (zh) * | 2009-02-17 | 2009-12-16 | 北京安天电子设备有限公司 | 一种日志记录合并方法和系统 |
CN104090898A (zh) * | 2013-12-21 | 2014-10-08 | 腾讯科技(深圳)有限公司 | 本地音乐与库内音乐匹配的方法和装置 |
CN104050269A (zh) * | 2014-06-23 | 2014-09-17 | 上海帝联信息科技股份有限公司 | 日志压缩方法及装置、解压缩方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109617708A (zh) | 2019-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106936441B (zh) | 一种数据压缩方法和装置 | |
CN106657213B (zh) | 文件传输方法和装置 | |
CN111198976B (zh) | 云上资产关联分析系统、方法、电子设备及介质 | |
CN105446975B (zh) | 一种文件打包方法及装置 | |
CN110019263B (zh) | 信息存储方法和装置 | |
CN106534268B (zh) | 一种数据共享方法及装置 | |
CN111274512A (zh) | 一种页面加载方法、装置及介质 | |
CN109617708B (zh) | 一种埋点日志的压缩方法、设备及系统 | |
CN111552669A (zh) | 数据处理方法、装置、计算设备和存储介质 | |
CN112165482A (zh) | 数据处理方法、装置、计算机设备及介质 | |
CN111352851A (zh) | 一种程序测试方法、装置、计算机设备及存储介质 | |
US8880108B2 (en) | Short message processing method and apparatus | |
CN112559463A (zh) | 压缩文件处理的方法及装置 | |
CN107402878B (zh) | 测试方法和装置 | |
CN111803917A (zh) | 资源的处理方法和装置 | |
CN104252480A (zh) | 一种音频信息检索的方法和装置 | |
CN109246280B (zh) | 通讯录云处理方法、装置、计算机设备及可读存储介质 | |
CN107169057B (zh) | 一种重复图片的检测方法和装置 | |
CN104363237A (zh) | 一种互联网媒体资源元数据的处理方法及其系统 | |
CN111767417A (zh) | 应用图片的管理方法、装置、设备及存储介质 | |
CN113204683B (zh) | 信息重构方法和装置、存储介质及电子设备 | |
CN103220327B (zh) | 用户信息存储方法及装置 | |
CN108268545B (zh) | 一种分级的用户标签库的创建的方法和装置 | |
CN112579357B (zh) | 快照差量获取方法、装置、设备及存储介质 | |
CN109889608B (zh) | 一种动态资源加载方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |