CN112416694A - 信息处理方法、系统、客户端和计算机可读存储介质 - Google Patents
信息处理方法、系统、客户端和计算机可读存储介质 Download PDFInfo
- Publication number
- CN112416694A CN112416694A CN201910766794.5A CN201910766794A CN112416694A CN 112416694 A CN112416694 A CN 112416694A CN 201910766794 A CN201910766794 A CN 201910766794A CN 112416694 A CN112416694 A CN 112416694A
- Authority
- CN
- China
- Prior art keywords
- information
- transmitted
- cache
- characters
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 24
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000004590 computer program Methods 0.000 claims description 11
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
Landscapes
- Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本公开涉及一种信息处理方法、系统、客户端和计算机可读存储介质,涉及计算机技术领域。本公开的方法包括:客户端获取目标信息源的待传输信息;客户端将待传输信息与本地的目标信息源对应的缓存信息进行比对,确定待传输信息与缓存信息的差异是否小于阈值;客户端在待传输信息与缓存信息的差异小于阈值的情况下,根据待传输信息与缓存信息的差异对待传输信息进行压缩;客户端将压缩后的待传输信息发送至服务端。
Description
技术领域
本公开涉及计算机技术领域,特别涉及一种信息处理方法、系统、客户端和计算机可读存储介质。
背景技术
随着越来越多的IT系统采用云化架构,IT系统涉及的服务节点越来越多,IT监控管理成为IT系统运维必不可少的利器。
目前IT系统的监控往往需要全量采集监控目标的指标数据和相关日志,以便运营维护。这些监控信息采集后由客户端传输到监控服务器端,进行后续的监控分析等。
发明内容
发明人发现,大量监控信息传输要占用大量的网络资源。
本公开所要解决的一个技术问题是:如何减少监控信息传输对网络资源的占用。
根据本公开的一些实施例,提供的一种信息处理方法,包括:客户端获取目标信息源的待传输信息;客户端将待传输信息与本地的目标信息源对应的缓存信息进行比对,确定待传输信息与缓存信息的差异是否小于阈值;客户端在待传输信息与缓存信息的差异小于阈值的情况下,根据待传输信息与缓存信息的差异对待传输信息进行压缩;客户端将压缩后的待传输信息发送至服务端。
在一些实施例中,客户端将待传输信息与本地的目标信息源对应的缓存信息进行比对,确定待传输信息与缓存信息的差异是否小于阈值包括:客户端将待传输信息中的字符与目标信息源对应的缓存信息中相应位置的字符进行比对,确定待传输信息中与缓存信息中不同的字符的数量是否小于数量阈值;或者,客户端将待传输信息中的字符与目标信息源对应的缓存信息中相应位置的字符进行比对,确定待传输信息中与缓存信息中不同的字符的数量占待传输信息的字符总量的比例,是否小于比例阈值。
在一些实施例中,客户端将待传输信息与本地的目标信息源对应的缓存信息进行比对包括:客户端按照与待传输信息的时间差由小到大的顺序,将目标信息源对应的各条缓存信息与待传输信息进行比对,直至确定与待传输信息的差异小于阈值的缓存信息或者直至将所有缓存信息比对完。
在一些实施例中,根据待传输信息与缓存信息的差异对待传输信息进行压缩包括:提取待传输信息与缓存信息的不同的字符,并确定不同的字符所在的位置信息,以及缓存信息的标识;将不同的字符,不同的字符所在的位置信息,以及缓存信息的标识,作为压缩后的待传输信息。
在一些实施例中,该方法还包括:客户端在待传输信息与缓存信息的差异大于或等于阈值的情况下,将待传输信息直接发送至服务端。
在一些实施例中,该方法还包括:客户端在待传输信息与缓存信息的差异大于或等于阈值的情况下,将待传输信息进行缓存。
在一些实施例中,该方法还包括:服务端确定接收到的信息为压缩后的待传输信息,对压缩后的待传输信息进行恢复。
在一些实施例中,该方法还包括:服务端对压缩后的待传输信息进行恢复包括:服务端根据缓存信息的标识,查找本地存储的对应的缓存信息;服务端根据不同的字符所在的位置信息,将缓存信息中相应位置的字符替换为不同的字符,作为恢复后的待传输信息。
在一些实施例中,该方法还包括:服务端确定接收到的信息为未经压缩待传输信息,将待传输信息进行缓存。
根据本公开的另一些实施例,提供的一种客户端,包括:信息获取模块,用于获取目标信息源的待传输信息;比对模块,用于将待传输信息与本地的目标信息源对应的缓存信息进行比对,确定待传输信息与缓存信息的差异是否小于阈值;压缩模块,用于在待传输信息与缓存信息的差异小于阈值的情况下,根据待传输信息与缓存信息的差异对待传输信息进行压缩;发送模块,用于将压缩后的待传输信息发送至服务端。
在一些实施例中,比对模块用于将待传输信息中的字符与目标信息源对应的缓存信息中相应位置的字符进行比对,确定待传输信息中与缓存信息中不同的字符的数量是否小于数量阈值;或者,将待传输信息中的字符与目标信息源对应的缓存信息中相应位置的字符进行比对,确定待传输信息中与缓存信息中不同的字符的数量占待传输信息的字符总量的比例,是否小于比例阈值。
在一些实施例中,比对模块用于按照与待传输信息的时间差由小到大的顺序,将目标信息源对应的各条缓存信息与待传输信息进行比对,直至确定与待传输信息的差异小于阈值的缓存信息或者直至将所有缓存信息比对完。
在一些实施例中,压缩模块用于提取待传输信息与缓存信息的不同的字符,并确定不同的字符所在的位置信息,以及缓存信息的标识;将不同的字符,不同的字符所在的位置信息,以及缓存信息的标识,作为压缩后的待传输信息。
在一些实施例中,比对模块还用于在待传输信息与缓存信息的差异大于或等于阈值的情况下,触发发送模块将待传输信息直接发送至服务端。
在一些实施例中,该客户端还包括:缓存模块,用于在待传输信息与缓存信息的差异大于或等于阈值的情况下,将待传输信息进行缓存。
根据本公开的又一些实施例,提供的一种信息处理系统,包括:前述任意实施例的客户端;以及服务端,用于定接收到的信息为压缩后的待传输信息,对压缩后的待传输信息进行恢复。
在一些实施例中,服务端用于根据缓存信息的标识,查找本地存储的对应的缓存信息;根据不同的字符所在的位置信息,将缓存信息中相应位置的字符替换为不同的字符,作为恢复后的待传输信息。
在一些实施例中,服务端还用于确定接收到的信息为未经压缩待传输信息,将待传输信息进行缓存。
根据本公开的再一些实施例,提供的一种信息处理系统,包括:处理器;以及耦接至处理器的存储器,用于存储指令,指令被处理器执行时,使处理器执行如前述任意实施例的信息处理方法的步骤。
根据本公开的又一些实施例,提供的一种计算机可读非瞬时性存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现前述任意实施例的信息处理方法的步骤。
本公开中客户端获取目标信息源的待传输信息后,将待传输信息与本地的目标信息源对应的缓存信息进行比对,如果两者的差异小于阈值,则对待传输信息进行压缩,将压缩后的信息发送至服务端。由于发明人发现时间上接近的监控信息之间的差异较小,因此,将待传输信息根据待传输信息与缓存信息的差异进行压缩,既可以对信息进行较好的恢复,又大大节省了传输过程中对网络资源的占用,还能提高传输效率。
通过以下参照附图对本公开的示例性实施例的详细描述,本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本公开的一些实施例的信息处理方法的流程示意图。
图2示出本公开的另一些实施例的信息处理方法的流程示意图。
图3示出本公开的一些实施例的客户端的结构示意图。
图4示出本公开的一些实施例的信息处理系统的结构示意图。
图5示出本公开的另一些实施例的信息处理系统的结构示意图。
图6示出本公开的又一些实施例的信息处理系统的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
针对目前监控信息的全量传输,占用大量的网络资源的问题,提出本方案。下面结合图1描述本公开信息处理方法的一些实施例。
图1为本公开信息处理方法一些实施例的流程图。如图1所示,该实施例的方法包括:步骤S102~S108。
在步骤S102中,客户端获取目标信息源的待传输信息。
待传输信息可以是对目标信息源进行监控获得的监控信息,或者目标信息源的日志信息等。根据被监控的对象(即目标信息源)不同,监控信息各有不同。例如,监控信息为应用状态监控日志,监控信息可以是“201908011200monitor.crm.node2.ct.com statusOK”,这条信息可以表示在2019年8月1日12点整,monitor.crm.node2.ct.com这个模块状态正常。又例如,监控信息为主机资源利用率状态监控日志,监控信息可以是“0.5 0.3 0.1”,这个信息说明在日志输出的时刻,改主机CPU占用率为0.5,内存利用率为0.3,网络接口负载为0.1。客户端可以直接设置在目标信息源所在的设备,采集待传输信息。客户端可以对信息进行识别,仅获取目标信息源对应的待传输信息。
在步骤S104中,客户端将待传输信息与本地的目标信息源对应的缓存信息进行比对,确定待传输信息与缓存信息的差异是否小于阈值。
不同的目标信息源对应不同的缓存信息,根据待传输信息的目标信息源查找该目标信息源对应的缓存信息。客户端可以设置缓存信息的数量,当新的缓存信息需要进行缓存时,可以按照缓存时间由远到近的顺序,将缓存时间最早的缓存信息删除。或者,按照缓存信息最近一次被比对的时间由远到近的顺序,将最近一次被比对的时间最早的缓存信息删除。或者,按照缓存信息被比对的次数由少到多的顺序,将被比对次数最少的缓存信息删除。后续将描述哪些信息会被缓存。
在一些实施例中,客户端按照与待传输信息的时间差由小到大的顺序,将目标信息源对应的各条缓存信息与待传输信息进行比对,直至确定与待传输信息的差异小于阈值的缓存信息或者直至将所有缓存信息比对完。
客户端可以首先将与待传输信息的时间差最小的一条缓存信息(即缓存时间与当前时间最近的缓存信息),与待传输信息进行比对,如果该缓存信息与待传输信息的差异小于阈值,则停止比对,否则,继续将缓存时间与待传输信息的时间差次小的一条缓存信息与待传输信息进行比对,以此类推,直至确定一条缓存信息与待传输信息的差异小于阈值,或者所有缓存信息比对完成。
在一些实施例中,客户端将待传输信息中的字符与目标信息源对应的缓存信息中相应位置的字符进行比对,确定待传输信息中与缓存信息中不同的字符的数量是否小于数量阈值。或者,客户端将待传输信息中的字符与目标信息源对应的缓存信息中相应位置的字符进行比对,确定待传输信息中与缓存信息中不同的字符的数量占待传输信息的字符总量的比例,是否小于比例阈值。
例如,一条缓存信息为AAAAA,收到的待传输信息为AAAAB,这两条消息存在的不同的字符数量为1,或者不同的字符的数量占待传输信息的字符总量的比例为20%,如果不同的字符数量1小于数量阈值,则表示缓存信息与待传输信息的差异小于阈值。或者,如果20%小于比例阈值,则表示缓存信息与待传输信息的差异小于阈值。
在步骤S106中,客户端在待传输信息与缓存信息的差异小于阈值的情况下,根据待传输信息与缓存信息的差异对待传输信息进行压缩。
在一些实施例中,提取待传输信息与缓存信息的不同的字符,并确定不同的字符所在的位置信息,以及缓存信息的标识。将不同的字符,不同的字符所在的位置信息,以及缓存信息的标识,作为压缩后的待传输信息。
例如,缓存信息01为abxyzfghijklmn,待传输信息为abcdefghijklmn,则提取待传输信息与缓存信息的不同的字符为cde,cde所在的位置,可以用不同的字符的位置范围表示为4-6,或者用第一个不同的字符的起始位置表示为4(即c为第4个字符)。压缩后的待传输信息为014cde。
在步骤S108中,客户端将压缩后的待传输信息发送至服务端。
服务端后续可以将待传输信息进行恢复,可以用于对目标信息源的状态进行分析。
上述实施例中客户端获取目标信息源的待传输信息后,将待传输信息与本地的目标信息源对应的缓存信息进行比对,如果两者的差异小于阈值,则对待传输信息进行压缩,将压缩后的信息发送至服务端。由于发明人发现时间上接近的监控信息之间的差异较小,因此,将待传输信息根据待传输信息与缓存信息的差异进行压缩,既可以对信息进行较好的恢复,又大大节省了传输过程中对网络资源的占用,还能提高传输效率。
下面结合图2描述本公开信息处理方法的另一些实施例。
图2为本公开信息处理方法另一些实施例的流程图。如图2所示,该实施例的方法包括:步骤S202~S210。
在步骤S202中,客户端获取目标信息源的待传输信息。
在步骤S204中,客户端将待传输信息与本地的目标信息源对应的缓存信息进行比对,判断待传输信息与缓存信息的差异是否小于阈值,如果是,则执行步骤S206,否则,执行步骤S205。
在步骤S205,客户端将待传输信息进行缓存。
再缓存空间已满的情况下,可以将目标信息源对应的缓存时间最早的缓存信息删除之后再将待传输信息进行缓存。或者,将最近一次被比对的时间最早的缓存信息删除之后再将待传输信息进行缓存。或者,将被比对次数最少的缓存信息删除之后再将待传输信息进行缓存。
在步骤S207,客户端将待传输信息直接发送至服务端。
在待传输信息与对应的缓存信息差异较大的情况下,不对待传输信息进行压缩,直接进行传输。
在步骤S209,服务端确定接收到的信息为未经压缩待传输信息,将待传输信息进行缓存。
客户端和服务端可以通过待传输信息是否压缩的条件,缓存同样的信息,保持缓存的一致性,便于服务端对压缩后的待传输信息的恢复。服务端在缓存空间已满的情况下,可以参考步骤S205,采用与客户端相同的方法对待传输信息进行存储。
在步骤S206,客户端根据待传输信息与缓存信息的差异对待传输信息进行压缩。
在步骤S208,客户端将压缩后的待传输信息发送至服务端。
在步骤S210,服务端确定接收到的信息为压缩后的待传输信息,对压缩后的待传输信息进行恢复。
在一些实施例中,服务端根据缓存信息的标识,查找本地存储的对应的缓存信息。服务端根据不同的字符所在的位置信息,将缓存信息中相应位置的字符替换为不同的字符,作为恢复后的待传输信息。
由于服务端与客户端的缓存内容保持一致,因此,服务端可以根据缓存信息的标识查找对应的缓存信息。
例如,服务端接收到压缩后的待传输信息为014cde。根据01查找缓存信息01为abxyzfghijklmn,提取待传输信息与缓存信息的不同的字符为cde,根据位置信息4将缓存信息abxyzfghijklmn从第四个字符开始依次替换为cde,得到abcdefghijklmn,即恢复后的待传输信息。利用恢复后的待传输信息可以对目标信息源的状态进行分析。
上述实施例的方法,客户端将待传输信息与缓存信息进行比对,在两者差异较小的情况下,将待传输信息进行压缩,减少对网络资源的占用,提高传输效率。在两者差异较大的情况下,将待传输信息直接传输到服务端,并将待传输信息在客户端和服务端进行缓存,作为缓存信息用于后续待传输信息的比对。客户端和服务端通过识别待传输信息是否压缩,保持缓存的一致性,便于服务端对待传输信息的恢复,减少两者的交互。进一步,仅将没有压缩的待传输信息即差异较大的待传输信息进行缓存,减少了缓存信息的数量。
本公开还提供一种客户端,下面结合图3进行描述。
图3为本公开客户端的一些实施例的结构图。如图3所示,该实施例的客户端30包括:信息获取模块302,比对模块304,压缩模块306,发送模块308。
信息获取模块302,用于获取目标信息源的待传输信息。
比对模块304,用于将待传输信息与本地的目标信息源对应的缓存信息进行比对,确定待传输信息与缓存信息的差异是否小于阈值。
在一些实施例中,比对模块304用于将待传输信息中的字符与目标信息源对应的缓存信息中相应位置的字符进行比对,确定待传输信息中与缓存信息中不同的字符的数量是否小于数量阈值;或者,将待传输信息中的字符与目标信息源对应的缓存信息中相应位置的字符进行比对,确定待传输信息中与缓存信息中不同的字符的数量占待传输信息的字符总量的比例,是否小于比例阈值。
在一些实施例中,比对模块304用于按照与待传输信息的时间差由小到大的顺序,将目标信息源对应的各条缓存信息与待传输信息进行比对,直至确定与待传输信息的差异小于阈值的缓存信息或者直至将所有缓存信息比对完。
压缩模块306,用于在待传输信息与缓存信息的差异小于阈值的情况下,根据待传输信息与缓存信息的差异对待传输信息进行压缩。
在一些实施例中,压缩模块306用于提取待传输信息与缓存信息的不同的字符,并确定不同的字符所在的位置信息,以及缓存信息的标识;将不同的字符,不同的字符所在的位置信息,以及缓存信息的标识,作为压缩后的待传输信息。
发送模块308,用于将压缩后的待传输信息发送至服务端。
在一些实施例中,比对模块304还用于在待传输信息与缓存信息的差异大于或等于阈值的情况下,触发发送模块308将待传输信息直接发送至服务端。
在一些实施例中,客户端30还包括:缓存模块310,用于在待传输信息与缓存信息的差异大于或等于阈值的情况下,将待传输信息进行缓存。
本公开还提供一种信息处理系统,下面结合图4进行描述。
图4为本公开信息处理系统的一些实施例的结构图。如图4所示,该实施例的系统4包括:前述实施例的客户端30;以及服务端42。
服务端42,用于定接收到的信息为压缩后的待传输信息,对压缩后的待传输信息进行恢复。
在一些实施例中,服务端42用于根据缓存信息的标识,查找本地存储的对应的缓存信息;根据不同的字符所在的位置信息,将缓存信息中相应位置的字符替换为不同的字符,作为恢复后的待传输信息。
在一些实施例中,服务端42还用于确定接收到的信息为未经压缩待传输信息,将待传输信息进行缓存。
本公开的实施例中的信息处理系统,例如客户端和服务端均可各由各种计算设备或计算机系统来实现,下面结合图5以及图6进行描述。
图5为本公开信息处理系统的一些实施例的结构图。如图5所示,该实施例的系统50包括:存储器510以及耦接至该存储器510的处理器520,处理器520被配置为基于存储在存储器510中的指令,执行本公开中任意一些实施例中的信息处理方法。
其中,存储器510例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。
图6为本公开信息处理系统的另一些实施例的结构图。如图6所示,该实施例的系统60包括:存储器610以及处理器620,分别与存储器510以及处理器520类似。还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630,640,650以及存储器610和处理器620之间例如可以通过总线660连接。其中,输入输出接口630为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口,例如可以连接到数据库服务器或者云端存储服务器等。存储接口650为SD卡、U盘等外置存储设备提供连接接口。
本公开还提供一种计算机可读非瞬时性存储介质,可以分别设置于客户端和服务端,其上存储有计算机程序,该程序被处理器执行时实现执行前述实施例中信息处理方法中相应的步骤。
本领域内的技术人员应当明白,本公开的实施例可提供为方法、系统、或计算机程序产品。因此,本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例,并不用以限制本公开,凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
Claims (20)
1.一种信息处理方法,包括:
客户端获取目标信息源的待传输信息;
所述客户端将所述待传输信息与本地的所述目标信息源对应的缓存信息进行比对,确定所述待传输信息与所述缓存信息的差异是否小于阈值;
所述客户端在所述待传输信息与所述缓存信息的差异小于阈值的情况下,根据所述待传输信息与所述缓存信息的差异对所述待传输信息进行压缩;
所述客户端将压缩后的待传输信息发送至服务端。
2.根据权利要求1所述的方法,其中,
所述客户端将所述待传输信息与本地的所述目标信息源对应的缓存信息进行比对,确定所述待传输信息与所述缓存信息的差异是否小于阈值包括:
所述客户端将所述待传输信息中的字符与所述目标信息源对应的所述缓存信息中相应位置的字符进行比对,确定所述待传输信息中与所述缓存信息中不同的字符的数量是否小于数量阈值;
或者,所述客户端将所述待传输信息中的字符与所述目标信息源对应的所述缓存信息中相应位置的字符进行比对,确定所述待传输信息中与所述缓存信息中不同的字符的数量占所述待传输信息的字符总量的比例,是否小于比例阈值。
3.根据权利要求1所述的方法,其中,
所述客户端将所述待传输信息与本地的所述目标信息源对应的缓存信息进行比对包括:
所述客户端按照与所述待传输信息的时间差由小到大的顺序,将所述目标信息源对应的各条缓存信息与所述待传输信息进行比对,直至确定与所述待传输信息的差异小于阈值的缓存信息或者直至将所有缓存信息比对完。
4.根据权利要求1所述的方法,其中,
所述根据所述待传输信息与所述缓存信息的差异对所述待传输信息进行压缩包括:
提取所述待传输信息与所述缓存信息的不同的字符,并确定所述不同的字符所在的位置信息,以及所述缓存信息的标识;
将所述不同的字符,所述不同的字符所在的位置信息,以及所述缓存信息的标识,作为压缩后的待传输信息。
5.根据权利要求1所述的方法,还包括:
所述客户端在所述待传输信息与所述缓存信息的差异大于或等于阈值的情况下,将所述待传输信息直接发送至所述服务端。
6.根据权利要求5所述的方法,还包括:
所述客户端在所述待传输信息与所述缓存信息的差异大于或等于阈值的情况下,将所述待传输信息进行缓存。
7.根据权利要求4所述的方法,还包括:
所述服务端确定接收到的信息为所述压缩后的待传输信息,对所述压缩后的待传输信息进行恢复。
8.根据权利要求7所述的方法,其中,
所述服务端对所述压缩后的待传输信息进行恢复包括:
所述服务端根据所述缓存信息的标识,查找本地存储的对应的缓存信息;
所述服务端根据所述不同的字符所在的位置信息,将所述缓存信息中相应位置的字符替换为所述不同的字符,作为恢复后的待传输信息。
9.根据权利要求5所述的方法,还包括:
所述服务端确定接收到的信息为未经压缩待传输信息,将所述待传输信息进行缓存。
10.一种客户端,包括:
信息获取模块,用于获取目标信息源的待传输信息;
比对模块,用于将所述待传输信息与本地的所述目标信息源对应的缓存信息进行比对,确定所述待传输信息与所述缓存信息的差异是否小于阈值;
压缩模块,用于在所述待传输信息与所述缓存信息的差异小于阈值的情况下,根据所述待传输信息与所述缓存信息的差异对所述待传输信息进行压缩;
发送模块,用于将压缩后的待传输信息发送至服务端。
11.根据权利要求10所述的客户端,其中,
所述比对模块用于将所述待传输信息中的字符与所述目标信息源对应的所述缓存信息中相应位置的字符进行比对,确定所述待传输信息中与所述缓存信息中不同的字符的数量是否小于数量阈值;或者,将所述待传输信息中的字符与所述目标信息源对应的所述缓存信息中相应位置的字符进行比对,确定所述待传输信息中与所述缓存信息中不同的字符的数量占所述待传输信息的字符总量的比例,是否小于比例阈值。
12.根据权利要求10所述的客户端,其中,
所述比对模块用于按照与所述待传输信息的时间差由小到大的顺序,将所述目标信息源对应的各条缓存信息与所述待传输信息进行比对,直至确定与所述待传输信息的差异小于阈值的缓存信息或者直至将所有缓存信息比对完。
13.根据权利要求10所述的客户端,其中,
所述压缩模块用于提取所述待传输信息与所述缓存信息的不同的字符,并确定所述不同的字符所在的位置信息,以及所述缓存信息的标识;将所述不同的字符,所述不同的字符所在的位置信息,以及所述缓存信息的标识,作为压缩后的待传输信息。
14.根据权利要求10所述的客户端,其中,
所述比对模块还用于在所述待传输信息与所述缓存信息的差异大于或等于阈值的情况下,触发所述发送模块将所述待传输信息直接发送至所述服务端。
15.根据权利要求10所述的客户端,还包括:
缓存模块,用于在所述待传输信息与所述缓存信息的差异大于或等于阈值的情况下,将所述待传输信息进行缓存。
16.一种信息处理系统,包括:权利要求10-15任一项所述的客户端;以及
服务端,用于定接收到的信息为所述压缩后的待传输信息,对所述压缩后的待传输信息进行恢复。
17.根据权利要求16所述的系统,其中,
所述服务端用于根据所述缓存信息的标识,查找本地存储的对应的缓存信息;根据所述不同的字符所在的位置信息,将所述缓存信息中相应位置的字符替换为所述不同的字符,作为恢复后的待传输信息。
18.根据权利要求16所述的系统,其中,
所述服务端还用于确定接收到的信息为未经压缩待传输信息,将所述待传输信息进行缓存。
19.一种信息处理系统,包括:
处理器;以及
耦接至所述处理器的存储器,用于存储指令,所述指令被所述处理器执行时,使所述处理器执行如权利要求1-9任一项所述的信息处理方法。
20.一种计算机可读非瞬时性存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现权利要求1-9任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910766794.5A CN112416694A (zh) | 2019-08-20 | 2019-08-20 | 信息处理方法、系统、客户端和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910766794.5A CN112416694A (zh) | 2019-08-20 | 2019-08-20 | 信息处理方法、系统、客户端和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112416694A true CN112416694A (zh) | 2021-02-26 |
Family
ID=74778907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910766794.5A Pending CN112416694A (zh) | 2019-08-20 | 2019-08-20 | 信息处理方法、系统、客户端和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112416694A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006001137A1 (ja) * | 2004-06-24 | 2006-01-05 | Nec Corporation | データ通信システム、サーバ装置及びデータ通信方法並びにそのプログラム |
US20070043824A1 (en) * | 2005-08-20 | 2007-02-22 | International Business Machines Corporation | Methods, apparatus and computer programs for data communication efficiency |
US20080225862A1 (en) * | 2005-11-15 | 2008-09-18 | Fredrik Wartenberg | Method and Arrangement Relating to Messaging |
US20120054295A1 (en) * | 2010-08-30 | 2012-03-01 | International Business Machines Corporation | Method and apparatus for providing or acquiring the contents of a network resource for a mobile device |
CN108134775A (zh) * | 2017-11-21 | 2018-06-08 | 华为技术有限公司 | 一种数据处理方法和设备 |
CN108509172A (zh) * | 2018-04-13 | 2018-09-07 | 平安普惠企业管理有限公司 | 同步显示的数据传输方法、装置、系统和计算机存储介质 |
CN109617708A (zh) * | 2018-10-31 | 2019-04-12 | 浙江口碑网络技术有限公司 | 一种埋点日志的压缩方法、设备及系统 |
CN109710502A (zh) * | 2018-12-19 | 2019-05-03 | 苏州科达科技股份有限公司 | 日志传输方法、装置及存储介质 |
-
2019
- 2019-08-20 CN CN201910766794.5A patent/CN112416694A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006001137A1 (ja) * | 2004-06-24 | 2006-01-05 | Nec Corporation | データ通信システム、サーバ装置及びデータ通信方法並びにそのプログラム |
JP2007299019A (ja) * | 2004-06-24 | 2007-11-15 | Nec Corp | データ通信システム、サーバ装置及びそれに用いるデータ通信方法並びにそのプログラム |
US20070043824A1 (en) * | 2005-08-20 | 2007-02-22 | International Business Machines Corporation | Methods, apparatus and computer programs for data communication efficiency |
US20080225862A1 (en) * | 2005-11-15 | 2008-09-18 | Fredrik Wartenberg | Method and Arrangement Relating to Messaging |
US20120054295A1 (en) * | 2010-08-30 | 2012-03-01 | International Business Machines Corporation | Method and apparatus for providing or acquiring the contents of a network resource for a mobile device |
CN108134775A (zh) * | 2017-11-21 | 2018-06-08 | 华为技术有限公司 | 一种数据处理方法和设备 |
CN108509172A (zh) * | 2018-04-13 | 2018-09-07 | 平安普惠企业管理有限公司 | 同步显示的数据传输方法、装置、系统和计算机存储介质 |
CN109617708A (zh) * | 2018-10-31 | 2019-04-12 | 浙江口碑网络技术有限公司 | 一种埋点日志的压缩方法、设备及系统 |
CN109710502A (zh) * | 2018-12-19 | 2019-05-03 | 苏州科达科技股份有限公司 | 日志传输方法、装置及存储介质 |
Non-Patent Citations (1)
Title |
---|
马赛牧;王晶;: "基于文件拆分和缓存预测的日志文件传输算法", 电信工程技术与标准化, no. 08, pages 71 - 78 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109034993B (zh) | 对账方法、设备、系统及计算机可读存储介质 | |
CN110569214B (zh) | 用于日志文件的索引构建方法、装置及电子设备 | |
CN101320372B (zh) | 一种重复数据的压缩方法 | |
EP2717476A1 (en) | Data processing method and data processing device | |
CN108134775B (zh) | 一种数据处理方法和设备 | |
CN111078513B (zh) | 日志处理方法、装置、设备、存储介质及日志告警系统 | |
CN109246163A (zh) | 终端信息识别方法及装置 | |
CN112732647B (zh) | 一种日志搜索方法、装置、设备及存储介质 | |
CN110928851B (zh) | 处理日志信息的方法、装置、设备及存储介质 | |
CN111949710A (zh) | 数据存储方法、装置、服务器及存储介质 | |
CN113590556A (zh) | 一种基于数据库的日志处理方法、装置及设备 | |
CN112463784A (zh) | 数据去重方法、装置、设备及计算机可读存储介质 | |
CN103716384A (zh) | 跨数据中心实现云存储数据同步的方法和装置 | |
CN105138691A (zh) | 分析用户业务量的方法和系统 | |
CN111680104B (zh) | 数据同步方法、装置、计算机设备及可读存储介质 | |
CN113254320A (zh) | 记录用户网页操作行为的方法及装置 | |
CN112069875A (zh) | 人脸图像的分类方法、装置、电子设备和存储介质 | |
CN114398520A (zh) | 数据检索方法、系统、装置、电子设备及存储介质 | |
CN111049684B (zh) | 数据分析方法、装置、设备和存储介质 | |
CN110032432B (zh) | 实例的压缩方法和装置、实例的解压方法和装置 | |
CN115883647B (zh) | 业务日志记录方法、系统、装置、终端、服务器及介质 | |
CN112433757A (zh) | 一种确定接口调用关系的方法和装置 | |
CN112416694A (zh) | 信息处理方法、系统、客户端和计算机可读存储介质 | |
CN111193631B (zh) | 信息处理方法、系统和计算机可读存储介质 | |
US11216352B2 (en) | Method for automatically analyzing bottleneck in real time and an apparatus for performing the method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |