CN113377553B

CN113377553B - 一种基于压缩字典的在线传输压缩机制

Info

Publication number: CN113377553B
Application number: CN202110699475.4A
Authority: CN
Inventors: 雷杰
Original assignee: Zhejiang Sutai Intelligent Electronics Co ltd
Current assignee: Zhejiang Sutai Intelligent Electronics Co ltd
Priority date: 2021-06-23
Filing date: 2021-06-23
Publication date: 2024-03-22
Anticipated expiration: 2041-06-23
Also published as: CN113377553A

Abstract

本发明公开了一种基于压缩字典的在线传输压缩机制，包括：终端和日志工具协商的日志压缩参数，日志工具通知终端是否允许终端发起字典更新，以及字典更新方式；终端按照配置的日志压缩参数压缩日志数据；终端通知日志工具更新压缩字典，终端收到日志工具确认后，启用新字典；或者，日志工具通知终端更新压缩字典，终端收到后，启用新字典。本发明，对于在线日志的情况，在AP侧使用DEFLATE压缩算法对于modem日志进行压缩，在存在因为传输带宽不足的导致丢日志数据的情况下，也尽可能的保证PC也可以正常解压缩。

Description

一种基于压缩字典的在线传输压缩机制

技术领域

本发明涉及日志压缩技术领域，具体是一种基于压缩字典的在线传输压缩机制。

背景技术

在线日志是移动终端等嵌入式系统定位和分析问题的重要手段之一，通常在PC侧使用日志工具软件通过USB、WiFi等连接方式接入终端，获取到数据流形式的日志数据包，并且在PC侧的工具软件上，可以同步解析、显示、保存和分析log，提供各种交互过程，参数和信令的显示界面，包括图形，图标，表格，文本等方式。

在线日志的log量比较大，所需要的传输带宽可能会大于USB、WIFI的传输带宽。即使UE通过USB进行数据传输的情况下，日志产生的峰值时刻，因传输带宽不足，UE必须主动丢弃部分日志数据，实际使用中丢log对于UE来说非常常见。

目前移动终端多数都是多核处理器，AP性能越来越好，在专注于分析modem类别问题的很多情景下，AP的处理能力多数情况下是有比较大的富裕。如何充分利用AP的富裕能力，在同等条件下，如何尽量减少日志数据所占传输带宽，成为是一个可研究的课题。

对于手机来说，存在大量的重复性的log，而且部分log的可压缩率非常高，即使是动态数据部分，前后或者之间也存在相对大的关联性，如果在PC侧采用事后压缩方法，使用DEFLATE压缩算法，压缩率基本上可以达到70％以上。但是DEFLATE压缩算法默认需要压缩方和解压缩方保持同步，不能接受压缩包丢失。而在抓在线日志的情况下，存在包丢失的情况，现有专利都未能很好的解决这方面的问题，亟待有一种新的方法来解决。

发明内容

本发明的目的在于提供一种基于压缩字典的在线传输压缩机制，以解决现有技术中的问题。

为实现上述目的，本发明提供如下技术方案：一种基于压缩字典的在线传输压缩机制，包括：

终端和日志工具协商的日志压缩参数，日志工具通知终端是否允许终端发起字典更新，以及字典更新方式；

终端按照配置的日志压缩参数压缩日志数据；

终端通知日志工具更新压缩字典，终端收到日志工具确认后，启用新字典；或者，日志工具通知终端更新压缩字典，终端收到后，启用新字典。

优选的，所述日志工具给终端下发压缩字典信息，终端收到后给日志工具回确认信息；之后，日志工具通知终端上报日志信息类型，终端按照配置上报响应日志信息，并且对日志信息进行压缩。

优选的，所述日志工具向终端查询压缩字典信息，终端收到后给日志工具上报字典信息；之后，日志工具通知终端上报日志信息类型，终端按照配置上报响应日志信息，并且对日志信息进行压缩。

优选的，所述日志工具可以通知终端对特定日志信息进行压缩，同时也可以对不同的log类型采用相同或者不同的压缩字典。

优选的，所述终端可以决定是否对特定日志信息进行压缩，同时也可以决定对不同的log类型采用相同或者不同的压缩字典。

优选的，所述日志工具可以通知终端更新压缩字典，并且可以配置新的压缩字典ID；UE收到压缩字典后，回配置确认包，并且对下一个压缩包的压缩字典ID设置为新的压缩字典ID；日志工具如果没有收到配置确认包，收到新的新的压缩字典ID压缩包，日志工具按照新的压缩字典进行解压缩。

优选的，所述终端可以主动发起更新压缩字典，终端发送字典压缩给日志工具，配置新的压缩字典ID。日志工具收到后，给UE回配置确认包；UE收到配置确认包后，对下一个压缩包使用新的压缩字典压缩，并且将压缩字典ID设置为新的压缩字典ID；日志工具收到新的新的压缩字典ID压缩包，日志工具按照新的压缩字典进行解压缩。

优选的，所述终端和日志工具也可以约定对部分log或者全部采用可丢弃的压缩机制；日志工具软件发现丢包后，通知终端发生丢包；终端复位压缩字典，通知将使用的压缩字典ID+1。

优选的，所述采用可丢弃压缩机制时候，终端可以每隔一段时间或者每隔一定数量复位压缩字典；UE每一次复位后，设置压缩字典ID+1；日志工具也检查到压缩字典ID变化后，复位接压缩字典。

与现有技术相比，本发明的有益效果是：对于在线日志的情况，在AP侧使用DEFLATE压缩算法对于modem日志进行压缩，在存在因为传输带宽不足的导致丢日志数据的情况下，也尽可能的保证PC也可以正常解压缩；这样既可以充分利用AP侧富裕的处理能力，也实现对日志数据流进行压缩，减少日志传输带宽不足情况下的丢log情况，提高了日志的完整性。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本申请涉及的LTE网络架构示意图；

图2是本申请涉及的LTE协议架构示意图；

图3是本申请提供的在线日志系统功能模块示意图；

图4是本申请提供的在线日志压缩控制过程步骤示意图；

图5是本申请提供的日志工具设置压缩参数过程示意图；

图6是本申请提供的日志工具查询字典信息过程示意图；

图7是本申请提供的日志数据包帧格式示意图；

图8是本申请提供的带序列号日志数据包帧格式示意图；

图9是本申请提供的在线日志压缩日志工具更新参数；

图10是本申请提供的在线日志压缩终端更新参数；

图11是本申请涉及的UE逻辑框图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

请参阅图1，本发明实施例中，一种基于压缩字典的在线传输压缩机制，包括：

终端按照配置的日志压缩参数压缩日志数据；

具体的：

参见图1，UE(User Equipment，用户设备)和eNB(evolved NodeB，演进型基站)之间的数据传输，通常经过PDCP(Packet Data Convergence Protocol分组数据汇聚协议)，RLC(Radio Link Control无线链路层控制协议)，MAC(Media Access Control媒体接入控制)和PHY(Physical Layer物理层)的传输，每一层完成不同的数据处理。RLC主要完成数据的分段级联和按序递交及RQ(Automatic Repeat-reQuest，自动重传请求)数据传输保障；MAC主要完成调度和不同逻辑信道的级联处理及HARQ(Hybrid Automatic RepeatreQuest，混合自动重传请求)操作；物理层完成传输块成包和空口发送。参见图2的用户面协议栈的示意图。

以移动终端为代表的这类嵌入式系统中，用于定位分析问题的日志数据格式通常会包含下面两大类：

1文本类型

通常是一行文本，或者多行文本，还可以带有文本输出所在的文件名，代码行号等信息，此外为了方便分析，还可以给不同的打印增加严重性等级、类别等级，以方便日志工具过滤和分析。

2字节流类型

通常来说，日志数据是结构体类别的，也可以是数组，或者简单数据类型。日志接收方按照类型定义来解析日志数据码流。不同的日志数据结构给与不同的日志ID。

日志数据可以是在当特定代码运行到，或者特定单一或者多个事件发生的时候输出，也可以是每隔一定事件后输出的特定的数据。

日志数据也可以给予不同的严重性等级，以方便日志工具过滤和分析。

字节流内部，可以按照字节来定位各个变量类型，也可以按照比特位来定义各个变量，也可以按照字节对齐来组织，比如4字节对于等。但是通常来说，总长度是整字节对齐的，不足部分按照PADDING来填充。

此外，嵌入式系统，特别是移动终端类型，代码实现的时候多数是按照分层结构来进行的。比如NAS，RRC，PDCP，RLC等，不同层之间交互，除了函数调用之外，还通常通过层间消息来相互通信，这样虽然牺牲了部分性能，但是各层之间的隔离度会相同比较好。目前在控制层面，因原语数据量不大，主要是处理逻辑相对复杂。层间消息本申请称之为原语(PRIM)。通过层间消息，可以使用二分法来快速区分问题涉及到哪一层，给定位问题带来非常大的方便。层间/层内消息也可以按照特定格式形成日志数据。

移动终端类型的消息类型比较多，通常来说，日志工具和嵌入式系统之间会约定日志过滤条件和过滤机制，约定数据部分或者全部日志，可以按照消息ID、模块、类型、等级来配置过滤条件。日志信息的产生源也多种，对于终端来说，可能存在modem子系统，音频子系统，GPS系统、蓝牙子系统、WiFi系统等，不同的产品可能存在多个或者部分子系统。

如图3所示，日志采集模块一般来说位于AP处理器，负责控制和手机各个子系统的日志数据，并且通过USB、WiFi、lan、串口等各种方式，将日志数据包发给给外部的日志工具软件。本申请只是列举了部分传输方式，其它各种带宽受限的传输方式应该都在本专利的保护范围。日志采集模块，可以采集多个子系统的日志数据，包括但不限于modem子系统，音频子系统，GPS系统、蓝牙子系统、WiFi系统等。

当产生的日志数据，存在比较大的重复性的时候，对日志数据进行启用压缩的话，通常来说会得到比较大的压缩率。

日志数据输出量超过了USB、WiFi的带宽，则会造成丢弃一部分日志数据。而终端的复杂度越来越高，传输速率也越来越高，单位时间产生的日志数量也越来越大。不同场合，不同问题，需要的日志模块和类型也各不相同。比如业务流程性的过程，主要关心文本类型打印输出和部分关键性控制PRIM，但是速率偏低之类的问题，更关注的是字节流类型日志数据。为了最大程度的抓取到有效log，当前设置的默认过滤条件基本都是比较多的，这样很容易导致日志数据丢弃的情况。

特别对于中低端手机来说，为了减低成本，USB接口没有采用USB3.0的标准，而只采用USB2.0标准，丢弃日志数据的情况更加常见。如果使用WIFI来传输日志数据，WiFi的数据也是不稳定的，丢弃日志数据的情况也更容易更严重。

减低日志规模的方法有多种方式，比如：

1从日志产生的源头减低日志数据量。

对于文本类型来说，合理设置文本信息的等级，优先级信息，避免不必要的低质量的打印输出。这个通常来说要从代码级别来调整，但是不同产品阶段，产品的不同阶段上，对于日志需要的等级都不一样。而且，对于不同模块来说，相互之间的优先级很难统一比较。

对于字节流类型来说，合理设置输出的数据结构部分，优先级信息，说要从代码级别来调整。和文本类型类似，存在相同的难以调整的问题。

2从日志的传输过程压缩日志数据

压缩日志数据，不需要调整日志数据产生源的代码，直接从日志模块来统一压缩日志数据。日志压缩功能会增加一部分CPU和内存开销，但是可以降低USB和WiFi传输带宽开销。采用日志压缩还是无法避免丢失log的情况，因此，需要考虑丢失log的情况。

Deflate压缩算法是众多压缩算法中的一种，Deflate采用包交叉的压缩方式，也就是解压缩方会根据之前已解压的数据信息对新接收到的压缩包进行解压。Deflate不支持丢包的，如果解压缩方发现不接解压后，需要压缩方重新压缩才行，通常压缩方和解压缩方需要同步复位压缩、解压缩BUFFER。

本申请设计了一种在线日志压缩机制，来维护日志工具和终端的压缩和解压缩机制，总体步骤如图4所示，具体描述如下。

步骤s101，终端和日志工具协商的日志压缩参数。

如图5所示，日志工具通知终端，是否启用日志压缩功能，是否允许终端发起字典更新，以及字典更新方式；约定对部分log或者全部采用可丢弃的压缩机制。压缩功能参数还可以包括，是否需要对特定日志信息进行压缩，同时也可以对不同的log类型采用相同或者不同的压缩字典。终端和日志工具也可以约定对部分log或者全部采用可丢弃的压缩机制。

日志工具通知终端压缩参数控制包帧结构，举例如下

表1日志工具通知终端压缩参数控制包帧结构：

日志工具通知终端字典信息设置参数控制包帧格式，示例如下

表2日志工具通知终端字典信息设置参数控制包帧格式：

此外，日志工具也可以向终端查询压缩字典信息，终端收到后给日志工具上报字典信息。日志工具可以通知终端上报日志信息类型，终端按照配置上报响应日志信息。具体过程如图6所示。

步骤s102，终端按照配置压缩日志，并且将日志发送给工具软件；

终端按照配置的日志压缩参数压缩日志数据；终端可以决定是否对特定日志信息进行压缩，同时也可以决定对不同的log类型采用相同或者不同的压缩字典。

终端发送包的有效数据部分格式，具体见图7，字段含义和取值范围见下表：

表3日志数据包帧格式：

当Drop方式设置为不可丢弃的时候，终端压缩完数据包后，不更新压缩状态，仍然采用初始状态。

当Drop方式设置为可丢弃的时候，终端压缩完数据包后，更新压缩状态。

日志工具收到压缩日志包后，首先解析字段C，如果是非压缩格式，则直接使用非压缩部分。如果是格式压缩数据，将将日志负载数据按照压缩格式(全局，单独)，分别采用不同的解压缩器进行解压。

当Drop方式设置为不可丢弃的时候，日志工具解压缩完数据包后，不更新解压缩状态，仍然采用初始状态。

当Drop方式设置为可丢弃的时候，日志工具解压缩完数据包后，不更新解压缩状态。

步骤s103，日志工具和终端维护压缩参数；

日志工具发现丢包后，不能正常解压后，发送复位字典命令，通知终端发生丢包，要求复位，并且开启定时器Treset。具体格式见下图所示。

表4复位控制命令

终端接受到复位字典命令后，按照复位类型，复位压缩状态。并且发送复位确认包，具体见下图所示。

表5复位控制命令确认包

对于日志工具来说，处理逻辑如下：

日志工具收到复位确认信息后，停止定时器Treset；

日志工具收到UE采用复位后的数据数据帧，停止定时器Treset；

Treset超时后，日志工具重新发送复位字典命令。Reset seq保持不变。

终端和日志工具也可以采用可丢弃压缩机制时候，终端可以每隔一段时间或者每隔一定数量复位压缩字典。UE每一次复位后，设置压缩字典Reset seq+1。还可以包含SN序列号，日志工具可以检查SN序列号来判断丢包情况。

可丢弃压缩机制下压缩包数据部分的压缩包帧格式见图8；

表6可丢弃压缩机制下压缩包帧格式

可选的，终端通知日志工具更新压缩字典，终端收到日志工具确认后，启用新字典。可选的，日志工具通知终端更新压缩字典，终端收到后，启用新字典。

如图9所示，日志工具可以通知终端更新压缩字典，并且可以配置新的压缩字典ID。UE收到压缩字典控制包后，回配置确认包，并且对下一个压缩包的压缩字典ID设置为新的压缩字典ID。日志工具如果没有收到配置确认包，收到新的新的压缩字典ID压缩包，日志工具按照新的压缩字典进行解压缩。

例如，初始设置的字典DictID＝8

日志工具通知终端更新log的压缩字典的控制包取值如下，DictID＝9

类型	名称	字节数	取值
				Uint8	DictID	1	9
Uint8	module	1	1Log
				Uint32	len	4	字典大小
Byte	dict	var	字典信息

日志工具一旦发现数据包字典ID变化了，就可以推定终端已经接受字典更新了。

如图10所示，终端可以主动发起更新压缩字典，终端发送字典压缩给日志工具，上报新的压缩字典ID。日志工具收到后，给UE回配置确认包。UE收到配置确认包后，对下一个压缩包使用新的压缩字典压缩，并且将压缩字典ID设置为新的压缩字典ID。日志工具收到新的新的压缩字典ID压缩包，日志工具按照新的压缩字典进行解压缩。如果一段时间内，UE没有收到配置确认包，日志工具可以重发更新压缩字典。

例如，初始设置的字典DictID＝0

终端通知日志工具更新log的压缩字典的控制包取值如下，DictID＝1

类型	名称	字节数	取值
				Uint8	DictID	1	1
Uint8	module	1	2Log
				Uint32	len	4	字典大小
byte	dict	var	字典信息

日志工具收到更新压缩字典控制包后，给终端回ACK。

本发明的工作原理是：终端和日志工具协商的日志压缩参数，日志工具通知终端是否允许终端发起字典更新，以及字典更新方式；日志工具可以通知终端对特定日志信息进行压缩，同时也可以对不同的log类型采用相同或者不同的压缩字典；终端和日志工具也可以约定对部分log或者全部采用可丢弃的压缩机制；日志工具软件发现丢包后，通知终端发生丢包；终端复位压缩字典，通知将使用的压缩字典ID+1；采用可丢弃压缩机制时候，终端可以每隔一段时间或者每隔一定数量复位压缩字典；UE每一次复位后，设置压缩字典ID+1；日志工具也检查到压缩字典ID变化后，复位接压缩字典；终端按照配置的日志压缩参数压缩日志数据；终端可以决定是否对特定日志信息进行压缩，同时也可以决定对不同的log类型采用相同或者不同的压缩字典；可选的，终端通知日志工具更新压缩字典，终端收到日志工具确认后，启用新字典；可选的，日志工具通知终端更新压缩字典，终端收到后，启用新字典；可选的，日志工具给终端下发压缩字典信息，终端收到后给日志工具回确认信息；之后，日志工具通知终端上报日志信息类型，终端按照配置上报响应日志信息，并且对日志信息进行压缩；此外，日志工具也可以向终端查询压缩字典信息，终端收到后给日志工具上报字典信息；之后，日志工具通知终端上报日志信息类型，终端按照配置上报响应日志信息，并且对日志信息进行压缩；日志工具可以通知终端更新压缩字典，并且可以配置新的压缩字典ID；UE收到压缩字典后，回配置确认包，并且对下一个压缩包的压缩字典ID设置为新的压缩字典ID；日志工具如果没有收到配置确认包，收到新的新的压缩字典ID压缩包，日志工具按照新的压缩字典进行解压缩；终端可以主动发起更新压缩字典，终端发送字典压缩给日志工具，配置新的压缩字典ID；日志工具收到后，给UE回配置确认包；UE收到配置确认包后，对下一个压缩包使用新的压缩字典压缩，并且将压缩字典ID设置为新的压缩字典ID；日志工具收到新的新的压缩字典ID压缩包，日志工具按照新的压缩字典进行解压缩。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于压缩字典的在线传输压缩方法，其特征在于：包括：

终端按照配置的日志压缩参数压缩日志数据；

终端通知日志工具更新压缩字典，终端收到日志工具确认后，启用新字典；或者，日志工具通知终端更新压缩字典，终端收到后，启用新字典；

所述终端和日志工具也可以约定对部分日志或者全部采用可丢弃的压缩机制；日志工具软件发现丢包后，通知终端发生丢包；终端复位压缩字典，通知将使用的压缩字典ID+1；

所述采用可丢弃压缩机制时候，终端可以每隔一段时间或者每隔一定数量复位压缩字典；终端每一次复位后，设置压缩字典ID+1；日志工具检查到压缩字典ID变化后，复位解压缩字典。

2.根据权利要求1所述的一种基于压缩字典的在线传输压缩方法，其特征在于：所述日志工具给终端下发压缩字典信息，终端收到后给日志工具回确认信息；之后，日志工具通知终端上报日志信息类型，终端按照配置上报响应日志信息，并且对日志信息进行压缩。

3.根据权利要求1所述的一种基于压缩字典的在线传输压缩方法，其特征在于：所述日志工具向终端查询压缩字典信息，终端收到后给日志工具上报字典信息；之后，日志工具通知终端上报日志信息类型，终端按照配置上报响应日志信息，并且对日志信息进行压缩。

4.根据权利要求2所述的一种基于压缩字典的在线传输压缩方法，其特征在于：所述日志工具可以通知终端对特定日志信息进行压缩，同时也可以对不同的日志类型采用相同或者不同的压缩字典。

5.根据权利要求3所述的一种基于压缩字典的在线传输压缩方法，其特征在于：所述终端可以决定是否对特定日志信息进行压缩，同时也可以决定对不同的日志类型采用相同或者不同的压缩字典。

6.根据权利要求1所述的一种基于压缩字典的在线传输压缩方法，其特征在于：所述日志工具可以通知终端更新压缩字典，并且可以配置新的压缩字典ID；终端收到压缩字典后，回配置确认包，并且对下一个压缩包的压缩字典ID设置为新的压缩字典ID；日志工具如果没有收到配置确认包，收到新的压缩字典ID压缩包，日志工具按照新的压缩字典进行解压缩。

7.根据权利要求1所述的一种基于压缩字典的在线传输压缩方法，其特征在于：所述终端可以主动发起更新压缩字典，终端发送字典压缩给日志工具，配置新的压缩字典ID；日志工具收到后，给终端回配置确认包；终端收到配置确认包后，对下一个压缩包使用新的压缩字典压缩，并且将压缩字典ID设置为新的压缩字典ID；日志工具收到新的新的压缩字典ID压缩包，日志工具按照新的压缩字典进行解压缩。