CN105553625A - 一种用电信息采集系统远程信道报文压缩方法及系统 - Google Patents

Abstract

本发明公开了一种用电信息采集系统远程信道报文压缩方法及系统，包括主站下发集中器命令，集中器响应主站命令并生成上行报文，集中器对上行报文进行压缩，然后传输到主站，主站接收到被压缩的上行报文后，进行解压缩过程；由主站到集中器下行报文传输过程为其逆过程。根据上行报文中各阶上下文的分布特性进行在线建模；根据概率分布模型中已建立好的上下文信息预测下一个到达字符的符号概率，编码该符号概率并输出；根据已编码字符更新各阶上下文的分布特性，自适应的更新概率分布模型。采用本发明的技术方案，降低了用电信息采集系统远程信道的数据传输时延，提高了数据传输效率，节省了远程信道通信带宽，降低了主站与集中器之间数据传输成本。

Description

一种用电信息采集系统远程信道报文压缩方法及系统

技术领域

本发明涉及一种用电信息采集系统远程信道报文压缩领域，属于电力系统中报文数据无损压缩技术领域。

背景技术

主站系统与集中器之间通信是用电信息采集系统中一个重要组成部分，其通信下行报文可以是主站对集中器请求各类数据，查询参数，控制命令等。其最常见的上行报文一般是响应召测的各种实时数据以及历史(冻结，曲线)数据。当上行报文数据较大时，报文会分成多帧传输，而每帧遵循GW376.1通信协议，各帧之间有相同的数据结构，故存在一定冗余信息。另一方面，电力系统售电环节的调度系统，营销系统等各类应用越来越依靠用电信息采集系统数据的及时获取，故主站采集数据时必须在一定程度上保证数据的实时性，以便营销系统对采集数据进行分析并作出相应处理。故对远程信道报文压缩后再传输是十分有必要。

目前，实际应用的用电信息采集系统远程信道一般采用GPRS信道或230M无线专网信道，其通信方式存在诸多不足之处。低压居民集中抄表是用电信息采集典型的应用，且用电信息采集数据种类繁多，当集中器采集几百户电能表时。通信量非常大，数据传输到主站要耗费大量时间。电网部门不仅需要支付很高运行费用，而且通信速率较低，传输时延较大，数据实时性有时不能保证。不适应用电信息采集系统中对报文传输过程中高效，可靠，安全等方面要求。

发明内容

为了满足用电信息采集系统对远程通信报文实时分析和高效传输的业务要求。报文压缩技术应具备高压缩比，算法复杂度低，占用内存小等特点。鉴于此，本发明的目的是提供一种用于用电信息采集系统中远程信道通信报文高压缩比的压缩方法，在在本发明只需要在报文传输进行压缩预处理就可以大幅降低通信量，降低对通信信道所需带宽要求。

在该方法中，根据已压缩数据逐步建立起基于多阶上下文的字符集概率分布模型，并随着压缩过程的进行以一定的方式自适应的更新该模型，即学习机制。通过准确的建模预测符号概率，再经算术编码模块压缩后再输出。预测模型预测得越准确，压缩效果就越逼近数据信息熵。

本发明采用的技术方案如下：一种用电信息采集系统远程信道报文压缩方法，包括主站下发集中器命令，集中器响应主站命令并生成上行报文，集中器对上行报文进行压缩，然后传输到主站，主站接收到被压缩的上行报文后，进行解压缩过程，同理，由主站到集中器下行报文传输过程为其逆过程。其中所述对上行报文进行压缩的步骤如下：

根据上行报文中各阶上下文的分布特性进行在线建模，建立起基于多阶上下文的字符集概率分布模型；根据字符集概率分布模型中已建立好的上下文信息预测下一个到达字符的符号概率，编码该符号概率并输出；同时根据已编码字符更新各阶上下文的分布特性，自适应的更新字符集概率分布模型。

具体地，所述字符集概率分布模型是一种多层上下文相关的概率模型，对于报文中将要编码的某一字符，利用已编码的字符串逐步构建的上下文树的概要信息得到该字符在各阶上下文中预测频率，从而得到该字符的累积概率。

为了更好地实施本发明，所述预测概率的计算方式如下：针对某一待编码字符，在当前长上下文中寻找是否出现与待编码字符相同的字符，如有则输出该字符的累积频率和上一字符的累积频率；若没有出与待编码字符相同的字符，则输出一个逃逸字符，且退回到下一较短上下文，直到第0阶上下文，即待编码字符本身，给待编码字符分配概率为待编码字符出现的次数与已经读入符号的个数之比；若待编码字符之前从未出现过，则为-1阶上下文，给待编码字符分配固定概率为1/256。

在上述过程中所述在长上下文中寻找是否出现与待编码字符相同的字符过程中，当由高阶上下文转向低阶上下文时，高阶上下文中出现过的该字符便不再退到低阶上下文寻找。

所述编码符号概率采用自适应的算术编码，即根据当前字符的符号概率分布，和上一字符的符号概率分布编码所述当前待字符。

本发明还提供了一种用电信息采集系统远程信道报文压缩系统，包括主站和集中器，主站下发集中器命令，集中器响应主站命令并生成上行报文，在此过程中所述集中器对上行报文进行压缩，然后传输到主站，主站接收到被压缩的上行报文后，进行解压缩；同理，由主站到集中器下行报文传输过程为其逆过程。其中所述对上行报文进行压缩由以下模块实现：

字符集概率分布模型，根据上行报文中各阶上下文的分布特性进行在线建模，建立起基于多阶上下文的字符集概率分布模型；算术编码模块，根据字符集概率分布模型中已建立好的上下文信息预测下一个到达字符的符号概率，编码该符号概率并输出；学习模块，根据已编码字符更新各阶上下文的分布特性，自适应的更新字符集概率分布模型。

本发明的优势之处在于以下几点：

1.通过对报文数据上下文建模能自适应的学习各阶上下文中字符的统计信息，从而较准确地预测下一字符概率，最大程度上用较少的比特表示出现概率较高的字符，用较多的比特表示出现概率较低的字符，从而提高压缩比，其压缩效果高于一般的LZ系列的压缩算法。

2.用电信息采集系统远程信道报文数据都是遵循376.1的帧格式，帧与帧之间有相同的格式，存在着一些的冗余信息。且在各种电能质量或电能量曲线数据中相邻采样点数据之间有较强相关性。例如，电能质量数据在不同的时刻也存在着相同的后缀。这种特性刚好符合上下文相关模型，因此应用该方法可以取得较好的压缩效果。

3.适用算术编码作为最后的输出编码，而算术编码是接近于信息熵的编码。

4.在存储上下文方面采用三叉树的数据结构，减少了查找和更新上下文所需的算法步骤，降低了算法的复杂度。

5.本方法在实施过程中，只需在集中器和主站系统方面接受数据前端嵌入压缩/解压缩模块，只需软件上的升级，而无需硬件上的改进，故可以进行在线升级，实施成本较低，易于实现。

6.本方法实现复杂度低，压缩、解压缩耗时短，在一定程度上保证了数据传输的实时性。

附图说明

图1为本发明压缩/解压缩模块结构示意图；

图2为原用电信息采集系统示意图；

图3为本发明在用电信息采集系统中应用场景示意图；

图4压缩算法具体实现流程示意图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施例，对发明进行进一步的详细说明。

实施例一，本发明提供了一种用于用电信息采集系统主站与集中器之间的通信报文压缩系统，如图1所示。

概率模型：在本方法中使用一种多层上下文相关的概率模型，其主要有以下特点，对于报文中将要编码的某一待编码字符，利用已编码的字符串逐步构建的上下文树的概要信息得到待编码字符在各阶上下文中累积频率。有两种机制计算该字符的预测概率。

第一种是后退机制，即在当前长上下文中寻找是否出现该待编码字符，如有则输出该待编码字符的累积频率和上一字符的累积频率。若没有出现，则输出一个逃逸字符，且退回到下一较短上下文。直到第0阶上下文，即该待编码字符本身，给它分配概率为该符号出现的次数与已经读入符号的个数之比。若该待编码字符之前从未出现过，则模型转为-1阶上下文，给它分配固定概率为1/256。因为十六进制报文数据字符集个数256。第二种是混合机制，将每个上下文中该字符的预测概率。按一定的权值加权求和。其权值是该符号在当前上下文出现次数的函数。这里采用第一种方法。另外在概率模型后退机制中使用一种排除法，当上下文由高阶转向较低阶上下文时，高阶上下文中出现过的字符在低阶上下文中被排除掉，因为若高阶上下文中出现该字符，则不会后退到低阶上下文。这样可以增大低阶上下文的其他字符的预测概率，改善了压缩。

学习机制：本方法中采用的上下文树数据结构保留了所有不同上下文中的符号概率分布情况，在当前字符被编码后，学习机制通过更新一定的上下文树结点来进一步学习真实数据流的字符统计信息的。常用的学习机制有两种：深度更新和浅更新。深度更新，即编码一个字符后，更新其当前上下文节点及所有较短上下文结点(包括空上下文)，即该字符的频率加1。浅更新方案，即编码一个字符后，只更新当前匹配的最高阶上下文，如果该字符是第一次观察到，递归的更新所有较短上下文结点。很明显学习机制和概率模型是密不可分的，但不存在一个适合所有概率模型的精确学习算法，本方法优选深度更新方案。

算术编码：本方法中概率模型预测字符概率后采用自适应的算术编码。即根据当前字符的累积概率分布，和上一字符的累积概率分布编码该字符。

下面再从两个层次来描述数据压缩处理流程，一方面，从数据压缩模块在用电信息采集系统中的应用场景来描述数据传输过程，另一方面，从数据压缩模块算法具体实现过程来描述字符处理流程。最后，用具体的报文实例来作对比。

实施例二；

如图2和3所示，本发明提供了该方法在实际用电信息采集系统中的通信环境，为了方便说明，仅示出了与本发明实例相关的部分。本发明的应用通信环境包括三个部分，集中器，远程通信信道，及主站系统。集中器负责采集并存储一个台区下下挂电表的电能量数据及电能质量数据等，主站系统负责根据实际业务需求对集中器下发各种请求数据，设参，控制命令。

因为用电信息采集系统远程信道的特点是上行信道通信量远大于下行通信量，其原因是上行通信中集中器有大量的数据需要上传给主站。故本实例只说明上行信道数据压缩处理流程。

如图2所示，集中器接收到主站召测命令后，根据功能码生成相应的376.1响应报文，报文随即经数据压缩/解压缩模块压缩后，再经集中器远程通信模块发送出去，主站远程通信模块接受到被压缩的报文数据后，进行与集中器一致的解压缩逆处理过程，最终获得实际的响应报文。应该明白的是，上述过程是可逆的。

实施例三；

在本发明实施例中，待压缩数据都是在线压缩的，即报文数据可以边产生边压缩，而无需等待所有报文数据产生后再压缩，减少了数据在集中器内部的传输时延。

如图4所示，本发明提供了一种具体的数据压缩算法流程示意图，详述如下：

步骤S1，初始化查找树，根结点设置为空。

步骤S2，取得下一个即将编码的字符S。

步骤S3～S6，判断S是否为逃逸字符(当前上下文结点是否有子节点，若是，则输出一个逃逸字符，并将当前上下文出现的字符添加进排除字符集，并转向下一个较短的上下文结点，循环执行S3～S6，直到不为逃逸字符。

步骤S7，若该字符不是逃逸字符，则编码该字符。

步骤S8，更新各阶上下文结点状态，添加没有的上下文结点。

步骤S9，排除字符集清零。

步骤S10，若为终止字符，则结束编码。

本方法提出的压缩算法的特点之处是，解码器在解码时可以构建和编码器编码时同样的数据结构和上下文的统计信息，即使字符的预测概率分布是自适应改变的，但每个字符编解码都是利用编解码器都可获得的已经编码过的字符信息。

实例四：

下面以某实际报文为例说明，100个测量点有功功率曲线报文为68E604E604688844462700660DE70101010A00001511150160005054318751676250954350059950859551230253108653331554126553477……

总共30433个字节。

压缩后大小为12561个字节，压缩比为0.412.压缩后减小17872字节，由此可知，经压缩后的数据传输可以缩短大概60％的传输时间。

Claims (6)

1.一种用电信息采集系统远程信道报文压缩方法，包括主站下发集中器命令，集中器响应主站命令并生成上行报文，其特征在于，还包括集中器对上行报文进行压缩，然后传输到主站，主站接收到被压缩的上行报文后，进行解压缩过程；其中所述对上行报文进行压缩的步骤如下：

根据上行报文中各阶上下文的分布特性进行在线建模，建立起基于多阶上下文的字符集概率分布模型；根据字符集概率分布模型中已建立好的上下文信息预测下一个到达字符的符号概率，编码该符号概率并输出；同时根据已编码字符更新各阶上下文的分布特性，自适应的更新字符集概率分布模型。

2.根据权利要求1所述一种用电信息采集系统远程信道报文压缩方法，其特征在于：所述字符集概率分布模型是一种多层上下文相关的概率模型，对于报文中将要编码的某一字符，利用已编码的字符串逐步构建的上下文树的概要信息得到该字符在各阶上下文中预测频率，从而得到该字符的累积概率。

3.根据权利要求2所述一种用电信息采集系统远程信道报文压缩方法，其特征在于：所述预测概率的计算方式如下：针对某一待编码字符，在当前长上下文中寻找是否出现与待编码字符相同的字符，如有则输出该字符的累积频率和上一字符的累积频率；若没有与待编码字符相同的字符，则输出一个逃逸字符，且退回到下一较短上下文，直到第0阶上下文，即待编码字符本身，给待编码字符分配概率为待编码字符出现的次数与已经读入符号的个数之比；若待编码字符之前从未出现过，则为-1阶上下文，给待编码字符分配固定概率为1/256。

4.根据权利要求3所述一种用电信息采集系统远程信道报文压缩方法，其特征在于：所述在长上下文中寻找是否出现与待编码字符相同的字符过程中，当由高阶上下文转向低阶上下文时，高阶上下文中出现过的该字符便不再退到低阶上下文寻找。

5.根据权利要求1到4任一项所述一种用电信息采集系统远程信道报文压缩方法，其特征在于：所述编码符号概率采用自适应的算术编码，即根据当前字符的符号概率分布，和上一字符的符号概率分布编码所述当前待字符。

6.一种用电信息采集系统远程信道报文压缩系统，包括主站和集中器，主站下发集中器命令，集中器响应主站命令并生成上行报文，其特征在于：在此过程中所述集中器对上行报文进行压缩，然后传输到主站，主站接收到被压缩的上行报文后，进行解压缩；其中所述对上行报文进行压缩由以下模块实现：

字符集概率分布模型，根据上行报文中各阶上下文的分布特性进行在线建模，建立起基于多阶上下文的字符集概率分布模型；算术编码模块，根据字符集概率分布模型中已建立好的上下文信息预测下一个到达字符的符号概率，编码该符号概率并输出；学习模块，根据已编码字符更新各阶上下文的分布特性，自适应的更新字符集概率分布模型。