CN104869397B - 一种基于slwe概率估计模型的自适应区间编码方法及解码方法 - Google Patents

Abstract

一种基于SLWE概率估计模型的自适应区间编码方法及解码方法，涉及利用随机学习弱估计理论(SLWE)进行信源概率估计的自适应区间编码及解码技术。它是为了解决现有的区间编码在信源特性不断改变的环境下编码性能降低的问题。本发明主要有两点创新：一是在区间编码中利用SLWE的思想设计信源概率估计模型，并通过设置区间的下限避免区间退化的情况发生，同时提高了编码效率；二是在整个编解码实现过程中用区间更新取代概率更新，避免了浮点相加运算的舍入影响。本发明实现的区间编码方法适合于信源特性非平稳环境下的编码，相比于传统的基于最大似然思想进行概率估计的区间编码方法，编码性能提升了2％到10％。

Description

一种基于SLWE概率估计模型的自适应区间编码方法及解码 方法

技术领域

本发明涉及利用随机学习弱估计理论(SLWE)进行信源概率估计的自适应区间编码及解码技术。

背景技术

随着信息产业和多媒体技术的蓬勃发展，每天产生的数据量越来越巨大，为了节省存储空间和传输带宽，迫切需要各种数据压缩技术的发展。熵编码属于数据压缩技术中的一种，也是很多国际压缩标准中的关键一环，在数据压缩领域占有重要的地位。其理论基础为香农的信息论，主要通过去除数据中的统计冗余达到压缩数据的目的，可压缩到的理论极限为待压缩数据的香农熵。目前常见的熵编码方法有Huffman编码、算术编码、区间编码等，其中算术编码和区间编码由于可以用小数位比特编码每个字符，因而编码性能更高，二者中又因为区间编码不受专利的限制，因而吸引了越来越多的人对其进行研究。

除了编码速度、存储空间等工程实现方面的因素以外，理论上影响熵编码性能的关键在于编码过程中编码器对信源概率特性的估计与信源的实际情况是否一致，当估计值与真实情况完全一致时，理论上能达到该信源的压缩极限，即香农熵值，熵编码器中主要依靠概率估计模型对信源进行概率估计。对于区间编码来说，依照概率估计过程中需要事先遍历全部待压缩数据或仅依靠已经编码完的数据，可分为静态区间编码和自适应区间编码，其中自适应模式由于不需要事先遍历数据，因而应用范围更广。现阶段的自适应区间编码主要利用基于最大似然的参数估计思想，即以累积频率逼近概率的方式对信源特性进行估计，当信源特性发生变化时，其估计效果较差，影响最终的编码性能，其根本原因是最大似然参数估计法属于强估计方法，算法收敛之后很难再随环境改变。近年来，一大类弱估计算法的涌现为这一问题的解决提供了新的思路，其中较具有代表性的一种弱估计算法为随机学习弱估计法(SLWE)，它能有效地解决非平稳环境下二项分布和多项分布的参数估计问题，并且估计方式简单，易于实现。

发明内容

本发明是为了解决现有的区间编码在信源特性不断改变的环境下编码性能降低的问题，从而提出一种基于SLWE概率估计模型的自适应区间编码方法及解码方法。

一种基于SLWE概率估计模型的自适应区间编码方法，

步骤一、统计信源的基本信息，所述基本信息包括：待编码数据长度BSIZE、符号最大值ma、符号最小值mi、符号种类数N，所述各符号的种类分别用索引0，…，N-1表示；

步骤二、初始化区间上界R_ini和区间下界L_ini，初始化各个符号占据的初始区间长度range[0],...,range[N-1]，以数组形式保存，初始化区间规格化时的临界阈值Range₀；

步骤三、根据读入字符计算累积区间长度：初始化原始累积区间长度Cumrange为0，根据当前待编码字符索引j，计算累积区间长度Cumrange；

步骤四、编码和区间规格化：根据当前待编码字符种类的索引对原始累积区间进行更新，当更新后的累积区间长度小于临界阈值Range₀时，或以字节为单位比较更新后的累积区间的上界和下界，当上界和下界的高位字节相等时，移出高位的字节作为输出码流，同时对区间进行规格化处理；并计算编码后区间和编码前区间的比值m；

步骤五、更新概率估计表；根据SLWE算法对各字符所在区间的大小进行更新，具体过程如下：

步骤五一、根据信源基本信息，设置最小概率p_min，并根据当前总区间大小Range计算各字符所在区间的下限R_min＝Range·p_min，初始化学习因子λ，定义变量Sum_range＝0；

步骤五二、根据公式：

range[i]←max(range[i]·m·λ,R_min)

依次计算序号为i＝0,...,N-1且i≠j的字符所占累积区间的大小；

步骤五三、根据公式：

计算除了序号j的剩余字符所占区间的和；

步骤五四、根据公式：

range[j]←Range-Sum_range

更新序号j字符所占的区间；

步骤六、根据步骤三至五的方式，对所有待编码数据进行编码；当已编码字符数量等于待编码数据长度BSIZE时，则编码结束，并移出映射区间内所有的位。

在编码结束后，分别将码流和待编码数据的相关信息以文件形式保存。

一种基于SLWE概率估计模型的自适应区间解码方法，

步骤A1、读取信源基本信息文件，得到原数据长度BSIZE、符号最大值ma、符号最小值mi和符号种类数N；

步骤A2、初始化区间上界R_ini和区间下界L_ini，初始化各个符号占据的初始区间长度range[0],...,range[N-1]，以数组形式保存，初始化区间规格化时的临界阈值Range₀；以字节为单位读取码流文件，得到初始标识符tag；

步骤A3、根据初始标识符tag和当前区间下界L以及各符号的区间长度进行解码，解码过程中得到当前符号的索引j；

步骤A4、根据当前符号的索引j更新原始区间，当更新后区间长度小于临界阈值Range₀时，或以字节为单位比较更新后的区间的上界和下界，当上界和下界的高位字节相等时，移出码流文件中高位的字节作为新的标识符，同时对区间进行规格化处理；并计算解码后区间和解码前区间的比值m；

步骤A5、更新概率估计表；根据SLWE算法对各字符所在区间大小进行更新，具体过程如下：

步骤A51、根据信源基本信息，设置最小概率p_min，并根据当前总区间大小Range计算各字符所在区间的下限R_min＝Range·p_min，初始化学习因子λ，定义变量Sum_range＝0；

步骤A52、根据公式：

range[n]←max(range[n]·m·λ,R_min)

依次计算序号为n＝0,...,N-1，n≠j且i≠j的字符所占累积区间的大小；

步骤A53、根据公式：

计算除了序号j的剩余字符所占区间的和；

步骤A54、根据公式：

range[j]＝Range-Sum_range

更新序号j字符所占的区间；

步骤A6、根据步骤A3至A5的方式，对所有待解码数据进行解码；当已解码字符数量等于原数据长度BSIZE时，则解码结束。

在解码结束后，将解出的码字写成文件的形式保存。

本发明研究利用随机学习弱估计理论(SLWE)进行信源概率估计的自适应区间编码方法，主要解决现有区间编码在信源特性不断改变的环境下编码性能降低的问题，并且针对实现过程中由于计算机精度的舍入误差造成区间为0的情况，提出了最小区间设置的方法，在大多数情况下能够进一步提高编码性能。

附图说明

图1是本发明的所述的基于SLWE概率估计模型的自适应区间编码方法原理示意图；

图2是本发明的所述的基于SLWE概率估计模型的自适应区间解码方法原理示意图；

图3是本发明在实验时所用的lena.bmp图像；

图4是本发明在实验时所用的BANDON.bmp图像；

图5是本发明在实验时所用的opera.bmp图像；

具体实施方式

具体实施方式一、结合图1说明本具体实施方式，一种基于SLWE概率估计模型的自适应区间编码方法，

步骤一、统计信源基本信息：以字节为单位读取待编码数据，统计待编码数据长度BSIZE、符号最大值ma、符号最小值mi、计算符号种类数N＝ma-mi+1，各符号种类分别用索引0,...,N-1表示；

步骤二、初始化：对于32位系统，初始化区间上界为：R_ini＝0xffffffff，下界为：L_ini＝0x00000000，则原始区间大小为：Range＝0xffffffff，初始化各个符号占据的初始区间长度为：range[i]＝Range/N，i＝0,...,N-1，初始化区间规格化时的临界阈值：Range₀＝0x00001000；

步骤三、根据读入字符计算累积区间长度，初始化累积区间长度Cumrange为0，假设当前待编码字符索引为j，计算：

步骤四、编码和区间规格化：首先记录当前区间长度irange，然后根据当前待编码字符对区间进行更新，更新方式为：

L←L+Cumrange,R←L+range[j]

其中L为区间下界，R为区间上界，更新后的区间长度为第j种字符所在的区间长度range[j]，即Range←range[j]。

当新区间长度Range小于指定阈值Range₀或以字节为单位比较新区间的上界和下界，上下界的高位字节相等时，移出高位的字节作为输出码流，同时对区间进行规格化处理，具体做法为将Range和L分别左移8位，即：Range←Range<<8，L←L<<8。最后计算编码后区间和编码前区间的比值：m＝Range/irange。

步骤五、更新概率估计表：根据SLWE算法对各字符所在区间大小进行更新，具体过程如下：

步骤五一、根据信源基本信息，设置最小概率p_min＝1/2N，并根据当前区间范围Range计算各字符所在区间的下限R_min＝Range·p_min，初始化学习因子λ＝0.95，定义变量Sum_range＝0；

步骤五二、依次计算序号为i＝0,...,N-1，i≠j的字符所占区间大小：

range[i]←max(range[i]·m·λ_,R_min)，i＝0,...,N-1，i≠j；

步骤五三、计算：

步骤五四、计算：

range[j]←Range-Sum_range

步骤六、编码收尾阶段；按照步骤三至五对所有待编码数据进行编码；编码结束时，移出映射区间内所有的位，并分别将码流和待编码数据的相关信息以文件形式保存。

本发明实现利用随机学习弱估计(SLWE)思想估计信源概率特性的自适应区间编解码器，其特征主要体现在两点：一是在区间编码中利用SLWE的思想设计信源概率估计模型，并通过设置区间的下限避免区间退化的情况发生，同时提高了编码效率，二是在整个编解码实现过程中用区间更新取代概率更新，避免了浮点相加运算的舍入影响。具体如下：

将概率更新转化为对区间大小的更新，从而在后续编解码过程中计算新的区间下界时可以将浮点型数据的概率累加转化为全部是整型数据的区间累加。这样做需要注意的是由于编码后总区间大小发生了变化，因此相应的各字符所占区间大小也要相应的进行同比例的缩放。具体实现过程中采用如下方式解决这一问题：每编码完一个字符时，记录下编码后区间相对于编码前区间的变化情况，假设编码前区间大小为pre_range，编码后区间大小为aft_range，每次编码之后记录下后续再利用m更新区间。

设置最小区间range_min，当某一时刻计算出的某种字符占的区间大小小于range_min时，以range_min作为新的区间大小，即区间的变化是有下限的，不能无限减小；具体实施过程为首先更新那些与上一个已编码字符属不同种类的字符区间，假设信源共有N种字符，上一个已编码字符为第j种字符，则各字符所属区间更新过程为range[i]'＝max{range[i]·λ·m,range_min}，i＝1,...,N,i≠j，其中0<λ<1，称为学习因子，range[i]为更新前第i种字符所占区间大小，range[i]'为更新后第i种字符所占区间大小，range_min为预先设定的区间最小值。然后计算累积区间最后令range[j]'＝aft_range-cumrange。

具体实施方式二、结合图2说明本具体实施方式，一种基于SLWE概率估计模型的自适应区间解码方法，

步骤A1、读取信源基本信息文件，得到原数据长度BSIZE，符号最大值ma，符号最小值mi，计算符号种类数N＝ma-mi+1；

步骤A2、与编码过程中的初始化过程一样初始化R_ini、L_ini，初始化各个符号占据的初始区间长度range[i]，i＝0,...,N-1，以字节为单位读取码流文件，得到初始标识符tag；

具体做法为：首先初始化tag＝0x00000000，然后以字节为单位读取码流文件并与tag进行或运算，之后将tag左移8位，上述过程连续进行四次；

步骤A3、根据tag和当前区间下界L(初始时区间下界为L_ini)以及各符号的区间长度进行解码，解码过程中得到当前符号的索引j。

具体做法为寻找满足下述关系的j：

步骤A4、首先记录当前区间长度irange，然后根据j对区间进行更新，更新方式与编码过程中的更新方式一致，即：

L←L+Cumrange,R←L+range[j]

其中：L为区间下界，R为区间上界，更新后的区间长度为第j种字符所在的区间长度range[j]，即Range←range[j]。

当新区间长度Range小于指定阈值Range₀或以字节为单位比较新区间的上界和下界，上下界的高位字节相等时，对区间进行规格化处理；

具体做法为：将Range和L分别左移8位，即Range←Range<<8，L←L<<8，同时以字节为单位读取码流文件并与tag进行或运算，之后将tag左移8位。

计算解码后区间和解码前区间的比值m＝Range/irange。

步骤A5、根据SLWE算法对各字符所在区间大小进行更新，具体过程如下：

步骤A51、根据信源基本信息，设置最小概率p_min＝1/2N，并根据当前区间范围Range计算各字符所在区间的下限R_min＝Range·p_min，初始化学习因子λ＝0.95，定义变量Sum_range＝0；

步骤A52、依次计算序号为计算序号为n＝0,...,N-1，n≠j的字符所占区间的大小；

range[n]←max(range[n]·m·λ,R_min)

步骤A53、计算：

步骤A54、计算：

range[j]←Range-Sum_range；

上述过程与编码过程中的概率更新的过程是一致的；

步骤A6、解出的码字为j+mi，将其写入文件，当解出的数据总长度小于原数据长度BSIZE时，重复进行步骤A3至A5。

下面是本发明方法，即基于SLWE的自适应区间编码与传统的基于最大似然的区间编码方法对某些常见格式数据进行压缩的对比实验结果。

表1

实验结果(其中l_x表示编码前数据长度，l_y表示编码后码流长度，ρ表示压缩率，计算方式为)；

表2

从实验结果可以看出，本发明方法相比于传统方法的编码性能会提升大约2％到10％。

Claims (2)

1.一种基于SLWE概率估计模型的自适应区间编码方法，其特征是：

步骤一、统计信源的基本信息，所述基本信息包括：待编码数据长度BSIZE、符号最大值ma、符号最小值mi、符号种类数N，所述各符号的种类分别用索引0，…，N-1表示；

步骤二、初始化区间上界R_ini和区间下界L_ini，初始化各个符号占据的初始区间长度range[0],...,range[N-1]，以数组形式保存，初始化区间规格化时的临界阈值Range₀；

步骤三、根据读入字符计算累积区间长度：初始化原始累积区间长度Cumrange为0，根据当前待编码字符索引j，计算累积区间长度Cumrange；

步骤四、编码和区间规格化：根据当前待编码字符种类的索引对原始累积区间进行更新，当更新后的累积区间长度小于临界阈值Range₀时，或以字节为单位比较更新后的累积区间的上界和下界，当上界和下界的高位字节相等时，移出高位的字节作为输出码流，同时对区间进行规格化处理，对更新后的累计区间的上界和下界分别左移8位；并计算编码后区间和编码前区间的比值m；

步骤五、更新概率估计表；根据SLWE算法对各字符所在区间的大小进行更新，具体过程如下：

步骤五一、根据信源基本信息，设置最小概率p_min，并根据当前当前区间范围Range计算各字符所在区间的下限R_min＝Range·p_min，初始化学习因子λ，定义变量Sum_range＝0；

步骤五二、根据公式：

range[i]←max(range[i]·m·λ,R_min)

依次计算序号为i＝0,...,N-1且i≠j的字符所占累积区间的大小；

步骤五三、根据公式：

<mrow> <mi>S</mi> <mi>u</mi> <mi>m</mi> <mo>_</mo> <mi>r</mi> <mi>a</mi> <mi>n</mi> <mi>g</mi> <mi>e</mi> <mo>=</mo> <munderover> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> </munder> <mrow> <mi>i</mi> <mo>&amp;NotEqual;</mo> <mi>j</mi> </mrow> <mrow> <mi>N</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <mi>r</mi> <mi>a</mi> <mi>n</mi> <mi>g</mi> <mi>e</mi> <mo>&amp;lsqb;</mo> <mi>i</mi> <mo>&amp;rsqb;</mo> </mrow>

计算除了序号j的剩余字符所占区间的和；

步骤五四、根据公式：

range[j]←Range-Sum_range

更新序号j字符所占的区间；

步骤六、根据步骤三至五的方式，对所有待编码数据进行编码；当已编码字符数量等于待编码数据长度BSIZE时，则编码结束，并移出映射区间内所有的位。

2.一种基于SLWE概率估计模型的自适应区间解码方法，其特征是：

步骤A1、读取信源基本信息文件，得到原数据长度BSIZE、符号最大值ma、符号最小值mi和符号种类数N；

步骤A2、初始化区间上界R_ini和区间下界L_ini，初始化各个符号占据的初始区间长度range[0],...,range[N-1]，以数组形式保存，初始化区间规格化时的临界阈值Range₀；以字节为单位读取码流文件，得到初始标识符tag；

步骤A3、根据初始标识符tag和当前区间下界L以及各符号的区间长度进行解码，解码过程中得到当前符号的索引j；

步骤A4、根据当前符号的索引j更新原始区间，当更新后区间长度小于临界阈值Range₀时，或以字节为单位比较更新后的区间的上界和下界，当上界和下界的高位字节相等时，移出码流文件中高位的字节作为新的标识符，同时对区间进行规格化处理，对更新后的累计区间的上界和下界分别左移8位；并计算解码后区间和解码前区间的比值m；

步骤A5、更新概率估计表；根据SLWE算法对各字符所在区间大小进行更新，具体过程如下：

步骤A51、根据信源基本信息，设置最小概率p_min，并根据当前当前区间范围Range计算各字符所在区间的下限R_min＝Range·p_min，初始化学习因子λ，定义变量Sum_range＝0；

步骤A52、根据公式：

range[n]←max(range[n]·m·λ,R_min)

依次计算序号为n＝0,...,N-1，n≠j且i≠j的字符所占区间的大小；

步骤A53、根据公式：

<mrow> <mi>S</mi> <mi>u</mi> <mi>m</mi> <mo>_</mo> <mi>r</mi> <mi>a</mi> <mi>n</mi> <mi>g</mi> <mi>e</mi> <mo>=</mo> <munderover> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>0</mn> </mrow> </munder> <mrow> <mi>i</mi> <mo>&amp;NotEqual;</mo> <mi>j</mi> </mrow> <mrow> <mi>N</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <mi>r</mi> <mi>a</mi> <mi>n</mi> <mi>g</mi> <mi>e</mi> <mo>&amp;lsqb;</mo> <mi>n</mi> <mo>&amp;rsqb;</mo> </mrow>

计算除了序号j的剩余字符所占区间的和；

步骤A54、根据公式：

range[j]＝Range-Sum_range

更新序号j字符所占的区间；

步骤A6、根据步骤A3至A5的方式，对所有待解码数据进行解码；当已解码字符数量等于原数据长度BSIZE时，则解码结束。