CN101183873A - 一种基于bp神经网络的嵌入式系统数据压缩解压缩方法 - Google Patents

Abstract

本发明公开了一种基于BP神经网络的嵌入式系统数据压缩解压缩方法，包括以下步骤：1)神经网络模型的选择；2)映射关系的构造；3)在PC机上对每一个标准串进行基于BP神经网络的数据压缩；4)在嵌入式系统中进行基于BP神经网络的数据解压；5)将解压获得的标准串依次写入解压缩后的数据文件中；6)删除文件尾出现的所有特殊字符。本发明利用神经网络模拟行编号和行数据之间的映射关系，从而利用占用信号空间少的信息表示占用信号空间多的信息来达到数据压缩的目的，突破了传统的只依靠编码减少数据冗余的局限性，能够实现更高的压缩比。此外可以重复多次压缩数据，以达到满意的压缩比。并且可以有效地压缩已经用熵编码压缩过的数据，从而进一步提高压缩效果。

Description

一种基于BP神经网络的嵌入式系统数据压缩解压缩方法

技术领域

本发明涉及计算机数据处理技术领域，尤其涉及一种实现嵌入式系统中数据压缩解压缩的方法。

背景技术

目前，市场对嵌入式系统产品的需求不断增长。但由于嵌入式系统在成本、体积、存储容量、功耗、速度、处理能力等多方面受到制约，庞大的数据量已经成为嵌入式系统辞典机发展的一个瓶颈。如果能够将数据进行压缩，减小数据的存储空间，就能够降低产品的成本，增强产品的竞争力。因此，数据压缩技术已成为嵌入式系统发展的一项关键技术。

由于嵌入式系统本身的局限性，如运行速度不够高，硬件资源有限，同时又需要完成许多控制功能等，因此就决定了嵌入式系统不可能使用在PC机上常用的具有较高压缩率的复杂技术(如WINRAR、WINZIP)，而应当探索适合于嵌入式系统的数据压缩技术。

在许多实际情况下，数据压缩过程可以在PC机上完成，在嵌入式系统中存放的是压缩后的数据，只需要对数据进行解压就可以了。因此，在压缩过程中主要考虑的是压缩率，对压缩算法的实现速度要求不是太高；而在解压过程中，则需要一种简单、快捷、占用资源少、容易实现的解压方法。

如图1所示，传统数据压缩的方法很多，比如Huffman编码、算术编码、字典编码、游程编码、预测编码等，它们基于不同的理念，适合不同的数据类型，并产生不同的效果，但原理都是相同的，即通过去除源文件的原始数据中的冗余度来压缩数据。传统的压缩方法主要基于减少信息中的冗余，着力于编码设计，高概率出现的符号具有低的信息内容，只需要较少的位来编码。虽然传统压缩方法已经取得了许多成就，但是传统方法在压缩比方面很难取得进一步的进展。另外，许多原始数据经过传统编码压缩之后仍有很高的冗余度，仍然有很大的压缩“空间”，但却很难再经类似的方法进一步压缩。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于BP神经网络，通过构造特殊的映射关系，从而实现更高压缩比的嵌入式系统数据压缩解压缩方法。

人工神经网络(Artificial Neural Network，ANN)是由大量简单的高度互联的处理元素(神经元)所组成的复杂网络计算系统。

1986年，Rumelhart和McCelland领导的科学家小组对具有非线性连续转移函数的多层前馈网络的误差反向传播(Error Back Propagation，简称BP)算法进行了详尽的分析，实现了Minsky关于多层网络的设想。由于BP克服了简单感知机不能解决的XOR和其他一些问题，所以BP模型已成为神经网络的重要模型之一，并得以广泛使用。

基于BP算法的三层前馈网络的拓扑结构如图2所示，由输入层、中间层(隐层)和输出层组成。三层前馈网络中，输入向量X＝(x1，x2，...，xi，...，xn)T，如加入x0＝-1，可为隐层引入阈值；隐层输出向量Y＝(y1，y2，...，yj，...，ym)T，如加入y0＝-1，可为输出层引入阈值；输出向量为O＝(o1，o2，...，ok，...，ol)T，期望输出向量为D＝(d1，d2，...，dk，...，dl)T。输入层到隐层间的权值矩阵用V表示，V＝(v1，v2，...，vj，...，vm)T，其中vj为隐层第j个神经元对应的权向量；隐层到输出层间的权值矩阵用W表示，W＝(w1，w2，...，wk，...，wl)T，其中wk为输出层第k个神经元对应的权向量。下面分析各层信号之间的数学关系。

对于输出层，有

            o_k＝f(net_k)             k＝1，2，...，l    (1)

${\mathrm{net}}_k=\underset{j=0}{\overset{m}{\mathrm{\Σ}}}{w}_{\mathrm{jk}}{y}_j,k=\mathrm{1,2},...,l---\left(2\right)$

对于隐层，有

            y_j＝f(net_j)             j＝1，2，...，m    (3)

${\mathrm{net}}_j=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{v}_{\mathrm{ij}}{x}_i,j=\mathrm{1,2},...,m---\left(4\right)$

式(1)和式(3)中，转移函数f(x)均为单极性Sigmoid函数

$f\left(x\right)=\frac{1}{1+e^{-x}}---\left(5\right)$

其曲线如图3所示。f(x)具有连续、可导的特点，且有

               f′(x)＝f(x)[1-f(x)]                    (6)

式(1)～式(6)共同构成了三层BP网络的模型。

BP网络的学习过程由两部分组成：工作信号正向传播和误差信号反向传播。当工作信号正向传播时，输入信息从输入层经隐单元层处理后传向输出层，每一层神经元的状态只影响下一层的神经元状态。如果在输出层得不到希望的输出，则转入误差信号反向传播，将误差信号沿原来的神经元连接通路返回，并逐一修改各层神经元连接的权值。这种过程不断迭代，最后使得信号误差达到允许的范围之内。

神经网络可以通过学习得到输入与指定输出的映射，神经网络具有神奇的非线性映射能力。在1990年，Hornik等人就利用泛函分析方法证明了在很宽的条件下，隐层神经元足够多的3层BP神经网络能够以任意精度逼近任意连续函数及其各阶导数。

本发明的目的通过以下技术方案予以实现：

本发明提供的一种基于BP神经网络的嵌入式系统数据压缩解压缩方法，包括以下步骤：

1)神经网络模型的选择

选择基于BP算法的三层前馈网络模型，其输入层有12个神经元，隐层有27个神经元，输出层有12个神经元，整个网络共有3层51个神经元；网络中的联接权值共有648个，阈值有51个；一般权值和阈值的初始值范围是(-1，1)；

2)映射关系的构造

2-1)将待压缩文件数据视为由0与1组成的bit长串，以长度为49152位的bit串作为标准串；待压缩bit串如果长度大于49152位，则先拆分为若干个标准串，再进行压缩；待压缩bit串如果长度小于49152位，则先用特殊字符扩充为标准串，再进行压缩；

2-2)把待压缩标准串按先后顺序每12bit分成一行，则得到一个4096*12的大型矩阵；在压缩过程中把这个矩阵的行编号按先后顺序单调递增地进行二进制编码，则扩充为12bit的二进制编码；对于一个由标准串组成的4096*12矩阵，12bit的行编号和12bit的行数据之间存在一个映射关系，每一个12bit的行号对应着一个12bit的行数据；

3)在PC机上对每一个标准串进行基于BP神经网络的数据压缩

3-1)用所有的行编号和待压缩标准串的对应行数据学习训练所述的BP神经网络，即将行编号扩充为12bit的二进制编码作为输入模式，从输入模式计算各隐层单元的输出，然后计算输出层各单元的输出；训练时将所有神经元的连接权值和阈值都精确到小数点后两位；

3-2)将与行编号对应的待压缩标准串中的行数据作为教师信号，计算输出层各单元的误差；选定网络的某一状态为稳态，在该状态下输出值和期望值之间的误差绝对值小于0.5；

3-3)在稳态时，顺序选取所有神经元的连接权值和阈值并对它们依次进行二进制编码，即为每个权值和阈值提供16位编码，其中1位是符号位，1位是小数点记号位，7位用于小数点后两位的编码，7位用于小数点前整数的编码；所得到的二进制编码即为压缩结果；

3-4)将每一个标准串的压缩结果依次写入压缩后的数据文件中；

4)把所述压缩后的数据文件下载到嵌入式系统中，在嵌入式系统中进行网络重建，并应用重建后的网络进行数据解压

4-1)按顺序把压缩结果中的二进制编码转换成为相应神经网络的权值和阈值，利用这些值重建稳态时的BP神经网络；

4-2)把行编号依次按照递增的顺序逐个输入恢复好的BP神经网络中，所得到的输出结果就是相应12位行数据的近似值；

4-3)将每个输出结果加0.5后取整，则得到原来的12位行数据；

4-4)按单增顺序把所有行编号输入BP神经网络，按上述步骤计算后，得到的所有输出就是所有行编号对应的所有行数据，将这些行数据按顺序连接起来则得到原来的标准串；

5)将解压缩得到的每一个标准串依次写入解压缩后的数据文件中；

6)从解压缩后的数据文件的末尾开始，往前扫描，删除文件尾出现的所有特殊字符。

本发明基于的BP神经网络，具有神奇的非线性映射能力，带隐含层的神经网络可实现任意非线性函数关系的映射。因此，可以利用适当的神经网络去模拟行编号和行数据之间的映射关系。这样，通过建立从占用信号空间较少的信息到占用信号空间较多的信息之间的映射关系，利用占用信号空间较少的信息表示占用信号空间较多的信息达到数据压缩的目的，从而突破了传统的只依靠编码减少数据冗余的局限性，能够实现更高的压缩比。根据建立的网络模型分析得到数据压缩比为：

$=\frac{49152}{(648+51)\×16}=4.39$

由于数据压缩过程中神经网络的学习训练运算量相当大，往往会花费很长的时间，而嵌入式系统的资源又很有限，为此将数据压缩过程中神经网络的学习训练等运算量大的工作放在PC机上进行。当网络收敛后，将压缩结果存入一个文件，把该文件下载到嵌入式系统中，在嵌入式系统中进行网络重建，应用重建后的网络进行数据解压。这样，在实际情况下，压缩过程在PC机上完成，在嵌入式系统中其实只需要对数据进行解压就可以了。而基于神经网络的数据压缩方案的解压过程比较简便、快捷、占用资源少、容易实现，因而对于资源有限的嵌入式系统能够很好地满足实时性的要求。

为获得满意的压缩比，根据需要本发明对所述步骤3)获得的压缩数据可重复进行压缩。从理论上说，可以重复多次压缩信息，以达到理想的压缩比。但因多次压缩需经多次解压才能还原，因此压缩次数不应超过一定限度，以避免压缩时间和解压时间增加到不可忍受的地步。

由于BP神经网络的思想方法不同于基于熵编码(哈夫曼编码、算术编码、字典编码、游程编码等)的算法，而且BP网络具有自学习能力，可以进一步找出熵编码没有找出的规律。因此，本发明所述待压缩文件数据可以为已经用熵编码压缩过的数据，即可以有效地对已经用熵编码压缩过的数据进行再压缩，这样便可以和各种传统压缩方案配合使用，以进一步提高压缩效果。

本发明具有以下有益效果：

1)突破了传统的只依靠编码减少数据冗余的局限性，能够实现更高的压缩比。

2)可以重复多次压缩数据，以达到理想的压缩比。可根据需要选择压缩次数，以满足实时性要求。

3)能够进一步寻找熵编码没有找出的规律，可以有效地压缩已经用熵编码压缩过的数据。当传统算法已经把冗余减到最低限度时，本发明还可以用更少的信息来表示冗余度很低的这些信息，从而最大限度地压缩信号空间。

4)把数据压缩过程中神经网络的学习训练等运算量大的工作放在PC机上进行，当网络收敛后，将压缩结果存入一个文件，把该文件下载到嵌入式系统中，在嵌入式系统中进行网络重建，应用重建后的网络进行数据解压，这样就能很好地达到实时的要求。基于BP神经网络的数据解压方法比较快捷、简便、容易实现，因而适合于资源有限、实时性要求较高的嵌入式系统。

附图说明

下面将结合实施例和附图对本发明作进一步的详细描述：

图1是现有技术中数据压缩方法的分类示意图；

图2是基于BP算法的三层前馈网络的拓扑结构图；

图3是单极性S型转移函数曲线图；

图4是本发明实施例数据压缩总体工作流程框图；

图5是本发明实施例数据压缩算法(包括学习过程)工作流程框图；

图6是本发明实施例数据解压缩总体工作流程框图；

图7是本发明实施例数据解压缩算法工作流程框图；

图8是本发明实施例与LZSS编码相结合示意图。

具体实施方式

图4～图8所示为本发明的实施例，包括以下步骤：

1)神经网络模型的选择

选择基于BP算法的三层前馈网络模型，其输入层有12个神经元，隐层有27个神经元，输出层有12个神经元，整个网络共有3层51个神经元；网络中的联接权值共有648个，阈值有51个；一般权值和阈值的初始值范围是(-1，1)。

2)映射关系的构造

2-1)如图4所示，将待压缩文件或数据视为由0与1组成的bit长串，以长度为49152位的bit串作为标准串；顺序扫描该bit长串，依次取出“标准串”，即长度为49152bit(2^12*12＝4096*12)的bit串，若到了接近文件末尾的地方，剩余的数据长度可能会小于49152bit，则用特殊字符扩充为标准串。

2-2)把待压缩标准串按先后顺序每12bit分成一行，则得到一个4096(即2^12)行的大型矩阵；在压缩过程中把这个矩阵的行编号按先后顺序单调递增地进行二进制编码，可以扩充为12bit的二进制编码。例如，第0行编号为000000000000；第1行编号为000000000001；......；第4095行编号为111111111111。对于一个由标准串组成的4096*12矩阵，12bit的行编号和12bit的行数据之间存在一个映射关系，每一个12bit的行号对应着一个12bit的行数据。

假设待压缩标准串为S＝b1 b2 b3 ...... b49151 b49152，行编号和待压缩标准串的行数据之间的映射关系M如下所示：

行编号       映射关系M                  待压缩标准串的行数据

000000000000——→b₁     b₂     b₃      b₄b₅b₆b₇b₈b₉  b₁₀    b₁₁    b₁₂

000000000001——→b₁₃    b₁₄    b₁₅     .........     b₂₂    b₂₃    b₂₄

000000000010——→b₂₅    b₂₆    b₂₇     .........     b₃₄    b₃₅    b₃₆

             ……

             ……

111111111110——→b₄₉₁₂₉ b₄₉₁₃₀ b₄₉₁₃₁  .........     b₄₉₁₃₈ b₄₉₁₃₉ b₄₉₁₄₀

111111111111——→b₄₉₁₄₁ b₄₉₁₄₂ b₄₉₁₄₃  .........     b₄₉₁₅₀ b₄₉₁₅₁ b₄₉₁₅₂

3)在PC机上对每一个标准串进行基于BP神经网络的数据压缩

3-1)如图5所示，用所有的行编号和待压缩标准串的对应行数据学习训练所述的BP神经网络，即将行编号扩充为12bit的二进制编码作为输入模式，从输入模式计算各隐层单元的输出，然后计算输出层各单元的输出；训练时将所有神经元的连接权值和阈值都精确到小数点后两位；

3-2)将与行编号对应的待压缩标准串中的行数据作为教师信号，计算输出层各单元的误差；选定网络的某一状态为稳态，在该状态下输出值和期望值之间的误差绝对值小于0.5；

3-3)在稳态时，顺序选取所有神经元的连接权值和阈值并对它们依次进行二进制编码，即为每个权值和阈值提供16位编码，其中1位是符号位，1位是小数点记号位，7位用于小数点后两位的编码，7位用于小数点前整数的编码；所得到的二进制编码即为压缩结果；

3-4)将每一个标准串的压缩结果依次写入压缩后数据文件中；

4)如图6所示，把所述压缩后的数据文件下载到嵌入式系统中，在嵌入式系统中进行网络重建，并应用重建后的网络进行数据解压

4-1)将压缩后数据文件视为由0与1组成的bit长串，顺序扫描该bit长串，依次取出一个长度为(648+51)×16＝11184(648个权值的二进制编码长度+51个阈值的二进制编码长度)的bit串；如图7所示，按顺序把压缩结果中的二进制编码转换成为相应神经网络的权值或阈值，具体转换方式是每16位二进制编码对应一个权值或阈值，其中1位是符号位，1位是小数点记号位，7位用于小数点后两位的编码，7位用于小数点前整数的编码，利用转换后获得的这些权值和阈值重建稳态时的BP神经网络；

4-2)把行编号依次按照递增的顺序逐个输入恢复好的BP神经网络中，所得到的输出结果就是相应12位行数据的近似值；

4-3)将每个输出结果加0.5后取整，则得到原来的12位行数据；

4-4)按单增顺序把所有行编号输入BP神经网络，按上述步骤计算后，得到的所有输出就是所有行编号对应的所有行数据，将这些行数据按顺序连接起来则得到原来的标准串(长度为49152bit)；

5)将解压缩得到的每一个标准串依次写入解压缩后的数据文件中；

6)从解压缩后的数据文件的末尾开始，往前扫描，删除文件尾出现的所有特殊字符。

为获得满意的压缩比，根据需要可以对经过步骤3)获得的压缩数据重复进行压缩。从理论上说，可以重复多次压缩信息，以达到理想的压缩比。但因多次压缩需经多次解压才能还原，因此压缩次数不应超过一定限度，以避免压缩时间和解压时间增加到不可忍受的地步。

此外，本实施例待压缩的文件数据可以为已经用熵编码压缩过的数据，即可以有效地对已经用熵编码压缩过的数据进行再压缩，这样便可以和各种传统压缩方案配合使用，以进一步提高压缩效果。例如，如图8所示，可以与LZSS编码相结合，可以进一步提高压缩比。

Claims (3)

1.一种基于BP神经网络的嵌入式系统数据压缩解压缩方法，其特征在于包括以下步骤：

1)神经网络模型的选择

选择基于BP算法的三层前馈网络模型，其输入层有12个神经元，隐层有27个神经元，输出层有12个神经元，整个网络共有3层51个神经元；网络中的联接权值共有648个，阈值有51个；一般权值和阈值的初始值范围是(-1，1)；

2)映射关系的构造

2-1)将待压缩文件数据视为由0与1组成的bit长串，以长度为49152位的bit串作为标准串；待压缩bit串如果长度大于49152位，则先拆分为若干个标准串，再进行压缩；待压缩bit串如果长度小于49152位，则先用特殊字符扩充为标准串，再进行压缩；

2-2)把待压缩标准串按先后顺序每12bit分成一行，则得到一个4096*12的大型矩阵；在压缩过程中把这个矩阵的行编号按先后顺序单调递增地进行二进制编码，则扩充为12bit的二进制编码；对于一个由标准串组成的4096*12矩阵，12bit的行编号和12bit的行数据之间存在一个映射关系，每一个12bit的行号对应着一个12bit的行数据；

3)在PC机上对每一个标准串进行基于BP神经网络的数据压缩

3-1)用所有的行编号和待压缩标准串的对应行数据学习训练所述的BP神经网络，即将行编号扩充为12bit的二进制编码作为输入模式，从输入模式计算各隐层单元的输出，然后计算输出层各单元的输出；训练时将所有神经元的连接权值和阈值都精确到小数点后两位；

3-2)将与行编号对应的待压缩标准串中的行数据作为教师信号，计算输出层各单元的误差；选定网络的某一状态为稳态，在该状态下输出值和期望值之间的误差绝对值小于0.5；

3-3)在稳态时，顺序选取所有神经元的连接权值和阈值并对它们依次进行二进制编码，即为每个权值和阈值提供16位编码，其中1位是符号位，1位是小数点记号位，7位用于小数点后两位的编码，7位用于小数点前整数的编码；所得到的二进制编码即为压缩结果；

3-4)将每一个标准串的压缩结果依次写入压缩后的数据文件中；

4)把所述压缩后的数据文件下载到嵌入式系统中，在嵌入式系统中进行网络重建，并应用重建后的网络进行数据解压

4-1)按顺序把压缩结果中的二进制编码转换成为相应神经网络的权值和阈值，利用这些值重建稳态时的BP神经网络；

4-2)把行编号依次按照递增的顺序逐个输入恢复好的BP神经网络中，所得到的输出结果就是相应12位行数据的近似值；

4-3)将每个输出结果加0.5后取整，则得到原来的12位行数据；

4-4)按单增顺序把所有行编号输入BP神经网络，按上述步骤计算后，得到的所有输出就是所有行编号对应的所有行数据，将这些行数据按顺序连接起来则得到原来的标准串；

5)将解压缩得到的每一个标准串依次写入解压缩后的数据文件中；

6)从解压缩后的数据文件的末尾开始，往前扫描，删除文件尾出现的所有特殊字符。

2.根据权利要求1所述的基于BP神经网络的嵌入式系统数据压缩解压缩方法，其特征在于：对所述步骤3)获得的压缩数据可重复进行压缩。

3.根据权利要求1或2所述的基于BP神经网络的嵌入式系统数据压缩解压缩方法，其特征在于：所述待压缩文件数据为已经用熵编码压缩过的数据。

Images