CN101094402A

CN101094402A - 基于神经网络与svm的图像编码方法

Info

Publication number: CN101094402A
Application number: CN 200710016832
Authority: CN
Inventors: 杨国为; 高绪慧; 王守觉
Original assignee: Qingdao University
Current assignee: Qingdao University
Priority date: 2007-07-13
Filing date: 2007-07-13
Publication date: 2007-12-26

Abstract

本发明公开一种基于神经网络与SVM的图像编码方法，包括下述步骤：压缩，其包括诸如建立虚拟信源Y₁的神经网络模型，建立虚拟信源Y₂的SVM模型，用SVM模型参数去编码γ₃由虚拟信源产生的字符串γ₂等，解压缩，其包括恢复SVM模型参数，恢复虚拟信源的SVM模型，虚拟信源的SVM模型结合特别变换构建字符串的恢复映射，恢复虚拟信源Y₁的神经网络模型，虚拟信源Y₁的神经网络模型结合特别变换构建字符串的恢复映射，完全恢复虚拟信源Y₁产生的字符串γ₁等。该方法在微损的条件下，有较高的压缩比，部分情况下解决了图像编码系统中“高保真”与“高压缩比”不能统一的矛盾。

Description

基于神经网络与SVM的图像编码方法

技术领域

本发明属于计算机技术领域，特别涉及一种基于神经网络与SVM的图像编码方法。

背景技术

随着通信与信息技术的迅速发展，人们对于传输内容的要求早已从文本数据、语音数据扩展到了图像及视频。图像信息是我们平时接触到的一大类信息，我们经常需要对图像进行快速的存储和传输，这时压缩技术必不可少。传输同样的图像而占用更小的带宽，或者存储同样的图像而占用更小的存储空间，都是非常有意义的。

当今人们已经提出众多有效的关于图像压缩方法和技术，如其中的Huffman编码、游程编码、算术编码、字典编码、小波编码、神经网络压缩(编码)方案及它们的结合等。但基于支持向量机SVM图像压缩(编码)方法目前没见报道。

由于各种需要储存的数字数据指数级增长，网上要传输的数据越来越多，因此图像数据压缩(编码)研究者、信息编码研究者工作者有义务和责任不断改进、发展已有的图像数据压缩(编码)理论、方法和技术，创造出新的更为有效的图像数据压缩(编码)方法和信息编码方法。

发明内容

本发明的任务在于提出一种基于虚拟信源建模的数据压缩(编码)思想，通过用BP神经网络和SVM对信源两次建模，给出了基于神经网络和SVM的新的图像编码(压缩)方法，此方法可视为由一种“基于SVM的图像编码(压缩)方案”嵌套“基于神经网络的无损数据压缩方法”而成。

其技术解决方案是：

一种基于神经网络与SVM的图像编码方法，包括下述步骤：

a.压缩

a1.把所有要处理的图像数据视为由虚拟信源Y₁产生的字符串γ₁；

a2.建立虚拟信源Y₁的神经网络模型；

a3.用模型参数去编码γ₂由虚拟信源产生的字符串；

a4.建立虚拟信源Y₂的SVM模型；

a5.用SVM模型参数去编码γ₃由虚拟信源产生的字符串γ₂；

b.解压缩

b1.恢复SVM模型参数；

b2.恢复虚拟信源的SVM模型；

b3.虚拟信源的SVM模型结合特别变换构建字符串的恢复映射；

b4.完全恢复虚拟信源Y₂产生的字符串γ₂；

b5.恢复神经网络模型参数；

b6.恢复虚拟信源Y₁的神经网络模型；

b7.虚拟信源Y₁的神经网络模型结合特别变换构建字符串的恢复映射；

b8.完全恢复虚拟信源Y₁产生的字符串γ₁；

上述步骤a3中，所述模型参数，其数据量少于原始字符串的数据量；上述步骤a5中，所述SVM模型参数，其数据量少于原始字符串的数据量。

上述虚拟信源是一映射：

其中，映射Y：设A＝{(x₁，…，x_i，…，x₁₂)|x_i＝0，1}把(x₁，…，x_i，…，x₁₂)按二进制数x₁x₂…x_i…x₁₂的大小倒序排列，即排为有序点a₁＝(1，1，…，1)，a₂＝(1，…，1，0)，a₃＝(1，…，1，0，1)，…，a₄₀₉₅＝(0，…，0，1)，a₄₀₉₆＝(0，…，0，0)。假定待压缩的0与1的字符串γ＝c₁…c₄₉₁₅₂，c_j＝0 or 1，其中γ的长度为49152，记B＝{b_j|b_j＝(c_12x(j-1)+1，…，c_12×j)，1≤j≤4096}。注：b_j中的c_i要转换为0与1数的形式。定义Y为A到B的映射

Y：A→B

Y：a_i→b_i，i＝1，…，4096，a_i∈A，b_i∈B

即b_i＝Y(a_i)，i＝1，…，4096。

上述虚拟信源Y₂的SVM模型是径向基型支持向量机。

上述字符串γ₂的恢复映为

上述字符串γ₁恢复映射是BP模型复合取整函数[y_i(X)+0.5]。

本发明基于虚拟信源建模的数据编码思想，提出了基于神经网络与SVM的图像编码(压缩)方法。此方法是由一种“基于SVM的图像编码(压缩)方法”嵌套“基于神经网络的无损数据压缩方法”而成。实验表明，该方法在微损的条件下，有较高的压缩比，部分情况下解决了图像编码系统中“高保真”与“高压缩比”不能统一的矛盾。

附图说明

图1是本发明一种实施方式的压缩原理与解压缩原理流程图，示出了对γ₁进行无损数据压缩的流程图。

图2是本发明一种实施方式的压缩原理与解压缩原理流程图，示出了对γ₂进行SVM压缩(编码)的过程图。

下面结合附图对本发明进行说明：

具体实施方式

本发明提供一种基于神经网络与SVM的图像编码方法，其有关流程如图1及2所示。本发明实施步骤如下：

(1)基于神经网络的无损数据编码(压缩)原理

基于神经网络的无损数据压缩具体原理由BP压缩原理和BP取整函数解压缩原理两部分组成。

BP压缩原理(压缩γ₁)：如前设定待压缩的长串γ₁＝c₁…c₄₉₁₅₂，c_j＝0 or 1，其中γ₁的长度为49152，a_k，b_k，k＝1，…，4096及映射Y₁。(i)用顺序样本(a_k，b_k)训练所选BP网络，k＝1，…，4096，训练时设置变量|w_ij ^(k)|，|w_j ^(k)|的上界为128，所有权值w_ij ^(k)和阈值w_j ^(k)都精确到小数点后2位，(ii)选定BP网络的一状态(称为稳态)：该状态下输出b_k′与期望输出b_k的分量差的绝对值小于0.49，即|b_ki′-b_ki|＜0.49，i＝1，…，12，(iii)在稳态时，顺序取960个神经元联接权值w_ij ⁽¹⁾，i＝1，…，12，j＝1，…，40；w_ij ⁽²⁾，i＝1，…，40，j＝1，…，12和64个阈值w_j ^(k)，j＝1，…，12，k＝1，2，3，w_j ⁽²⁾，j＝29，…，40，作为字符长串γ₁的编码，(iv)顺序把960个神经元联接权值和64个阈值依次2进制编码，方案是用2个字节16位为每个w_ij ^(k)，w_j ^(k)编码，其中1位是符号位，1位是小数点记号位，7位用于小数点后2位编码，7位用于小数点前2位编码(此编码可确保当|w_ij ^(k)|＜128+1，|w_j ^(k)|＜128+1，w_ij ^(k)，w_j ^(k)精确到小数点后2位时，编码正确有效，尽管压缩时编码有偏差，但是经下面解压缩方法解压缩之后可完全恢复γ₁)。

以上BP压缩(编码)γ₁＝c₁…c₄₉₁₅₂，c_j＝0 or 1得二进制编码数据，顺序连接得新0与1字符串γ＝d₁…d_p，d_j＝0 or 1，把γ＝d₁…d_p加长为γ₂＝d₁…d_pd_p+1…d_L，d_j＝0 or 1，其中L＝[p/10]+10是10的倍数。

(2)虚拟信源的SVM模型和基于SVM的图像编码(压缩)方案

①把上述所有要处理的数据γ₂＝d₁…d_L，d_j＝0 or 1视为由虚拟信源映射Y₂产生的字符串；

其中映射Y₂：设A＝{(x₁，…，x_i，…，x₁₀)| x_i＝0，1}把(x₁，…，x_i，…，x₁₀)按二进制数x₁x₂…x_i…x₁₀的大小升序排列，即排为有序点a₁＝(0，0，…，0)，a₂＝(0，…，0，1)，a₃＝(0，…，0，1，0)，…。假定待压缩(编码)的0与1的字符串γ₂＝d₁…d_L，d_j＝0 or 1，其中γ₂的长度为L，记B＝{d_j|，1≤j≤L}。定义Y₂为A到B的映射

Y₂：A→B

Y₂：a_i→d_i，i＝1，…，L，a_i∈A，d_i∈B

即d_i＝Y(a_i)，i＝1，…，L。

易见，顺序输入固定向量a_i∈A，i＝1，…，L，可顺序产生d_i∈B，i＝1，…，L，从而产生γ₂＝d₁…d_L，d_j＝0 or 1。因此Y₂确实是产生γ₂＝d₁…d_L，d_j＝0 or 1的虚拟信源。可视为是0与1的字符串的通用虚拟信源。

②建立虚拟信源的SVM神经网络模型(把A＝{a_i}＝{(x₁，…，x_i，…，x₁₀)|x_j＝0，1}分为两类。上述映射中对应0的为一类，用-1标记，对应1的为另一类，用1标记。用这些数据去构造SVM)；

用模型参数，以下即是指SVM神经网络分类判别函数

的系数(数据量少于原始字符串γ₂的数据量，这些是要储存的数据，即压缩(编码)后的数据。这里由于系数精确位不够高可能造成

误差，使支撑向量附近出现少量分类错误，以至下面解压缩(编码)时少量数据恢复错误。当然，系数近似程度越高，出错越小，而且近似程度到一定时候一定不出错(注：因为两支撑曲面有一定间隙

有时间隙ρ还很大)去编码由虚拟信源产生的字符串γ₂。

以上SVM压缩(编码)γ₂＝d₁…d_L，d_j＝0 or 1得二进制编码数据γ₃(顺序连接得新0与1字符串γ₃)。

(3)基于SVM的图像解编码(压缩)方案

①由储存的数据γ₃，即压缩(编码)后的数据γ₃恢复模型参数，以下即是指神经网络分类判别函数的系数；

②恢复虚拟信源的模型；

③虚拟信源的模型结合特别变换构建字符串的恢复映

④顺序代入a_i完全恢复虚拟信源产生的字符串γ₂＝d₁…d_L，d_j＝0 or 1，从而恢复γ＝d₁…d_p，d_j＝0 or 1.

(4)基于神经网络的解编码(压缩)原理

BP取整函数解压缩原理：BP取整函数解压缩模型是由所选BP网络构成的映射复合(或外套)取整函数而成。(i)由γ₂恢复γ，再恢复稳态时的w_ij ⁽¹⁾，i＝1，…，12，j＝1，…，40，k＝1，2；w_ij ⁽²⁾，i＝1，…，40，j＝1，…，12，值和稳态时的阈值w_j ^(k)，j＝1，…，12，k＝1，2，3，w_j ⁽²⁾，j＝29，…，40，，恢复BP模型稳定状态，(ii)把恢复的网络视为一固定映射Y¹，这时Y¹是Y₁的似近映射，且逼近度量值小于0.49(注：与理论逼近度至多相差0.01，见[8]附页的数学严格证明)，(iii)把Y¹与取整函数[y_i+0.5]，i＝1，…，10，复合得[y_i(X)+0.5]，i＝1，…，12，X＝(x₁，…，x_i，…，x₁₂)，(iv)把a_k，k＝1，…，4096顺序输入复合函数[y_i(X)+0.5]，i＝1，…，12中，顺序获得b_k，k＝1，…，4096，(v)由b_k，k＝1，…，4096完全恢复长串γ₁＝c₁…c₄₉₁₅₂。

应用实例：

任取待压缩的图像数据长串γ₁＝c₁…c₄₉₁₅₂，c_j＝0 or 1，其中γ₁的长度为49152(长串长度超过49152，则分成若干段长度为49152的子段，若长度不够49152，则在串后面补若干个0使其长度变为49152)。

1.建立γ₁＝c₁…c₄₉₁₅₂，c_j＝0 or 1的虚拟信源Y₁。映射Y₁：设A＝{(x₁，…，x_i，…，x₁₂)|x_i＝0，1}把(x₁，…，x_i，…，x₁₂)按二进制数x₁x₂…x_i…x₁₂的大小倒序排列，即排为有序点a₁＝(1，1，…，1)，a₂＝(1，…，1，0)，a₃＝(1，…，1，0，1)，…，a₄₀₉₅＝(0，…，0，1)，a₄₀₉₆＝(0，…，0，0)。假定待压缩的0与1的字符串γ₁＝c₁…c₄₉₁₅₂，c_j＝0 or 1，其中γ₁的长度为49152，记B＝{b_j|b_j＝(c_12x(j-1)+1，…，c_12×j)，1≤j≤4096}。注：b_j中的c_j要转换为0与1数的形式。定义Y₁为A到B的映射

Y₁：A→B

Y₁：a_i→b_i，i＝1，…，4096，a_i∈A，b_i∈B

即b_i＝Y₁(a_i)，i＝1，…，4096。

2.建立虚拟信源Y₁的神经网络模型。具体用神经网络3层64个神经元(输入、输出层各12个，隐含层40个)和隐含层输出函数为Sigmoid函数的BP模型来作为特定映射Y₁的逼近映射。其中960个接权值为w_ij ⁽¹⁾，i＝1，…，12，j＝1，…，40；w_ij ⁽²⁾，i＝1，…，40，j＝1，…，12和64个阈值为w_j ^(k)，j＝1，…，12，k＝1，2，3，w_j ⁽²⁾，j＝29，…，40。

3.γ₁的BP压缩：如前设定待压缩的长串γ₁＝c₁…c₄₉₁₅₂，c_j＝0 or 1，其中γ₁的长度为49152，a_k，b_k，k＝1，…，4096及映射Y。(i)用顺序样本(a_k，b_k)训练所选BP网络，k＝1，…，4096，训练时设置变量|w_ij ^(k)|，|w_j ^(k)|的上界为128，所有权值w_ij ^(k)和阈值w_j ^(k)都精确到小数点后2位，(ii)选定BP网络的一状态(称为稳态)：该状态下输出b_k′与期望输出b_k的分量差的绝对值小于0.49，即|b_ki′-b_ki|＜0.49，i＝1，…，12，(iii)在稳态时，顺序取960个神经元联接权值w_ij ⁽¹⁾，i＝1，…，12，j＝1，…，40；w_ij ⁽²⁾，i＝1，…，40，j＝1，…，12和64个阈值w_j ^(k)，j＝1，…，12，k＝1，2，3，w_j ⁽²⁾，j＝29，…，40，作为字符长串γ₁的编码，(iv)顺序把960个神经元联接权值和64个阈值依次2进制编码，方案是用2个字节16位为每个w_ij ^(k)，w_j ^(k)编码，其中1位是符号位，1位是小数点记号位，7位用于小数点后2位编码，7位用于小数点前2位编码。

4.把上述所得编码数据γ₂＝d₁…d_L，d_j＝0 or 1视为由虚拟信源映射Y₂产生的字符串，其中映射Y₂：

设A＝{(x₁，…，x_i，…，x₁₀)| x_i＝0，1}把(x₁，…，x_i，…，x₁₀)按二进制数x₁x₂…x_i…x₁₀的大小升序排列，即排为有序点a₁＝(0，0，…，0)，a₂＝(0，…，0，1)，a₃＝(0，…，0，1，0)，…。假定待压缩(编码)的0与1的字符串γ₂＝d₁…d_L，d_j＝0 or 1，其中γ₂的长度为L，记B＝{d_j|，1≤j≤L}。定义Y₂为A到B的映射

Y₂：A→B

Y₂：a_i→d_i，i＝1，…，L，a_i∈A，d_i∈B

即d_i＝Y(a_i)，i＝1，…，L。

5.建立虚拟信源Y₂的SVM模型：把A＝{a_i}＝{(x₁，…，x_i，…，x₁₀₎|x_i＝0，1}分为两类。上述映射中对应0的为一类，用-1标记，对应1的为另一类，用1标记。用这些数据去构造

6.用模型参数，以下即是指SVM神经网络分类判别函数

的系数去编码由虚拟信源Y₂产生的字符串γ₂。

7.由储存的数据γ₃，即压缩(编码)后的数据γ₃恢复模型参数，以下即是指神经网络分类判别函数

的系数；

8.恢复虚拟信源Y₂的模型；

9.虚拟信源Y₂的模型结合特别变换构建字符串的恢复映顺序代入a_i完全恢复虚拟信源产生的字符串γ₂＝d₁…d_L，d_j＝0 or 1.

10.γ₁的BP取整函数解压缩：BP取整函数解压缩模型是由所选BP网络构成的映射复合(或外套)取整函数而成。由γ₂＝d₁…d_L，d_j＝0 or 1，(i)恢复稳态时的w_ij ⁽¹⁾，i＝1，…，12，j＝1，…，40，k＝1，2；w_ij ⁽²⁾，i＝1，…，40，j＝1，…，12，值和稳态时的阈值w_j ^(k)，j＝1，…，12，k＝1，2，3，w_j ⁽²⁾，j＝29，…，40，，恢复BP模型稳定状态，(ii)把恢复的网络视为一固定映射Y¹，这时Y¹是Y₁的似近映射，且逼近度量值小于0.49，(iii)把Y¹与取整函数[y_i+0.5]，i＝1，…，10，复合得[y_i(X)+0.5]，i＝1，…，12，X＝(x₁，…，x_i，…，x₁₂)，(iv)把a_k，k＝1，…，4096顺序输入复合函数[y_i(X)+0.5]，i＝1，…，12 中，顺序获得b_k，k＝1，…，4096，(v)由b_k，k＝1，…，4096完全恢复图像数据长串γ₁＝c₁…c₄₉₁₅₂。

Claims

1、一种基于神经网络与SVM的图像编码方法，包括下述步骤：

a.压缩

a2.建立虚拟信源Y₁的神经网络模型；

a3.用模型参数去编码γ₂由虚拟信源产生的字符串；

a4.建立虚拟信源Y₂的SVM模型；

a5.用SVM模型参数去编码γ₃由虚拟信源产生的字符串γ₂；

b.解压缩

b1.恢复SVM模型参数；

b2.恢复虚拟信源的SVM模型；

b3.虚拟信源的SVM模型结合特别变换构建字符串的恢复映射；

b4.完全恢复虚拟信源Y₂产生的字符串γ₂；

b5.恢复神经网络模型参数；

b6.恢复虚拟信源Y₁的神经网络模型；

b8.完全恢复虚拟信源Y₁产生的字符串γ₁。

2、根据权利要求1所述的基于神经网络与SVM的图像编码方法，其特征在于：在步骤a3中，所述模型参数，其数据量少于原始字符串的数据量；在步骤a5中，所述SVM模型参数，其数据量少于原始字符串的数据量。

3、根据权利要求1所述的基于神经网络与SVM的图像编码方法，其特征在于：所述虚拟信源是一映射：

其中，映射Y：设A＝{(x₁，…，x_i，…，X₁₂)| x_i＝0，1}把(x₁，…，x_i，…，x₁₂)按二进制数x₁x₂…x_i…x₁₂的大小倒序排列，即排为有序点a₁＝(1，1，…，1)，a₂＝(1，…，1，0)，a₃＝(1，…，1，0，1)，…，a₄₀₉₅＝(0，…，0，1)，a₄₀₉₆＝(0，…，0，0)。假定待压缩的0与1的字符串γ＝c₁…c₄₉₁₅₂，c_j＝0 or 1，其中γ的长度为49152，记B＝{b_j|b_j＝(c_12×(j-1)+1，…，c_12×j)，1≤j≤4096}。注：b_j中的c_i要转换为0与1数的形式。定义Y为A到B的映射

Y:A→B

Y:a_i→b_i，i＝1，…，4096，a_i∈A，b_i∈B

即b_i＝Y(a_i)，i＝1，…，4096。

4、根据权利要求1所述的基于神经网络与SVM的图像编码方法，其特征在于：所述虚拟信源Y₂的SVM模型是径向基型支持向量机。

5、根据权利要求1所述的基于神经网络与SVM的图像编码方法，其特征在于：所述字符串γ₂的恢复映为

6、根据权利要求1所述的基于神经网络与SVM的图像编码方法，其特征在于：所述字符串γ₁恢复映射是BP模型复合取整函数[y_i(X)+0.5]。