CN103763565A - 基于三维自组织映射的视差图像编码方法 - Google Patents

Abstract

本发明的基于三维自组织映射的视差图像编码方法，是建立处理立体图像的三维SOM网络结构，利用三维SOM算法，对视差图像进行编码，获得三维立体图像压缩编码，包括初始化算法、竞争算法、邻域算法、学习算法。该法实现了二维输入到三维输出的映射，设计出的码书在三维重构图像峰值信噪比方面具有很好的性能，实现了三维立体图像编码，由解码视差图和左图像重建的右图像具有很好的主客观评价，具有较重要的理论及工程实践意义和较广泛的应用前景，可广泛应用于三维立体图像处理、遥感图像处理、医学影像处理、目标识别和立体视频编码等。

Description

基于三维自组织映射的视差图像编码方法

技术领域

本发明涉及图像处理，具体是三维立体图像的处理，更具体是基于三维自组织映射的视差图像编码方法。

背景技术

芬兰人T.Kohonen于1982年提出自组织映射网络(Self-Organizing Map，即SOM）,或称为自组织特征映射网络(Self-Organizing Feature Map)。它是一种无指导训练的神经网络，通过自身训练，自动对输入模式进行聚类。SOM是一种具有侧向联想能力的两层结构网络，输出节点呈二维阵列分布，每个输入节点与输出节点之间用可变权值连接，每个输出节点都有一个拓扑邻域，邻域随时间变化。该神经网络用于码书设计时，用矢量维数作为神经网络输入节点个数，用码书尺寸作为输出节点个数，输入节点与输出节点间的可变权值为码书中各码字。SOM算法的核心是寻找最优匹配模式的码书，即通过对大量样本序列的不断学习和训练，从而得到最优匹配的模式库。

传统的SOM及其改进SOM算法直接用于三维信号（如立体图像/立体视频等）处理遇到了如下挑战性的问题：

（1）传统SOM通常采用一维输入层和二维映射层，能有效地将一维输入映射为二维输出，但无法实现二维输入到三维输出的映射。例如三维立体图像由二维平面图像加一维深度信息构成，深度信息的高效表示和处理是立体图像应用的基本问题，显然传统SOM难以有效地实现三维立体图像的映射，也无法表示深度信息。

（2）映射既是SOM的本质特性，也是三维信号处理的关键技术之一。一般而言，传统SOM算法主要研究一维输入到二维输出的映射，三维信号处理则需要研究二维输入到三维输出的映射，无论从信号相关性利用，还是从计算量、性能评价方法和实时性要求等，都差异较大。直接采用传统SOM算法难以有效地实现三维信号的非线性映射。

（3）三维信号的数据量要比一维/二维信号大得多，例如三维立体图像的数据量较二维平面图像要大2倍以上，处理如此海量数据对处理速度、存储空间和实时性等提出了更高的要求，存在诸多问题需要解决。

发明内容

随着三网融合、4G的发展，立体图像具有越来越广泛的应用性。由于立体图像描述一个场景需左右两组序列，相当于2倍二维图像，而大数据量的图像信息会给存储器的存储容量、通信干线信道的带宽以及计算机的处理速度增加极大的压力，所以必须研究高效立体图像压缩技术，才能使其实用化。

针对传统的SOM及其改进SOM算法直接用于三维信号的不足，为了有效地压缩视差图（立体图像对中左眼视图和右眼视图相减），进而实现三维立体图像压缩，本发明提出一种能高效处理三维信号的自组织映射算法-基于三维自组织映射的视差图像编码方法。

本发明的基于三维自组织映射的视差图像编码方法，是建立处理立体图像的三维SOM网络结构，利用三维SOM算法，对视差图像用码书{W_j(0),j=0,1,…，N-1}进行编码，获得三维立体图像压缩编码，包括采用下述的步骤：

1）基于方差的初始化算法；

2）输入一个M=n*m的训练矢量X，进行失真准则的竞争算法；

3）通过邻域算法求解邻域的全局最优解；

4）通过学习算法求解学习模型的全局最优解；

5）对所有的训练矢量重复步骤2）～4）；

其中n和m分别表示二维输入层的行数和列数。

所述三维SOM网络结构，其输入层为二维阵列信号，映射层为三维信号。其输入层有3行6列共18个神经元，输出层（即映射层）有3行6列3层共54个神经元，输入层各神经元和输出层各神经元之间实现全连接，此连接物理量称之为权值。

所述二维阵列信号为双目立体图像对的左右图像。

本发明由匹配器将立体图像对中左眼视图和右眼视图相减，得到视差图。

步骤1）的初始化算法是：设置自组织神经网络大小为(N,M),其中N为码书大小,即输出层神经元的个数,M为每个训练矢量的大小，即输入层神经元的个数；初始化码书{W_j(0),j=0,1,…，N-1}，选定初始码书中的码矢,并将码矢排列成N=a×b×c的三维立体结构,其中a、b、c分别表示三维立体结构的行数、列数和层数；设定初始邻域NE_j(0),j=0,1,…,N-1；然后

i、计算各训练矢量的方差var(X)；

ii、根据设置的阈值,将各训练矢量的方差与阈值相比，把训练集分成高频X_H和低频X_L两个部分，其中：训练集的方差低于该阈值,则分到低频部分；训练集的方差高于该阈值,则分为高频部分；

iii、根据方差分别对X_H和X_L中的训练矢量进行排序；

iv、分别计算高频和低频子集中训练矢量所占总矢量数的比例，则初始码书中的码矢由相应比例的高频部分和低频部分中的矢量组成：

$\left\{\begin{array}{c}{N}_L=N^{*}(L_L/L)\\ N_H=N^{*}(L_H/L)\end{array}\right.,$

式中，N_L初始码书中低频部分码矢总数，

N_H初始码书中高频部分码矢总数，

N初始码书码矢总数，

L训练矢量总数，

L_L训练矢量中低频子集总数，

L_H训练矢量中高频子集总数；

v、分别从X_H和X_L中按一定间隔抽取训练矢量组成初始码书。

在三维SOM网络学习过程中，初始权值对网络学习的最终结果以及收敛速度有重要影响，理想的初始权值应能使网络较快地收敛到全局最优解。初始化算法的性能不仅与初始化方法密切相关，也与样本数据的选取有关。常用初始码书算法有分离平均法、随机法和分裂法。针对已有的初始码书算法存在无效码矢多、运算量大等缺点，本发明在分析样本数据统计特性的基础上，选择代表性强的典型样本集，采取了基于典型样本统计特性方差的初始化算法。基于方差分类的初始码书算法选取码矢时有一定的针对性，会大大减少无效码矢的数量,码矢的利用率提高了，从而码书的性能也就提高了。

根据香农的率失真理论，编码性能能任意接近率失真函数，其方法是增加矢量的维数和码书码失的数目。实际情况中，矢量的维数和码书的大小是有限的。这样对于给定的矢量维数，如果码书越大，那么压缩比会变得越低，编码图像质量会变得越来越好，复杂度越大，反之亦然。

在三维邻域SOM网络中，输出层神经元排列为N=a×b×c，其中a、b、c分别表示三维立体结构的行数、列数和层数。随着码书大小的增加重建图像的PSNR增加，而且输出层拓扑排列结构在一定程度上会影响算法的性能。

步骤2）的竞争算法是：对输入的训练矢量X,计算该输入矢量与码书中各码矢的失真d_j，并选择具有最小失真的码矢j^*为响应码矢；

给码书中每个码失都设置一个响应计数器c_j（j=1,2，…，N），每响应一次数加1，并将这个频率参量与其失真相关联，其失真测度变为

$d_j^{*}=f\left(c_j\right)d_j,(j=\mathrm{1,2},...,N)$

式中f（c_j）即频率敏感函数，

s为频率敏感参量。

失真准则通常采用均方误差准则,即

$d_j=\sqrt{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{(x_i-w_{\mathrm{ij}})}^2}(j=\mathrm{1,2},...N)$

$d_j^{*}\left(t\right)=\min d_j\left(t\right),(j=\mathrm{1,2},...,N)$

针对传统SOM算法神经元获胜概率相差过大的“非公平竞争”问题，本发明是在分析神经元获胜概率分布的基础上，根据竞争模式和竞争规则，提出了新的“公平”竞争方案。由于频率敏感函数f（c_j）随c_j的增加而单调增加，因此，当某个码失响应次数增加时，其失真也将增大，从而降低了该码失再次成为响应码失的可能性，达到人为的“公平”。

步骤3）邻域算法是：邻域形状选自正方体、球体和星形；三维邻域衰减函数选自线性函数和指数函数；

所述线性函数NE(t)形式如下：

NE(t)=NE_min+(NE_max-NE_min)^(T-t)/T

式中NE_max和NE_min表示邻域的最大值和最小值，NE_min=1，NE_max为常数，T为训练总次数，也为常数，t为迭代次数；训练开始时，t=0，NE=NE_max，随着训练的进行，t→T，NE→1。

所述指数函数NE(t)形式如下：

$\mathrm{NE}=A_1+A_2{e}^{-t/T_1}$

式中A₁为1、A₂为常数，T₁为码书总个数，t为迭代次数。训练开始时，t=0，NE=A₁+A₂，随着训练的进行，t很大时，NE→A₁。

获胜节点的邻域是包涵该点的集合。邻域函数NE(t)应随着时间而减小，当t足够大时，NE趋于1，即只调整获胜节点本身。在SOM理论中，邻域是自组织机制的核心概念之一，它反映了邻域内获胜神经元与相邻神经元之间的相互作用和相互影响，对SOM算法的学习质量和收敛性能有重要影响。为此，本发明在分析邻域内获胜神经元与相邻神经元相关性的基础上，提出新的三维邻域形状和邻域衰减函数，并研究邻域大小对学习质量和收敛性能的影响，进而求解邻域的全局最优解，实现三维SOM邻域算法。三维SOM的邻域形状是决定码书性能的一个很重要的因素，不同邻域形状的三维SOM算法效果有差别。正方体、球体、星形的中心就是获胜节点，被这些图形包围的节点就是获胜节点的邻域。邻域衰减函数计算得到的值就是三维邻域图形的半径。

作为优选，本发明在步骤3）邻域算法中，邻域形状选用星形；三维邻域衰减函数选用指数函数。

在步骤4）的学习算法中，按下式调整响应码矢j^*及j^*的拓扑邻域NE范围内的码矢

式中α(t)为学习函数,它反映了码矢变化调整的幅度大小；W_j（t+1）为（t+1）时刻输出节点j的权矢量；W_j（t）为t时刻输出节点j的权矢量；X（t）为训练矢量；NE_j*（t）为码失j^*的邻域。

理论上讲,α(t)越小,经过长时间的训练学习后,系统平均误差函数能够达到极小值,即全局极小点,得到最佳码书。但是,α(t)越小,收敛速度越慢,学习训练所花费的时间越长。

其中，学习函数选自指数函数、线性函数和阶梯函数；每种学习函数均包括三维SOM算法与三维FSOM算法；

三维FSOM算法，是频率敏感自组织特征映射算法（Frequency Sensitive Self-OrganizingFeature Maps，简写为FSOM）；

本发明中，

所述三维FSOM指数函数为：

a(t)=a₀*exp(-c_j/T₂)

其中α₀为最大学习速度，通常取1；T₂为衰减常数；

所述三维SOM线性函数为：

a(t)=a_max-a_min(t/T)

这里α_max、α_min分别为最大和最小学习速度，T为最大迭代次数；

所述三维FSOM线性函数为：

a(t)=a_max-a_min(c_j/T_MX)

此处T_MX为衰减常数；

所述三维SOM阶梯函数为：

$\mathrm{\α}\left(t\right)={\mathrm{\α}}_0\left(\mathrm{INT}\left(\frac{t}{T_N}\right)\right)/T_M$

其中T_N为输入向量数，T_M为最大迭代次数除以输入向量数的商与1的和，INT[.]表示向负方向取整；

所述三维FSOM阶梯函数为：

$\mathrm{\α}\left(t\right)=\frac{{\mathrm{\α}}_0}{\mathrm{INT}[c_j/T_{\mathrm{MJ}}]+1}$

式中T_MJ为常数。

学习速度函数α(t)是随时间t单调下降的，即随着训练过程的进行，权值的调整幅度越来越小，通常0<α(t)<1,神经网络的性能与网络学习函数（也称为学习速度函数）密切相关。

自组织神经网络的学习功能是通过竞争来实现的，即通过自动寻求样本的内在规律和本质属性，自组织、自适应地改变网络参数和结构。一般而言，三维SOM算法的学习性能（质量和效率）既与学习模型、学习速度函数密切相关，也与邻域算法、竞争算法、初始化算法和样本集合有关。对此，本发明在分析神经元获胜频率和失真测度等对学习性能影响的基础上，在学习速度函数中引入神经元获胜频率等影响因子，进而求解学习模型的全局最优解，实现三维SOM学习算法。

在步骤4）的学习算法中，还包括依据下式对获胜神经元邻域范围内的神经元的权值进行更新，

w_i(t+1)=w_i(t)+a(t)h_i(t)[X(t)-w_i(t)]

式中:h_i(t)为高斯函数,α(t)与前述相同，为学习函数，W_i（t+1）为（t+1）时刻的获胜神经元邻域范围内的神经元的权值；W_i（t）为t获胜神经元邻域范围内的神经元的权值；X（t）为训练矢量；

$h_i\left(t\right)=\left\{\begin{array}{cc}\exp \left(\frac{-\left|\right|r_j-r_i\left|\right|}{{2\mathrm{\&sigma;}\left(t\right)}^2}\right)& {\left|\right|r_j-r_i\left|\right|}^2\&le;\mathrm{\&sigma;}\left(t\right)\\ 0& {\left|\right|r_j-r_i\left|\right|}^2>\mathrm{\&sigma;}\left(t\right)\end{array}\right.$

式中:||r_j-r_i||表示获胜神经元j与神经元i之间的距离,σ(t)表示邻域范围NE(t)。

神经生物学中侧反馈的强度与神经元和中心神经元之间的欧氏距离有关，因此在三维SOM神经网络中对获胜神经元邻域范围内的神经元的权值进行更新时，根据偏离获胜神经元距离的大小不同程度来更新权值。高斯函数h_i(t)是在学习函数上的一个拓展，此处高斯函数实则为侧反馈强度函数，符合生物神经元特征，其与获胜邻域内神经元和获胜神经元的欧氏距离有关。

本申请的优点或有益效果在于：

本发明提出了一种能高效处理三维信号的自组织映射算法，实现了二维输入到三维输出的非线性映射，并应用到三维立体图像的压缩编码中。

三维SOM实现了二维输入到三维输出的映射，该算法设计出的码书在三维重构图像峰值信噪比方面具有很好的性能。

与传统的SOM算法相比，三维SOM算法实现了三维立体图像编码，由解码视差图和左图像重建的右图像具有很好的主客观评价。这种能高效处理三维信号的自组织映射算法具有较重要的理论及工程实践意义和较广泛的应用前景。如三维SOM可广泛应用于三维立体图像处理、遥感图像处理、医学影像处理、目标识别和立体视频编码等。

附图说明

图1是本发明的三维SOM网络结构，图中只展示了1个神经元的权值连接。

图2是三种邻域形状。

图3是本发明的三维SOM算法流程图。

图4是视差图压缩的一种方案的流图。

图5是视差图压缩的另一种方案的流图。

具体实施方式

该实施方式给出了各种算法的结果。

（1）三维SOM初始化算法

①基于方差的初始化算法

表1 有无方差的初始化算法比较

采用的是方差排序法，通过对码书阈值的设定来改变高频和低频的分配比率，达到影响算法性能的目的。

表2 阈值对方差分类三维SOM算法性能影响

②码书大小和三维拓扑结构

三维邻域SOM算法分别设计了N为1568、784与392的码书，并且每个N值对应码书的三维拓扑结构不同。

表3 码书大小为1568时各种排列结构比较

表4 码书大小为784时各种排列结构比较

表5 码书大小为392时各种排列结构比较

由表3、4和5可以看出，码书较小时重建图像的PSNR较低，随着码书大小的增加重建图像的PSNR增加。而且输出层拓扑排列结构在一定程度上会影响算法的性能。

（2）三维SOM邻域算法

①三维邻域形状

表6 三种邻域形状的PSNR比较

从表6看，三维SOM中邻域为星形的重建图像的PSNR最好，球体次之，正方体最差。

②三维邻域衰减函数

I、线性函数

NE(t)为线性函数时，邻域拓扑结构为球体，PSNR=28.1894dB。由PSNR值看出，所得结果较NE(t)为指数函数效果要差。

II、指数函数

结果见表6，邻域函数都为指数函数。

（3）三维SOM竞争算法

表7 三维SOM算法与三维FSOM算法比较

由表7的数据可以看出，对于立体图像对的视差信息编码，三维FSOM的PSNR上比三维SOM更好。

（4）三维SOM学习算法

①指数型学习函数的三维SOM算法与三维FSOM算法

表8 指数型速度函数比较

②线性型速度函数的三维SOM算法与三维FSOM算法

表9 线性型速度函数比较

③阶梯型速度函数的三维SOM算法与三维FSOM算法

表10 阶梯型速度函数比较

从表8、9和10看，对于图像对视差信息的压缩编码，三种类型的函数得到的PSNR中阶梯型学习函数的较好；在各种学习速度函数中引入神经元获胜频率，都能得到更好的码书性能。

④高斯函数

表11 高斯函数实验结果

结果表明，σ(t)为指数函数，h_i(t)为高斯函数，α(t)为线性衰减函数时，PSNR是最好的。

Claims (10)

1.基于三维自组织映射的视差图像编码方法，其特征在于：建立处理立体图像的三维SOM网络结构，利用三维SOM算法，对视差图像用码书{W_j(0),j=0,1,…，N-1}进行编码，获得三维立体图像压缩编码，包括采用下述的步骤：

1）基于方差的初始化算法；

2）输入一个M=n*m的训练矢量X，进行失真准则的竞争算法；

3）通过邻域算法求解邻域的全局最优解；

4）通过学习算法求解学习模型的全局最优解；

5）对所有的训练矢量重复步骤2）～4）；

其中n和m分别表示二维输入层的行数和列数。

2.根据权利要求1所述的方法，其特征在于：所述三维SOM网络结构，其输入层为二维阵列信号，映射层为三维信号。

3.根据权利要求2所述的方法，其特征在于：所述二维阵列信号为双目立体图像对的左右图像。

4.根据权利要求1所述的方法，其特征在于：由匹配器将立体图像对中左眼视图和右眼视图相减，得到视差图。

5.根据权利要求1所述的方法，其特征在于：在步骤1），设置自组织神经网络大小为(N,M),其中N为码书大小,即输出层神经元的个数,M为每个训练矢量的大小，即输入层神经元的个数；初始化码书{W_j(0),j=0,1,…，N-1}，选定初始码书中的码矢,并将码矢排列成N=a×b×c的三维立体结构,其中a、b、c分别表示三维立体结构的行数、列数和层数；设定初始邻域NE_j(0),j=0,1,…,N-1；然后

i、计算各训练矢量的方差var(X)；

ii、根据设置的阈值,将各训练矢量的方差与阈值相比，把训练集分成高频X_H和低频X_L两个部分，其中：训练集的方差低于该阈值,则分到低频部分；训练集的方差高于该阈值,则分为高频部分；

iii、根据方差分别对X_H和X_L中的训练矢量进行排序；

iv、分别计算高频和低频子集中训练矢量所占总矢量数的比例，则初始码书中的码矢由相应比例的高频部分和低频部分中的矢量组成：

$\left\{\begin{array}{c}{N}_L=N^{*}(L_L/L)\\ N_H=N^{*}(L_H/L)\end{array}\right.$

式中，N_L初始码书中低频部分码矢总数，

N_H初始码书中高频部分码矢总数，

N初始码书码矢总数，

L训练矢量总数，

L_L训练矢量中低频子集总数，

L_H训练矢量中高频子集总数；

v、分别从X_H和X_L中按一定间隔抽取训练矢量组成初始码书。

6.根据权利要求1所述的方法，其特征在于：在步骤2），对输入的训练矢量X,计算该输入矢量与码书中各码矢的失真d_j，并选择具有最小失真的码矢j^*为响应码矢；

给码书中每个码失都设置一个响应计数器c_j（j=1,2，…，N），每响应一次数加1，并将这个频率参量与其失真相关联，其失真测度变为

$d_j^{*}=f\left(c_j\right)d_j,(j=\mathrm{1,2},...,N)$

式中f（c_j）即频率敏感函数，

s为频率敏感参量。

7.根据权利要求1所述的方法，其特征在于：在步骤3），邻域形状选自正方体、球体和星形；三维邻域衰减函数选自线性函数和指数函数；

所述线性函数NE(t)形式如下：

NE(t)=NE_min+(NE_max-NE_min)(^T-t)^/T

式中NE_max和NE_min表示邻域的最大值和最小值，NE_min=1，NE_max为常数，T为训练总次数，也为常数，t为迭代次数；

所述指数函数NE(t)形式如下：

$\mathrm{NE}=A_1+A_2{e}^{-t/T_1}$

式中A₁为1、A₂为常数，T₁为码书总个数，t为迭代次数。

8.根据权利要求1或7所述的方法，其特征在于：在步骤3），邻域形状选用星形；三维邻域衰减函数选用指数函数。

9.根据权利要求1所述的方法，其特征在于：在步骤4），按下式调整响应码矢j^*及j^*的拓扑邻域NE范围内的码矢

式中α(t)为学习函数,它反映了码矢变化调整的幅度大小；W_j（t+1）为（t+1）时刻输出节点j的权矢量；W_j（t）为t时刻输出节点j的权矢量；X（t）为训练矢量；NE_j*（t）为码失j^*的邻域；

其中，学习函数选自指数函数、线性函数和阶梯函数；每种学习函数均包括三维SOM算法与三维FSOM算法；

所述三维FSOM指数函数为：

a(t)=a₀*exp(-c_j/T₂)

其中α₀为最大学习速度，通常取1；T₂为衰减常数；

所述三维SOM线性函数为：

a(t)=a_max-a_min(t/T)

这里α_max、α_min分别为最大和最小学习速度，T为最大迭代次数；

所述三维FSOM线性函数为：

a(t)=a_max-a_min(c_j/T_MX)

此处T_MX为衰减常数；

所述三维SOM阶梯函数为：

$\mathrm{\&alpha;}\left(t\right)={\mathrm{\&alpha;}}_0\left(\mathrm{INT}\left(\frac{t}{T_N}\right)\right)/T_M$

其中T_N为输入向量数，T_M为最大迭代次数除以输入向量数的商与1的和，INT[.]表示向负方向取整；

所述三维FSOM阶梯函数为：

$\mathrm{\&alpha;}\left(t\right)=\frac{{\mathrm{\&alpha;}}_0}{\mathrm{INT}[c_j/T_{\mathrm{MJ}}]+1}$

式中T_MJ为常数。

10.根据权利要求1所述的方法，其特征在于：在步骤4），还包括依据下式对获胜神经元邻域范围内的神经元的权值进行更新，

w_i(t+1)=w_i(t)+a(t)h_i(t)[X(t)-w_i(t)]

式中:h_i(t)为高斯函数,α(t)与前述相同，为学习函数，W_i（t+1）为（t+1）时刻的获胜神经元邻域范围内的神经元的权值；W_i（t）为t获胜神经元邻域范围内的神经元的权值；X（t）为训练矢量；

$h_i\left(t\right)=\left\{\begin{array}{cc}\exp \left(\frac{-\left|\right|r_j-r_i\left|\right|}{{2\mathrm{\&sigma;}\left(t\right)}^2}\right)& {\left|\right|r_j-r_i\left|\right|}^2\&le;\mathrm{\&sigma;}\left(t\right)\\ 0& {\left|\right|r_j-r_i\left|\right|}^2>\mathrm{\&sigma;}\left(t\right)\end{array}\right.$

式中:||r_j-r_i||表示获胜神经元j与神经元i之间的距离,σ(t)表示邻域范围NE(t)。

Images