CN101414365A

CN101414365A - 一种基于粒子群的矢量码书量化器

Info

Publication number: CN101414365A
Application number: CNA2008101605805A
Authority: CN
Inventors: 董恩清; 曹海; 崔文韬; 胡宏海
Original assignee: Shandong University Weihai
Current assignee: WEIHAI LANHAI COMMUNICATION TECHNOLOGY CO., LTD.
Priority date: 2008-11-20
Filing date: 2008-11-20
Publication date: 2009-04-22
Anticipated expiration: 2028-11-20
Also published as: CN101414365B

Abstract

本发明涉及一种高效的数据压缩技术，具体地说是一种应用于语音编码和图像压缩系统中的基于粒子群的矢量码书量化器，其特征在于采用粒子群算法结合模拟退火算法的方案设计矢量码书量化器，在码书量化器设计的过程中，采用新提出的空胞腔处理方案解决出现的空胞腔问题，本发明所述的一种基于粒子群的矢量码书量化器可通过软件仿真实现，从采用语音数据对矢量码书量化器编码重构后得到的语音进行非正式听力测试评价表明，提出的新方法所重构的语音无论是从清晰度、自然度还是理解性上都要好于基本粒子群算法所重构的语音。

Description

一种基于粒子群的矢量码书量化器

技术领域：

本发明涉及一种高效的数据压缩技术，具体地说是一种应用于语音编码和图像压缩系统中的基于粒子群的矢量码书量化器。

背景技术：

众所周知，在矢量量化技术中，码书量化器设计是其中的关键技术。由Linde、Buzo和Gray于1980年提出的一种最佳码书量化器设计算法——LBG算法。因其理论上的严密性，收敛速度比较快，实施过程简单以及具有较好的实际效果，因此被广泛采用于语音和图像处理应用中。但该算法仍有计算量大且往往容易陷入局部最优解及性能强烈地依赖于初始码书选取的缺陷。针对这些问题，学者们开始提出各种改进的算法，如模拟退火码书设计算法、禁止搜索码书设计算法、神经网络码书设计以及蚁群码书量化器设计等。实验证明，这些算法虽然均在不同程度上改善设计的码书量化器的质量，但均存在不同的问题。如在LBG算法的初始码书选取过程中，同样不可避免地遇到空胞腔处理问题。该问题的处理好坏将严重影响所设计的码书的性能，因此如何更好地处理空胞腔的问题已成为矢量码书量化器设计中不可忽视并需要重点解决的问题。

粒子群算法(Particle Swarm Optimization，PSO)是1995年由美国社会心理学家James Kennedy和电气工程师Russell Eberhart共同提出的。由于粒子群算法的计算快速性和算法本身的易实现性，自该算法被提出以来，引起了国际上相关领域众多学者的关注和研究。PSO算法最早应用于人工神经网络的训练方法中，随后在函数优化、约束优化、极大极小问题、多目标优化等问题中均得到了成功的应用。同样PS0应用到码书量化器设计中也取得了一定效果，但仍然暴露出容易陷入局部最优解的问题，又由于模拟退火算法具有全局搜索能力的特点，所以本发明提出将模拟退火算法及PSO共同应用到码书量化器设计中，目的设计一个实用的矢量码书量化器。

近年来，学者们提出了多种启发式的空胞腔处理方法。典型的方法有：最大胞腔分裂法，即先去掉空胞腔，而将最大胞腔分裂为2个胞腔；随机选取法，即随机地选取一个训练矢量以取代空胞腔的码字作为新的码字；次邻域法，即采用一组离胞腔为空的码字的距离仅远于各自的聚类中心的训练矢量的聚类中心作为新的码字来取代该空胞腔。前两种方法都是处理空胞腔码字的直接且简便的方法，但缺乏一定的理论指导，其结果的不确定性较大。虽然第三种方法较前两种方法要好，但仍存在一些缺陷。为了更好地了解该缺陷，有必要描述次邻域法的运算过程。次邻域法一般采取如下两种策略：

策略1：采用通用的随机选取法，也就是在训练矢量中随机选取一个训练矢量以取代空胞腔的码字作为新的码字。

策略2：每个训练矢量在寻找与之距离最近的码字的同时，记录与其距离次近的码字。如果与其距离次近的码字是空胞腔码字，然后在处理空胞腔码字时，将记录与该空胞腔距离次近的训练矢量归为一类，取其聚类中心作为新的码字来代替该空胞腔码字。注意在策略1和策略2中，被选中的训练矢量都必须清除之前其与所选取码字的胞腔的聚类关系。

对于一个空胞腔，若其次邻域的划分不为空时，则运用上述策略2更改该空胞腔的码字；否则运用上述策略1更改该空胞腔的码字。对于胞腔不为空的码字，则根据质心准则，更新码字。

次邻域法是目前新兴的一种空胞腔处理的算法，虽然较以往算法有着更好的处理效果，但其本身还存在如下一些缺点：

①在次邻域划分为空的情况下，次邻域法将采用随机选取一个训练矢量以取代空胞腔的码字作为新的码字，这样做缺乏一定的理论基础，且会导致相应码字的不确定性。

②若某个胞腔内只聚类了一个训练矢量，而此训练矢量又恰好被归类到了某个空胞腔的次邻域划分中，那么此时按照次邻域法中的策略2来处理此空胞腔时，如若将这个训练矢量归到此空胞腔内，将导致这个训练矢量原所在胞腔将变成空胞腔，进而将会增大失真，降低聚类的效果。

③盲目地将所有次选码字均归类到次邻近的空胞腔内，在很大程度上会下增大总体失真，影响最终的码书量化器的性能。

在本发明进行矢量码书量化器设计过程中，同样会遇到处理空胞腔问题，为此提出一种新的空胞腔处理方法。

发明内容：

本发明的目的就是基于模拟退火算法及粒子群算法进行矢量码书量化器设计，在该矢量码书量化器的设计过程中，采用一种新的空胞腔处理方法，该处理方法的思想是结合最大胞腔分裂法，采取仅聚类那些产生最小失真的次邻域矢量的方式来处理LBG算法中常遇到的空胞腔问题，最终提出一种实用性更强的基于粒子群的矢量码书量化器。

本发明可以通过如下措施达到：

一种基于粒子群的矢量码书量化器，其特征在于采用粒子群算法结合模拟退火算法的方案设计矢量码书量化器，在码书量化器设计的过程中，采用新提出的空胞腔处理方案解决出现的空胞腔问题，本发明提出的粒子群算法结合模拟退火算法的方案进行矢量码书量化器设计是出于如下的考虑，如只单一采用基本粒子群一种算法进行矢量码书量化器设计，由于粒子是通过更新其全局最优和自身最优的方法来搜索全局最优解来获得设计性能较好的码书，但在其更新的过程中，只要粒子遇到较好解就更新极值，这样做势必会缩小粒子的搜索邻域，使其很容易达到收敛，并陷入局部最优，为此，提出引入模拟退火算法来修正全局极值的更新条件来解决这个问题。

本发明在设计矢量码书量化器的过程中，采用新提出的空胞腔处理方案解决出现的空胞腔问题，主要表现在找出某个空胞腔的所有次邻域矢量，记下这些矢量原各自胞腔中所拥有的训练矢量个数，然后找出拥有训练矢量个数大于1的胞腔中所对应的次邻域矢量，计算它们与该空胞腔之间的失真测度，将那些产生最小失真的次邻域矢量从原胞腔中取出放到这个空胞腔中；若所有次邻域矢量原所在胞腔里的训练矢量个数均等于1，同样也采用最大胞腔分裂法来处理这个空胞腔。

本发明在设计矢量码书量化器的过程中，采用新提出的空胞腔处理方案解决出现的空胞腔问题，主要表现在当次邻域划分为空的情况下，建议采用最大胞腔分裂法，其目的是可以减小量化失真，能够充分利用训练矢量，改善量化性能，并且有一定的理论基础。

本发明所述的一种基于粒子群的矢量码书量化器可通过软件仿真实现，采用语音数据对所发明的矢量码书量化器进行测试。由于编码重构的语音质量主要依靠人的听觉感知主观评价为主，所以这里采用非正式语音听力测试来评价对比通过量化器后的语音质量，由于码书大小为512和1024，所以不可能得到高质量的重构语音，但依然能测试出两种算法的性能优劣，通过试听，可以发现单一采用基本粒子群算法所重构的语音具有轻微的模糊，有一定的噪声，信号不稳定，而提出的新方法所重构的语音无论是从清晰度、自然度还是理解性上都要好于基本粒子群算法所重构的语音。

附图说明：

图1是本发明实施例提出的基于粒子群的矢量码书量化器结构示意图；

图2是本发明实施例码书大小为512时的全局更新对比图；

图3是本发明实施例码书大小为1024时的全局更新对比图。

图中标记：1矢量码书量化器、2基本PSO矢量码书量化器、3更新次数、4全局最优适应度。

具体实施方式：

下面结合附图和实施例，对本发明所述的技术方案作进一步的阐述。参见附图1提供了本实施例所述的新提出的基于粒子群的矢量码书量化器结构示意图。

本发明实施例的关键技术为：

一、空胞腔处理方法

(1)空胞腔处理方法的基本思想

对于缺点①，在次邻域划分为空的情况下，建议采用最大胞腔分裂法，其目的是可以减小量化失真，充分利用训练矢量，改善量化性能，有一定的理论基础。对于缺点②、③，找出某个空胞腔的所有次邻域矢量，记下这些矢量原各自胞腔中所拥有的训练矢量个数，然后找出拥有训练矢量个数大于1的胞腔中所对应的次邻域矢量，计算它们与该空胞腔之间的失真测度，将那些产生最小失真的次邻域矢量从原胞腔中取出放到这个空胞腔中；若所有次邻域矢量原所在胞腔里的训练矢量个数均等于1，同样也采用最大胞腔分裂法来处理这个空胞腔。

(2)实现步骤

假设有k个空胞腔，按照如下3个步骤进行处理：

步骤1：找出第i个空胞腔的所有次邻域矢量S＝{S₁，S₂，…}∈X，并记下它们原所在胞腔U＝{U₁，U₂，…}以及这些胞腔所聚类的训练矢量个数count＝{count₁，count₂，…}。

步骤2：如果S为空或Max(count)等于1，则采用最大胞腔分裂法处理第i个空胞腔；否则，计算count_j≠1的次邻域矢量与第i个空胞腔之间的失真。将产生失真最小的次邻域矢量从原胞腔中取出聚类到此空胞腔中。

步骤3：若i>k，则结束算法；否则，i＝i+1，返回步骤1。

二、粒子群矢量码书量化器的设计方法

(1)粒子的适应度计算

粒子群算法采用实数编码，一个编码对应一个可行解。这里采用的是基于聚类中心的编码方式，也就是每个粒子的位置是由n个聚类中心组成。粒子除了位置以外，还有速度和适应值。由于训练矢量维数为d，因此粒子的位置X和粒子的速度v都是n×d维变量，另外每个粒子还有一个适应度。

设S＝{S₁，S₂，…，S_M}为训练矢量集，当粒子初始位置{X₁，X₂，…，X_n}确定时，也就是聚类中心确定时，则聚类的划分由下面的最近邻法则决定。

若满足：

| | S_{i} - X_{j} | | = \min_{l = 1,2, \cdot \cdot \cdot, n} | | S_{i} - X_{l} | |

则S_i属于第j类。聚类完后，可得第j类的类内离散度为

J_{j} = \underset{S_{i} &Element; X_{j}}{Σ} d (S_{i}, X_{j}) .

对于某粒子，按照以下方法计算其适应度：

①按照上面定义的最近邻法则，确定与该粒子对应的聚类划分。

②根据聚类划分，计算类内离散度和，即各类中矢量到对应类中心的距离的总和。

③个体的适应度可采用

f (N_{i}) = L / Σ_{j = 1}^{n} J_{j},

其中N表示粒子的数量，N_i表示第i个粒子，

是总类内离散度和，L是调节常数，根据具体情况定。这样个体的适应度与离散度和负相关，离散度和越小，个体适应度越大。

(2)基于模拟退火算法的全局极值的更新条件

当新粒子的适应度大于当前全局极值时，系统一定接受该粒子；当新粒子适应度小于全局极值时，按下式计算模拟退火概率p。当p大于阈值γ时候(γ为(0，1)间的随机值)时，也接受该粒子，否则不接受。模拟退火概率计算如下：

p = e^{- ΔD / T_{t}}

式中T_t为第t次迭代的温度，T_t＝K^t×T_t-1，K为降温系数；ΔD为当前粒子失真变化，ΔD＝1/f(N_i)-1/p_g，f(N_i)为第i个粒子的当前适应值，p_g为当前全局最优适应值。

这里的全局极值更新条件采用了随机概率扰动接受的方式，既接收优化解，也可以接受恶化解，以便增大全局搜索范围。当T_t很大时，使局部极值与全局极值之间的差值很大，接受概率比较大，导致可以接受的较差解比较多；当T_t不是很高时，使差值小的状态易于接受，即中温时，易于接受与当前状态相比不是很差的解；当T_t很小时，即低温时，促使易于接受差值足够小的状态，即只能接受与当前状态相比差很少的解。当经过足够长时间的温度下降过程后，固体达到最小能量状态时，相应也达到了全局最优解。

(3)提出的粒子群矢量码书量化器的实现步骤

步骤1，种群的初始化。在初始化粒子时，先将每个样本随机指派为某一类，作为最初的聚类划分，并计算各类的聚类中心，作为初始粒子的位置编码，计算粒子的适应度，并初始化粒子的速度。若有N个粒子，则反复进行N次，共生成N个初始粒子群。

步骤2，对每个微粒，比较它的适应度和它所经过的最好位置X_P的适应度，如果好于X_P的适应度，则对最好位置X_P及其适应度进行更新。

步骤3，对每个粒子，比较它的适应度和群体所经过的最好位置X_G的适应度，如果好于X_G的适应度，则对最好位置X_G及其适应度进行更新。

步骤4，根据如下粒子群算法的速度和位置计算公式调整粒子的速度和位置。

V_ij(t+1)＝wV_ij(t)+c₁γ_1j(p_ij(t)-X_ij(t))+c₂γ_2j(p_gj(t)-X_ij(t))

X_ij(t+1)＝X_ij(t)+V_ij(t+1)

其中，V和X分别表示每个个体(微粒)的飞行速度和位置，下标“i”表示粒子i，“j”表示粒子的第j维，“t”表示第t代，c₁、c₂为加速常数(通常在0~2间取值)，γ₁～U(0，1)，γ₂～U(0，1)为两个相互独立的随机函数，p_ij为概率，w为惯性权重。

步骤5，对新个体进行LBG算法优化。

对于新一代粒子，按照以下的LBG算法进行优化：

①根据粒子的聚类中心编码，按照最近邻法则及提出的新的空胞腔处理方法，来确定与该粒子对应的聚类划分；

②按照聚类划分，计算新的聚类中心，即形成新的码字，更新粒子的适应值，取代原来的编码值。

步骤6，如果达到结束条件(形成足够好的码书或达到最大迭代次数)，则结束，否则转步骤2。

对本发明实例所述的矢量码书量化器的评价：

1、客观评价

分别采用类间离散度、矢量量化不均匀度、处理后所剩空胞腔数以及收敛性能等性能指标对这几种空胞腔处理方法进行比较分析。

类间离散度是指各个胞腔质心间的距离，是一个用来评价矢量码书量化器设计算法优劣的有效指标。其值越大，码书的性能就越好。计算公式如下：

S_ij＝|Y_i-Y_j|^T|Y_i-Y_j|

其中Y_i、Y_j分别是指第i和第j胞腔的质心，T为转置计算。

矢量量化不均匀度用来衡量各个胞腔所聚类的训练矢量数量是否均衡。其值越小，码书性能越好。假设训练矢量的总数为N个，类的个数即胞腔的个数为M个，定义类的均衡矢量数为：

其中

表示向下取整。在聚类完成后，属于第k个胞腔的训练矢量数量是n_k，则定义矢量量化不均匀度为：

r = Σ_{k = 1}^{M} | \frac{n_{k} - n_{avg}}{n_{avg}} |

表1

表1：类间离散度和矢量量化不均匀度对比。表1为最大胞腔分裂法、次邻域法以及新空胞腔处理方法在类间离散度和矢量量化不均匀度两个客观评价指标的对比结果。从该表中可以看出，提出的新空胞腔处理方法不论是在类间离散度指标，还是在矢量量化不均匀度指标上都比其他两种算法有优势。

表2

表2：处理后所剩空胞腔数对比。表2显示了这三种空胞腔处理方法处理空胞腔的效果对比，可以看出，最大分裂法处理后的空胞腔数剩余很多，大约占总码书数的三分之一，而次邻域法比最大分裂法的效果要好，能处理更多的空胞腔，但依然不能处理完全；相比之下，新空胞腔处理方法能够完全处理码书中所有的空胞腔，极大地提高了码书量化器性能。

表3

表3：类间离散度及矢量量化不均匀度对比。表3为标准粒子群矢量码书量化器及本发明的矢量码书量化器在类间离散度及矢量量化不均匀度上的对比结果。表中显示，在512及1024两种大小的矢量码书量化器的情况下，本发明的方法的类间离散度均大于基本粒子群算法，而矢量量化不均匀度却均小于基本粒子群算法，这说明了本发明的矢量码书量化器比起基本粒子群矢量码书量化器能更好地改善码书性能。

图2和图3分别为码书大小为512和1024时标准粒子群矢量码书量化器和本发明的矢量码书量化器对全局极值更新过程，图中标记为1矢量码书量化器、2基本PSO矢量码书量化器、3更新次数、4全局最优适应度，反映出这两种码书量化器的全局搜索能力。在实验中设T＝10，可以得到基本算法更新次数最多为10次，而本发明方法的更新次数可达N×T＝30×10＝300。从图中可以看出标准粒子群算法更新次数小于10次，易达到收敛，而本发明方法却能较长时间更新极值，其全局搜索能力远远高于基本粒子群算法，能更好的改善码书的性能。

2、主观评价

本发明所述的一种基于粒子群的矢量码书量化器可通过软件仿真实现。对语音进行矢量量化码书编码后重构的语音质量主要依靠人的听觉感知主观评价。这里采用非正式语音听力测试语音质量。由于码书大小为512和1024，所以不可能得到高质量的重构语音，但依然能测试出两种算法的性能优劣。通过试听，可以发现单一采用基本粒子群算法所重构的语音具有轻微的模糊，有一定的噪声，信号不稳定，而提出的新方法所重构的语音无论是从清晰度、自然度还是理解性上都要好于基本粒子群算法所重构的语音。

Claims

1、一种基于粒子群的矢量码书量化器，其特征在于采用粒子群算法结合模拟退火算法的方案设计矢量码书量化器，在码书量化器设计的过程中，采用新提出的空胞腔处理方案解决出现的空胞腔问题。

2、根据权利要求1所述的一种基于粒子群的矢量码书量化器，其特征在于引入模拟退火算法来修正全局极值的更新条件。

3、根据权利要求1所述的一种基于粒子群的矢量码书量化器，其特征是在设计矢量码书量化器的过程中，采用新提出的空胞腔处理方案解决出现的空胞腔问题，主要表现在找出某个空胞腔的所有次邻域矢量，记下这些矢量原各自胞腔中所拥有的训练矢量个数，然后找出拥有训练矢量个数大于1的胞腔中所对应的次邻域矢量，计算它们与该空胞腔之间的失真测度，将那些产生最小失真的次邻域矢量从原胞腔中取出放到这个空胞腔中；若所有次邻域矢量原所在胞腔里的训练矢量个数均等于1，同样也采用最大胞腔分裂法来处理这个空胞腔。

4、根据权利要求1所述的一种基于粒子群的矢量码书量化器，其特征是在设计矢量码书量化器的过程中，采用新提出的空胞腔处理方案解决出现的空胞腔问题，主要表现在当次邻域划分为空的情况下，采用最大胞腔分裂法。