CN103093238A - 基于d-s证据理论的视觉词典构建方法 - Google Patents

Abstract

本发明公开了一种基于D-S证据理论的视觉词典构建方法，包括：S1、提取所有训练图像的SIFT特征，应用K均值实现初步的视觉字典分类得到K个子类；S2、设定分类阈值t和熵阈值s；S3、判断当前的分类数是否小于t，若是，执行步骤S4，若否，执行步骤S7；S4、对已有分类计算每个子类的信息熵；S5、选择信息熵最大的一个子类作为当前要分解的类，判断该子类的信息熵是否大于s，若是，执行步骤S6，若否，执行步骤S7；S6、将当前信息熵最大的子类h运用D-S证据理论进一步分类；S7、计算新形成的子类的聚类中心，形成视觉词典。本发明能构造出更加更加有效的视觉词典，提高图像的分类准确率。

Description

基于D-S证据理论的视觉词典构建方法

技术领域

本发明涉及图像特征提取，视觉聚类以及图像分类技术领域，尤其涉及一种基于D-S证据理论的视觉词典构建方法。

背景技术

图像分类是计算机视觉领域内的一个重点研究的问题，它能够将不同类别的目标区分开来，在卫星遥感，航空航天，生物医学等方面具有广泛的应用。近年来，使用词袋（bag-of-words）模型表示图像并实现图像对象分类的方法，由于其实现了基于多个图像特征的图像表示模型，因此在图像分类中受到较大的关注。而在词袋模型中需要首先构建图像类的视觉词典。视觉词典构建的好坏直接影响了图像分类的效果。目前传统的视觉字典的构造方法是在提取图像特征例如颜色，纹理等的基础上，将提取的图像特征使用聚类方法，例如K均值（K-Means）聚类，来构造视觉词典。如Jayech等人将图像分成块，分别使用高斯混合模型Gaussian Mixture Model）和灰度共生矩阵Gray Level Co-occurrence Matrix）提取分块的颜色特征和纹理特征，经过K均值聚类后形成视觉词典，进而利用贝叶斯网络实现图像的分类。Willamowski等人使用朴素贝叶斯和支持向量机实现图像的分类识别则是在提取图像的SIFT(scale invariant feature transform)特征后，经过K均值聚类构建词汇表。Xu等人经过SIFT特征提取和DENCLUE聚类后获得视觉字典，然后计算点间互信息获得重要的特征，使用支持向量机实现图像分类识别。上面所提到的构建视觉字典方法一般是将提取的多个特征形成统一的特征向量，然后使用聚类方法。这种方法在视觉聚类的过程中只考虑了特征的视觉相似性而导致忽略了不同特征对构建视觉字典的影响。因此如何考察不同特征的视觉相似性，区分出对聚类影响度不同的特征，从而构造更加精确地视觉字典就显得非常重要。

D-S证据理论是由Dempster提出并有Shafer进一步发展而来的，是一种信息融合技术。这个理论是经典概率论的一种扩充形式，是对传统Bayes理论的推广。它是一种建立在置信函数和似然函数上的数学证据理论，将证据的信任函数与概率论的上下值相联系，用信任函数和似然度来解释多值映射，并在此基础上形成了处理不确定信息的证据理论。它可以结合一个事件的不同证据信息来计算这个事件发生的概率，能够处理被忽略或者丢失的信息，提供不同信息源之间信息的不精确性和冲突估计。在D-S证据理论中，基本概率赋值函数用来描述每个传感器或同一传感器的某一特征对假设命题的影响，置信函数和似然函数表示某个假设命题的可信度，各个特征的共同作用则可用组合公式来计算，而命题的最后判断则用决策规则来实现。由于D-S证据理论在处理不确定信息方面的作用，它可以应用在图像分类，对象识别等多个方面。

有鉴于此，有必要提供一种基于D-S证据理论的视觉词典构建方法以解决上述问题。

发明内容

本发明提供了一种基于D-S证据理论的视觉词典构建方法，通过使用D-S证据理论考察不同特征的视觉相似性并进行特征融合，从而对初始视觉字典进行更进一步的细分，构造出更加更加有效的视觉词典，提高图像的分类准确率。

为了实现上述目的，本发明实施例提供的技术方案如下：

一种基于D-S证据理论的视觉词典构建方法，所述方法包括：

S1、提取所有训练图像的SIFT特征，应用K均值实现初步的视觉字典分类得到K个子类；

S2、设定分类阈值t和熵阈值s，其中分类阈值t表示设定的最大聚类个数即最大视觉单词个数，阈值s表示允许应用D-S证据理论进行子类分解的信息熵阈值；

S3、判断当前的分类数是否小于t，若是，执行步骤S4，若否，执行步骤S7；

S4、对已有分类计算每个子类的信息熵；

S5、选择信息熵最大的一个子类作为当前要分解的类，判断该子类的信息熵是否大于s，若是，执行步骤S6，若否，执行步骤S7；

S6、将当前信息熵最大的子类h运用D-S证据理论进一步分类；

S7、计算新形成的子类的聚类中心，形成视觉词典。

作为本发明的进一步改进，所述步骤S4中信息熵的计算公式为：

$H\left(x\right)=-\underset{i=1}{\overset{r}{\mathrm{\Σ}}}p\left(a_i\right)\log p\left(a_i\right),$

其中，r表示当前子类中属于不同图像类的实际类别个数，p(a_i)表示当前类中属于第i类的区域在类中所有区域中所占的比例，且满足p(a_i)＞0，

作为本发明的进一步改进，所述步骤S5中当前信息熵最大的子类为：

$h=\arg \underset{j=1}{\overset{m}{\max }}\left(H_j\right),$

其中，h表示当前信息熵最大的子类，m表示当前形成的所有子类的数目，H_j表示第j个类的信息熵。

作为本发明的进一步改进，所述步骤S7中新形成的子类的聚类中心的计算公式为：

$C_b=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{F}_k,b=\mathrm{1,2},...N,$

其中，N表示新形成的子类的数目，n表示第b个子类中图像区域的个数，F_k表示新形成的第b个子类中第k个区域的特征向量。

作为本发明的进一步改进，所述步骤S6具体为：

S61、在当前要分解的子类h中，提取每个SIFT特征点周围大小为M*M的邻域即每个区域的HSV颜色空间上的颜色特征；

S62、使用欧几里得距离表示两个区域颜色特征的相似度，选取距离最大的两个区域，将这两个区域作为D-S证据理论图像模型库；

S63、对于余下的每个SIFT区域，获取它们各自的SIFT特征和SIFT特征点周围M*M范围邻域即这个区域的HSV颜色特征；

S64、根据D-S证据理论融合规则进行融合；

S65、依据决策规则实现对每个区域的分类；

S66、对于新形成的所有的子类，执行步骤S3。

作为本发明的进一步改进，所述步骤S64中D-S证据理论融合规则具体为：

$m\left(A\right)=m_1\left(A\right)\⊕m_2\left(A\right)=\frac{\underset{A_j\∩B_j=A}{\mathrm{\Σ}}{m}_1\left(A_i\right).m_2\left(B_j\right)}{1-\underset{A_j\∩B_j=\mathrm{\Φ}}{\mathrm{\Σ}}{m}_1\left(A_i\right){.m}_2\left(B_j\right)},$

其中为归一化常数，Θ为辨识框架，在辨识框架上的基本概率赋值是一个2^Θ→[0，1]的mass函数m，且满足m(Φ)＝0，

其中，使得m(A)＞0的A称为焦元，同一辨识框架Θ上的两个信任函数分别为Bel₁和Bel₂，各自对应两个相互独立的基本赋值函数m₁和m₂，分配的焦元分别为A₁,A₂,...,A_i和B₁,B₂,...,B_j。

作为本发明的进一步改进，所述步骤S65决策规则包括：

目标类别具有最大的基本概率赋值；

目标类别的基本概率赋值与其它类别的基本概率赋值的差值必须大于预设阈值t1；

不确定性概率m_i(Θ)必须小于预设阈值t2；

目标类别的基本概率赋值必须大于不确定性概率m_i(Θ)。

本发明基于D-S证据理论的视觉词典构建方法在获得K均值聚类形成的初始视觉分类后，使用D-S证据理论融合邻域上的SIFT特征和颜色特征，并运用决策规则将最初的视觉分类进一步划分，进而形成更细分的视觉字典，将所得视觉字典应用词袋算法，并使用支持向量机分类器和贝叶斯分类器作为图像识别分类的结果表明，本发明构造出更加更加有效的视觉词典，提高图像的分类准确率。

附图说明

图1为本发明一实施方式中基于D-S证据理论的视觉词典构建方法的具体流程图；

图2为本发明一实施方式中运用D-S证据理论进一步分类的具体流程图。

具体实施方式

以下将结合附图所示的各实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。

本发明的一种基于D-S证据理论的视觉词典构建方法，包括：

S1、提取所有训练图像的SIFT特征，应用K均值实现初步的视觉字典分类得到K个子类；

S2、设定分类阈值t和熵阈值s，其中分类阈值t表示设定的最大聚类个数即最大视觉单词个数，阈值s表示允许应用D-S证据理论进行子类分解的信息熵阈值；

S3、判断当前的分类数是否小于t，若是，执行步骤S4，若否，执行步骤S7；

S4、对已有分类计算每个子类的信息熵；

S5、选择信息熵最大的一个子类作为当前要分解的类，判断该子类的信息熵是否大于s，若是，执行步骤S6，若否，执行步骤S7；

S6、将当前信息熵最大的子类h运用D-S证据理论进一步分类；

S7、计算新形成的子类的聚类中心，形成视觉词典。

参图1所示，本发明一具体实施方式中选取Caltech256图像中的7类图像，随机选取每类图像中的10幅图像作为训练图像，而测试图像中则随机选取每类图像中的45幅图像（测试图像与训练图像没有重复）共315幅图像，基于D-S证据理论的视觉词典构建方法详细过程如下：

S1、提取所有训练图像的SIFT特征，应用K均值实现初步的视觉字典分类得到K个子类；本实施例中K=40。

S2、设定分类阈值t和熵阈值s，其中分类阈值t表示设定的最大聚类个数即最大视觉单词个数，阈值s表示允许应用D-S证据理论进行子类分解的信息熵阈值；本实施例中t=75，s=0.8。

S3、判断当前的分类数是否小于t，则执行步骤S4，若否，执行步骤S7；

S4、对已有分类计算每个子类的信息熵；

在每个子类中，提取的每个SIFT特征点周围一定范围内邻域作为一个区域，本实施例中设定区域大小为11*11。信息熵反映了一个系统的杂乱程度，信息熵越大，系统就越杂乱。信息熵的计算公式如下：

$H\left(x\right)=-\underset{i=1}{\overset{r}{\mathrm{\Σ}}}p\left(a_i\right)\log p\left(a_i\right),$

其中，r表示当前子类中属于不同图像类的实际类别个数，p(a_i)表示当前类中属于第i类的区域在类中所有区域中所占的比例，且满足p(a_i)＞0，

S5、选择信息熵最大的一个子类作为当前要分解的类，判断该子类的信息熵是否大于s，若是，执行步骤S6，若否，执行步骤S7；

设h表示当前信息熵最大的子类，m表示当前形成的所有子类的数目，则有：

$h=\arg \underset{j=1}{\overset{m}{\max }}\left(H_j\right),$

其中，H_j表示第j个类的信息熵。

S6、将当前信息熵最大的子类h运用D-S证据理论进一步分类；

S7、计算新形成的子类的聚类中心，形成视觉词典。

这样就形成了N个子类，每个聚类中心则被看作是一个视觉单词（visual word）。新聚类中心的计算公式如下：

$C_b=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{F}_k,b=\mathrm{1,2},...N,$

其中，N表示新形成的子类的数目，n表示第b个子类中图像区域的个数，F_k表示新形成的第b个子类中第k个区域的特征向量。

进一步地，步骤S6具体为：

S61、在当前要分解的子类h中，提取每个SIFT特征点周围大小为M*M的邻域即每个区域的HSV颜色空间上的颜色特征；本实施例中提取每个SIFT特征点周围大小为11*11的邻域的HSV空间上256维颜色特征。

S62、使用欧几里得距离表示两个区域颜色特征的相似度，选取距离最大的两个区域，将这两个区域作为D-S证据理论图像模型库；

S63、对于余下的每个SIFT区域，获取它们各自的SIFT特征和SIFT特征点周围M*M范围邻域即这个区域的HSV颜色特征；本实施例中获取余下的每个SIFT区域各自的SIFT特征和SIFT特征点周围11*11范围内邻域即这个区域的HSV颜色特征。

S64、根据D-S证据理论融合规则进行融合；

D-S证据理论融合规则的公式如下：

假设Θ为辨识框架，在辨识框架上的基本概率赋值（简称为BPA）是一个2^Θ→[0,1]的函数m，称为mass函数，并且满足：m(Φ)＝0,

其中，使得m(A)＞0的A称为焦元。

设同一识别框架Θ上的两个信任函数分别为Bel₁和Bel₂，各自对应两个相互独立的基本赋值函数m₁和m₂，其分配的焦元分别为A₁,A₂,...,A_i和B₁,B₂,...,B_j，那么组合规则可表示为：

$m\left(A\right)=m_1\left(A\right)\⊕m_2\left(A\right)=\frac{\underset{A_i\∩B_j=A}{\mathrm{\Σ}}{m}_1\left(A_i\right){.m}_2\left(B_j\right)}{1-\underset{A_i\∩B_j=\mathrm{\Φ}}{\mathrm{\Σ}}{m}_1\left(A_i\right).m_2\left(B_j\right)},$

其中

为归一化常数，反映了两个证据间的冲突大小，当k=1时表示两个证据完全矛盾，不能合并。

本发明中构造基本概率赋值函数的具体方法如下：在每个子类中，首先利用步骤S62中的方法获得图像（区域）模型库，提取模型库中每个图像(区域)的各特征f_i（即SIFT特征和颜色特征）；然后针对每个待分类图像，提取它的的各特征，分别与模型库中每个图像的相应特征作比较，计算相关系数p_i(j)，j代表模型库中的图像类别号；最后由p_i(j)构造特征f_i赋予图像类别j的基本概率m_i(j)，具体方法如下：

设α_i＝max(p_i(j))为特征f_i与目标j的最大相关系数，其中

dis(i,j)为特征f_i与目标j对应特征的欧几里得距离；

为特征f_i与各目标相关系数的分布函数；

为特征f_i的可靠系数；

为了利用DS组合规则，需由相关系数转化为基本概率函数。设特征f_i赋予目标j的基本概率赋值为m_i(j)，则特征f_i赋予目标j的基本概率赋值m_i(j)为：

$m_i\left(j\right)=\frac{p_i\left(j\right)}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{p}_i\left(j\right)+n(1-{\mathrm{\γ}}_i)(1-{\mathrm{\α}}_i{\mathrm{\β}}_i)},$

特征f_i赋予识别框架Θ的基本概率赋值，即特征的不确定性概率为：

$m_i\left(\mathrm{\Θ}\right)=\frac{n(1-{\mathrm{\γ}}_i)(1-{\mathrm{\α}}_i{\mathrm{\β}}_i)}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{p}_i\left(j\right)+n(1-{\mathrm{\γ}}_i)(1-{\mathrm{\α}}_i{\mathrm{\β}}_i)}.$

由以上的几个公式可计算但特征的基本概率赋值，进而计算融合特征的基本概率赋值。

在本发明中，辨识框架指在S62中得到的图像模型库。信任函数表示对某个假设的信任程度，且满足：

$\mathrm{Bel}\left(A\right)=\underset{B\⊆A}{\mathrm{\Σ}}m\left(B\right).$

S65、依据决策规则将子类中图像对象区域分到两个不同的子类中，而总类数也增加1个。决策规则如下：

1.目标类别具有最大的基本概率赋值；

2.目标类别的基本概率赋值与其它类别的基本概率赋值的差值必须大于预设阈值t1；本实施方式中t1=0.0001。

3.不确定性概率m_i(Θ)必须小于预设阈值t2；本实施方式中t2=0.1。

4.目标类别的基本概率赋值必须大于不确定性概率m_i(Θ)。

S66、对于新形成的所有的子类，执行步骤S3。

表一给出了使用本发明中的方法构造视觉词典后，分别使用支持向量机分类器(SupportVector Machine Classifier)和朴素贝叶斯分类器(

 Bayesian Classifier)对图像的识别率，与基于K均值聚类构造视觉词典后使用支持向量机分类器与朴素贝叶斯分类器对图像的识别率的比较。从表一中可以看出本发明所提出的视觉字典构建方法能有效提高视觉词汇表的语义精确度，在Caltech256数据集上所做的基于支持向量机分类器与朴素贝叶斯分类器上实验证明，应用本发明方法所取得的分类效果得到了很大的提高。

表一：应用本发明中视觉词典构建方法和基于K均值聚类的视觉词典构建方法实现图像分类的结果比较。

与现有技术相比，本发明基于D-S证据理论的视觉词典构建方法在获得K均值聚类形成的初始视觉分类后，使用D-S证据理论融合邻域上的SIFT特征和颜色特征，并运用决策规则将最初的视觉分类进一步划分，进而形成更细分的视觉字典，将所得视觉字典应用词袋算法，并使用支持向量机分类器和贝叶斯分类器作为图像识别分类的结果表明，本发明构造出更加更加有效的视觉词典，提高图像的分类准确率。

应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于D-S证据理论的视觉词典构建方法，其特征在于，所述方法包括：

S1、提取所有训练图像的SIFT特征，应用K均值实现初步的视觉字典分类得到K个子类；

S2、设定分类阈值t和熵阈值s，其中分类阈值t表示设定的最大聚类个数即最大视觉单词个数，阈值s表示允许应用D-S证据理论进行子类分解的信息熵阈值；

S3、判断当前的分类数是否小于t，若是，执行步骤S4，若否，执行步骤S7；

S4、对已有分类计算每个子类的信息熵；

S5、选择信息熵最大的一个子类作为当前要分解的类，判断该子类的信息熵是否大于s，若是，执行步骤S6，若否，执行步骤S7；

S6、将当前信息熵最大的子类h运用D-S证据理论进一步分类；

S7、计算新形成的子类的聚类中心，形成视觉词典。

2.根据权利要求1所述的方法，其特征在于，所述步骤S4中信息熵的计算公式为：

$H\left(x\right)=-\underset{i=1}{\overset{r}{\mathrm{\Σ}}}p\left(a_i\right)\log p\left(a_i\right),$

其中，r表示当前子类中属于不同图像类的实际类别个数，p(a_i)表示当前类中属于第i类的区域在类中所有区域中所占的比例，且满足p(a_i)＞0，

3.根据权利要求1所述的方法，其特征在于，所述步骤S5中当前信息熵最大的子类为：

$h=\arg \underset{j=1}{\overset{m}{\max }}\left(H_j\right),$

其中，h表示当前信息熵最大的子类，m表示当前形成的所有子类的数目，H_j表示第j个类的信息熵。

4.根据权利要求1所述的方法，其特征在于，所述步骤S7中新形成的子类的聚类中心的计算公式为：

$C_b=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{F}_k,b=\mathrm{1,2},...N,$

其中，N表示新形成的子类的数目，n表示第b个子类中图像区域的个数，F_k表示新形成的第b个子类中第k个区域的特征向量。

5.根据权利要求1所述的方法，其特征在于，所述步骤S6具体为：

S61、在当前要分解的子类h中，提取每个SIFT特征点周围大小为M*M的邻域即每个区域的HSV颜色空间上的颜色特征；

S62、使用欧几里得距离表示两个区域颜色特征的相似度，选取距离最大的两个区域，将这两个区域作为D-S证据理论图像模型库；

S63、对于余下的每个SIFT区域，获取它们各自的SIFT特征和SIFT特征点周围M*M范围邻域即这个区域的HSV颜色特征；

S64、根据D-S证据理论融合规则进行融合；

S65、依据决策规则实现对每个区域的分类；

S66、对于新形成的所有的子类，执行步骤S3。

6.根据权利要求5所述的方法，其特征在于，所述步骤S64中D-S证据理论融合规则具体为：

$m\left(A\right)=m_1\left(A\right)\⊕m_2\left(A\right)=\frac{\underset{A_i\∩B_j=A}{\mathrm{\Σ}}{m}_1\left(A_i\right).m_2\left(B_j\right)}{1-\underset{A_i\∩B_j=\mathrm{\Φ}}{\mathrm{\Σ}}{m}_1\left(A_i\right).m_2\left(B_j\right)},$

其中为归一化常数，Θ为辨识框架，在辨识框架上的基本概率赋值是一个2^Θ→[0，1]的mass函数m，且满足m(Φ)＝0，

其中，使得m(A)＞0的A称为焦元，同一辨识框架Θ上的两个信任函数分别为Bel₁和Bel₂，各自对应两个相互独立的基本赋值函数m₁和m₂，分配的焦元分别为A₁,A₂，...,A_i和B₁,B₂,...,B_j。

7.根据权利要求6所述的方法，其特征在于，所述步骤S65决策规则包括：

目标类别具有最大的基本概率赋值；

目标类别的基本概率赋值与其它类别的基本概率赋值的差值必须大于预设阈值t1；

不确定性概率m_i(Θ)必须小于预设阈值t2；

目标类别的基本概率赋值必须大于不确定性概率m_i(Θ)。

Images