CN102542050B - 基于支持向量机的图像反馈方法及系统 - Google Patents

Abstract

本发明公开了一基于支持向量机的图像反馈方法及系统。方法包括：提取图像库中每幅图像的底层视觉特征，将提取的底层视觉特征放入特征库；调取用户在图像库中选取的示例图像，利用特征库查找图像库中与该示例图像最相似的N幅图像；将N幅图像标记为正例图像和反例图像，形成正例图像集和反例图像集；对正例图像集和反例图像集进行扩展和更新后，将正例图像集和反例图像集中的图像放入支持向量机中进行训练，输出训练结果。该方法在基于传统支持向量机反馈方法的基础上，对样本进行扩展和更新并使用数据降维的理论对样本进行处理。解决了传统支持向量机由于训练样本少造成不稳定的问题、正例样本远远少于反例样本造成分类器最优超平面偏移的问题。

Description

基于支持向量机的图像反馈方法及系统

技术领域

本发明属于图像检索领域，特别是一基于支持向量机的图像反馈方法及系统。

背景技术

为了能够从大量的图像数据中快速、准确地找到用户所需内容，基于内容的图像检索技术得到了广泛关注，成为信息检索领域的研究热点，并已成为国际学术界研究的一个热点。所谓基于内容的图像检索，就是根据图像的颜色、纹理、形状等特征，按照某种相似度计算方法，从图像库中找出与用户事先想要查询的图像最相似的若干幅图像。由于图像底层视觉特征与图像高级语义之间存在代沟，因此人们提出了基于反馈的图像检索方法来解决这一问题。

一般情况下，图像特征用高维向量表示，一幅图像可以看作高维空间中的一个点，相似图像检索则可以转化成寻找高维特征空间中与指定点距离最近的一组点的问题。

现有的图像检索方式普遍采用基于支持向量机的图像反馈方法，但由于被标记的训练样本数量很少，造成的支持向量机的分类器的超平面偏移，以致分类效果不佳。

发明内容

针对现有基于支持向量机的图像反馈方法在图像检索中存在的问题，本发明提出了一基于支持向量机的图像反馈方法及系统。本发明采用的技术手段如下：

一种基于支持向量机的图像反馈方法，其特征在于包括以下步骤：

S1：提取图像库中每幅图像的底层视觉特征，并将提取的底层视觉特征放入特征库；

S2：调取用户在图像库中选取的示例图像，利用特征库查找图像库中与该示例图像最相似的N幅图像；

S3：将N幅图像标记为正例图像和反例图像，形成正例图像集和反例图像集；

S4：对正例图像集和反例图像集进行扩展和更新后，将正例图像集和反例图像集中的图像放入支持向量机中进行训练，输出训练结果。

本发明的基于支持向量机的图像反馈方法在基于传统支持向量机反馈方法的基础上，对样本进行扩展和更新并使用数据降维的理论对样本进行处理。该方法不仅解决了传统支持向量机由于训练样本少造成不稳定的问题、正例样本远远少于反例样本造成分类器最优超平面偏移的问题，而且也解决了目标类图像与其他类图像难以区分以及图像特征的维数过大而造成的维数灾难问题。本发明有效改进了支持向量机存在的缺陷，显著提高了分类器的性能，对基于相关反馈的图像检索研究与应用有很好的参考和实用价值。

附图说明

图1为本发明的基于支持向量机的图像反馈方法的流程图。

图2为本发明的基于支持向量机的图像反馈系统的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。

如图1所示，本发明的基于支持向量机的图像反馈方法包括以下步骤：

步骤S1：提取图像库中每幅图像的底层视觉特征，并将提取的底层视觉特征放入特征库。

当底层视觉特征是颜色特征时，该步骤又包括以下步骤：将RGB颜色空间转换到HSV空间；将HSV颜色空间量化成64份；统计落在每一份颜色空间中像素点的个数作为颜色特征。

当底层视觉特征是纹理特征时，该步骤又包括以下步骤：对图像进行3级小波变换；计算每级变换后的3个子带的均值和方差作为纹理特征。

当底层视觉特征是形状特征时，该步骤又包括以下步骤：用Sobel算子提取图像边缘点；统计图像边缘点在水平、45度、垂直、135度方向的像素点个数作为形状特征。

步骤S2：调取用户在图像库中选取的示例图像，利用特征库查找图像库中与该示例图像最相似的N幅图像。

利用特征库查找图像库中与该示例图像最相似的N幅图像的步骤又包括以下步骤：计算示例图像的底层视觉特征；应用欧式距离算法计算示例图像的底层视觉特征与图像库中每一图像的相似度；将全部相似度由高到低排序，并将排序在前的N幅图像作为与该示例图像最相似的N幅图像。

应用欧式距离算法计算示例图像的底层视觉特征与图像库中每一图像的相似度又可以表示为：

S_i，j＝exp(-|x_i-x_j|²)

其中，S_i，j是示例图像x_i与图像库中每一图像x_j的相似度。

步骤S3：将N幅图像标记为正例图像和反例图像，形成正例图像集和反例图像集。

该步骤又包括以下步骤：将N幅图像中与示例图像属于同一语义类的图像标记为正例图像，将N幅图像中与示例图像不属于同一语义类的图像标记为反例图像。

步骤S4：对正例图像集和反例图像集进行扩展和更新后，将正例图像集和反例图像集中的图像放入支持向量机中进行训练，输出训练结果。

对正例图像集和反例图像集进行扩展的步骤又包括以下步骤：从图像库中未标记的图像中，选取相似度排序在前的若干幅图像作为正例图像加入正例图像集；从图像库中未标记的图像中，选取相似度排序在后的若干幅图像作为反例图像加入反例图像集，从而增加了总的训练样本图像的数量。

对正例图像集进行更新的步骤又包括以下步骤：根据正例图像贡献值公式计算正例图像集中每一正例图像的贡献值，以及图像库中每一未标记图像的贡献值；用未标记图像中具有最大贡献值的未标记图像替换正例图像集中具有最小贡献值的正例图像。其中的正例图像贡献值公式可以表示为：

${\mathrm{\ΔF}}_p\left(v\right)=\mathrm{\λt}\left(v\right)+(1-\mathrm{\λ}){\mathrm{\Σ}}_{v_i\∈S_m}(\mathrm{\τ}\left(v\right)-\mathrm{\τ}\left(v_i\right))$

其中，λ为权重值，t(v)是针对步骤S1提取的底层视觉特征使用K-Means算法做自然聚类得到的聚类结果计算得到的图像的典型性值，τ(v)是图像集中每一未标记图像和正例图像集中每一正例图像分别与示例图像的相似度的排序，ΔF_p(v)是正例图像集中每一正例图像和图像库中每一未标记图像的贡献值。

对反例图像集进行更新的步骤又包括以下步骤：根据反例图像贡献值公式计算反例图像集中每一反例图像的贡献值，以及图像库中每一未标记图像的贡献值；用未标记图像中具有最大贡献值的未标记图像替换反例图像集中具有最小贡献值的反例图像。其中的反例图像的贡献值公式可以表示为：

${\mathrm{\ΔF}}_m\left(v\right)=\mathrm{\λt}\left(v\right)+(1-\mathrm{\λ}){\mathrm{\Σ}}_{v_i\∈S_p}(\mathrm{\τ}\left(v_i\right)-\mathrm{\τ}\left(v\right))$

其中，λ为权重值，t(v)是针对步骤S1提取的底层视觉特征使用K-Means算法做自然聚类得到的聚类结果计算得到的图像的典型性值，τ(v)是图像集中每一未标记图像和反例图像集中每一反例图像分别与示例图像的相似度的排序，ΔF_m(v)是反例图像集中每一反例图像和图像库中每一未标记图像的贡献值。

在步骤S4之后，还可以包括以下步骤：对图像库中的图像按照与示例图像的相似度进行重排序，使得正例样本靠前，排序后得到图像特征矩阵X；减小正例样本集中正例样本的类内距离；增大反例样本集中反例样本的类内距离；得到一映射矩阵，利用该映射矩阵将图像库中的高维图像特征映射到低维空间。

减小正例样本集中正例样本的类内距离的步骤可以表示为：

${{\stackrel{\→}{x}}_i}^{+}=\underset{1\≤j\≠i\≤p}{\mathrm{\Σ}}{w}_{i,j}{{\stackrel{\→}{x}}_j}^{+}+{\stackrel{\→}{\mathrm{\ϵ}}}_i^{+}$

是正例样本集中选定的正例样本，是正例样本集中除选定的正例样本之外的任一正例样本，w_i，j是正例样本集中除选定的正例样本之外的任一正例样本相对选定的正例样本的权重，是误差值。

增大反例样本集中反例样本的类内距离的步骤可以表示为：

${\stackrel{\→}{y}}_i=\underset{{\stackrel{\→}{y}}_i,1\≤i\≤q}{\arg \max }\underset{i,j=1}{\overset{q}{\mathrm{\Σ}}}{h}_{i,j}{\left|\right|{\stackrel{\→}{y}}_i-{\stackrel{\→}{y}}_j\left|\right|}^2$

是反例样本集中选定的反例样本，是反例样本集中除选定的反例样本之外的任一反例样本，h_i，j是反例样本集中除选定的反例样本之外的任一反例样本相对选定的反例样本的权重。

得到一映射矩阵的步骤可以表示为：利用w_i，j和h_i，j构成一矩阵M1；利用公式 $U=\underset{U\∈R^{H\×L}}{\arg \max }\mathrm{tr}\left[U^T{M}_{1}U\right]$ 求得映射矩阵U。

利用该映射矩阵将图像库中的高维图像特征映射到低维空间的步骤可以表示为：

Y＝U^TX∈R^L×n

其中，Y是低维空间图像特征矩阵。

如图2所示，本发明的基于支持向量机的图像反馈系统包括：提取单元1，用于提取图像库中每幅图像的底层视觉特征，并将提取的底层视觉特征放入特征库；预处理单元2，用于对提取的底层视觉特征使用K-Means算法做自然聚类得到的聚类结果计算得到的图像的典型性值；检索单元3，用于调取用户在图像库中选取的示例图像，利用特征库查找图像库中与该示例图像最相似的N幅图像；标记单元4，用于将N幅图像标记为正例图像和反例图像，形成正例图像集和反例图像集；学习单元5，用于对正例图像集和反例图像集进行扩展和更新后，将正例图像集和反例图像集中的图像放入支持向量机中进行训练，输出训练结果。其中，提取单元1、检索单元3、标记单元4、学习单元5分别的执行步骤如上所述。

本发明的基于支持向量机的图像反馈方法在基于传统支持向量机反馈方法的基础上，对样本进行扩展和更新并使用数据降维的理论对样本进行处理。该方法不仅解决了传统支持向量机由于训练样本少造成不稳定的问题、正例样本远远少于反例样本造成分类器最优超平面偏移的问题，而且也解决了目标类图像与其他类图像难以区分以及图像特征的维数过大而造成的维数灾难问题。本发明有效改进了支持向量机存在的缺陷，显著提高了分类器的性能，对基于相关反馈的图像检索研究与应用有很好的参考和实用价值。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种基于支持向量机的图像反馈方法，其特征在于包括以下步骤：

S1：提取图像库中每幅图像的底层视觉特征，并将提取的底层视觉特征放入特征库；

S2：调取用户在图像库中选取的示例图像，利用特征库查找图像库中与该示例图像最相似的N幅图像；

S3：将N幅图像标记为正例图像和反例图像，形成正例图像集和反例图像集；

S4：对正例图像集和反例图像集进行扩展和更新后，将正例图像集和反例图像集中的图像放入支持向量机中进行训练，输出训练结果；

在步骤S4之后还包括以下步骤：对图像库中的图像按照与示例图像的相似度进行重排序，使得正例样本靠前，排序后得到图像特征矩阵X；减小正例样本集中正例样本的类内距离；增大反例样本集中反例样本的类内距离；得到一映射矩阵，利用该映射矩阵将图像库中的高维图像特征映射到低维空间；

减小正例样本集中正例样本的类内距离的步骤表示为： 是正例样本集中选定的正例样本，是正例样本集中除选定的正例样本之外的任一正例样本，w_i,j是正例样本集中除选定的正例样本之外的任一正例样本相对选定的正例样本的权重，是误差值；

增大反例样本集中反例样本的类内距离的步骤表示为： 是反例样本集中选定的反例样本，是反例样本集中除选定的反例样本之外的任一反例样本，h_i,j是反例样本集中除选定的反例样本之外的任一反例样本相对选定的反例样本的权重；

得到一映射矩阵的步骤可以表示为：利用w_i，j和h_i，j构成一矩阵M1；利用公式 $\begin{array}{cc}U=\underset{U\∈R^{H\×L}}{\mathrm{argmax}}& tr\[U^T{M}_{1}U\]\end{array}$ 求得映射矩阵U；

利用该映射矩阵将图像库中的高维图像特征映射到低维空间的步骤可以表示为：Y＝U^TX∈R^L×n，其中，Y是低维空间图像特征矩阵。

2.根据权利要求1所述的方法，其特征在于当底层视觉特征是颜色特征时，步骤S1又包括以下步骤：将RGB颜色空间转换到HSV空间；将HSV颜色空间量化成64份；统计落在每一份颜色空间中像素点的个数作为颜色特征；

当底层视觉特征是纹理特征时，步骤S1又包括以下步骤：对图像进行3级小波变换；计算每级变换后的3个子带的均值和方差作为纹理特征；

当底层视觉特征是形状特征时，步骤S1又包括以下步骤：用Sobel算子提取图像边缘点；统计图像边缘点在水平、45度、垂直、135度方向的像素点个数作为形状特征。

3.根据权利要求1所述的方法，其特征在于利用特征库查找图像库中与该示例图像最相似的N幅图像的步骤又包括以下步骤：

计算示例图像的底层视觉特征；

应用欧式距离算法计算示例图像的底层视觉特征与图像库中每一图像的相似度；

将全部相似度由高到低排序，并将排序在前的N幅图像作为与该示例图像最相似的N幅图像。

4.根据权利要求3所述的方法，其特征在于应用欧式距离算法计算示例图像的底层视觉特征与图像库中每一图像的相似度又可以表示为：

S_i,j＝exp(-|x_i-x_j|²)

其中，S_i,j是示例图像x_i与图像库中每一图像x_j的相似度。

5.根据权利要求1所述的方法，其特征在于步骤S3包括以下步骤：将N幅图像中与示例图像属于同一语义类的图像标记为正例图像，将N幅图像中与示例图像不属于同一语义类的图像标记为反例图像。

6.根据权利要求1所述的方法，其特征在于对正例图像集和反例图像集进行扩展的步骤又包括以下步骤：

从图像库中未标记的图像中，选取相似度排序在前的若干幅图像作为正例图像加入正例图像集；

从图像库中未标记的图像中，选取相似度排序在后的若干幅图像作为反例图像加入反例图像集，从而增加了总的训练样本图像的数量。

7.根据权利要求1所述的方法，其特征在于对正例图像集进行更新的步骤又包括以下步骤：根据正例图像贡献值公式计算正例图像集中每一正例图像的贡献值，以及图像库中每一未标记图像的贡献值；用未标记图像中具有最大贡献值的未标记图像替换正例图像集中具有最小贡献值的正例图像；其中的正例图像贡献值公式可以表示为：

${\mathrm{\ΔF}}_p\left(v\right)=\mathrm{\λ}t\left(v\right)+(1-\mathrm{\λ}){\mathrm{\Σ}}_{v_i\∈S_m}\left(\mathrm{\τ}\right(v)-\mathrm{\τ}(v_i\left)\right)$

其中，λ为权重值，t(v)是针对步骤S1提取的底层视觉特征使用K-Means算法做自然聚类得到的聚类结果计算得到的图像的典型性值，τ(v)是图像集中每一未标记图像和正例图像集中每一正例图像分别与示例图像的相似度的排序，ΔF_p(v)是正例图像集中每一正例图像和图像库中每一未标记图像的贡献值。

8.根据权利要求1所述的方法，其特征在于对反例图像集进行更新的步骤又包括以下步骤：根据反例图像贡献值公式计算反例图像集中每一反例图像的贡献值，以及图像库中每一未标记图像的贡献值；用未标记图像中具有最大贡献值的未标记图像替换反例图像集中具有最小贡献值的反例图像；其中的反例图像的贡献值公式可以表示为：

${\mathrm{\ΔF}}_m\left(v\right)=\mathrm{\λ}t\left(v\right)+(1-\mathrm{\λ}){\mathrm{\Σ}}_{v_i\∈S_p}\left(\mathrm{\τ}\right(v_i)-\mathrm{\τ}(v\left)\right)$

其中，λ为权重值，t(v)是针对步骤S1提取的底层视觉特征使用K-Means算法做自然聚类得到的聚类结果计算得到的图像的典型性值，τ(v)是图像集中每一未标记图像和反例图像集中每一反例图像分别与示例图像的相似度的排序，ΔF_m(v)是反例图像集中每一反例图像和图像库中每一未标记图像的贡献值。

9.一种基于支持向量机的图像反馈系统，其特征在于包括：

提取单元，用于提取图像库中每幅图像的底层视觉特征，并将提取的底层视觉特征放入特征库；

预处理单元，用于对提取的底层视觉特征使用K-Means算法做自然聚类，并对做自然聚类得到的聚类结果计算得到图像的典型性值；

检索单元，用于调取用户在图像库中选取的示例图像，利用特征库查找图像库中与该示例图像最相似的N幅图像；

标记单元，用于将N幅图像标记为正例图像和反例图像，形成正例图像集和反例图像集；

学习单元，用于对正例图像集和反例图像集进行扩展和更新后，将正例图像集和反例图像集中的图像放入支持向量机中进行训练，输出训练结果，之后对图像库中的图像按照与示例图像的相似度进行重排序，使得正例样本靠前，排序后得到图像特征矩阵X，减小正例样本集中正例样本的类内距离，增大反例样本集中反例样本的类内距离，然后得到一映射矩阵，利用该映射矩阵将图像库中的高维图像特征映射到低维空间；

所述减小正例样本集中正例样本的类内距离的过程表示为 是正例样本集中选定的正例样本，是正例样本集中除选定的正例样本之外的任一正例样本，w_i,j是正例样本集中除选定的正例样本之外的任一正例样本相对选定的正例样本的权重，是误差值；所述增大反例样本集中反例样本的类内距离的过程表示为 是反例样本集中选定的反例样本，是反例样本集中除选定的反例样本之外的任一反例样本，h_i,j是反例样本集中除选定的反例样本之外的任一反例样本相对选定的反例样本的权重；

所述得到一映射矩阵的过程表示为利用w_i,j和h_i,j构成一矩阵M1；利用公式求得映射矩阵U；所述利用该映射矩阵将图像库中的高维图像特征映射到低维空间的过程表示为Y＝U^TX∈R^L×n，其中，Y是低维空间图像特征矩阵。