CN104156433B - 一种基于语义映射空间构建的图像检索方法 - Google Patents

Abstract

本发明公开了一种基于语义映射空间的图像检索方法，其特征是按如下步骤进行：步骤1、学习语义映射空间；步骤2、估计每个未标注图像的语义概念；步骤3、将语义空间中语义概念对应的图像进行升序排列；步骤4、输入待检索的文本查询词，返回语义概念所对应的图像。本发明能有效地提高图像检索的准确性。

Description

一种基于语义映射空间构建的图像检索方法

技术领域

本发明属于信息检索技术领域，主要涉及一种基于语义映射空间构建的图像检索方法。

背景技术

21世纪是信息时代，计算机和网络技术进一步普及和快速发展，互联网上以图像为代表的多媒体数据呈现爆炸式地增长。因此，图像检索技术受到了来自不同领域的研究人员越来越多的关注，研究人员旨在给用户提供更优质的图像浏览和检索服务，以提高图像检索的用户满意度。

主流的图像检索方法当前可以分为两类：基于文本的图像检索和基于内容的图像检索。

基于文本的图像检索方法通常利用文本信息来描述图像内容，使用简短的注释或者文本标签来对数据库中的图像进行索引。基于文本的图像检索方法的有效性严重依赖于检索算法的性能以及文本标注的准确性。然而，对互联网时代的大规模网络图像进行标注却是一件极其耗费人力物力的事情，随着网络图像数据的规模呈几何级数式地增长，基于文本的图像检索方法已经不再适用。

基于内容的图像检索方法是一种“以图搜图”的方法，主要存在两个问题：首先，每次查询用户都被要求提高一个事例图像；其次，视觉查询由于众所周知“语义鸿沟”的存在，其无法表示高层语义概念。

因此，目前的网络图像检索方法都不再满足实际需求，导致目前网络图像检索的准确度不高，效率低下。

发明内容

本发明旨在解决当前网络图像检索准确度不高以及效率低下的问题，提出了一种基于语义映射空间构建的图像检索方法，能有效地提高图像检索的准确性。

本发明为解决技术问题采用如下技术方案：

本发明一种基于语义映射空间的图像检索方法的特点是按如下步骤进行：

步骤1、学习语义映射空间

步骤1.1、从网络图像数据集中获取训练图像数据集与未标注图像数据集，所述训练图像数据集包括n幅训练图像；所述未标注图像数据集包括m幅未标注图像；获取与所述n幅训练图像相对应的语义概念，并令相同的语义概念用一个索引号来索引，从而获得语义概念集G＝{g₁,g₂,…,g_γ,…,g_c}，γ为索引号，γ∈{1,2,…c}，c表征所述语义概念的个数，c≤n；

步骤1.2、提取所述训练图像数据集和所述未标注图像数据集中每幅训练图像和未标注图像的高维特征向量，从而获得高维特征向量集X＝{x₁,…,x_n,x_n+1,…,x_n+m}；d表示所述训练图像和未标注图像的特征维数；

步骤1.3、利用式(1)获得任意两个语义概念g_α和g_β之间的距离D_α,β，从而利用式(2)获得在所述语义概念集G中任意两个语义概念g_α和g_β之间距离D_α,β所组成的语义距离矩阵

式(1)中：α、β∈{1,2,…c}分别表示语义概念g_α和g_β的索引号；f(g_α)表示包含语义概念g_α的训练图像个数，f(g_β)表示包含语义概念g_β的训练图像个数；f(g_α,g_β)表示既包含语义概念g_α又包含语义概念g_β的训练图像个数；K表示所述网络图像数据集中所有网络图像的个数；

步骤1.4、定义语义概念g_α在所述语义映射空间上的映射为语义概念原型由每一个语义概念所对应的语义概念原型构成语义概念原型矩阵P，

1.4.1、利用式(3)计算矩阵

式(3)中：为单位矩阵；表示全为1的列向量；

1.4.2、按照的分解形式对矩阵进行分解，获得矩阵V和Λ；

1.4.3、采用式(4)获得语义概念原型矩阵P，从而获得每一个语义概念所对应的语义概念原型p₁,p₂,…,p_α,…,p_c：

步骤1.5、利用式(5)学习图像映射矩阵W：

式(5)中：表示第i幅训练图像的高维特征向量；y_i∈{1,2,…,c}表示第i幅训练图像的语义概念的索引号；λ为正则化参数；

由所述语义概念原型矩阵P和图像映射矩阵W获得所述语义映射空间

步骤2、利用式(6)获得所述未标注图像数据集中任一未标注图像所对应的语义概念的索引号θ，从而估计每个未标注图像的语义概念：

式(6)中：x_t表示所述未标注图像数据集中任一未标注图像的高维特征向量；t∈(n+1,…,n+m)；

步骤3、每个语义概念g_θ都对应一组图像，θ∈{1,2,…,c}；将g_θ对应的图像的高维特征向量组成向量集，所述向量集{x_θ1,x_θ2,…,x_θl}按照的大小进行升序排列；j∈{1,2,…,l}；

根据图像与语义概念原型的距离大小进行对图像的排序。

步骤4、输入待检索的文本查询词，找到所述文本查询词在语义映射空间中所对应的语义概念，并按照步骤3进行升序排列后，返回所述语义概念所对应的图像。

本发明基于语义映射空间构建的图像检索方法的特点也在于，当有新的语义概念加入到语义映射空间时，所述步骤1的语义映射空间是按如下步骤进行更新：

步骤5.1、利用式(7)获得新的语义概念g_c+1所对应的语义概念原型p_c+1：

式(7)中：D_c+1,θ为语义概念g_c+1和语义概念g_θ之间的语义距离，θ∈{1,2,…,c}；

并利用式(8)获得新的语义概念原型矩阵P^*：

P^*＝P∪p_c+1 (8)

式(8)中：更新后得到的语义概念原型矩阵P^*＝{p₁,p₂,…p_c,p_c+1}；

步骤5.2、利用式(9)获得新的图像映射矩阵W^*：

式(9)中：y_i为第i幅训练图像所对应的语义概念索引号；x′_k为所述新的语义概念g_c+1对应的第k幅图像的高维特征向量，k∈{1,2,…,q}；由所述新的语义概念原型矩阵P^*和新的图像映射矩阵W^*获得更新的所述语义映射空间

与已有技术相比，本发明有益效果体现在：

1、本发明通过计算语义概念原型矩阵，将传统的语义概念转为语义概念原型存放于语义空间中；并学习图像映射矩阵，将图像映射到语义空间中所对应的语义概念原型周围，使得图像的语义概念和视觉特征映射到同一个的语义空间中，实现基于文本的图像检索和基于内容的图像检索的相结合，有效地集合两种不同的方法的优势；

2、本发明通过对语义概念原型以及图像映射矩阵的在线更新，将不断增加的语义概念以及所对应的新的图像内容有效地融入到所构建的语义空间中，对语义空间进行增量式地学习，加快了图像数据库更新的速度，有效地提高了图像检索的效率。

3、本发明提出的基于语义映射空间的图像检索方法，大大缩短了高层语义概念和低层视觉特征之间的“语义鸿沟”，有效地提高图像检索的准确性；同时可以很好地处理动态增长的网络图像数据，可以在当今互联网大数据时代进行很好地应用。

附图说明

图1为本发明图像检索方法的工作流程图；

图2为本发明方法以“均值精度“为度量标准，与其它多种检索方法进行量化对比分析的示意图；

图3为本发明方法以“中间均值精度“为度量标准，与其它多种检索方法进行量化对比分析的示意图；

具体实施方式

本实施例中，一种基于语义映射空间构建的检索方法主要用于互联网图像检索，应用于百度、谷歌、必应、雅虎等国内外互联网搜索引擎。本发明方法的特点是将语义概念和图像映射到同一个表示空间中，通过在该空间中度量语义概念和图像之间的距离来完成检索。

如图1所示，本发明方法进行图像检索时的主要步骤如下：

步骤1、学习语义映射空间

步骤1.1、从网络图像数据集中获取训练图像数据集与未标注图像数据集，训练图像数据集包括n幅训练图像；未标注图像数据集包括m幅未标注图像；获取与n幅训练图像相对应的语义概念，并令相同的语义概念用一个索引号来索引，从而获得语义概念集G＝{g₁,g₂,…,g_γ,…,g_c}，γ为索引号，γ∈{1,2,…c}，c表征语义概念的个数，c≤n；

语义映射空间是“离线学习”的形式学习的。在实际应用中，网络图像数据集的规模很大，需要尽可能多地包含各种图片，以满足各种用户的搜索需求。在本发明的实验测试中，使用Caltech-101数据集，Caltech-101数据集包含101类图像，共10000幅图像。c＝101。训练图像数据集的个数为n＝15×101＝1515。

训练图像数据集是已标注的数据，每幅图像对应一个语义概念，比如“狗”、“花”或者“树木”等等，而且，一个语义概念通常对应多幅图像。未标注图像数据集不包含语义概念。

步骤1.2、提取训练图像数据集和未标注图像数据集中每幅训练图像和未标注图像的高维特征向量，从而获得高维特征向量集X＝{x₁,…,x_n,x_n+1,…,x_n+m}；d表示训练图像和未标注图像的特征维数；

训练图像和未标注图像的高维特征主要由以下几种特征组成：64维的彩色直方图、144维彩色自相关图、1000维的“词袋”(Bag of Word)特征。所以，训练图像和未标注图像的视觉特征为1208维的特征向量，d＝1208。

步骤1.3、利用式(1)获得任意两个语义概念g_α和g_β之间的距离D_α,β，从而利用式(2)获得在语义概念集G中任意两个语义概念g_α和g_β之间距离D_α,β所组成的语义距离矩阵

式(1)中：α、β∈{1,2,…c}分别表示语义概念g_α和g_β的索引号；f(g_α)表示包含语义概念g_α的训练图像个数，f(g_β)表示包含语义概念g_β的训练图像个数；f(g_α,g_β)表示既包含语义概念g_α又包含语义概念g_β的训练图像个数；K表示网络图像数据集中所有网络图像的个数，在Caltech-101数据集中，K＝10000。

D_α,β表示两个语义概念之间的语义距离，式(1)中的语义距离计算方法名为“Flickr距离”；

步骤1.4、定义语义概念g_α在语义映射空间上的映射为语义概念原型由每一个语义概念所对应的语义概念原型构成语义概念原型矩阵P，

求解语义概念原型矩阵P的目标函数如式(3)所示

式(3)目标函数的意义在于使两个语义概念之间的语义距离和两个语义概念所对应的概念原型之间的距离尽可能相近，使语义概念原型能够“继承”语义概念之间的语义关系。

1.4.1、利用式(4)计算矩阵

式(4)中：为单位矩阵；表示全为1的列向量；

1.4.2、按照的分解形式对矩阵进行分解，获得矩阵V和Λ；其中，Λ为特征值对角矩阵，V为对应的特征向量矩阵。

1.4.3、采用式(5)获得语义概念原型矩阵P，从而获得每一个语义概念所对应的语义概念原型p₁,p₂,…,p_α,…,p_c：

步骤1.4.1、1.4.2以及1.4.3就是式(3)所示的优化函数的求解过程。所获得的语义概念原型是每一个语义概念在语义空间上映射，是一个c×1的向量，与图像内容相独立的。

步骤1.5、利用式(6)所示的目标函数学习图像映射矩阵W：

图像映射矩阵W将每一个训练图像映射到语义空间中，即式(6)目标函数的作用在于保持在语义空间中与x_i对应的语义概念原型距离较近。式(6)的目标函数通过式(7)进行闭合求解：

式(7)中：表示第i幅训练图像的高维特征向量；y_i∈{1,2,…,c}表示第i幅训练图像的语义概念的索引号；λ为正则化参数；

由语义概念原型矩阵P和图像映射矩阵W获得语义映射空间语义映射空间的学习过程至此结束。

步骤2、利用式(8)获得未标注图像数据集中任一未标注图像所对应的语义概念的索引号θ，从而估计每个未标注图像的语义概念：

式(8)中：x_t表示未标注图像数据集中任一未标注图像的高维特征向量；t∈(n+1,…,n+m)；将未标注图像在语义空间中的映射Wx_t与每一个语义概念原型求欧式距离，选择距离最小的那个语义概念原型所对应的语义概念作为未标注图像的索引；

步骤3、每个语义概念g_θ都对应一组图像，θ∈{1,2,…,c}；将g_θ对应的图像的高维特征向量组成向量集，所述向量集{x_θ1,x_θ2,…,x_θl}按照的大小进行图像升序排列；j∈{1,2,…,l}；

语义空间中每一个语义概念原型都对应多个图像，比如”苹果“这个语义概念肯定对应很多不同颜色，不同种类的苹果，不同拍摄效果的苹果；需要对概念原型对应的很多图像进行排序，当用户查询时，将排序结果返回给用户；

步骤4、输入待检索的文本查询词，找到文本查询词在语义映射空间中所对应的语义概念，并按照步骤3进行升序排列后，返回语义概念所对应的图像。

至此，本发明方法的离线学习阶段以及排序和查询阶段都结束了。但是，在互联网时代，新事物的产生总是太快，需要对本发明中语义空间中语义概念原型以及图像映射矩阵进行更新。

步骤5、当有新的语义概念加入到语义映射空间时，步骤1的语义映射空间按如下步骤进行更新：

步骤5.1、利用式(9)获得新的语义概念g_c+1所对应的语义概念原型p_c+1：

式(9)中：D_c+1,θ为语义概念g_c+1和语义概念g_θ之间的语义距离，按照式(1)进行求解，θ∈{1,2,…,c}；

并利用式(10)获得新的语义概念原型矩阵P^*：

P^*＝P∪p_c+1 (10)

式(10)中：更新后得到的语义概念原型矩阵P^*＝{p₁,p₂,…p_c,p_c+1}；当不断地更新以后，语义概念原型矩阵所包含语义概念原型会越来越多，以便应对用户不断变化的查询需求。

步骤5.2、利用式(11)获得新的图像映射矩阵W^*：

式(11)中：y_i为第i幅训练图像所对应的语义概念索引号；x′_k为新的语义概念g_c+1对应的第k幅图像的高维特征向量，k∈{1,2,…,q}；由新的语义概念原型矩阵P^*和新的图像映射矩阵W^*获得更新的语义映射空间式(11)所示更新方式是一种在线增量更新方法，是在原有基础上进行图像映射矩阵的计算，不需要从头计算，节省了大量计算时间。

图2为本发明方法以“均值精度“为度量标准，与其它多种检索方法进行量化对比分析的示意图；图3为本发明方法以“中间均值精度“为度量标准，与其它多种检索方法进行量化对比分析的示意图；图2和图3中，CSM表示本发明的图像检索方法；CCA表示基于典型相关分析的图像检索方法；SBIR表示基于语义的图像检索方法；CBIR表示基于图像内容的图像检索方法；CERM是一种与本发明相似的方法，主要区别在于CERM的语义距离矩阵D是通过随机相似度进行计算的，主要是为了验证本发明方法中语义关联的重要性。五种方法均在Caltech-101数据集上进行测试，从图2和图3来看，本发明方法的精确度明显高于其它方法，展现了本发明方法的优越性。

以上，仅为本发明较佳的一种实施方式，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或相关参数改变，都应涵盖在本发明的保护范围之内。

Claims (2)

1.一种基于语义映射空间的图像检索方法，其特征是按如下步骤进行：

步骤1、学习语义映射空间

步骤1.1、从网络图像数据集中获取训练图像数据集与未标注图像数据集，所述训练图像数据集包括n幅训练图像；所述未标注图像数据集包括m幅未标注图像；获取与所述n幅训练图像相对应的语义概念，并令相同的语义概念用一个索引号来索引，从而获得语义概念集G＝{g₁,g₂,...,g_γ,...,g_c}，γ为索引号，γ∈{1,2,…c}，c表征所述语义概念的个数，c≤n；

步骤1.2、提取所述训练图像数据集和所述未标注图像数据集中每幅训练图像和未标注图像的高维特征向量，从而获得高维特征向量集X＝{x₁,...,x_n,x_n+1,...,x_n+m}；d表示所述训练图像和未标注图像的特征维数；

步骤1.3、利用式(1)获得任意两个语义概念g_α和g_β之间的距离D_α,β，从而利用式(2)获得在所述语义概念集G中任意两个语义概念g_α和g_β之间距离D_α,β所组成的语义距离矩阵

$D_{\mathrm{\α},\mathrm{\β}}=\frac{max\left(\log f\right(g_{\mathrm{\α}}),\log f(g_{\mathrm{\β}}\left)\right)-\log f\left(g_{\mathrm{\α}},g_{\mathrm{\β}}\right)}{\log K-min\left(\log f\right(g_{\mathrm{\α}}),\log f(g_{\mathrm{\β}}\left)\right)}---\left(1\right)$

式(1)中：α、β∈{1,2,…c}分别表示语义概念g_α和g_β的索引号；f(g_α)表示包含语义概念g_α的训练图像个数，f(g_β)表示包含语义概念g_β的训练图像个数；f(g_α,g_β)表示既包含语义概念g_α又包含语义概念g_β的训练图像个数；K表示所述网络图像数据集中所有网络图像的个数；

步骤1.4、定义语义概念g_α在所述语义映射空间上的映射为语义概念原型由每一个语义概念所对应的语义概念原型构成语义概念原型矩阵P，

1.4.1、利用式(3)计算矩阵

$\stackrel{\‾}{D}=-\frac{1}{2}(I-\frac{1}{c}{11}^T)D(I-\frac{1}{c}{11}^T)---\left(3\right)$

式(3)中：为单位矩阵；表示全为1的列向量；

1.4.2、按照的分解形式对矩阵进行分解，获得矩阵V和Λ；Λ为特征值对角矩阵，V为对应的特征向量矩阵；

1.4.3、采用式(4)获得语义概念原型矩阵P，从而获得每一个语义概念所对应的语义概念原型p₁,p₂,...,p_α,...,p_c：

$P=\sqrt{\mathrm{\Λ}}V---\left(4\right)$

步骤1.5、利用式(5)学习图像映射矩阵W：

$W=\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{p}_{y_i}{x}_i^T\right){(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i{x}_i^T+\mathrm{\λ}I)}^{-1}---\left(5\right)$

式(5)中：表示第i幅训练图像的高维特征向量；y_i∈{1,2,…,c}表示第i幅训练图像的语义概念的索引号；λ为正则化参数；

由所述语义概念原型矩阵P和图像映射矩阵W获得所述语义映射空间

步骤2、利用式(6)获得所述未标注图像数据集中任一未标注图像所对应的语义概念的索引号θ，从而估计每个未标注图像的语义概念：

$\mathrm{\θ}=\arg \underset{\mathrm{\θ}\∈\{1,2,...,c\}}{min}\left|\right|p_{\mathrm{\θ}}-{\mathrm{Wx}}_t|{|}_2^2---\left(6\right)$

式(6)中：x_t表示所述未标注图像数据集中任一未标注图像的高维特征向量；t∈(n+1,…,n+m)；

步骤3、将语义概念g_θ所对应的未标注图像的高维特征向量以及未标注图像的高维特征向量组成向量集{x_θ1,x_θ2,...,x_θl}，并将所述向量集{x_θ1,x_θ2,...,x_θl}按照的大小进行升序排列；j∈{1,2,…,l}；

步骤4、输入待检索的文本查询词，找到所述文本查询词在语义映射空间中所对应的语义概念，并按照步骤3进行升序排列后，返回所述语义概念所对应的图像。

2.根据权利要求1所述的基于语义映射空间的图像检索方法，其特征是，当有新的语义概念加入到语义映射空间时，所述步骤1的语义映射空间是按如下步骤进行更新：

步骤2.1、利用式(7)获得新的语义概念g_c+1所对应的语义概念原型p_c+1：

$p_{c+1}=\arg \underset{p}{min}\underset{\mathrm{\θ}=1}{\overset{c}{\Σ}}{\left(\right||p-p_{\mathrm{\θ}}|{|}_2^2-{\left(D_{c+1,\mathrm{\θ}}\right)}^2)}^2---\left(7\right)$

式(7)中：D_c+1,θ为语义概念g_c+1和语义概念g_θ之间的语义距离，θ∈{1,2,…,c}；

并利用式(8)获得新的语义概念原型矩阵P^*：

P^*＝P∪p_c+1 (8)

式(8)中：更新后得到的语义概念原型矩阵P^*＝{p₁,p₂,…p_c,p_c+1}；

步骤2.2、利用式(9)获得新的图像映射矩阵W^*：

$W^{*}=({\mathrm{\Σ}}_{i=1}^n{p}_{y_i}{x_i}^T+\underset{k=1}{\overset{q}{\mathrm{\Σ}}}{p}_{c+1}{x}_k^{\′T}){({\mathrm{\Σ}}_{i=1}^n{x}_i{x_i}^T+\underset{k=1}{\overset{q}{\mathrm{\Σ}}}{x}_k^{\′}{x}_k^{\′T})}^{-1}---\left(9\right)$

式(9)中：y_i为第i幅训练图像所对应的语义概念索引号；x′_k为所述新的语义概念g_c+1对应的第k幅图像的高维特征向量，k∈{1,2,…,q}；由所述新的语义概念原型矩阵P^*和新的图像映射矩阵W^*获得更新的所述语义映射空间