CN108897791B - 一种基于深度卷积特征和语义相似度量的图像检索方法 - Google Patents

Abstract

本发明涉及一种基于深度卷积特征和语义相似度量的图像检索方法，属于计算机视觉、图像处理、图像理解等相关领域。首先针对图像集，利用已训练好的深度卷积神经网络模型提取每一幅图像的卷积层特征，对所提的卷积层特征进行聚合表示，然后采用AFS框架对其进行语义描述，在此基础上定义一种基于语义相似的图像相似度度量方法，并依此对图像库中的图像的相似性进行计算，最终通过对相似性的排序完成图像检索任务。本发明能有效解决当前基于底层视觉特征的传统检索方法检索缺乏语义、准确率低的问题，更好地满足用户对基于内容的图像检索的实际需求。

Description

一种基于深度卷积特征和语义相似度量的图像检索方法

技术领域

本发明涉及一种基于深度卷积特征和语义相似度量的图像检索方法，属于计算机图像检索技术领域。

背景技术

基于内容的图像检索(Content based Image Retrieval,CBIR)一直是计算机视觉领域一直备受关注的研究热点之一。随着互联网时代多媒体信息的剧增，如何从涵盖各类内容的海量图像数据中快速地、准确地检索出符合用户要求的图像，是一个极具挑战的任务。在CBIR中，图像特征提取和图像的相似度度量是两个关键环节。

近年来，随着深度学习技术在图像识别领域的成功应用，卷积神经网络(CNNs)作为一种特征提取方法来获得具有高层语义深度卷积特征，从而达到提高图像检索准确率的目的。但由于该方法要求大量的训练图像，当图像规模较小时，或者当所用以训练模型的图像领域和图像检索的图像领域差别较大时，相比在图像识别领域的卓越表现，CNNs在图像检索应用中还有很大改进和提升的空间。

此外，针对图像相似性度量，传统的图像检索方法大多采用较为常用的距离公式，比如Euclidean、City-Block、Cosine距离等，在所提取的全图像特征空间上，对图像点对之间的距离进行计算，以此得到图像之间的相似性排序来完成检索。显然，这种方法仅考虑图像两两之间的相似关系而忽略图像内部相似结构，不能准确而全面的描述图像之间真正的相似性。

发明内容

本发明提供一种基于深度卷积特征和语义相似度量的图像检索方法，用于提高CBIR中基于传统的图像检索方法的准确率，可在各类规模、涵盖人脸、自然、服饰等图像领域的图像数据集上有效提高检索准确率。

针对传统图像检索方法中特征提取及图像距离度量存在的局限性，本发明通过深度卷积神经网络提取的高层图像特征，并通过嵌入AFS语义表示将原图像特征映射到一个更具高层语义的特征空间，在此基础上本方法代替了传统基于点对的距离度量方法，利用图像近邻和图像近邻之间的语义相似关系来定义两个图像间的相似度，进一步挖掘图像数据隐含的流行结构，从而准确地刻画图像之间的相似性，以达到提高图像检索的准确率的目的。

本发明的具体技术方案是：一种基于深度卷积特征和语义相似度量的图像检索方法，利用已训练好的深度卷积神经网络模型VGG-verydeep-16提取图像的卷积层特征，并通过Sum-pooling方式对所提的卷积层特征进行聚合表示，然后采用AFS框架对其进行语义描述，在此基础上定义一种基于语义相似的图像相似度度量方法，并依此对图像库中的图像的相似性进行计算，最终通过对相似性的排序完成图像检索任务。

假设图像集为X＝{x₁,x₂,…,x_N}中有N个图像样本，所述图像检索方法的具体步骤如下：

Step1、图像特征提取；

针对图像集中的每一幅图像执行Step1.1-Step1.4，具体步骤为：

Step1.1、归一化图像为所用网络模型适合的大小(不同的网络模型所要求输入的图像大小不同)；

Step1.2、将将归一化后的图像送入VGG-verydeep-16网络；

Step1.3、提取VGG-verydeep-16网络中pool5层H*W*L维的卷积特征；

Step1.4、基于Sum-pooling方式对H*W*L维的卷积特征进行聚合并形成D维特征，得到N*D维的原始图像特征矩阵；

Step1.5、利用PCA将原始N*D图像特征矩阵维数降至N*d维；

Step2、图像特征的语义化；

所述步骤Step1中除VGG-verydee-16网络模型外，根据实际的计算机性能也可利用其他更深度更深机构更复杂的网络模型，如VGG-verydeep-19等，做出各种变化；特征提取时，也可提取CNNs的其它层卷积层特征、全链接层特征，或者多层特征融合等做出各种变化；所用特征向量聚合方法同时除Sum-pooling外，也可采用其它更有效的向量聚合方法做出各种变化。

所述步骤Step2的具体步骤为：

Step2.1、将每个属性空间(即特征矩阵的每一列)采用线性变换的方式将属性值归一化到[0,1]区间，构成图像特征空间F＝{f₁,f₂,…,f_d},其中f_i为N*1的向量，表示N个图像的第i个属性值。

Step2.2、基于公理模糊集理论(Axiomatic Fuzzy Set,AFS)的特征语义表示

Step2.2.1、构造简单语义集M；

在特征空间F上构造一个简单语义概念集M＝{m_i,j|1≤i≤d,1≤j≤3}，其中m_i,1,m_i,2,m_i,3分别表示特征f_i上的“小”、“中”和“大”的概念，其权重函数分别为ρ_mi1＝1-f_i，ρ_mi2＝min(2f_i,2(1-f_i))和ρ_mi3＝f_i。

所述步骤Step2.2.1中的语义概念划分“小”、“中”和“大”可根据实际的特征含义，理解为“低、少”、“适中、合适”以及“高、多”等多种语义概念；同时，该语义划分不仅限于“小”、“中”和“大”三种语义概念的划分，可根据实际进行细分。

Step2.2.2、在简单语义的基础上构造复杂语义集合Υ；

在简单概念集M上,对两个或两个以上的简单语义进行合取或者析取运算，即逻辑运算“and”或者“or”，即可生成一个新的模糊语义集A。对于任意一个A_r,r∈R通过下式构造复杂语义集Υ：

Step2.2.3、假设M是一个非空集合，用EM^*来表示图像集X在简单概念集M上构造的所有语义的总和，表示如下：

Step2.3、语义隶属度计算

(1)语义隶属程度

在AFS理论框架下，每个语义是否适合图像的描述，是根据图像集的具体属性值的分布决定的，即通过语义隶属程度来体现。假设A是图像集X上的任一模糊语义集合，对于

x∈X，A^τ(x)为图像x属于A的程度，程度高表示该语义更适合描述该图像，具体表示如下：

其中，m为M集合中的一个简单概念，τ_m(x,y)表示图像x属于概念m的程度小于或等于图像y属于m的程度，即A^τ(x)是符合τ_m(x,y)条件的所有图像y的集合，是图像集X的一个子集。

(2)模构建模糊语义隶属度函数

任意模糊概念ξ∈EM*的隶属度函数，按照如下公式计算：

其中，N_u表示图像的观测次数，μ_ξ(x)即可称为图像x属于概念ξ的隶属度。

Step2.4、构造每个图像的语义表示；

Step2.4.1、根据公式(4)计算每个图像x∈X属于每个简单语义的隶属度；

Step2.4.2、设定阈值ε筛选并构造图像x简单语义集

Step2.4.3、将筛选得到的简单语义，通过

最终得到图像x的语义描述

Step3、计算图像之间的语义相似度

定义图像x和图像y之间的语义相似度为：

其中，

和

分别是通过Step2.4.3得到的图像x和y的语义描述，x^k和y^k分表表示图像x和图像y的第k个最近邻图像。其含义为：当用图像x与y的语义描述分别来描述对方及对方的k近邻图像，其描述的程度(隶属度)越高，图像x与y越相似。

Step4、通过Step3即可计算得到图像集X＝{x₁,x₂,…,x_N}中所有图像和图像之间的相似度矩阵S＝{s_i,j|i,j＝1,2,...,N},其中s_i,j表示第i幅图像和第j幅图像的相似度。当以图像集中的第i幅图像作为查询图像时，即可按照S中第i行的值由大到小排序，并依次返回下标索引所对应的图像，越排在前面的图像表示与查询图像越相似。至此，检索任务完成。

本发明的有益效果是：

本发明提出的检索方法所采用的深度卷积特征具有极强的鲁棒性，所提出的距离度量方法可以很好地体现图像之间的语义相似性，该方法在检索过程中不需要图像分割以及图像分类训练过程，尤其当用户需要返回较多数量的相似图像时，该方法可以取得较高的检索准确利率。

附图说明

图1为本发明提出的图像检索方法流程图；

具体实施方式

一种基于深度卷积特征和语义相似度量的图像检索方法，针对图像集，利用已训练好的深度卷积神经网络模型提取每一幅图像的卷积层特征，对所提的卷积层特征进行聚合表示，然后采用AFS框架对其进行语义描述，在此基础上定义一种基于语义相似的图像相似度度量方法，并依此对图像库中的图像的相似性进行计算，最终通过对相似性的排序完成图像检索任务。

假设图像集为X＝{x₁,x₂,…,x_N}中有N个图像样本，所述图像检索方法的具体步骤如下：

Step1、图像特征提取：

针对图像集中的每一幅图像执行Step1.1-Step1.4，具体步骤为：

Step1.1、将图像归一化为所用网络模型适合的大小；

Step1.2、将归一化后的图像送入VGG-verydeep-16的网络；

Step1.3、提取VGG-verydeep-16网络中pool5层H*W*L维的卷积特征；

Step1.4、基于Sum-pooling方式对H*W*L维的卷积特征进行聚合并形成D维特征，得到N*D维的原始图像特征矩阵；

Step1.5、利用PCA将N*D维的原始图像特征矩阵维数降至N*d维；

Step2、图像特征的语义化：

Step2.1、将图像集的每个属性空间采用线性变换的方式将属性值归一化到[0,1]区间，构成图像特征空间F＝{f₁,f₂,…,f_d}，其中f_i为N*1的向量，表示N个图像的第i个属性值；

Step2.2、基于公理模糊集理论的特征语义表示：

Step2.2.1、构造简单语义集M；

在特征空间F上构造一个简单语义概念集M＝{m_i,j|1≤i≤d,1≤j≤3}，其中m_i,1,m_i,2,m_i,3分别表示特征f_i上的“小”、“中”和“大”的概念，其权重函数分别为

和

Step2.2.2、在简单语义的基础上构造复杂语义集合Υ；

在简单概念集M上，对两个或两个以上的简单语义进行合取或者析取运算，即可生成一个新的模糊语义集A，对于任意一个A_r,r∈R通过下式构造复杂语义集Υ：

Step2.2.3、假设M是一个非空集合，用EM^*来表示图像集X在简单概念集M上构造的所有语义的总和，表示如下：

Step2.3、语义隶属度计算：

(1)语义隶属程度：

假设A是图像集X上的任一模糊语义集合，对于

x∈X，A^τ(x)为图像x属于A的程度，程度越高表示该语义越适合描述该图像，具体表示如下：

其中，m为M集合中的一个简单概念，τ_m(x,y)表示图像x属于概念m的程度不大于图像y属于m的程度，即A^τ(x)是符合τ_m(x,y)条件的所有图像y的集合，是图像集X的一个子集；

(2)模构建模糊语义隶属度函数：

任意模糊概念ξ∈EM^*的隶属度函数，按照如下公式计算：

其中，N_u表示图像的观测次数，μ_ξ(x)即可称为图像x属于概念ξ的隶属度；

Step2.4、构造每个图像的语义表示：

Step2.4.1、根据公式(4)计算每个图像x∈X属于每个简单语义的隶属度；

Step2.4.2、设定阈值ε筛选并构造图像x简单语义集

Step2.4.3、将筛选得到的简单语义，通过

最终得到图像x的语义描述

Step3、计算图像之间的语义相似度：

定义图像x和图像y之间的语义相似度为：

其中，

和

分别是通过Step2.4.3得到的图像x和y的语义描述，x^k和y^k分表表示图像x和图像y的第k个最近邻图像，当用图像x与y的语义描述分别来描述对方及对方的k近邻图像，其描述的程度越高，图像x与y越相似；

Step4、通过Step3即可计算得到图像集X＝{x₁,x₂,…,x_N}中所有图像和图像之间的相似度矩阵S＝{s_i,j|i,j＝1,2,...,N},其中s_i,j表示第i幅图像和第j幅图像的相似度，当以图像集中的第i幅图像作为查询图像时，即可按照S中第i行的值由大到小排序，并依次返回下标索引所对应的图像，越排在前面的表示相似度越高。

实施例1：如图1所示，一种基于深度卷积特征和语义相似度量的图像检索方法，本实施例以1000幅图像构成的图像集为例，每一幅图像都分别作为查询图像，通过求得每一幅查询图像与数据库中其他图像的相似度来完成检索。具体过程包括：提取所有图像的深度卷积特征及约简(Step1)，对图像特征进行AFS语义化描述(Step2)，计算图像之间的语义相似度(Step3)，根据相似度进行排序并完成图像的检索(Step4)。

所述图像检索方法的具体步骤如下：

Step1、图像特征提取。

Step1.1、将图像的尺寸归一化为224*224的大小；

Step1.2、利用MatConvNet工具箱，将图像作为VGG-verydeep-16网络模型的输入，得到36层(卷积层和全链接层)的图像特征；

Step1.3、提取7*7*512维的pool5(第31层)卷积特征；

Step1.4、将上述特征看作512维的大小为7*7的特征图组成，基于Sum-pooling方式将每一个7*7的特征图用其49个元素的和代替，即形成一个512维的特征特征向量；

Step1.5、当每一幅图像均进行Step1.1-Step1.4的操作后，即可生成1000*512维的特征矩阵。采用PCA方法对该矩阵进行约简，假设约简后的维数为20维(该维数可由PCA保留的能量比例来控制)，即最终得到的特征矩阵大小为1000*20，每一行为每个图像的特征向量。

Step2、图像特征的语义化描述；

Step2.1、利用线性变换的方式将Step1得到的特征矩阵(图像特征空间)中的每一列(属性)的值归一化到[0,1]区间，变换公式为f_i＝(f_i-f_i ^min)/(f_i ^max-f_i ^min)，其中f_i表示当前图像的第i列属性值,f_i ^max和f_i ^min分别所有图像在属性f_i上的最大值和最小值。

Step2.2、基于AFS的特征语义表示

Step2.2.1、构造简单语义集；

在图像特征空间上构造一个简单语义概念集M＝{m_i,j|1≤i≤20,1≤j≤3}，其中m_i,1,m_i,2,m_i,3分别表示特征f_i上的“小”、“中”和“大”的概念。其权重函数分别为

和

即假设某图像的第i个属性值为0.7，那么对于在该属性上生成的“小”、“中”和“大”三个概念的权重分别为0.3，0.6和0.7。

Step2.2.2、计算每个简单概念的语义隶属度，具体计算方式如下：

假设A是图像集X上的任一模糊语义集合，假设图像x的简单语义为m,m∈A，那么该图像属于概念m的隶属度为：

其中，A^τ(x)为一个图像集合u，u中的所有图像属于概念m的程度要小于图像x属于概念m的程度，ρ_m(u)为u中的图像在概念m上的权重函数，分母上的N_u即为A^τ(x)集合中图像的个数，分子上的N_u为所有图像的个数1000。

Step2.3、构造每个图像的语义表示；

Step2.3.1、设定阈值ε＝0.3,为每一幅图像筛选出更适合描述它的简单语义集，可用

来表示。

Step2.3.3、将筛选得到的简单语义，通过

构造其复杂语义，最终得到图像x的语义描述

假设图像x筛选出的简单语义为m1,3、m2,1、m6,2、m9,3,那么对于图像x最终生成的语义为m_1,3m_2,1m_6,2m_9,3。

Step3、计算图像之间的语义相似度

Step3.1、在原1000*20维的特征空间上，利用欧式距离计算出每个图像的K个近邻图像。

Step3.2、利用公式

计算图像x和y之间的语义相似度，其中，

和

分别是通过Step2得到的图像x和y的语义描述，x^k和y^k分表表示图像x和图像y的第k个最近邻图像。

为图像y的第k个近邻图像属于x图像的语义描述的隶属度，

为图像x的第k个近邻图像属于y图像的语义描述的隶属度，可通过公式(4)计算而得。

Step4、上述步骤完成后即可得到1000*1000为的相似度矩阵，该矩阵中的第i行第j列的元素值表示图像集中第i幅图像和第j幅图像之间的相似度。当以图像集中的第i幅图像作为查询图像时，即可按照第i行的值由大到小排序，并依次返回下标索引所对应的图像，越排在前面的图像表示与查询图像越相似。至此，检索任务完成。

实际应用中，一般当K>10时即可得到较好的检索结果，也可通过对阈值ε进行调整来提高检索准确率。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (1)

1.一种基于深度卷积特征和语义相似度量的图像检索方法，其特征在于：针对图像集，利用已训练好的深度卷积神经网络模型提取每一幅图像的卷积层特征，对所提的卷积层特征进行聚合表示，然后采用AFS框架对其进行语义描述，在此基础上定义一种基于语义相似的图像相似度度量方法，并依此对图像库中的图像的相似性进行计算，最终通过对相似性的排序完成图像检索任务；

假设图像集为X＝{x₁,x₂,…,x_N}中有N个图像样本，所述图像检索方法的具体步骤如下：

Step1、图像特征提取：

针对图像集中的每一幅图像执行Step1.1-Step1.4，具体步骤为：

Step1.1、将图像归一化为所用网络模型适合的大小；

Step1.2、将归一化后的图像送入VGG-verydeep-16的网络；

Step1.3、提取VGG-verydeep-16网络中pool5层H*W*L维的卷积特征；

Step1.4、基于Sum-pooling方式对H*W*L维的卷积特征进行聚合并形成D维特征，得到N*D维的原始图像特征矩阵；

Step1.5、利用PCA将N*D维的原始图像特征矩阵维数降至N*d维；

Step2、图像特征的语义化：

Step2.1、将图像集的每个属性空间采用线性变换的方式将属性值归一化到[0,1]区间，构成图像特征空间F＝{f₁,f₂,…,f_d}，其中f_i为N*1的向量，表示N个图像的第i个属性值；

Step2.2、基于公理模糊集理论的特征语义表示：

Step2.2.1、构造简单语义集M；

在特征空间F上构造一个简单语义概念集M＝{m_i,j|1≤i≤d,1≤j≤3}，其中m_i,1,m_i,2,m_i,3分别表示特征f_i上的“小”、“中”和“大”的概念，其权重函数分别为

和

Step2.2.2、在简单语义的基础上构造复杂语义集合Υ；

在简单概念集M上，对两个或两个以上的简单语义进行合取或者析取运算，即可生成一个新的模糊语义集A，对于任意一个A_r,r∈R通过下式构造复杂语义集Υ：

Step2.2.3、假设M是一个非空集合，用EM^*来表示图像集X在简单概念集M上构造的所有语义的总和，表示如下：

Step2.3、语义隶属度计算：

(1)语义隶属程度：

假设A是图像集X上的任一模糊语义集合，对于

x∈X，A^τ(x)为图像x属于A的程度，程度越高表示该语义越适合描述该图像，具体表示如下：

其中，m为M集合中的一个简单概念，τ_m(x,y)表示图像x属于概念m的程度不大于图像y属于m的程度，即A^τ(x)是符合τ_m(x,y)条件的所有图像y的集合，是图像集X的一个子集；

(2)模构建模糊语义隶属度函数：

任意模糊概念ξ∈EM^*的隶属度函数，按照如下公式计算：

其中，N_u表示图像的观测次数，μ_ξ(x)即可称为图像x属于概念ξ的隶属度；

Step2.4、构造每个图像的语义表示：

Step2.4.1、根据公式(4)计算每个图像x∈X属于每个简单语义的隶属度；

Step2.4.2、设定阈值ε筛选并构造图像x简单语义集

Step2.4.3、将筛选得到的简单语义，通过

最终得到图像x的语义描述

Step3、计算图像之间的语义相似度：

定义图像x和图像y之间的语义相似度为：

其中，

和

分别是通过Step2.4.3得到的图像x和y的语义描述，x^k和y^k分表表示图像x和图像y的第k个最近邻图像，当用图像x与y的语义描述分别来描述对方及对方的k近邻图像，其描述的程度越高，图像x与y越相似；

Step4、通过Step3即可计算得到图像集X＝{x₁,x₂,…,x_N}中所有图像和图像之间的相似度矩阵S＝{s_i,j|i,j＝1,2,...,N},其中s_i,j表示第i幅图像和第j幅图像的相似度，当以图像集中的第i幅图像作为查询图像时，即可按照S中第i行的值由大到小排序，并依次返回下标索引所对应的图像，越排在前面的表示相似度越高。

Images