CN105260385A - 一种图片检索方法 - Google Patents

Abstract

本发明涉及图像处理领域，尤其涉及一种图片检索方法。该检索方法通过提取图片的视觉特征和语义特征来得到所需要的图片。其中，视觉特征包括颜色特征和纹理特征，语义特征主要解决的是视觉特征不能反映的高层的特征，利用这几个特征的融合，对被标记的图片进行检索，当输入的检索关键字与图片的标签的对应程度相似，就可以筛选出期望得到的图片。

Description

一种图片检索方法

技术领域

本发明涉及图像处理领域，尤其涉及一种图片检索方法。

背景技术

手机已发展成人们必不可少的工具，在出去旅游的时候，遇到新鲜好玩的事物都会拍照留念或者大家聚到一起都会自然地自拍几张纪念在一起的时光，现在拍照不仅在年轻人中流行，越来越多的老年人也玩起智能手机，也会用拍照功能，存储在手机里的照片越来越多。当某天心血来潮想翻看一张照片时，还需要在几百张甚至上千张照片中一一查找，比较繁琐，那么我们就需要解决这个问题，如果我们记得那张图片上有什么标志性特征，我们就可以用这个标志性特征作为关键字搜索，系统自动筛选出具有这个特征的图片，我们就可以从筛选出来的一些图片中选择我们想看的那张图片，大大减少了我们查找的工作量。在这个快节奏的时代，时间就是金钱，所以省时的东西往往比较受欢迎。

当存储的图片很多，现有的手机在想查找某一张图片时需要慢慢查找，这样就比较繁琐，所以亟需一个新的图片快速检索方法。

发明内容

鉴于上述问题，本发明提供一种图片检索方法。

一种图片检索方法，应用于具有图片存储功能的移动终端中，其特征在于，包括步骤：

标记所述移动终端中的每一张图片；

于所述移动终端中输入视觉特征和语义特征；

搜索出符合所述视觉特征和所述语义特征的图片集，以检索得到图片。

上述的方法，其中，所述方法包括：

搜索出符合所述视觉特征的第一图片集；

于所述第一图片集中搜索出符合所述语义特征的第二图片集，以检索得到所述图片。

上述的方法，其中，所述方法还包括：

搜索出符合所述语义特征的第一图片集；

于所述第一图片集中搜索出符合所述视觉特征的第二图片集，以检索得到所述图片。

上述的方法，其特征在于，搜索所述第一图像集的方法为：

输入查询标签l_q；

于所述移动终端中搜索与所述查询标签l_q相似的所述第一图片集X＝{x₁,x₂,…,x_n}；

其中，所述第一图像集中的任意两图片之间相关性分值接近，且相关性分值的计算公式为：

$S_{ij}=\exp (-\frac{\left|\right|x_i-x_j|{|}^2}{2{\mathrm{\σ}}^2})$

其中，S为相似性矩阵，S_ij表示图像x_i和x_j之间的视觉相似性，x_i和x_j表示所述第一图片集中任意两图片的低层特征向量，‖·‖²表示l₂范数，半径参数σ表示图片x_i和x_j之间欧式距离的中值。

上述的方法，其中，所述方法还包括：

于所述第一图片集中搜索与所述查询标签lq相似的图片标签集L_i＝{l₁,l₂,…,l_im}；

其中，所述第一图片集中任一图片的标签集计算公式：

${\mathrm{sem}}_i=sem(l_q,L_i)=\frac{1}{m}\underset{t\∈L_i}{\Σ}s(l_q,l)$

m是所述第一图片集中任一图片的标签数目，l是标签集中任一标签。

上述的方法，其特征在于，所述图片标签集中任一标签与所述查询标签具有所述语义特征的相关性；

其中，所述语义特征相关性的计算公式为：

$s(l_i,l_j)=\exp \left\{-\frac{max\[\log c\left(l_i\right),\log c\left(l_j\right)\]-\log c(l_i,l_j)}{log\left(G\right)\min \[\log c\left(l_i\right),\log c\left(l_j\right)}\right\}$

l_i和l_j表示所述标签集中的任意两标签，c(l_i)和c(l_j)指分别标注有l_i和l_j的图像数目，c(l_i，l_j)指同时标注有l_i和l_j的图像数目，G指所述移动终端中所有图像数目。

上述的方法，其中，所述方法还包括：

对所述第二图片集中任一图片进行相似性计算，以检索得到所述图片；

其中，相似性计算的公式为：

$Q\left(r\right)=\underset{i,j=1}{\overset{n}{\Σ}}{S}_{ij}{(\frac{r_i}{\sqrt{D_{ii}}}-\frac{r_j}{\sqrt{D_{jj}}})}^2+\mathrm{\λ}\underset{i=1}{\overset{n}{\Σ}}{(r_i-{\mathrm{sem}}_i)}^2$

其中，r_i是图像x_i和查询标签l_q的相关性分值，D_ii＝Σⁿ _j＝1S_ij。

上述的方法，其中，所述视觉特征包括颜色特征、形状特征和纹理特征。

综上所述，本发明提出了一种图片检索方法，通过提取图片的视觉特征和语义特征来得到所需要的图片。其中，视觉特征包括颜色特征和纹理特征，语义特征主要解决的是视觉特征不能反映的高层的特征，利用这几个特征的融合，对被标记的图片进行检索，当输入的检索关键字与图片的标签的对应程度相似，就可以筛选出期望得到的图片。

附图说明

参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的限制。

图1是本发明检索图片的流程图。

具体实施方式

为了使本发明的技术方案及优点更加易于理解，下面结合附图作进一步详细说明。应当说明，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

目前，一般用户手机里的图片非常多，用户需要查找一张图片时，可能会花费很多时间。现在的手机所实现的仅仅是按时间排序或者其他标签来排序，需要查找图片时只能一张张的翻看，或者在一个总体的视图下慢慢查看，当图片非常多时，这就相对来说比较繁琐。

本发明的中心思想是：在手机相册自动标注里面的每一张照片，这样相册里的每一张照片都有对应的几个标签，然后通过检索关键字与相片的标签的对应程度，筛选出期望得到的相片。

如图1所示，本发明设计的一种图片检索方法，该方法应用于具有图片存储功能的移动终端内，该方法包括有以下步骤：

对该移动终端内的每一张图片都进行标记，标记是在每一张图片上设置若干的标签，标签是标记这些图片的特征，比如该图片上的颜色、纹理或者是形状、日期之类的。这个可以根据移动终端自身的功能进行设定。

根据这些标签，在移动终端内输入查询标签，查询标签就是类似于输入关键字，然后根据查询标签的的视觉特征，搜索出符合视觉特征的第一图片集，然后在该第一图片集中搜索符合语义特征的第二图片集，这样就得到需要检索的图片了。

或者是，在移动终端内输入查询标签，查询标签就是类似于输入关键字，然后根据查询标签的的语义特征，搜索出符合语义特征的第一图片集，然后在该第一图片集中搜索符合视觉特征的第二图片集，这样就得到需要检索的图片了。

具体的，在移动终端内搜索第一图片集的方法为：

首先是输入查询标签l_q，根据查询标签l_q给出的标签内容去移动终端中找出类似的标签，有这些标签的图片统一为第一图片集X＝{x₁,x₂,…,x_n}，因为第一图片集中任意两图片之间的视觉特征是相似的，即第一图像集中的任意两图片之间相关性分值接近，这样就可以根据相关性分值的计算公式计算得出那些图片了，具体的相关性分值的计算公式为：

$S_{ij}=\exp (-\frac{\left|\right|x_i-x_j|{|}^2}{2{\mathrm{\σ}}^2})$

其中，S为相似性矩阵，S_ij表示图像x_i和x_j之间的视觉相似性，x_i和x_j表示第一图片集中任意两图片的低层特征向量，‖·‖²表示l₂范数，半径参数σ表示图片x_i和x_j之间欧式距离的中值。

在本发明中，在第一图片集中与查询标签l_q相似的所有标签为L_i＝{l₁,l₂,…,l_im}，该标签L_i＝{l₁,l₂,…,l_im}的计算公式为：

${\mathrm{sem}}_i=sem(l_q,L_i)=\frac{1}{m}\underset{t\∈L_i}{\Σ}s(l_q,l)$

m是所述第一图片集中任一图片的标签数目。

然后根据查询标签的语义特征对第一图片集进行筛选，这样，图片标签集中任一标签与查询标签具有语义特征的相关性，最后筛选出来的图片就是想要检索的图片了。在进行语义筛选过程中，图片标签集中任一标签与查询标签具有语义特征的相关性，这个可以通过语义特征相关性的计算公式计算得出：

$s(l_i,l_j)=\exp \left\{-\frac{max\[\log c\left(l_i\right),\log c\left(l_j\right)\]-\log c(l_i,l_j)}{log\left(G\right)-\min \[\log c\left(l_i\right),\log c\left(l_j\right)\]}\right\}$

l_i和l_j表示所述标签集中的任意两标签，c(l_i)和c(l_j)指分别标注有l_i和l_j的图像数目，c(l_i，l_j)指同时标注有l_i和l_j的图像数目，G指移动终端中所有图像数目。

最后对两种类型的特征进行融合，再对图片的相似性进行计算，可以快速搜索得到需要检索的图片了。

下面结合具体实施例进行说明

如图1所示，一种图片检索的方法，图片的视觉特征在某些程度下能够反映图片的内容，可以反映出图片所表达的意义，视觉特征包括很多：形状、颜色以及纹理等等特征，一般随着具体应用的不同，所选取的视觉特征也有所不同。由于图片的颜色具有缩放、平移和旋转不变性，所以在图片的检索中具有非常广泛的应用。

图片可以通过将像素映射到量化的颜色空间中并计算颜色特征来进行索引。纹理特征是图片的另一个重要的特征，它反映了图片的灰度统计信息和图片的空间分布信息以及其结构的信息，因此该特征在图片分类中也得到了广泛的应用。纹理特征在图片检索中最常用的是频域谱特征。文中根据我们将两种视觉特征融合来进行图片的筛选。具体算法如下：已知查询标签为l_q，设X＝{x₁,x₂,…,x_n}为与查询标签相关的图片集，视觉上看起来相近的图片之间相关性分值应该接近。所以设S为相似性矩阵，S_ij表示图片x_i和x_j之间的视觉相似性，它可由高斯核函数来计算：

$S_{ij}=\exp (-\frac{\left|\right|x_i-x_j|{|}^2}{2{\mathrm{\σ}}^2})$

其中x_i和x_j表示两幅图片的低层特征向量，‖·‖²表示l₂范数，半径参数σ表示图片间欧式距离的中值。

语义特征主要解决的是视觉特征不能反映的高层的特征，语义特征定义为图片x_i的标签集和查询标签l_q的相似性，L_i＝{l₁,l₂,…,l_im}是和图片x_i对应的标签集，由下式计算：

${\mathrm{sem}}_i=sem(l_q,L_i)=\frac{1}{m}\underset{t\∈L_i}{\Σ}s(l_q,l)$

其中：

m是图片x_i的标签数目，

$s(l_i,l_j)=\exp \left\{-\frac{max\[\log c\left(l_i\right),\log c\left(l_j\right)\]-\log c(l_i,l_j)}{log\left(G\right)-\min \[\log c\left(l_i\right),\log c\left(l_j\right)\]}\right\}$

表示的是标签l_i和l_j之间的语义相关性，

c(l_i)和c(l_j)指分别标注有l_i和l_j的图片数目，c(l_i,l_j)指同时标注有l_i和l_j的图片数目，G指该移动终端中所有图片的数目。

将上述两种类型的特征融合，再对图片的相似性进行计算，就得到一种CTSA算法，该CTSA算法通过一个归一化的框架将这些特征组合在一起，损失函数定义为：

$Q\left(r\right)=\underset{i,j=1}{\overset{n}{\Σ}}{S}_{ij}{(\frac{r_i}{\sqrt{D_{ii}}}-\frac{r_j}{\sqrt{D_{jj}}})}^2+\mathrm{\λ}\underset{i=1}{\overset{n}{\Σ}}{(r_i-{\mathrm{sem}}_i)}^2$

其中r_i是图片x_i和查询标签l_q的相关性分值，D_ii＝Σⁿ _j＝1S_ij。那么我们所提的快速搜索图片的问题就归结为解决最优化问题argminQ(r)。

综合上述，本实施例中通过提取图片的视觉特征和语义特征来得到所需要的图片。其中，视觉特征包括颜色特征和纹理特征，语义特征主要解决的是视觉特征不能反映的高层的特征，利用这几个特征的融合，对被标注的图片进行检索，当输入的检索关键字与图片的标签的对应程度相似，就可以筛选出期望得到的图片。

通过说明和附图，给出了具体实施方式的特定结构的典型实施例，基于本发明精神，还可作其他的转换。尽管上述发明提出了现有的较佳实施例，然而，这些内容并不作为局限。

对于本领域的技术人员而言，阅读上述说明后，各种变化和修正无疑将显而易见。因此，所附的权利要求书应看作是涵盖本发明的真实意图和范围的全部变化和修正。在权利要求书范围内任何和所有等价的范围与内容，都应认为仍属本发明的意图和范围内。

Claims (8)

1.一种图片检索方法，应用于具有图片存储功能的移动终端中，其特征在于，包括步骤：

标记所述移动终端中的每一张图片；

于所述移动终端中输入视觉特征和语义特征；

搜索出符合所述视觉特征和所述语义特征的图片集，以检索得到图片。

2.根据权利要求1所述的方法，其特征在于，所述方法包括：

搜索出符合所述视觉特征的第一图片集；

于所述第一图片集中搜索出符合所述语义特征的第二图片集，以检索得到所述图片。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

搜索出符合所述语义特征的第一图片集；

于所述第一图片集中搜索出符合所述视觉特征的第二图片集，以检索得到所述图片。

4.根据权利要求2或3所述的方法，其特征在于，搜索所述第一图像集的方法为：

输入查询标签l_q；

于所述移动终端中搜索与所述查询标签l_q相似的所述第一图片集X＝{x₁,x₂,…,x_n}；

其中，所述第一图像集中的任意两图片之间相关性分值接近，且相关性分值的计算公式为：

$S_{ij}=\exp (-\frac{{||x_i-x_j||}^2}{2{\mathrm{\σ}}^2})$

其中，S为相似性矩阵，S_ij表示图像x_i和x_j之间的视觉相似性，x_i和x_j表示所述第一图片集中任意两图片的低层特征向量，‖·‖²表示l₂范数，半径参数σ表示图片x_i和x_j之间欧式距离的中值。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

于所述第一图片集中搜索与所述查询标签lq相似的图片标签集L_i＝{l₁,l₂,…,l_im}；

其中，所述第一图片集中任一图片的标签集计算公式：

${\mathrm{sem}}_i=sem(l_q,L_i)=\frac{1}{m}\underset{t\∈L_i}{\Σ}s(l_q,l)$

m是所述第一图片集中任一图片的标签数目，l是标签集中任一标签。

6.根据权利要求5所述的方法，其特征在于，所述图片标签集中任一标签与所述查询标签具有所述语义特征的相关性；

其中，所述语义特征相关性的计算公式为：

$s(l_i,l_j)=\exp \left\{-\frac{max\[\log c\left(l_i\right),\log c\left(l_j\right)\]-\log c(l_i,l_j)}{log\left(G\right)-\min \[\log c\left(l_i\right),\log c\left(l_j\right)\]}\right\}$

l_i和l_j表示所述标签集中的任意两标签，c(l_i)和c(l_j)指分别标注有l_i和l_j的图像数目，c(l_i，l_j)指同时标注有l_i和l_j的图像数目，G指所述移动终端中所有图像数目。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

对所述第二图片集中任一图片进行相似性计算，以检索得到所述图片；

其中，相似性计算的公式为：

$Q\left(r\right)=\underset{i,j=1}{\overset{n}{\Σ}}{S}_{ij}{(\frac{r_i}{\sqrt{D_{ii}}}-\frac{r_j}{\sqrt{D_{jj}}})}^2+\mathrm{\λ}\underset{i=1}{\overset{n}{\Σ}}{(r_i-{\mathrm{sem}}_i)}^2$

其中，r_i是图像x_i和查询标签l_q的相关性分值，D_ii＝Σⁿ _j＝1S_ij。

8.根据权利要求1～3中任意一项所述的方法，其特征在于，所述视觉特征包括颜色特征、形状特征和纹理特征。