CN105808665A - 一种新的基于手绘草图的图像检索方法 - Google Patents

Abstract

本发明公开了一种新的基于手绘草图的图像检索方法，用于图像搜索。本方法对训练集中每组彩色图像和轮廓草图图像的对应位置提取图像块，计算图像块的GFHOG特征并进行聚类分别得到彩图和草图视觉词典，利用样本间聚类一致性得到两个视觉词典间的映射关系；对每个搜索用图像配置一组相似图像，利用协同分割算法确定对象位置及轮廓边界，提取图像块并确定最接近的草图视觉单词，计算每幅图像的单词统计向量，构建倒排索引，并调整各个单词对图像的重要性权重；对用户输入的轮廓草图，利用倒排索引计算草图与搜索图像库中所有图像的相似度。本发明能够有效的完成基于手绘草图的图像检索，并能够在满足检索响应速度的前提下应用于大规模图像库。

Description

一种新的基于手绘草图的图像检索方法

技术领域

本发明涉及一种新的基于手绘草图的图像检索方法，属于图像处理技术以及搜索引擎领域。

背景技术

在如今的互联网时代，图像作为一种重要的信息传播形式，数量得到了极大的增长。工作和生活中，不论是专业领域的人士还是普通用户，都有寻找合适图像的需求，同时，很多新出现的大规模图像数据库(安全、气象等)也需要性能优秀的检索工具。面对如此规模的图像数据和用户需求，为更好的方便用户使用它们，避免有价值的图像被浪费，便利有效的检索技术就变得尤为重要。

就目前的图像检索技术而言，总体上可以分为基于文本的图像检索(Text-basedImageRetrieval,TBIR)和基于内容的图像检索(Content-basedImageRetrieval，CBIR)。TBIR主要通过与图像相关联的文本索引图像，利用文本检索技术完成对图像的检索，但这要求图像都配有非常恰当的描述文本，不利于检索系统自动化，而且也要求用户有一定的检索技巧。CBIR完全从图像内容本身出发，由计算机自动抽取图像特征，较为成熟的“以图搜图”技术要求用户提供一幅样例图，输入较为困难。相比而言，基于手绘草图的图像检索既具有CBIR类技术的优势，同时又不存在输入障碍。

为了实现基于手绘草图的图像检索，以往的研究主要是对提取出的图像边缘进行特征描述，通过在图像库中进行特征比对来检索图像的，这些方法没有利用高效的索引结构，只能用在小规模图像库上。而Sivic等人将文本检索领域的词袋模型引入到图像检索中，随后，Eitz和Hu等人提出了一些用于草图检索的优秀特征提取算子，为应用于大规模图像库且能满足检索响应速度的草图检索技术提供了启发式的实现思路。

发明内容

本发明的目的是为了解决用户通过勾勒图像轮廓检索想要的彩色图像的问题，在词袋模型的基础上，提出了一种新的基于手绘草图的图像检索方法，主要包括视觉词典构建和图像库倒排索引构建两个过程，具体是通过基于聚类一致性方法构建视觉词典，通过相似图像协同分割完成图像库的倒排索引构建。

本发明提供的一种新的基于手绘草图的图像检索方法，具体包括以下几个步骤：

步骤1：从训练集提取对应位置的彩色图像块和草图图像块集合。

使用含有人工描绘轮廓草图的图像库作为训练集，在每一组彩色图像和草图图像上，从对应位置提取图像块。具体来说，从彩色图像的每幅轮廓草图，以每个边缘点为中心得到图像块，然后从彩色图像的对应位置提取相应的图像块，最终得到草图图像块集合P_S和彩色图像块集合P_C。

$\left\{P_S\right|P_S^i;i=1,2,...,n\}$

$\left\{P_C\right|P_C^j;j=1,2,...,n\}$

其中，代表第i个草图图像块，代表第j个彩色图像块，当i＝j时，表示代表的图像块取自草图图像和彩色图像的对应位置。

步骤2：采用聚类算法分别得到草图视觉词典和彩图视觉词典。

分别对图像块集合P_S和P_C，提取其中所有图像块的GFHOG(GradientFieldHistogramofOrientedGradient)特征，得到草图的特征描述符集合F_S和彩色图的特征描述符集合F_C。

使用K-means聚类算法分别对集合F_S和F_C进行聚类，将每个类的中心看作一个视觉单词，最终得到草图视觉词典V_S和彩图视觉词典V_C。

步骤3：基于聚类一致性建立彩图视觉词典向草图视觉词典的映射关系。

彩图视觉单词和草图视觉单词的聚类一致性表示为：

其中，表示类别划归到彩图视觉单词的样本集合，表示类别划归到草图视觉单词的样本集合，且在中有对应样本。

根据聚类一致性值的高低将每个彩图单词映射到一个或多个草图单词上，完成彩图视觉词典V_C到草图视觉词典V_S的映射。

步骤4：在网络上搜集图片建立搜索图像库，为搜索图像库中的每幅图像配置一组相似图像。

使用“以图搜图”技术为搜索图像库中的每一幅图像配置一组相似图像，一组相似图像中至少有1张。

步骤5：获得搜索图像库中每幅图像关于草图视觉词典的单词统计向量。

对步骤4得到的每幅图像的一组相似图像，利用协同分割算法提取每个相似图像上的对象边界轮廓，分别以轮廓上的像素点为中心，从图像上提取图像块。

然后对每个图像块，提取GFHOG特征，对于彩色图像块，利用最近邻搜索确定与该图像块最接近的彩图视觉单词，再利用两个视觉词典V_C和V_S的映射关系确定该图像块所对应的草图视觉单词。对于草图图像块，利用最近邻搜索确定与该图像块最接近的草图视觉单词。

最后统计该组相似图像的图像块映射到每个草图视觉单词的个数，标记搜索图像库中第i幅图像I_i的统计向量如下：

${\stackrel{\→}{V}}_i=\{n_{ik},k=1,2,...,K\}$

其中，表示搜索图像库中第i幅彩色图像I_i的单词统计向量，n_ik表示图像I_i映射到草图视觉单词v_k上的图像块数目，v_k∈V_S。

步骤6：完成搜索图像库倒排索引的构建。

通过步骤5获得搜索图像库中每幅彩色图像的统计向量其中N是搜索图像库中图像的数目。基于该统计向量构建倒排索引结构，使用TF-IDF算法调整各个草图视觉单词对图像的权重。

步骤7：检索过程中的相似度计算。

对于用户输入的草图S，以所有边缘点为中心，提取到所有的图像块后提取GFHOG特征，从草图词典确定每个图像块的草图视觉单词，确定草图S的单词统计向量以及各草图视觉单词对图像S的重要性权重，然后利用倒排索引计算草图S与搜索图像库中所有图像的相似度。

根据下式得到草图S与图像I_i的相似度A_i：

$A_i=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_{\mathrm{ik}}\·w_{\mathrm{Sk}}$

其中，w_ik为草图视觉单词v_k对图像I_i的重要性权重，w_Sk草图视觉单词v_k对草图S的重要性权重。

所述的步骤6中，使用TF-IDF算法调整各个草图视觉单词对图像的权重，计算方法如下：

首先，确定图像I_i中草图视觉单词v_k的词频TF_ik和草图视觉单词v_k的逆向文件频率IDF_k；

其中， ${\mathrm{TF}}_{ik}=\frac{n_{ik}}{{\mathrm{\Σ}}_{r=1}^K{n}_{ir}};$

然后，确定草图视觉单词v_k对图像I_i的重要性权重w_ik＝TF_ik×IDF_k。

本发明的优点和积极效果在于：

(1)本方法通过为彩图和草图分别构建出视觉词典，再建立两者之间映射关系的方法，使两类图像可以分别选择适宜的特征提取算子，且能较好的消除用户手绘草图曲线与算法提取的边缘曲线之间的差异；

(2)本方法通过协同分割算法确定每幅图像上的对象所在位置和边界轮廓，以此为基础提取图像块后得到单词统计向量，一方面协同分割算法有更好的对象分割效果；另一方面，多幅含有共同对象的图像在协同分割后，可以互相取长补短，最终达到加强图像上共同对象边界的效果。

(3)通过约1.5万幅图像的数据库从平均检索准确率、查全率和查准率等方面测试了本方法的性能，实验表明本方法有较好的检索效果。

附图说明

图1为本发明的基于手绘草图的图像检索方法的流程示意图；

图2为本发明构建视觉词典时的训练集图像库中的一组示意图；

图3为本发明构建视觉词典时的图像块提取示意图；

图4为本发明基于聚类一致性的视觉单词映射关系示意图；

图5为本发明图像的相似图像示意图；

图6为本发明相似图像的协同分割结果示意图；

图7为本发明使用到的倒排索引示意图；

图8为本发明在词典规模900时不同相似图像数目的查全率-查准率曲线图；

图9为本发明在不同视觉词典规模下使用不同相似图像数目时的平均检索准确率。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明提出的基于手绘草图的图像检索方法主要用于图像搜索引擎，扩展图像的检索手段，同时为图像的自动合成等算法研究奠定更好的基础。本发明的方法能够在满足检索响应速度的前提下，用于大规模图像库检索。

本发明中提出的方法总体而言主要包括两个步骤：(1)构建彩图视觉词典、草图视觉词典以及两者之间的映射关系；(2)利用视觉词典信息，基于协同分割算法完成倒排索引的构建。其中步骤(1)主要用于彩色图像提取到图像块后，先确定对应的彩图视觉单词，再通过映射关系确定所对应的草图视觉单词，更好的消除用户手绘草图曲线与算法提取的边缘曲线之间的差异；步骤(2)主要是利用相似图像含有共同对象，一方面协同分割算法有更好的对象分割效果，另一方面，多幅含有共同对象的图像在协同分割后，可以互相取长补短，最终达到加强图像上共同对象边界的效果。

本发明提出的基于手绘草图的图像检索方法主要步骤流程如图1所示，包括步骤1～7。

步骤1：从训练集提取对应位置的彩色图像块和草图图像块集合。

训练集使用含有人工描绘轮廓草图的图像库—BSDS数据集作为训练集，该数据集共包含500幅如图2所示的样本。图2表示训练集图像库BSDS500中的一组图像，该数据库共包含500组这样的图像，其中的每幅彩色图像由不同的人去标记并描绘其轮廓。

从草图图像和彩色图像对应的位置提取图像块。具体来说，如图3所示，对于彩色图像的每幅轮廓草图，以每个边缘点为中心得到图像块，然后从彩色图像的对应位置提取相应的图像块，最终得到彩色图像块集合和草图图像块集合，见公式(1)。

$\begin{array}{c}\left\{P_S\right|P_S^i;i=1,2,...,n\}\\ \left\{P_C\right|P_C^j;j=1,2,...,n\}\end{array}---\left(1\right)$

式中，P_S,P_C分别代表草图图像块集合和彩图图像块集合，代表第i个草图图像块，代表第j个彩色图像块。当i＝j时，表示代表的图像块取自草图图像和彩色图像的对应位置。n为正整数，表示图像块总量。

步骤2：采用聚类算法分别得到草图视觉词典和彩图视觉词典。

对于步骤1中得到的两个图像块集合P_S和P_C，提取其中所有图像块的GFHOG(GradientFieldHistogramofOrientedGradient)特征，得到对应的草图的特征描述符集合F_S和彩色图的特征描述符集合F_C。GFHOG特征在参考文件1中记载，是用于草图检索的改进的HOG特征。参考文件1：HuR,BarnardM,CollomosseJ.Gradientfielddescriptorforsketchbasedretrievalandlocalization[C]//ImageProcessing(ICIP),201017thIEEEInternationalConferenceon.IEEE,2010:1025-1028。

使用K-means聚类算法分别对集合F_S和F_C进行聚类。如将某个特征描述符集合F划分为K类，K为正整数，认为每个类的中心v_k可以代表该类，而所有的K类可以包含各种各样的图像块类型，覆盖所有可能出现的情况。本发明实施例中把每个类的中心v_k看作一个视觉单词，所有的视觉单词构成视觉词典V。最后，分别针对集合F_S和F_C得到草图视觉词典V_S和彩图视觉词典V_C。

步骤3：基于聚类一致性建立彩图视觉词典向草图视觉词典的映射关系。

如图4所示，原始样本之间是一一对应的，利用它们之间的聚类一致性完成彩图视觉词典V_C到草图视觉词典V_S的映射，从而为两个视觉词典V_S和V_C之间建立联系。具体来说，在步骤2中，彩色图像块的特征和草图图像块的特征是一一对应的，且聚类过程中可以得知每个样本所属的视觉单词，彩图单词和草图单词的聚类一致性计算见公式(2)，其中， 根据一致性高低将每个彩图单词映射到若干个草图单词上。

$C(V_C^a,V_S^b)=\frac{\left|F_S^{ba}\right|}{\left|F_C^a\right|}---\left(2\right)$

其中，表示类别划归到彩图单词的样本集合，表示类别划归到草图单词的样本集合，且在中有对应样本。也就是说，“一致性”定义为对彩图单词和草图单词来说，在所有划归到彩图单词的样本所对应的草图样本中，越多的划归到草图单词两者的聚类一致性越高。

本方法的初衷是用户绘制的曲线和计算机算法提取的曲线是有差别的，优秀的特征提取算子设计可以削弱这种差距，但本方法通过分别构建两类视觉词典，再基于聚类一致性为它们建立映射关系，不仅可以方便两类图像各自使用更适宜的特征提取算子，而且可以在特征提取的基础上进一步消除差异。

步骤4：建立搜索图像库，为搜索图像库中的每幅图像各配置若干幅相似图像。相似图像至少有1张。

在网络上搜集现有图片，建立搜索图像库。“以图搜图”技术发展相对成熟，使用“百度识图”等搜索引擎为搜索图像库中的每一幅图像获取若干张相似图像，如图5所示。需要说明的是，对于一个图像搜索引擎而言，它本身应该具备包括基于关键词、样例图等在内的检索方式，可以在增加基于手绘草图的图像检索功能时完成该工作。

步骤5：基于协同分割算法得到搜索图像库中每幅图像关于草图视觉词典的单词统计向量。

通过步骤4，搜索图像库中的每幅图像都得到一组相似图像。然后采用现有的协同分割算法确定一组相似图像上的对象边界轮廓，如图6所示，分别以轮廓上的像素点为中心，从原图像上提取图像块。

接下来，提取每个图像块的GFHOG特征。如图1所示，彩图图像块和草图图像块使用不同的策略映射到草图视觉单词。对于彩色图像块，利用最近邻搜索确定与该图像块最接近的彩图视觉单词，然后再利用两个视觉词典V_C和V_S的映射关系确定该图像块所对应的草图视觉单词。对于草图图像块，直接利用最近邻搜索确定与该图像块最接近的草图视觉单词。最后，统计该组图像的图像块映射到每个草图视觉单词的个数，得到(3)所示的统计向量。

${\stackrel{\→}{V}}_i=\{n_{ik},k=1,2,...,K\}---\left(3\right)$

式中，表示搜索图像库中第i个彩色图像I_i的单词统计向量，n_ik表示图像I_i映射到第k个草图视觉单词v_k上的图像块数目。

本方法的初衷是用户在草图检索中关注的重点是图像中的对象边界，一方面通过对象检测的方法确定对象边界，过滤更多的噪声边缘，而协同分割算法比单幅图像的对象分割效果更好；另一方面，协同分割算法虽然不完美，但是多幅含有共同对象的图像在协同分割后，可以互相取长补短，最终达到加强图像上对象边界的效果。

图5和图6展示了图像的相似图像，以及协同分割的结果。从中可以看出，协同分割的结果并非总是完美的，但是它们之间可以相互取长补短。以第一行的图像为例，四幅图像的分割结果分别得到了鸭子的不同部位，这使得它们可以为最终的结果强化对象在不同部位的轮廓边界。

步骤6：完成搜索图像库倒排索引的构建。

步骤5可以获得图像库中每幅彩色图像的单词统计向量其中N是搜索图像库中的图像总数目。

基于单词统计向量，构造图7所示的倒排索引。如图7所示的倒排索引结构，每个视觉单词对应一个链表，只有包含该单词的图像才会出现在链表上，并记录其权重信息。这样一个结构保证了系统的检索响应速度。

使用TF-IDF算法调整各个单词对图像的权重，对于包含草图视觉单词v_k的图像I_i来说，草图视觉单词v_k在该图像上出现的次数越多，对图像I_i的重要性就越高，使用词频TF_ik来衡量，如公式(4)所示；同时，对于草图视觉单词v_k，在整个图像库中出现的次数越多，表明它越平凡，对单幅图像的重要性就会降低，用如公式(5)所示的逆向文件频率IDF_k表示，最终使用公式(6)计算单词v_k对图像I_i的重要性权重w_ik。

${\mathrm{TF}}_{ik}=\frac{n_{ik}}{{\mathrm{\Σ}}_{r=1}^K{n}_{ir}}---\left(4\right)$

w_ik＝TF_ik×IDF_k(6)

其中，TF_ik表示图像I_i中草图视觉单词v_k的词频；IDF_k表示草图视觉单词v_k的逆向文件频率。

本方法利用了文本领域中广泛使用的TF-IDF权重调整算法，同时考虑视觉单词在单幅图像以及整个搜索图像库中的重要性，能够较好的体现一个单词对一幅图像的影响力。

步骤7：检索过程中的相似度计算。

对于用户输入的草图S，以所有边缘点为中心，得到所有的图像块后提取GFHOG特征，从草图词典确定每个图像块的草图视觉单词，使用步骤5，6的方法，如公式(3)～(6)所示，得到草图S的单词统计向量以及各草图视觉单词对图像S的重要性权重，然后利用倒排索引计算草图S与搜索图像库中所有图像的相似度。

本发明中利用公式(7)得到草图S与图像I_i的相似度A_i。

$A_i=\underset{k=1}{\overset{K}{\Σ}}{w}_{ik}\·w_{Sk}---\left(7\right)$

其中，w_Sk草图视觉单词v_k对草图S的重要性权重。

本方法在具体实现时，只需要针对w_Sk≠0的单词进行计算，这样的单词是相对比较少的，同时借助于倒排索引结构，可以很好的满足检索响应速度的要求。

本发明方法针对的是基于手绘草图的图像检索问题，为了充分验证本发明方法的性能，使用约1.5万幅图像进行了测试。另外，该数据库包括10名普通用户绘制的33类图像的轮廓草图，并且标记出了图像库中与每类草图相关的图像。在词典规模为900时，不同的相似图像个数(SN)下的查全率-查准率曲线如图8所示，在不同的词典规模与相似图像个数下的平均检索准确率如图9所示，其最高F1值统计见表1。F1值为综合评价指标，兼顾查全率与查准率去评价一个检索系统。

表1词典规模与相似图像个数组合下的最高F1值统计表

图8、图9和表1是算法的性能测试结果。其中，图8表示查全率-查准率曲线(P-R曲线)，即在固定查全率的情况下去计算查准率，查全率反映了检索结果中相关图像占图像库中总的相关图像的比例，查准率反映了检索结果中的相关图像比例。表1反映了对于特定参数下，在不同的查全率与查准率下可以得到的最大F1值。图9表示在不同的词典规模下，以及不同的相似图像个数下的平均检索准确率。从这些实验结果可以看出，使用一定的相似图像进行协同分割后可以明显的提升系统的检索性能。

Claims (3)

1.一种基于手绘草图的图像检索方法，其特征在于，该方法实现步骤如下：

步骤1：从训练集提取对应位置的彩色图像块和草图图像块集合；

使用含有人工描绘轮廓草图的图像库作为训练集，在每一组彩色图像和草图图像上，从对应位置提取图像块；对于彩色图像的每幅轮廓草图，以每个边缘点为中心得到图像块，然后从彩色图像的对应位置提取相应的图像块，最终得到草图图像块集合P_S和彩色图像块集合P_C；

步骤2：采用聚类算法分别得到草图视觉词典和彩图视觉词典；

分别对图像块集合P_S和P_C，提取其中所有图像块的GFHOG特征，对应得到草图和彩色图的特征描述符集合F_S和F_C；使用K-means聚类算法分别对集合F_S和F_C聚类，设得到K个聚类，K为正整数，将每个类的中心看作一个视觉单词，最终得到草图视觉词典V_S和彩图视觉词典V_C；

步骤3：基于聚类一致性建立彩图视觉词典向草图视觉词典的映射关系；

彩图视觉单词和草图视觉单词的聚类一致性表示为： $C(V_C^a,V_S^b)=\frac{\left|F_S^{ba}\right|}{\left|F_C^a\right|};$

其中，表示类别划归到彩图视觉单词的样本集合，表示类别划归到草图视觉单词的样本集合，且在中有对应样本；

根据聚类一致性值的高低将每个彩图单词映射到一个或多个草图单词上，完成彩图视觉词典V_C到草图视觉词典V_S的映射；

步骤4：在网络上收集图片建立搜索图像库，为搜索图像库中的每幅图像配置一组相似图像；

步骤5：获得搜索图像库中每幅图像关于草图视觉词典的单词统计向量；

对搜索图像库中每幅图像的一组相似图像，利用协同分割算法提取每个相似图像上的对象边界轮廓，并分别以轮廓上的像素点为中心，从图像上提取图像块；然后对每个图像块提取GFHOG特征；对于彩色图像块，利用最近邻搜索确定与该图像块最接近的彩图视觉单词，再利用两个视觉词典V_C和V_S的映射关系确定该图像块所对应的草图视觉单词；对于草图图像块，利用最近邻搜索确定与该图像块最接近的草图视觉单词；最后统计该组相似图像的图像块映射到每个草图视觉单词的个数；

记搜索图像库中第i幅图像I_i的单词统计向量其中，n_ik表示图像I_i映射到草图视觉单词v_k上的图像块数目，v_k∈V_S；

步骤6：完成搜索图像库倒排索引的构建；

通过步骤5获得搜索图像库中每幅彩色图像的统计向量其中N是搜索图像库中图像的数目；然后构建倒排索引，使用TF-IDF算法调整各个草图视觉单词对图像的权重；

步骤7：检索过程中的相似度计算；

对于用户输入的草图S，以所有边缘点为中心，提取到所有的图像块后，提取各图像块的GFHOG特征，从草图词典确定每个图像块的草图视觉单词，确定草图S的单词统计向量以及各草图视觉单词对图像S的重要性权重，然后利用倒排索引计算草图S与搜索图像库中所有图像的相似度。

2.根据权利要求1所述的一种基于手绘草图的图像检索方法，其特征在于，所述的步骤6中，使用TF-IDF算法调整各个草图视觉单词对图像的权重，计算方法如下：

首先，确定图像I_i中草图视觉单词v_k的词频TF_ik和草图视觉单词v_k的逆向文件频率IDF_k；

其中， ${\mathrm{TF}}_{ik}=\frac{n_{ik}}{{\mathrm{\Σ}}_{r=1}^K{n}_{ir}};$

然后，确定草图视觉单词v_k对图像I_i的重要性权重w_ik＝TF_ik×IDF_k。

3.根据权利要求1或2所述的一种基于手绘草图的图像检索方法，其特征在于，所述的步骤7中，利用倒排索引计算草图S与搜索图像库中所有图像的相似度，其中草图S与图像I_i的相似度A_i为：

$A_i=\underset{k=1}{\overset{K}{\Σ}}{w}_{ik}\·w_{Sk};$

其中，w_ik为草图视觉单词v_k对图像I_i的重要性权重，w_Sk草图视觉单词v_k对草图S的重要性权重。