CN102236717A - 一种基于草图特征提取的图像检索方法 - Google Patents

Abstract

本发明公开了一种基于草图特征提取的图像检索方法，涉及图像检索领域。所述方法包括步骤：提取训练特征向量，得到特征词典；提取输入特征向量，得到输入特征向量集，对特征词典进行计数操作，得到输入特征频率向量，进而得到兴趣特征词和非兴趣特征词；提取检索特征向量，得到检索特征向量集，进而得到检索特征频率向量；进而得到兴趣检索特征频率向量、非兴趣检索特征频率向量、兴趣输入特征频率向量和非兴趣输入特征频率向量；进而计算输入草图与各个检索草图的相似度，输出检索结果。所述方法提高了图像检索的效率和准确度，并且具有良好的用户交互性。

Description

一种基于草图特征提取的图像检索方法

技术领域

本发明涉及图像检索技术领域，特别涉及一种基于草图特征提取的图像检索方法。

背景技术

从认知心理学角度来讲，草图能够高效的表达人的设计需求，不同语言的人都可以通过草图进行交流。在互联网环境下，人们在获取所需的图像时，往往通过文字来描述自己所需的图像，但有时却很难用语言准备地描述出来。

目前已经存在的一些图像检索的技术，基于文本进行检索，需要较多的人工操作，成本较高。而基于草图，通过算法提取草图特征，有较好的用户交互性，也能提高检索精度。

因此，目前需要一种简单、准确的基于草图特征提取的图像检索方法。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何提供一种基于草图特征提取的图像检索方法，以提高图像检索的效率和准确度。

(二)技术方案

为解决上述技术问题，本发明提供一种基于草图特征提取的图像检索方法，其特征在于，包括步骤：

B：对训练草图库中的训练草图提取训练特征向量，根据所述训练特征向量得到特征词典；

C：对输入草图提取输入特征向量，得到输入特征向量集，根据所述输入特征向量集对所述特征词典进行计数操作，得到输入特征频率向量；

D：根据所述输入特征频率向量和所述特征词典，得到兴趣特征词和非兴趣特征词；

E：对检索草图库中的检索草图提取检索特征向量，得到检索特征向量集，根据所述检索特征向量集对所述特征词典进行计数操作，得到检索特征频率向量；

F：根据所述检索特征频率向量、兴趣特征词和非兴趣特征词，得到兴趣检索特征频率向量和非兴趣检索特征频率向量；

G：根据所述输入特征频率向量、兴趣特征词和非兴趣特征词，得到兴趣输入特征频率向量和非兴趣输入特征频率向量；

H：根据所述兴趣检索特征频率向量、非兴趣检索特征频率向量、兴趣输入特征频率向量和非兴趣输入特征频率向量，计算所述输入草图与所述检索草图库中各个检索草图的相似度，输出检索结果。

优选地，在所述步骤B之前还包括步骤A：对训练图像库和检索图像库中每一幅图像进行预处理，得到所述训练草图库和检索草图库。

优选地，所述步骤A具体包括步骤：

A1：提取所述训练图像库中每一幅训练图像的前景区域，在所述前景区域内进行非真实感绘制得到所述训练草图，所有训练图像对应的所述训练草图构成所述训练草图库；

A2：提取所述检索图像库中每一幅检索图像的前景区域，在所述前景区域内进行非真实感绘制得到所述检索草图，所有检索图像对应的所述检索草图构成所述检索草图库。

优选地，所述步骤B具体包括步骤：

B1：对训练草图库中的每一幅训练草图提取第一设定值个训练特征向量；

B2：利用k-means对对应所有训练草图的训练特征向量进行聚类操作，得到第四设定值个典型特征向量，所述典型特征向量构成所述特征词典。

优选地，所述步骤B1具体包括步骤：

B11：在训练草图库中的每一幅训练草图的前景区域中进行随机采样，分别得到对应每一幅训练草图的所述第一设定值个采样点；

B12：对每一个所述采样点，在相应的训练草图上，以所述采样点为圆心，第五设定值为半径做圆，将所述半径等分为n份，得到n个以所述采样点为圆心的圆，对应形成n个不重叠区域；

B13：依次统计所述n个不重叠区域中像素点的个数P，n个P值构成所述训练特征向量的坐标，得到对应每一个所述采样点的n维训练特征向量F。

优选地，所述n为20，所述第五设定值为所述前景区域的最大半径除以20。

优选地，所述步骤C包括步骤：

C1：对输入草图提取输入特征向量，得到输入特征向量集；

C2：依次抽取所述输入特征向量集中的每一个输入特征向量，从所述特征词典中找到与所述输入特征向量最相似的典型特征向量；

C3：将所述输入特征向量放入所述典型特征向量对应的特征支持集中；

C4：统计每一个典型特征向量对应的特征支持集中的输入特征向量的数量，作为每一个典型特征向量的得票数；

C5：所有典型特征向量的得票数构成所述输入特征频率向量的坐标，得到所述输入特征频率向量。

优选地，所述步骤D具体包括步骤：

D1：将所述输入特征频率向量的各维坐标值分别除以所述输入特征向量集中输入特征向量的个数，得到所述特征词典中每个典型特征向量在所述输入特征向量集中出现的初始概率π_r，r的取值大于等于1，小于等于N_w，N_w为所述特征词典中典型特征向量的总数；

D2：计算所述特征词典中第j个与第k个典型特征向量对应的特征支持集的空间相似性：

$S_{\mathrm{jk}}=\frac{1}{\mathrm{NjNk}}{\mathrm{\Σ}}_{m=1}^{\mathrm{Nj}}{\mathrm{\Σ}}_{n=1}^{\mathrm{Nk}}{\mathrm{Sim}}_{m,n}$

其中，j的取值大于等于1小于等于N_w，i的取值大于等于1小于等于N_w，Nj表示第j个典型特征向量对应的特征支持集中输入特征向量的个数，Nk表示第k个典型特征向量对应的特征支持集中输入特征向量的个数，m的取值大于等于1小于等于Nj，n的取值大于等于1小于等于Nk，Sim_m，n表示第j个与第k个典型特征向量对应的特征支持集中每两个输入特征向量F_m和F_n之间的相似度，F_m和F_n之间的相似度计算公式如下：

${\mathrm{Sim}}_{m,n}=\frac{\mathrm{FmFn}}{\left|\mathrm{Fm}\right|\left|\mathrm{Fn}\right|};$

D3：根据所述空间相似性S_jk，计算得到转移概率矩阵：

$P\left[P_{\mathrm{jk}}\right]=\left[\frac{\mathrm{Sjk}}{{\mathrm{\Σ}}_{k=1}^{N_w}\mathrm{Sjk}}\right];$

D4：通过迭代计算得到每个典型特征向量的极限出现概率：

${{\mathrm{\π}}_r}^{*}=\underset{x\→\∞}{\lim }{\mathrm{\π}}_r{P}^x;$

D5：按照每个典型特征向量的极限出现概率π_r ^*由大到小的顺序，对所述特征词典中的典型特征向量进行排序，得到所述兴趣特征词和非兴趣特征词。

优选地，所述步骤G具体包括步骤：

G1：按照所述兴趣特征词和非兴趣特征词与所述输入特征频率向量中各维坐标的对应关系，将所述输入特征频率向量中各维坐标分为兴趣坐标和非兴趣坐标；

G2：所述兴趣坐标构成所述兴趣输入特征频率向量，所述非兴趣坐标构成所述非兴趣输入特征频率向量。

优选地，所述步骤H具体包括步骤：

H1：根据所述兴趣检索特征频率向量F_p′、非兴趣检索特征频率向量F_p、兴趣输入特征频率向量F_q′和非兴趣输入特征频率向量F_q，计算所述输入草图与所述每一幅检索草图的相似度D，其计算公式如下：

D＝α|Fp-Fq|+β|Fp′-Fq′|；

H2：比较对应每一幅检索草图的相似度D，当D的取值最小时，得到与所述输入草图相似度最高的检索草图。

(三)有益效果

本发明的一种基于草图特征提取的图像检索方法，通过草图特征提取和相似度比较的方式对图像进行检索，提高了图像检索的效率和准确度，并且具有良好的用户交互性。

附图说明

图1是本发明的一种基于草图特征提取的图像检索方法的流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1是本发明的一种基于草图特征提取的图像检索方法的流程图。如图1所示，所述方法包括：

步骤A：对训练图像库和检索图像库中每一幅图像进行预处理，得到训练草图库和检索草图库。

所述步骤A具体包括：

步骤A1：提取所述训练图像库中每一幅训练图像的前景区域，在所述前景区域内进行非真实感绘制得到所述训练草图，所有训练图像对应的所述训练草图构成所述训练草图库。

步骤A2：提取所述检索图像库中每一幅检索图像的前景区域，在所述前景区域内进行非真实感绘制得到所述检索草图，所有检索图像对应的所述检索草图构成所述检索草图库。

步骤B：对所述训练草图库中的每一幅训练草图提取训练特征向量，根据所述训练特征向量得到特征词典。

所述步骤B具体包括：

步骤B1：对训练草图库中的每一幅训练草图提取第一设定值个训练特征向量。

所述步骤B1具体包括：

步骤B11：在训练草图库中的每一幅训练草图的前景区域中进行随机采样，分别得到对应每一幅训练草图的所述第一设定值个采样点。所述第一设定值一般为500。

步骤B12：对每一个所述采样点，在相应的训练草图上，以所述采样点为圆心，第五设定值为半径做圆，将所述半径等分为n份，得到n个以所述采样点为圆心的圆，对应形成n个不重叠区域。所述n一般为20，所述第五设定值一般为前景区域的最大半径除以n。

步骤B13：从外到内，依次统计所述n个不重叠区域中像素点的个数P，n个P值构成所述训练特征向量的坐标，得到对应每一个所述采样点的n维训练特征向量F。

根据所述步骤B1得到下述一种对草图进行特征提取的方法，其包括步骤：

S1：对草图的前景区域进行随机采样，得到所述第一设定值个采样点。

S2：在所述草图上，以所述采样点为圆心，以所述第五设定值为半径做圆，将所述半径等分为n份，得到n个以所述采样点为圆心的圆，对应形成n个不重叠区域。

S3：从外到内，依次统计所述n个不重叠区域中像素点的个数P，n个P值构成特征向量的坐标，得到对应每一个所述采样点的n维特征向量F。

本发明方法中对检索草图提取检索特征向量，以及对输入草图提取输入特征向量，均采用了上述对草图进行特征提取的方法。

步骤B2：利用k-means对对应所有训练草图的训练特征向量进行聚类操作，得到第四设定值个典型特征向量，所述典型特征向量构成所述特征词典。所述第四设定值一般为1000。

步骤C：对输入草图提取所述第一设定值的输入特征向量，得到输入特征向量集，根据所述输入特征向量集对所述特征词典进行计数操作，得到输入特征频率向量。

所述步骤C具体包括：

步骤C1：对输入草图提取所述第一设定值个输入特征向量，得到输入特征向量集。该步骤与所述步骤B1相似，其不同之处仅在于操作对象为输入草图，得到的为输入特征向量。

步骤C2：依次抽取所述输入特征向量集中的每一个输入特征向量，从所述特征词典中找到与所述输入特征向量最相似的典型特征向量。这里通过依次计算和比较每一个典型特征向量F_d和所述输入特征向量F_j之间的相似度Sim_d，j，获得相似度Sim_d，j最高的典型特征向量，做为与所述输入特征向量最相似的典型特征向量。其中，

${\mathrm{Sim}}_{d,j}=\frac{F_d{F}_j}{\left|F_d\right|\left|F_j\right|}.$

步骤C3：将所述输入特征向量放入所述典型特征向量对应的特征支持集中。

步骤C4：统计每一个典型特征向量对应的特征支持集中的输入特征向量的数量，作为每一个典型特征向量的得票数。

步骤C5：所有典型特征向量的得票数构成所述输入特征频率向量的坐标，得到所述输入特征频率向量。

步骤D：根据所述输入特征频率向量和所述特征词典，得到兴趣特征词和非兴趣特征词。

所述步骤D具体包括：

步骤D1：将所述输入特征频率向量的各维坐标值分别除以所述输入特征向量集中输入特征向量的个数，得到所述特征词典中每个典型特征向量在所述输入特征向量集中出现的初始概率π_r，r的取值大于等于1，小于等于N_w，N_w为所述特征词典中典型特征向量的总数；

步骤D2：计算所述特征词典中第j个与第k个典型特征向量对应的特征支持集的空间相似性：

$S_{\mathrm{jk}}=\frac{1}{\mathrm{NjNk}}{\mathrm{\Σ}}_{m=1}^{\mathrm{Nj}}{\mathrm{\Σ}}_{n=1}^{\mathrm{Nk}}{\mathrm{Sim}}_{m,n}$

其中，j的取值大于等于1小于等于N_w，i的取值大于等于1小于等于N_w，Nj表示第j个典型特征向量对应的特征支持集中输入特征向量的个数，Nk表示第k个典型特征向量对应的特征支持集中输入特征向量的个数，m的取值大于等于1小于等于Nj，n的取值大于等于1小于等于Nk，Sim_m，n表示第j个与第k个典型特征向量对应的特征支持集中每两个输入特征向量F_m和F_n之间的相似度，F_m和F_n之间的相似度计算公式如下：

${\mathrm{Sim}}_{m,n}=\frac{\mathrm{FmFn}}{\left|\mathrm{Fm}\right|\left|\mathrm{Fn}\right|};$

步骤D3：根据所述空间相似性S_jk，计算得到转移概率矩阵：

$P\left[P_{\mathrm{jk}}\right]=\left[\frac{\mathrm{Sjk}}{{\mathrm{\Σ}}_{k=1}^{N_w}\mathrm{Sjk}}\right];$

步骤D4：通过迭代计算得到每个典型特征向量的极限出现概率：

${{\mathrm{\π}}_r}^{*}=\underset{x\→\∞}{\lim }{\mathrm{\π}}_r{P}^x;$

步骤D5：按照每个典型特征向量的极限出现概率π_r ^*由大到小的顺序，对所述特征词典中的典型特征向量进行排序，得到所述兴趣特征词和非兴趣特征词。一般情况下，大致按照1∶1的比例将特征词典中的典型特征向量划分为兴趣特征词和非兴趣特征词，即将排在前一半的典型特征向量做为兴趣特征词，将排在后一半的典型特征向量做为非兴趣特征词；如果典型特征向量总数为奇数个，将最中间的典型特征向量做为非兴趣特征词。

步骤E：对检索草图库中的检索草图提取检索特征向量，得到检索特征向量集，根据所述检索特征向量集对所述特征词典进行计数操作，得到检索特征频率向量。该步骤与所述步骤C相似，其不同之处仅在于操作对象为检索草图，得到结果为检索特征频率向量。

步骤F：根据所述检索特征频率向量、兴趣特征词和非兴趣特征词，得到兴趣检索特征频率向量和非兴趣检索特征频率向量。该步骤与下述步骤G相似，其不同之处仅在于依据所述检索特征频率向量进行操作，得到结果为兴趣检索特征频率向量和非兴趣检索特征频率向量，下面将对步骤G进行详细描述，在此不再对步骤F赘述。

步骤G：根据所述输入特征频率向量、兴趣特征词和非兴趣特征词，得到兴趣输入特征频率向量和非兴趣输入特征频率向量。

所述步骤G具体包括：

步骤G1：按照所述兴趣特征词和非兴趣特征词与所述输入特征频率向量中各维坐标的对应关系，将所述输入特征频率向量中各维坐标分为兴趣坐标和非兴趣坐标；

步骤G2：所述兴趣坐标构成所述兴趣输入特征频率向量，所述非兴趣坐标构成所述非兴趣输入特征频率向量。

假设特征词典中包括典型特征向量：F1、F2、F3和F4，计算得到极限出现概率依次为0.4、0.6、0和0.8，对应的输入特征频率向量为(3，5，0，7)，则典型特征向量F1和F3为非兴趣特征词，F2和F4是兴趣特征词，相应的3和0为非兴趣坐标，5和7为兴趣坐标，则非兴趣输入特征频率向量为(3，0)，兴趣输入特征频率向量为(5，7)。

步骤H：根据所述兴趣检索特征频率向量、非兴趣检索特征频率向量、兴趣输入特征频率向量和非兴趣输入特征频率向量，计算所述输入草图与所述检索草图库中各个检索草图的相似度，输出检索结果。

所述步骤H具体包括：

步骤H1：根据所述兴趣检索特征频率向量F_p′、非兴趣检索特征频率向量F_p、兴趣输入特征频率向量F_q′和非兴趣输入特征频率向量F_q，计算所述输入草图与所述每一幅检索草图的相似度D，其计算公式如下：

D＝α|Fp-Fq|+β|Fp′-Fq′|

其中，α和β为预定常值，α一般为1，β一般为2。

步骤H2：比较对应每一幅检索草图的相似度D，当D的取值最小时，得到与所述输入草图相似度最高的检索草图。进一步，根据检索草图和检索图像的对应关系，可以得到检索图像库中相应的检索图像。

本发明实施例所述基于草图特征提取的图像检索方法，通过草图特征提取和相似度比较的方式对图像进行检索，提高了图像检索的效率和准确度，并且具有良好的用户交互性。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (10)

1.一种基于草图特征提取的图像检索方法，其特征在于，包括步骤：

B：对训练草图库中的训练草图提取训练特征向量，根据所述训练特征向量得到特征词典；

C：对输入草图提取输入特征向量，得到输入特征向量集，根据所述输入特征向量集对所述特征词典进行计数操作，得到输入特征频率向量；

D：根据所述输入特征频率向量和所述特征词典，得到兴趣特征词和非兴趣特征词；

E：对检索草图库中的检索草图提取检索特征向量，得到检索特征向量集，根据所述检索特征向量集对所述特征词典进行计数操作，得到检索特征频率向量；

F：根据所述检索特征频率向量、兴趣特征词和非兴趣特征词，得到兴趣检索特征频率向量和非兴趣检索特征频率向量；

G：根据所述输入特征频率向量、兴趣特征词和非兴趣特征词，得到兴趣输入特征频率向量和非兴趣输入特征频率向量；

H：根据所述兴趣检索特征频率向量、非兴趣检索特征频率向量、兴趣输入特征频率向量和非兴趣输入特征频率向量，计算所述输入草图与所述检索草图库中各个检索草图的相似度，输出检索结果。

2.如权利要求1所述的方法，其特征在于，在所述步骤B之前还包括步骤A：对训练图像库和检索图像库中每一幅图像进行预处理，得到所述训练草图库和检索草图库。

3.如权利要求2所述的方法，其特征在于，所述步骤A具体包括步骤：

A1：提取所述训练图像库中每一幅训练图像的前景区域，在所述前景区域内进行非真实感绘制得到所述训练草图，所有训练图像对应的所述训练草图构成所述训练草图库；

A2：提取所述检索图像库中每一幅检索图像的前景区域，在所述前景区域内进行非真实感绘制得到所述检索草图，所有检索图像对应的所述检索草图构成所述检索草图库。

4.如权利要求1所述的方法，其特征在于，所述步骤B具体包括步骤：

B1：对训练草图库中的每一幅训练草图提取第一设定值个训练特征向量；

B2：利用k-means对对应所有训练草图的训练特征向量进行聚类操作，得到第四设定值个典型特征向量，所述典型特征向量构成所述特征词典。

5.如权利要求4所述的方法，其特征在于，所述步骤B1具体包括步骤：

B11：在训练草图库中的每一幅训练草图的前景区域中进行随机采样，分别得到对应每一幅训练草图的所述第一设定值个采样点；

B12：对每一个所述采样点，在相应的训练草图上，以所述采样点为圆心，第五设定值为半径做圆，将所述半径等分为n份，得到n个以所述采样点为圆心的圆，对应形成n个不重叠区域；

B13：依次统计所述n个不重叠区域中像素点的个数P，n个P值构成所述训练特征向量的坐标，得到对应每一个所述采样点的n维训练特征向量F。

6.如权利要求5所述的方法，其特征在于，所述n为20，所述第五设定值为所述前景区域的最大半径除以20。

7.如权利要求4所述的方法，其特征在于，所述步骤C包括步骤：

C1：对输入草图提取输入特征向量，得到输入特征向量集；

C2：依次抽取所述输入特征向量集中的每一个输入特征向量，从所述特征词典中找到与所述输入特征向量最相似的典型特征向量；

C3：将所述输入特征向量放入所述典型特征向量对应的特征支持集中；

C4：统计每一个典型特征向量对应的特征支持集中的输入特征向量的数量，作为每一个典型特征向量的得票数；

C5：所有典型特征向量的得票数构成所述输入特征频率向量的坐标，得到所述输入特征频率向量。

8.如权利要求7所述的方法，其特征在于，所述步骤D具体包括步骤：

D1：将所述输入特征频率向量的各维坐标值分别除以所述输入特征向量集中输入特征向量的个数，得到所述特征词典中每个典型特征向量在所述输入特征向量集中出现的初始概率π_r，r的取值大于等于1，小于等于N_w，N_w为所述特征词典中典型特征向量的总数；

D2：计算所述特征词典中第j个与第k个典型特征向量对应的特征支持集的空间相似性：

$S_{\mathrm{jk}}=\frac{1}{\mathrm{NjNk}}{\mathrm{\Σ}}_{m=1}^{\mathrm{Nj}}{\mathrm{\Σ}}_{n=1}^{\mathrm{Nk}}{\mathrm{Sim}}_{m,n}$

其中，j的取值大于等于1小于等于N_w，i的取值大于等于1小于等于N_w，Nj表示第j个典型特征向量对应的特征支持集中输入特征向量的个数，Nk表示第k个典型特征向量对应的特征支持集中输入特征向量的个数，m的取值大于等于1小于等于Nj，n的取值大于等于1小于等于Nk，Sim_m，n表示第j个与第k个典型特征向量对应的特征支持集中每两个输入特征向量F_m和F_n之间的相似度，F_m和F_n之间的相似度计算公式如下：

${\mathrm{Sim}}_{m,n}=\frac{\mathrm{FmFn}}{\left|\mathrm{Fm}\right|\left|\mathrm{Fn}\right|};$

D3：根据所述空间相似性S_jk，计算得到转移概率矩阵：

$P\left[P_{\mathrm{jk}}\right]=\left[\frac{\mathrm{Sjk}}{{\mathrm{\Σ}}_{k=1}^{N_w}\mathrm{Sjk}}\right];$

D4：通过迭代计算得到每个典型特征向量的极限出现概率：

${{\mathrm{\π}}_r}^{*}=\underset{x\→\∞}{\lim }{\mathrm{\π}}_r{P}^x;$

D5：按照每个典型特征向量的极限出现概率π_r ^*由大到小的顺序，对所述特征词典中的典型特征向量进行排序，得到所述兴趣特征词和非兴趣特征词。

9.如权利要求1所述的方法，其特征在于，所述步骤G具体包括步骤：

G1：按照所述兴趣特征词和非兴趣特征词与所述输入特征频率向量中各维坐标的对应关系，将所述输入特征频率向量中各维坐标分为兴趣坐标和非兴趣坐标；

G2：所述兴趣坐标构成所述兴趣输入特征频率向量，所述非兴趣坐标构成所述非兴趣输入特征频率向量。

10.如权利要求1所述的方法，其特征在于，所述步骤H具体包括步骤：

H1：根据所述兴趣检索特征频率向量F_p′、非兴趣检索特征频率向量F_p、兴趣输入特征频率向量F_q′和非兴趣输入特征频率向量F_q，计算所述输入草图与所述每一幅检索草图的相似度D，其计算公式如下：

D＝α|Fp-Fq|+β|Fp′-Fq′|；

H2：比较对应每一幅检索草图的相似度D，当D的取值最小时，得到与所述输入草图相似度最高的检索草图。

Images