CN102521366B - 融合分类与全局索引的图像检索方法和图像检索系统 - Google Patents

Abstract

本发明公开了一种融合分类与全局索引的图像检索系统，包括：下载模块、分类模型训练模块、图像分类模块、特征提取模块、记录表建立模块、索引模块、请求处理模块、检索模块、相似度获取模块、结果返回模块，下载模块用于下载图片以建立图片库，分类模型训练模块首先对图片库中的图片按照形状进行分类，对于每个分类，从图片库中挑选出具有代表性的样本图片，形成样本库。然后提取样本库中所有图片的分类底层特征描述符，并在底层特征描述符上利用支持向量机进行训练，以得到每个分类的判别式，并且所有分类的判别式形成分类模型。本发明提高了检索系统的查准率，弥补了分类错误时的查全率低下的问题，整体提高了系统的检索速度。

Description

融合分类与全局索引的图像检索方法和图像检索系统

技术领域

本发明涉及基于内容的图像垂直检索领域，更具体地说，本发明涉及一种融合分类与全局索引的图像检索方法和图像检索系统。

背景技术

现有的基于内容的图像检索，主要的检索方式有，基于分类的检索、基于聚类的检索与基于全局索引的检索。基于分类的检索是预先把数据库中的图片分类，检索时首先获取查询图片的类别，然后再类别中检索出相似的图片；基于聚类的检索是对所有图片特征进行聚类，形成聚类中心，检索时待查询图片首先查找距离最近的聚类中心，然后在该聚类中心对应的图片集合中查找相似的图片；基于全局索引的检索是对所有图片特征建立索引，待查询图片在索引上查找相似图片的集合，然后返回集合中相似的图片。

然而，现有基于内容的图像检索方法存在以下问题：采用聚类方式时，由于聚类与索引损失了特征向量的精度，导致查询准确率低；采用分类方式时，如果待查询图片分类错误时，查准率与查全率都会大大降低；采用索引方式时，在图像的特征向量上建立的索引，其查询速度比较慢，会导致系统的检索耗时。

发明内容

本发明的目的在于提供一种融合分类与全局索引的图像检索方法，其检索是采用了图片的语义特征，从而提高了检索系统的查准率，并根据待查询图片的分类标号融合分类与全局索引两种检索方式，弥补了分类错误时的查全率低下的问题，且分类模型保证大部分图片采用分类方式检索，检索范围大大缩小，小部分图片采用索引的方式检索，从而整体提高了系统的检索速度。

本发明是通过以下技术方案实现的：

一种融合分类与全局索引的图像检索方法，包括如下步骤：

a)下载图片以建立图片库，

b)对图片库中的图片按照形状进行分类，对于每个分类，从图片库中挑选出具有代表性的样本图片，形成样本库。提取样本库中所有图片的分类底层特征描述符，并在底层特征描述符上利用支持向量机进行训练，以得到每个分类的判别式，并且所有分类的判别式形成分类模型，

c)利用分类模型对图片库中所有图片进行分类，以得到图片的类别标号与语义特征，

d)提取图片库中所有图片的颜色特征和形状特征，并将颜色特征、形状特征以及语义特征结合为特征库，

e)关联特征库与图片库以及类别标号以形成记录表，

f)利用局部敏感哈希方法建立特征库的索引，

g)接收来自用户的图片查询请求，提取待查询图片的颜色特征和形状特征，使用分类模型对待查询图片进行处理，以得到待查询图片的类别标号与语义特征，

h)判断待查询图片的类别标号是大于还是等于，

i)若待查询图片的类别标号大于，则根据记录表从特征库中加载与待查询图片具有相同类别标号的特征集合，然后转入步骤k，

j)若待查询图片的类别标号等于，则根据待查询图片的颜色特征、形状特征以及语义特征在索引上进行查询，以得到特征库中的特征集合，

k)对特征集合与待查询图片的颜色特征、形状特征以及语义特征进行相似度计算，并根据计算得到的相似度值进行排序，以得到与记录表对应的排序结果，

l)根据排序结果，从记录表中加载图片库中的图片，并把加载结果展示给用户。

上述步骤c)包括子步骤：提取样本库的底层特征描述符，采用卡方内核算法对底层特征描述符进行高维映射处理，以得到高维映射向量，采用支持向量机对高维映射向量进行训练，以得到样本库中每个类别的判别式Wx+b，其中w、b为支持向量机训练得出的参数，x为高维映射向量。

本发明的另一个目的在于提供一种融合分类与全局索引的图像检索系统，其检索是采用了图片的语义特征，从而提高了检索系统的查准率，并根据待查询图片的分类标号融合分类与全局索引两种检索方式，弥补了分类错误时的查全率低下的问题，且分类模型保证大部分图片采用分类方式检索，检索范围大大缩小，小部分图片采用索引的方式检索，从而整体提高了系统的检索速度。

一种融合分类与全局索引的图像检索系统，包括：下载模块、分类模型训练模块、图像分类模块、特征提取模块、记录表建立模块、索引模块、请求处理模块、检索模块、相似度获取模块、结果返回模块，下载模块用于下载图片以建立图片库，分类模型训练模块首先对图片库中的图片按照形状进行分类，对于每个分类，从图片库中挑选出具有代表性的样本图片，形成样本库。然后提取样本库中所有图片的分类底层特征描述符，并在底层特征描述符上利用支持向量机进行训练，以得到每个分类的判别式，并且所有分类的判别式形成分类模型，图像分类模块用于利用分类模型对图片库中所有图片进行分类，以得到图片的类别标号与语义特征，特征提取模块提取图片库中所有图片的颜色特征和形状特征，并将颜色特征、形状特征以及语义特征结合为特征库，记录表建立模块关联特征库与图片库中所有图片的路径以及类别标号以形成记录表，索引模块用于利用局部敏感哈希方法建立特征库的索引，请求处理模块用于接收来自用户的图片查询请求，提取待查询图片的颜色特征和形状特征，使用分类模型对待查询图片进行处理，以得到待查询图片的类别标号与语义特征，检索模块用于判断待查询图片的类别标号是大于还是等于，若待查询图片的类别标号大于，则根据记录表从特征库中加载与待查询图片具有相同类别标号的特征集合与记录表中对应的记录项，若待查询图片的类别标号等于，则根据待查询图片的颜色特征、形状特征以及语义特征在索引上进行查询，以得到特征库中的特征集合与记录表中对应的记录项，相似度获取模块用于对特征集合与待查询图片的颜色特征、形状特征以及语义特征进行相似度计算，并根据计算得到的相似度值进行排序，以得到与记录项关联的排序结果，结果返回模块用于根据记录项中的图片路径加载图片库中的图片，并把加载结果展示给用户。

图像分类模块包括分类特征描述符提取子模块、高维映射子模块以及训练子模块，分类特征描述符提取子模块用于提取样本库的底层特征描述符，高维映射子模块用于采用卡方内核算法对底层特征描述符进行高维映射处理，以得到高维映射向量，训练子模块用于采用支持向量机对高维映射向量进行训练，以得到样本库中每个类别的判别式Wx+b，其中w、b为支持向量机训练得出的参数，x为高维映射向量。

本发明具有以下的优点和技术效果：

1、查询准确率高

系统不完全依赖于图像的检索特征，采用分类模型对图像库进行了一次预分类，同一类中的图片具有语义上的相似性。利用分类模型产生图片的语义信息，在检索时使机器判断的相似性判别更接近人的感官。整个系统的检索融入了分类模型的检索效果，使系统的查询率得到提高；

2、响应速度快

对图像进行分类后，每个类别里面的图像数量大大减少，加快了查询速度。分类能够保证90％以上的图像正确分类，剩余不到10％的图像在全局上采用索引方式进行检索。从而在保证查询效果好的情况下，全面的加快了查询速度；

3、查全率高

分类模型的判别阈值控制严格，正确分类的图像在类别中检索其查准率与查全率可以得到保证。对于不能正确分类的部分图像，采用全局索引方式进行检索，避免了由于分类不准确造成的查准率与查全低下的问题。

附图说明：

图1为本发明融合分类与全局索引的图像检索方法的流程图。

图2为本发明方法中步骤(c)的细化流程图。

图3为本发明融合分类与全局索引的图像检索系统的示意框图。

图4为本发明系统中图像分类模块的细化框图。

具体实施方式：

以下首先对本发明的技术术语进行解释和说明：

具有代表性的样本图片：能够体现图片库中某一类别的特征。

语义特征：图片在利用分类模型进行分类时，每个类别得到一个分值，所有类别的分值形成的向量。

类别标号：图片在利用分类模型进行分类时，得到的最大分值对应的类别编号。

颜色特征：提取的图片颜色直方图特征。

形状特征：图像的金字塔化的梯度直方图特征。

局部敏感哈希方法：即Local sensitivity Hashing，随机产生一组向量，根据随机产生的向量把特征向量分散到不同的桶中的一种哈希方法。

底层特征描述符：量化图像的特征向量形成的整数向量。

卡方内核算法：把低维空间数据映射到高维空间的一种算法。

HOG：即Histogram of Oriented Gradients，梯度方向直方图，可以反映图像的形状特征。

PHOG：即Pyramid Histogram of Oriented Gradients，金字塔化的HOG特征，融合了空间信息的一种形状特征。

SIFT：即Scale-Invariant Feature Transform，尺度不变特征变换，一种局部特征提取方法。

GRIDSIFT：即Grid Dense Scale-Invariant Feature Transform，网格密集的尺度不变特征变换，采用密集采样方法获取的图像SIFT特征。

PGRIDSIFT：即Pyramid Grid Dense Scale-Invariant FeatureTransform，金字塔化的GRIDSIFT特征，融合了空间信息的一种局部特征。

高维映射向量：低维空间数据变换到高维空间的高维度数据。

如图1所示，本发明融合分类与全局索引的图像检索方法包括以下步骤：

a)下载图片以建立图片库；

b)对图片库中的图片按照形状进行分类，对于每个分类，从图片库中挑选出具有代表性的样本图片，形成样本库。提取样本库中所有图片的分类底层特征描述符，并在底层特征描述符上利用支持向量机进行训练，以得到每个分类的判别式，并且所有分类的判别式形成分类模型；

c)利用分类模型对图片库中所有图片进行分类，以得到图片的类别标号与语义特征；

d)提取图片库中所有图片的颜色特征和形状特征，并将颜色特征、形状特征以及语义特征结合为特征库，具体采用以下两种方法；

(d-1)颜色特征提取方法：把图像在RGB空间中表示出来。把RGB的24bit的像素点转换成一个9bit的值。方法如下：每个通道有8个bit位，首先取出每个通道的最高的3个bit位。对R，G，B三个通道共有9个bit，这9个bit构成一个数字，最大值为2⁹。统计9bit值出现的次数，并量化形成512维的特征向量。

(d-2)形状特征提取方法：

(d-2-1)把输入图像转换成灰度图像Gray；

(d-2-2)使用canny算子把求取灰度图像Gray的边缘Edge；

(d-2-3)对灰度图像Gray，在水平与垂直方向上求方向梯度GradientX，GradientY，求2个方向的综合梯度GradientR；

(d-2-4)根据上一步得到的方向梯度值，求每个像素点的角度Angle＝atan(GradientY/GradientX)，并把每个像素点的角度量化到8个区间。量化方法为

并对其取整，每个值在区间；

(d-2-5)获取角度矩阵MatrixAngle，存放角度的量化值。梯度矩阵MatrixGradient，存放像素点的综合梯度。针对边缘图像Edge，在边缘为0的点，MatrixAngle，MatrixGradient都为0；不为0的点，MatrixAngle存放其角度量化后的值，MatrixGradient存放综合梯度值；

(d-2-6)求取hog特征，在图像范围内统计具有量化后的角度具有相同值的个数，将这些像素点的综合梯度累加起来，每个角度得到一个特征，共有8个特征；

(d-2-7)Pyramid化hog特征得到PHOG特征。把图像分成1，4，16，64个小区域，在每个区域内分别求hog特征，形成一个大的向量。共有8×(1+4+16+64)＝680维的特征向量；

e)并关联特征库与图片库以及类别标号以形成记录表；

f)利用局部敏感哈希方法建立特征库的索引；

g)接收来自用户的图片查询请求，提取待查询图片的颜色特征和形状特征，使用分类模型对待查询图片进行处理，以得到待查询图片的类别标号与语义特征；

h)判断待查询图片的类别标号是大于0还是等于0；

i)若待查询图片的类别标号大于0，则根据记录表从特征库中加载与待查询图片具有相同类别标号的特征集合，然后转入步骤(k)；

j)若待查询图片的类别标号等于0，则根据待查询图片的颜色特征、形状特征以及语义特征在索引上进行查询，以得到特征库中的特征集合；

k)对特征集合与待查询图片的颜色特征、形状特征以及语义特征进行相似度计算，并根据计算得到的相似度值进行排序，以得到与记录表对应的排序结果；

(k-1)获取特征距离值：颜色特征采用JSD距离 $(\mathrm{\Σ}{x}_k\lg \left(\frac{2x_k}{x_k+y_k}\right)+y_1\lg \left(\frac{2y_k}{x_k+y_k}\right))$ 进行比较，语义特征与形状特征采用欧式距离(∑(x_k-y_k)²)进行比较，分别得到距离值集合{d_k}；

(k-2)获取相似度值：通过预先设定各个特征的权值集合{w_k}与上一步得到的距离值集合{d_k}，得到相似度

每个相似度值在[0，1]范围内；

(k-3)获取记录项，根据上一步获取的相似度值进行排序，并加载记录表中相应的记录项。

l)根据排序结果，从记录表中加载图片库中的图片，并把加载结果展示给用户。

如图2所示，本发明方法中步骤(c)包括以下子步骤：

(c1)提取样本库的底层特征描述符；

(c1-1)栅格化图像S_I，把图像S_I划分成等大小的小方块，在小方块内提取图像的SIFT特征，这种采用栅格化处理后然后得到的图像SIFT称为GRIDSIFT特征。从一张图像的所有小方块中得到的特征集合为T＝{T_k|k＝1，2…N}，其中T_k＝(D_k，F_k)，|N|为图像S_I中小方块的数目，D_k为小方块内提取的SIFT特征的128维向量，F_k＝(X_k，Y_k，B_k，H_k)是小方块的描述信息，(X_k，Y_k)是小方块的中心位置信息，B_k为小方块的边长长度，H_k为小方块区域SIFT特征的控制阈值；

(c1-2)把从步骤(c1-1)中得到的图像GRIDSIFT特征向量进行金字塔化处理，处理后的向量称为PGRIDSIFT。金字塔化的方式是，使小方块的边长依次取值为{4，6，8，10}。在不同尺寸的小方块上提取图像的GRIDDSIFT特征，按照边长大小顺序保存。经过金字塔化化的PGRIDSIFT特征可以交叉覆盖整个图像，从而达到局部特征中融合图像的全局特征，成为更加全面地描述图像的底层特征；

(c1-3)根据步骤(c1-2)中的方法提取样本图像的PGRIDSIFT特征。采用ELKAN KMEANS算法对所有样本图像的PGRIDSIFT特征进行聚类，形成K个聚类中心，聚类中心数目K经手动调节到较好的值。聚类中心集合是由样本确定的参考基。把得到的聚类中心保存成一个矩阵，并在聚类中心矩阵上建立KDTREE索引；

(c1-4)用图像S_I的PGRIDSIFT特征{T_k}在步骤(c1-3)中得到的KDTREE上进行一次查询得到其下标索引{L_k}。把图像的PGRIDSIFT特征中小方块位置信息{F_k(X_k)，F_k(Y_k)}在图像S_I的宽度与高度上进行一次量化，得到量化值

按照行统计

形成一维统计向量S。把统计向量S量化成直方图，

形成图像S_I底层特征的直方图描述符H。

(c2)采用卡方内核算法对底层特征描述符进行高维映射处理，以得到高维映射向量；

(c3)采用支持向量机对高维映射向量进行训练，以得到样本库中每个类别的判别式Wx+b，其中w、b为支持向量机训练得出的参数，x为高维映射向量。

如图3所示，本发明融合分类与全局索引的图像检索系统包括模块下载模块1、分类模型训练模块2、图像分类模块3、特征提取模块4、记录表建立模块5、索引模块6、请求处理模块7、检索模块8、相似度获取模块9、结果返回模块10。

下载模块1用于下载图片以建立图片库。

分类模型训练模块2首先对图片库中的图片按照形状进行分类，对于每个分类，从图片库中挑选出具有代表性的样本图片，形成样本库。然后提取样本库中所有图片的分类底层特征描述符，并在底层特征描述符上利用支持向量机进行训练，以得到每个分类的判别式，并且所有分类的判别式形成分类模型。

图像分类模块3用于利用分类模型对图片库中所有图片进行分类，以得到图片的类别标号与语义特征。

特征提取模块4提取图片库中所有图片的颜色特征和形状特征，并将颜色特征、形状特征以及语义特征结合为特征库。

记录表建立模块5关联特征库与图片库中所有图片的路径以及类别标号以形成记录表。

索引模块6用于利用局部敏感哈希方法建立特征库的索引。

请求处理模块7用于接收来自用户的图片查询请求，提取待查询图片的颜色特征和形状特征，使用分类模型对待查询图片进行处理，以得到待查询图片的类别标号与语义特征。

检索模块8用于判断待查询图片的类别标号是大于0还是等于0，若待查询图片的类别标号大于0，则根据记录表从特征库中加载与待查询图片具有相同类别标号的特征集合与记录表中对应的记录项，若待查询图片的类别标号等于0，则根据待查询图片的颜色特征、形状特征以及语义特征在索引上进行查询，以得到特征库中的特征集合与记录表中对应的记录项。

相似度获取模块9用于对特征集合与待查询图片的颜色特征、形状特征以及语义特征进行相似度计算，并根据计算得到的相似度值进行排序，以得到与记录项关联的排序结果。

结果返回模块10用于根据记录项的图片路径加载图片库中的图片，并把加载结果展示给用户。

如图4所示，模块包括分类特征描述符提取子模块31、高维映射子模块32、高维映射子模块32、训练子模块33。

分类特征描述符提取子模块31用于提取样本库的底层特征描述符；

高维映射子模块32用于采用卡方内核算法对底层特征描述符进行高维映射处理，以得到高维映射向量；

训练子模块33用于采用支持向量机对高维映射向量进行训练，以得到样本库中每个类别的判别式，其中w、b为支持向量机训练得出的参数，x为高维映射向量。

实例

测试数据源：中国外观设计专利中02大类，即服装与服饰用品，共63350条记录，12大类，即运输或提升工具，共65416条记录。系统总记录数目128766。

本发明的测试环境如表1所示：

CPU	内存	硬盘	操作系统	图像数量
					Intel Core(TM)i7	6G	1T	X86_64GNU/LINUX	128766

表1测试环境

根据测试结果，系统在10w级别的数据上查询的响应速度在1s以内。平均查询准确率在85％以上，平均查全率在80％以上。

响应速度是用户提交图片到返回结果的时间，不包括网络传输时间。查询准确率是返回的所有返回结果中相似图片所占的比例。查全率是系统返回的相似图片占图片库中所有相似图片的比例。

Claims (2)

1.一种融合分类与全局索引的图像检索方法，其特征在于，包括如下步骤： 

a)下载图片以建立图片库； 

b)对所述图片库中的图片按照形状进行分类，对于每个分类，从所述图片库中挑选出具有代表性的样本图片，形成样本库，提取所述样本库中所有图片的分类底层特征描述符，并在所述底层特征描述符上利用支持向量机进行训练，以得到每个分类的判别式，并且所有分类的判别式形成分类模型； 

c)利用所述分类模型对所述图片库中所有图片进行分类，以得到所述图片的类别标号与语义特征；所述步骤（c）包括如下子步骤： 

（c1）提取所述样本库的底层特征描述符； 

（c2）采用卡方内核算法对所述底层特征描述符进行高维映射处理，以得到高维映射向量； 

（c3）采用支持向量机对所述高维映射向量进行训练，以得到所述样本库中每个类别的判别式Wx+b，其中W、b为支持向量机训练得出的参数，x为所述高维映射向量； 

d)提取所述图片库中所有图片的颜色特征和形状特征，并将所述颜色特征、所述形状特征以及所述语义特征结合为特征库； 

e)关联所述特征库与所述图片库以及所述类别标号以形成记录表； 

f)利用局部敏感哈希方法建立所述特征库的索引； 

g)接收来自用户的图片查询请求，提取待查询图片的颜色特征和形状特征，使用所述分类模型对所述待查询图片进行处理，以得到所述待查询图片的类别标号与语义特征； 

h)判断所述待查询图片的类别标号是大于0还是等于0； 

i)若所述待查询图片的类别标号大于0，则根据所述记录表从所述特征库中加载与所述待查询图片具有相同类别标号的特征集合，然后转入步骤（k）； 

j)若所述待查询图片的类别标号等于0，则根据所述待查询图片的颜色特征、形状特征以及语义特征在所述索引上进行查询，以得到所述特征库中的特征集合； 

k)对所述特征集合与所述待查询图片的颜色特征、形状特征以及语义特征进行相似度计算，并根据计算得到的相似度值进行排序，以得到与所述记录表对应的排序结果； 

l)根据所述排序结果，从所述记录表中加载所述图片库中的图片，并把加载结果展示给用户。 

2.一种融合分类与全局索引的图像检索系统，包括：下载模块（1）、分类模型训练模块（2）、图像分类模块（3）、特征提取模块（4）、记录表建立模块（5）、索引模块（6）、请求处理模块（7）、检索模块（8）、相似度获取模块（9）、结果返回模块（10），其特征在于， 

所述下载模块（1）用于下载图片以建立图片库； 

所述分类模型训练模块（2）首先对所述图片库中的图片按照形 状进行分类，对于每个分类，从所述图片库中挑选出具有代表性的样本图片，形成样本库，然后提取所述样本库中所有图片的分类底层特征描述符，并在所述底层特征描述符上利用支持向量机进行训练，以得到每个分类的判别式，并且所有分类的判别式形成分类模型； 

所述图像分类模块（3）用于利用所述分类模型对所述图片库中所有图片进行分类，以得到所述图片的类别标号与语义特征； 

所述图像分类模块（3）包括分类特征描述符提取子模块（31）、高维映射子模块（32）以及训练子模块（33）； 

所述分类特征描述符提取子模块（31）用于提取所述样本库的底层特征描述符； 

所述高维映射子模块（32）用于采用卡方内核算法对所述底层特征描述符进行高维映射处理，以得到高维映射向量； 

所述训练子模块（33）用于采用支持向量机对所述高维映射向量进行训练，以得到所述样本库中每个类别的判别式Wx+b，其中W、b为支持向量机训练得出的参数，x为所述高维映射向量； 

所述特征提取模块（4）提取所述图片库中所有图片的颜色特征和形状特征，并将所述颜色特征、所述形状特征以及所述语义特征结合为特征库； 

所述记录表建立模块（5）关联所述特征库与所述图片库中所有图片的路径以及所述类别标号以形成记录表； 

所述索引模块（6）用于利用局部敏感哈希方法建立所述特征库的索引； 

所述请求处理模块（7）用于接收来自用户的图片查询请求，提取待查询图片的颜色特征和形状特征，使用所述分类模型对所述待查询图片进行处理，以得到所述待查询图片的类别标号与语义特征； 

所述检索模块（8）用于判断所述待查询图片的类别标号是大于0还是等于0，若所述待查询图片的类别标号大于0，则根据所述记录表从所述特征库中加载与所述待查询图片具有相同类别标号的特征集合与所述记录表中对应的记录项，若所述待查询图片的类别标号等于0，则根据所述待查询图片的颜色特征、形状特征以及语义特征在所述索引上进行查询，以得到所述特征库中的特征集合与所述记录表中对应的记录项； 

所述相似度获取模块（9）用于对所述特征集合与所述待查询图片的颜色特征、形状特征以及语义特征进行相似度计算，并根据计算得到的相似度值进行排序，以得到与所述记录项关联的排序结果； 

所述结果返回模块（10）用于根据所述记录项中的图片路径加载所述图片库中的图片，并把加载结果展示给用户。 

Images