CN102722528B - 基于移动设备的实时海量图像检索方法 - Google Patents

Abstract

本发明的基于移动设备的实时海量图像检索方法包括以下步骤：用户输入待查询的图像文件；移动设备终端的服务器使用特征算子对所述待查询的图像文件进行特征提取；所述服务器将提取的特征与特征数据库中所有的特征进行匹配运算，按照相似程度的大小建立索引；所述服务器根据索引从图像数据库中检索到对应图像文件，并按相同的顺序展示给用户，由用户对检索结果进行验证。

Description

基于移动设备的实时海量图像检索方法

技术领域

本发明涉及一种图像检索方法，特别涉及一种基于移动设备的实时海量图像检索方法。

背景技术

QBIC(querybyimagecontent)由IBM公司于上世纪90年代开发，是一个图像和动态影像检索系统。该系统由DataPopulation和Databasequery两部分构成。DataPopulation负责对系统存储的图像进行多种特征抽取和维护特征索引库，Databasequery负责对用户查询输人的图像进行同样的特征抽取，并将特征信息输人匹配引擎，检索出具有相似特征的图像，两部分中间使用一个过滤索引生成器相连，所有的查询、反馈过程都必须经过过滤索引生成器，才能进人匹配引擎，这样提高了系统的总体速度。

QBIC提供的检索方式有：利用系统的标准范图检索；用户输人自绘简图或扫描输入图像检索，同时可选择色彩或结构查询方式；可输入动态影像片段和前景中运动的对象检索。在用户输入图像、简图或影像片段时，QBIC即分析和抽取所输入对象的色彩、纹理、运动变化等特征，根据用户选择的查询方式分别处理。查询方式不同则得到的结果有异，因为不同的特征分析抽取的结果不同。QBIC也提供各种标准范图，代表不同的色彩、纹理、轮廓结构。用户可选择与要检索对象最相似的范围作为检索条件去查询。这些标准范围的特征信息存储在特征索引库中。

QBIC是标准的基于内容的图像检索系统，并支持基于Web的图像检索服务，是较早使用Content-based技术并且功能全面的典范。

发明内容

本发明的目的在于提供一种基于移动设备的实时海量图像检索方法，检索效率高。

为了达到上述的目的，本发明提供一种基于移动设备的实时海量图像检索方法，包括以下步骤：用户输入待查询的图像文件；移动设备终端的服务器使用特征算子对所述待查询的图像文件进行特征提取；所述服务器将提取的特征与特征数据库中所有的特征进行匹配运算，按照相似程度的大小建立索引；所述服务器根据索引从图像数据库中检索到对应图像文件，并按相同的顺序展示给用户，由用户对检索结果进行验证。

上述基于移动设备的实时海量图像检索方法，其中，用户通过手画图、例图、拍照或者录像输入待查询的图像文件。

上述基于移动设备的实时海量图像检索方法，其中，在服务器使用特征算子对所述待查询的图像文件进行特征提取之前，所述服务器先自动对所述待查询的图像文件进行预处理，以去除噪声等因素对检索的干扰。

上述基于移动设备的实时海量图像检索方法，其中，所述服务器根据预设的特征算子对所述待查询的图像文件进行特征提取。

上述基于移动设备的实时海量图像检索方法，其中，所述服务器采用基于Adaboost的自学习算法对特征算子形成的特征算子库进行管理。

上述基于移动设备的实时海量图像检索方法，其中，所述对特征算子库进行管理包括添加、删除特征算子，设置各个特征算子的权重。

上述基于移动设备的实时海量图像检索方法，其中，对所述待查询的图像文件进行特征提取，提取的特征是一种或多种图像特征的组合。

上述基于移动设备的实时海量图像检索方法，其中，采用特征的欧式距离、街区距离、或者特征的欧式距离与街区距离的结合对提取的特征与特征数据库中所有的特征进行匹配运算。

本发明的基于移动设备的实时海量图像检索方法的优点是：

1、为移动设备设计了一种扩展性强的图像检索方式，用户可以采用例图、拍照、录像、画图等多种方式对图像进行检索；

2、实现了对特征算子的高效管理，即可以根据需要自由的添加或减少；

3、使用Adaboost方式对算子库进行自学习式配置和更新，从而保证用户可以快速精确的获取想要的结果，从而实现了从移动设备对海量数据库的高效访问。

附图说明

本发明的基于移动设备的实时海量图像检索方法由以下的实施例及附图给出。

图1是本发明的基于移动设备的实时海量图像检索方法的流程图。

具体实施方式

以下将结合图1对本发明的基于移动设备的实时海量图像检索方法作进一步的详细描述。

参见图1，本发明的基于移动设备的实时海量图像检索方法包括以下步骤：

步骤1，用户输入待查询的图像文件；

本发明中，用户可通过手画图、例图、拍照、录像四种方式输入待查询的图像文件；

手画图是指用户在移动设备终端的触摸屏上画图，所画之图即是待查询的图像文件；

所述例图可以通过网页浏览获取，也可以通过USB、WIFI、蓝牙等外部输入方式获取；

进一步，本发明还可以和GPS结合提供更加细致的查询方式，即由GPS获取用户当前位置信息，限定图像搜索数据库范围；

本发明可通过多种方式进行查询，极大地提高了用户进行图像检索的方便性，可实现随时随地，随写随查，随见随查，随拍随查；

步骤2，移动设备终端的服务器使用特征算子对所述待查询的图像文件进行特征提取；

在服务器使用特征算子对所述待查询的图像文件进行特征提取之前，所述服务器先自动对所述待查询的图像文件进行预处理，以去除噪声等因素对检索的干扰；

本发明预先设置特征算子，以该预设的特征算子对所述待查询的图像文件进行特征提取；

本发明采用基于Adaboost的自学习算法对特征算子库进行管理，包括添加、删除特征算子，设置各个特征算子的权重，为了实现图像的快速检索，在每一次添加特征算子时，该特征算子都会对图像数据库中的每一个图像文件进行特征提取操作，并把得到的特征数据存为对应的特征文件，而在删除特征算子时，则会同时将所有的属于该特征算子的特征文件删除；

在本发明中，提取的特征是一种或多种图像特征的组合，它既可以准确地对单个图像本身进行描述，又可以让用户方便地对海量图像进行检索；

所述特征包括形状和颜色；

采用基于Adaboost的自学习算法进行特征算子的权重更新，其基本思想是针对不同的训练集分别训练一个弱分类器，然后把这些不同训练集上得到的弱分类器联合起来，构成一个最终的强分类器；Adaboost算法中不同的训练集是通过调整每个样本对应的权重来实现的：开始时，每个样本对应的权重是相同的，在训练过程时，对于分类错误的样本，则加大其对应的权重，而对于分类正确的样本，降低其权重，这样分错的样本就被突出出来，从而得到一个新的样本权重，在新的样本权重下，再次对弱分类器进行训练，得到新的弱分类器，依次类推，经过T次循环，得到T个弱分类器，把这T个弱分类器按串联起来，得到最终想要的强分类器；

AdaBoost算法的具体描述如下：

假定X表示样本空间，Y表示样本类别标识集合，这里限定Y＝{-1，+1}，因为标示非假即真，令S＝{(x_i，y_i)|i＝1，2，…，m}为样本训练集，其中x_i∈X，y_i∈Y；

①初始化m个样本的权重，假设样本分布D_i为均匀分布：D_i(i)＝1/m，这里D_i(i)表示在第t轮迭代中赋给样本(x_i，y_i)的权重；

②令T表示迭代的次数；

③Fort＝1toTdo

根据样本分布D_t，通过对训练集S进行抽样产生训练集S_t，在训练集S_t上训练分类器h_t，用分类器h_t对原训练集S中的所有样本分类，得到本轮的分类器h_t：X→Y，并且有误差ε_t＝∑D_t(i)I(h_t(x_i)≠y_i)，这里I是一个指示函数。令α_t＝(1/2)ln[(1-ε_t)/ε_t]，这里α_t是一个转化函数，更新每个样本的权值，

ifh_t(x_i)＝y_i， $D_{t+1}\left(i\right)=D_t\left(i\right)e^{-{\mathrm{\α}}_t}/Z_t$

$\mathrm{else},D_{t+1}\left(i\right)=D_t\left(i\right)e^{{\mathrm{\α}}_t}/Z_t$

其中，Z_t是一个归一化因子，用来确保∑D_t+1(i)＝1，endfor

④最终的预测输出为：

H(x)＝sign(∑α_th_t(x))

Adaboost本身是用来人脸检测，是进行样本的训练，而在本发明中用来训练的样本不再是单个图像，而是一种特征算子，每个特征算子对应的都是整个图像数据库，使用Adaboost方式进行图像权重的调整，从而获得最佳的图像算子组合；

进一步，如果有新的特征算子或特征算子组合，还可以使用该方式进行特征算子库的更新，即当该特征算子的权重很小，对整个系统的影响很小，或者与其他特征算子的功能重复时，自动对其进行屏蔽或剔除，从而实现特征算子库的自动更新和自动配置；

步骤3，所述服务器将步骤2提取的特征与特征数据库中所有的特征进行匹配运算，按照相似程度的大小建立索引；

例如利用特征的欧式距离进行匹配，特征的街区距离进行匹配，或者特征的欧式距离与街区距离的结合进行匹配；

步骤4，所述服务器根据索引从图像数据库中检索到对应图像文件，并按相同的顺序展示给用户，由用户对检索结果进行验证。

Claims (4)

1.一种基于移动设备的实时海量图像检索方法，包括以下步骤：

步骤1，用户输入待查询的图像文件；

步骤2，移动设备终端的服务器使用特征算子对待查询的图像文件进行特征提取；

在服务器使用特征算子对待查询的图像文件进行特征提取之前，服务器先自动对待查询的图像文件进行预处理，以去除噪声因素对检索的干扰；

预先设置特征算子，以预设的特征算子对待查询的图像文件进行特征提取；

采用基于Adaboost的自学习算法对特征算子库进行管理，包括添加、删除特征算子，设置各个特征算子的权重，训练的样本是特征算子，每个特征算子对应的都是整个图像数据库；为了实现图像的快速检索，在每一次添加特征算子时，特征算子都会对图像数据库中的每一个图像文件进行特征提取操作，并把得到的特征数据存为对应的特征文件，而在删除特征算子时，则会同时将所有的属于该特征算子的特征文件删除；

提取的特征是一种或多种图像特征的组合，既能够准确地对单个图像本身进行描述，又能够让用户方便地对海量图像进行检索；

其中特征包括形状和颜色；

Adaboost自学习算法的具体描述如下：

假定X表示样本空间，Y表示样本类别标识集合，这里限定Y＝{-1，+1}，因为标示非假即真，令S＝{(x_i，y_i)|i＝1，2，...，m}为样本训练集，其中x_i∈X，y_i∈Y；

①初始化m个样本的权重，假设样本分布D_i为均匀分布：D_i(i)＝1/m，这里D_i(i)表示在第t轮迭代中赋给样本(x_i，y_i)的权重；

②令T表示迭代的次数；

③Fort＝1toTdo，

根据样本分布D_t，通过对训练集S进行抽样产生训练集S_t，在训练集S_t上训练分类器h_t，用分类器h_t对原训练集S中的所有样本分类，得到本轮的分类器h_t：X→Y，并且有误差ε_t＝∑D_t(i)I(h_t(x_i)≠y_i)，这里I是一个指示函数；令α_t＝(1/2)ln[(1-ε_t)/ε_t]，这里α_t是一个转化函数，更新每个样本的权值，

Ifh_t(x_i)＝y_i， $D_{t+1}\left(i\right)=D_t\left(i\right)e^{-{\mathrm{\α}}_t}/Z_t,$

else， $D_{t+1}\left(i\right)=D_t\left(i\right)e^{{\mathrm{\α}}_t}/Z_t,$

其中，Z_t是一个归一化因子，用来确保∑D_t+1(i)＝1，endfor；

④最终的预测输出为：

H(x)＝sign(∑α_th_t(x))；

步骤3，服务器将步骤2提取的特征与特征数据库中所有的特征进行匹配运算，按照相似程度的大小建立索引；

步骤4，服务器根据索引从图像数据库中检索到对应图像文件，并按相同的顺序展示给用户，由用户对检索结果进行验证。

2.如权利要求1所述的基于移动设备的实时海量图像检索方法，其特征在于：用户通过手画图、例图、拍照、录像四种方式输入待查询的图像文件。

3.如权利要求1所述的基于移动设备的实时海量图像检索方法，其特征在于采用和GPS结合提供更加细致的查询方式。

4.如权利要求1所述的基于移动设备的实时海量图像检索方法，其特征在于：利用特征的欧式距离进行匹配，特征的街区距离进行匹配，或者特征的欧式距离与街区距离的结合进行匹配。