CN107870923B - 图像检索方法和装置 - Google Patents

Abstract

本发明公开了一种图像检索方法和装置。其中，该方法包括：建立第一图像数据库和第二图像数据库；基于第一图像数据库中的稀疏编码特征信息建立第一相似性度量库，并且根据第二图像数据库中的颜色特征信息建立第二相似性度量库；获取目标权重，其中，为预先为第二相似性度量库配置的权重,或者预先为第一相似性度量库配置的权重；根据目标权重计算第一相似性度量库和第二相似性度量库的加权和，并将加权和作为目标相似性度量库；根据目标相似性度量库在预设图像中检索待检索图像。本发明解决了现有技术中对图像进行检索时检索准确率较低和检索系统的泛化能力弱的技术问题。

Description

图像检索方法和装置

技术领域

本发明涉及图像处理领域，具体而言，涉及一种图像检索方法和装置。

背景技术

随着互联网图片的以摩尔级数的速度增多，产生了大量的图像。建立准确、高效的图像检索系统显得越来越重要也越来越紧迫。

目前使用广泛的图像检索技术有两种：一种是基于文本的检索；另一种是基于内容的检索。基于文本的检索系统通过检索关键字与图像标签匹配来进行检索，其中，检索关键字是有经验的专家标注的。基于内容的检索系统主要对图像本身包含的信息进行分析，提取图像特征，通过特征匹配进行检索。常见的图像特征有：纹理特征、空间关系特征、形状特征等。

但是，上述两种方案中也存在很多的不足，主要包括以下几点：

1、基于文本的检索，图像标签需要人工标注，工作量大，同时不同人对同一副图像进行标注个人理解的不同也会给检索系统带来问题；

2、传统的基于形状特征、纹理特征、空间关系特征等检索技术，各有所长，但是仅仅是针对特定的数据集可以取得好的效果，泛化能力差。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种图像检索方法和装置，以解决现有技术中对图像进行检索时检索准确率较低和检索系统的泛化能力弱的技术问题。

根据本发明实施例的一个方面，提供了一种图像检索方法，包括：建立第一图像数据库和第二图像数据库，其中，所述第一图像数据库中包括预设图像的稀疏编码特征信息，所述第二图像数据库中包括所述预设图像的颜色特征信息；基于所述第一图像数据库中的所述稀疏编码特征信息建立第一相似性度量库，并且根据所述第二图像数据库中的所述颜色特征信息建立第二相似性度量库；获取目标权重，其中，所述目标权重为预先为所述第二相似性度量库配置的权重,或者预先为所述第一相似性度量库配置的权重；根据所述目标权重计算所述第一相似性度量库和所述第二相似性度量库的加权和，并将所述加权和作为目标相似性度量库，其中，所述目标相似性度量库用于指示所述预设图像中任意两个图像之间的相似度；根据所述目标相似性度量库在所述预设图像中检索所述待检索图像。

进一步地，所述预设图像包括多类预设图像，根据所述目标相似性度量库在所述预设图像中检索所述待检索图像包括：确定所述多类预设图像中每类预设图像对应的目标子权重，得到多个目标子权重，其中，所述目标子权重为所述目标权重中的子权重；根据公式D^K＝(1-s^k)D1^k+s^kD2^k计算第K类预设图像对应的相似性度量库，得到向量D＝{D¹,D²,…,D^k,…,D^m}，其中，D^K即为所述第K类预设图像对应的相似性度量库，s^k即为所述第K类预设图像对应的目标子权重，D1^k即为所述第K类预设图像对应的第一相似性度量库，D2^k即为所述第K类预设图像对应的第二相似性度量库，K依次取1至m，m为所述预设图像的分类数量；依据获取到的所述待检索图像的索引信息和所述目标相似性度量库D＝{D¹,D²,…,D^k,…,D^m}检索所述待检索图像。

进一步地，确定所述多类预设图像中每类预设图像对应的目标子权重包括：将所述目标权重的取值区间等分成n-1个区间，并将所述n-1个区间的端点值作为n个子权重An；依次计算所述子权重Ai在所述每类预设图像中查找所述待检索图像的查准率，得到n个查准率，其中，i依次取1至n；在所述n个查准率中确定最大的查准率，并将所述最大查准率对应的子权重作为所述目标子权重。

进一步地，建立所述第一图像数据库包括：加载所述预设图像，并获取所述预设图像的像素值；将获取到的所述像素值输入至所述稀疏编码网络中进行处理，得到所述隐藏层的输出结果，其中，所述隐藏层的输出结果为所述预设图像的稀疏编码特征信息；根据所述隐藏层的输出结果建立所述第一图像数据库。

进一步地，所述颜色特征信息包括颜色直方图信息，建立所述第二图像数据库包括：将所述预设图像由RGB颜色空间转换至HSV颜色空间，得到以下颜色分量：色调分量、饱和度分量和亮度分量；将所述颜色分量进行合成，得到特征矢量，其中，所述特征矢量包括至少一个特征值；统计所述特征矢量中的每个特征值在所述预设图像中出现的次数，并根据所述次数计算所述每个特征值出现的频率；将计算得到的所述频率作为所述颜色直方图信息；根据所述颜色直方图信息建立所述第二图像数据库。

根据本发明实施例的另一方面，还提供了一种图像检索装置，包括：第一建立单元，用于建立第一图像数据库和第二图像数据库，其中，所述第一图像数据库中包括预设图像的稀疏编码特征信息，所述第二图像数据库中包括所述预设图像的颜色特征信息；第二建立单元，基于所述第一图像数据库中的所述稀疏编码特征信息建立第一相似性度量库，并且根据所述第二图像数据库中的所述颜色特征信息建立第二相似性度量库；获取单元，用于获取目标权重，其中，所述目标权重为预先为所述第二相似性度量库配置的权重,或者预先为所述第一相似性度量库配置的权重；计算单元，用于根据所述目标权重计算所述第一相似性度量库和所述第二相似性度量库的加权和，并将所述加权和作为目标相似性度量库，其中，所述目标相似性度量用于指示所述预设图像库中任意两个图像之间的相似度；检索单元，用于根据所述目标相似性度量库在所述预设图像中检索所述待检索图像。

进一步地，所述预设图像包括多类预设图像，所述检索单元包括：第一确定模块，用于确定所述多类预设图像中每类预设图像对应的目标子权重，得到多个目标子权重，其中，所述目标子权重为所述目标权重中的子权重；计算模块，用于根据公式D^K＝(1-s^k)D1^k+s^kD2^k计算第K类预设图像对应的相似性度量库，得到向量D＝{D¹,D²,…,D^k,…,D^m}，其中，D^K即为所述第K类预设图像对应的相似性度量库，s^k即为所述第K类预设图像对应的目标子权重，D1^k即为所述第K类预设图像对应的第一相似性度量库，D2^k即为所述第K类预设图像对应的第二相似性度量库，K依次取1至m，m为所述预设图像的分类数量；检索模块，用于依据获取到的所述待检索图像的索引信息和所述目标相似性度量库D＝{D¹,D²,…,D^k,…,D^m}检索所述待检索图像。

进一步地，所述确定模块包括：划分子模块，用于将所述目标权重的取值区间等分成n-1个区间，并将所述n-1个区间的端点值作为n个子权重An；计算子模块，用于依次计算所述子权重Ai在所述每类预设图像中查找所述待检索图像的查准率，得到n个查准率，其中，i依次取1至n；确定子模块，用于在所述n个查准率中确定最大的查准率，并将所述最大查准率对应的子权重作为所述目标子权重。

进一步地，所述第一建立单元包括：加载模块，用于加载所述预设图像，并获取所述预设图像的像素值；处理模块，用于将获取到的所述像素值输入至所述稀疏编码网络中进行处理，得到所述隐藏层的输出结果，其中，所述隐藏层的输出结果为所述预设图像的稀疏编码特征信息；第二建立模块，用于根据所述隐藏层的输出结果建立所述第一图像数据库。

进一步地，所述颜色特征信息包括颜色直方图信息，所述第一建立单元包括：转换模块，用于将所述预设图像由RGB颜色空间转换至HSV颜色空间，得到以下颜色分量：色调分量、饱和度分量和亮度分量；合成模块，用于将所述颜色分量进行合成，得到特征矢量，其中，所述特征矢量包括至少一个特征值；统计模块，用于统计所述特征矢量中的每个特征值在所述预设图像中出现的次数，并根据所述次数计算所述每个特征值出现频率；第二确定模块，用于将计算得到的所述频率作为所述颜色直方图信息；第三建立模块，用于根据所述颜色直方图信息建立所述第二图像数据库。

在本发明实施例中，首先基于提取到的预设图像的颜色特征建立第二图像数据库，然后基于预设图像的稀疏编码特征建立第一图像数据库，接下来，根据第一图像数据库中的稀疏编码特征信息建立第一相似性度量库，并根据颜色特征信息建立第二相似性度量库，最后基于第一相似性度量库和第二相似性度量库建立目标相似性度量库，最后，利用建立的目标相似度量库进行图像检索，达到了准确进行图像检索的目的，从而实现了提高图像检索精度的技术效果，进而解决了现有技术中对图像进行检索时检索准确率较低和检索系统的泛化能力弱的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种图像检索方法的流程图；

图2是根据本发明实施例的一种可选的稀疏编码网络的示意图；

图3是根据本发明实施例另一种图像检索方法的流程图；

图4是根据本发明实施例另一种图像检索方法的流程图；以及

图5是根据本发明实施例的一种图像检索装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明涉及到的专业术语的解释：

欧式距离，向量X＝(X₁,X₂,…,X_n)和y＝(Y₁,Y₂,…,Y_n)之间的欧式距离定义为：

查准率，检索系统的查准率是检索结果中的相关图像数与检索结果中所有图像数的比值，反映检索的准确性。

根据本发明实施例，提供了一种图像检索方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种图像检索方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，建立第一图像数据库和第二图像数据库，其中，第一图像数据库中包括预设图像的稀疏编码特征信息，第二图像数据库中包括预设图像的颜色特征信息。

在本发明实施例中，可以通过使用稀疏编码网络提取预设图像中的稀疏编码特征信息，然后，根据提取到的稀疏编码特征信息建立第一图像数据库(即，图像数据库1)。同时，还可以提取预设图像的颜色特征信息，并根据提取到的颜色特征信息建立第二图像数据库(即，图像数据库2)。

如图2所示的即为一种稀疏编码网络的示意图，从图2中可以看出，稀疏编码网络包括输出层、隐藏层和输入层，其中，通过稀疏编码网络提取到的预设图像的稀疏编码特征其实就是隐藏层的输出。

步骤S104，基于第一图像数据库中的稀疏编码特征信息建立第一相似性度量库，并且根据第二图像数据库中的颜色特征信息建立第二相似性度量库。

在本发明实施例中，在建立第一图像数据库和第二图像数据库之后，就可以根据第一图像数据库中的稀疏编码特征信息建立第一相似性度量库，并根据颜色特征信息建立第二相似性度量库。

具体地，在根据稀疏编码特征信息建立第一相似性度量库时，可以使用稀疏编码特征计算任意两个预设图像之间的欧式距离，然后，根据计算得到的欧式距离建立第一相似性度量库；以及在建立第二相似性度量库时，可以使用颜色特征信息计算任意两个预设图像之间的欧式距离，然后，根据该欧式距离建立第二相似性度量库。

在本发明实施例中，可以利用上述公式

计算欧式距离。假设，有3张图像，提取到的3张图像的稀疏编码特征信息表示为A1、A2和A3，其中，A1、A2和A3均为向量。在提取上述稀疏编码特征信息之后，就可以通过上述公式

计算(A1，A1)，(A1，A2)，(A1，A3)，(A2，A1)，(A2，A2)，(A2，A3)，(A3，A1)，(A3，A2)，(A3，A3)之间的欧式距离，并根据上述欧式距离得到一个3*3的矩阵(即，第一相似性度量库)，该矩阵表示为：

假设，提取到的上述3张图像的颜色特征信息为B1、B2和B3，其中，B1、B2和B3均为向量。在提取上述颜色特征信息之后，就可以通过上述公式

计算(B1，B1)，(B1，B2)，(B1，B3)，(B2，B1)，(B2，B2)，(B2，B3)，(B3，B1)，(B3，B2)，(B3，B3)之间的欧式距离，并根据上述欧式距离得到一个3*3的矩阵(即，第二相似性度量库)，该矩阵表示为：

步骤S106，获取目标权重，其中，目标权重为预先为第二相似性度量库配置的权重,或者预先为第一相似性度量库配置的权重；

步骤S108，根据目标权重计算第一相似性度量库和第二相似性度量库的加权和，并将加权和作为建立目标相似性度量库，其中，目标相似性度量库用于指示预设图像中任意两个图像之间的相似度。

在建立第一相似性度量库D1(即，下述实施例中的图像相似性度量库1)和第二相似性度量库D2(即，下述实施例中的图像相似性度量库2)之后，就可以根据D1和D2建立目标相似性度量库D，例如，根据公式D＝(1-s)D1+sD2，利用第一相似性度量库D1和第二相似性度量库D2计算目标相似性度量库。其中，s即为预先为第二相似性度量库配置的权重，表示第二相似性度量库相对于目标相似性度量库的重要程度，也就是说，目标权重用于表示对颜色特征信息的偏好程度，其中目标权重s的取值范围为[0,1]。接下来，就可以根据建立的目标相似性度量库确定待检索图像与预设图像库中图像的相似度。

步骤S110，根据目标相似性度量库在预设图像中检索待检索图像。

在本发明实施例中，首先基于提取到的预设图像的颜色特征建立第二图像数据库，然后，基于预设图像的稀疏编码特征建立第一图像数据库，接下来，根据第一图像数据库中的稀疏编码特征信息建立第一相似性度量库，并根据颜色特征信息建立第二相似性度量库，并基于第一相似性度量库和第二相似性度量库建立目标相似性度量库，最后，利用建立的目标相似性度量库进行图像检索，达到了准确进行图像检索的目的，进而解决了现有技术中对图像进行检索时检索准确率较低和检索系统的泛化能力弱的技术问题。

在本发明的另一个可选实施方式中，通过上述实施例中的描述可知，由于预设图像中可能包括多类预设图像，在此情况下，根据目标相似性度量库在预设图像中检索待检索图像包括如下步骤：

步骤S1081，确定多类预设图像中每类预设图像对应的目标子权重，得到多个目标子权重，其中，目标子权重为目标权重中的子权重；

步骤S1082，根据公式D^K＝(1-s^k)D1^k+s^kD2^k计算第K类预设图像对应的相似性度量库，得到向量D＝{D¹,D²,…,D^k,…,D^m}，其中，D^K为第K类预设图像对应的相似性度量库，s^k为第K类预设图像对应的目标子权重，D1^k为第K类预设图像对应的第一相似性度量库，D2^k为第K类预设图像对应的第二相似性度量库，K依次取1至m，m为预设图像的分类数量；

步骤S1083，依据获取到的待检索图像的索引信息和目标相似性度量库D＝{D¹,D²,…,D^k,…,D^m}检索待检索图像。

上述目标权重s表示对颜色特征信息的偏好程度，并且目标权重s的取值范围为[0,1]。通过上述描述可知，由于预设图像为多类预设图像，因此，在本发明实施例中，在每类预设图像当中检索待检索图像时，采用的是不同的权重s(即，目标子权重)，其中，目标子权重为目标权重中的子权重，也即，目标权重中包括多个子权重。也就是说，在计算每类预设图像对应的相似性度量库时，首先要确定每个预设图像对应的目标子权重，然后，根据每类预设图像对应的目标子权重计算每类预设图像对应的相似性度量库。

例如，对于第K类预设图像，确定出第K类预设图像对应的目标子权重为s^k，然后确定出第K类预设图像对应的第一相似性度量库D1^k，以及第K类预设图像对应的第二相似性度量库D2^k，最后就可以通过公式D^K＝(1-s^k)D1^k+s^kD2^k计算第K类预设图像对应的相似性度量库D^K。在计算完每类预设图像对应的相似性度量库之后，就可以根据每类预设图像对应的相似性度量库得到目标相似性度量库D＝{D¹,D²,…,D^k,…,D^m}，其中，D¹是第一类预设图像对应的相似性度量库，D²是第二类预设图像对应的相似性度量库，……，D^K即为所述第K类预设图像对应的相似性度量库。

在得到上述目标相似性度量库D＝{D¹,D²,…,D^k,…,D^m}之后，就可以根据获取到的待检索图像的索引信息和D＝{D¹,D²,…,D^k,…,D^m}检索待检索图像。

进一步地可选地，确定多类预设图像中每类预设图像对应的目标子权重，包括如下步骤：

步骤S1，将目标权重的取值区间等分成n-1个区间，并将所述n-1个区间的端点值作为n个子权重An；

步骤S2，依次计算子权重Ai在每类预设图像中查找待检索图像的查准率，得到n个查准率，其中，i依次取1至n；

步骤S3，在n个查准率中确定最大的查准率，并将最大查准率对应的子权重作为目标子权重。

通过上述描述可知，目标子权重为目标权重中的子权重，具体地，如何在目标权重的多个子权重中确定目标子权重，可以通过上述步骤S1至步骤S3中所描述的方法实现。

具体地，首先将目标权重S的取值区间[0,1]进行合适的划分，例如，划分成n-1个区间，然后，取n-1个区间的端点值作为n个子权重An，得到等分后的取值集合记为H＝[A1，A2，A3，…，An]。接下来，接着遍历H中的每一个子权重，计算子权重Ai在每类预设图像中查找待检索图像的查准率。例如，分别计算A1，A2，A3，…，An与第一类预设图像的查准率，得到P¹1，P¹2，P¹3，…，P¹n，然后，在上述n个查准率中确定最大的查准率，并将最大的查准率对应的子权重作为目标子权重。假设，P¹3为最大的查准率，那么确定子权重A3即为目标子权重，此时，子权重A3即为上述目标子权重s^k。

具体地，该算法的基本过程可以描述如下：

1、划分目标权值s的取值区间，得到划分之后的取值集合H，获得H大小，即n＝sise(H,2)；

2、获取初始化变量i＝1；

3、判断i的大小，如果i<＝n，执行步骤4；否则，执行步骤5；

4、得到s＝H(1,i)；

建立相似性度量库D＝(1-s)D1+sD2；

检索每类当中所有图像，获得每类图像在当前子权重下的平均查准率P^k _s，k∈(1,2,…,m)；

i＝i+1，返回执行步骤3；

5、遍历每类的查准率集合P^k＝{P^k ₁,P^k ₂,…,P^k _n}，获得该类最大查准率对应的子权重作为该类的目标子权重的权值s^k；

获得的权值s矩阵记为：s＝[s₁,s₂,…,s_m]'，获得待检索图像的索引信息之后，在第k类中进行检索，得到每类预设图像对应的相似性度量库，即：D^K＝(1-s^k)D1^k+s^kD2^k；然后，得到向量D＝{D¹,D²,…,D^k,…,D^m}，最后，就可以依据获取到待检索图像的索引信息在向量D＝{D¹,D²,…,D^k,…,D^m}中查找待检索图像。

在本发明的另一个可选实施方式中，建立第一图像数据库，具体为：加载预设图像，并获取预设图像的像素值；将获取到的像素值输入至稀疏编码网络中进行处理，得到隐藏层的输出结果，其中，隐藏层的输出结果为预设图像的稀疏编码特征信息；根据隐藏层的输出结果建立第一图像数据库。

在本发明实施例中，在使用稀疏编码网络提取预设图像的稀疏编码特征信息的情况下，由于构造的深层的稀疏编码网络在使用反向传播方法计算导数时，随着网络深度的增加，反向传播的梯度幅度值会快速减小，因此，就导致代价函数相对于最初几层的权重导数非常小。也就是说，使用梯度下降算法，权重会变化很慢，以至于不能有效的从样本中进行学习。

因此，在本发明实施例中采用如图2所示的稀疏编码网络提取稀疏编码特征时，可以将原始预设图像的像素值作为输入传送到输入层，提取隐藏层的输出作为第一个隐藏层的特征，然后，对深层隐藏层的特征提取采用将上一个隐藏层的输出patch作为输入，提取隐藏层的输出作为需要的特征。进一步地，由于稀疏编码网络可以包含多个隐藏层，因此，具体将哪个隐藏层的输出作为稀疏编码特征需要相关技术人员进行相关实验。例如，提取多个隐藏层的输出作为编码特征，然后，利用多个编码特征分别进行检索实验，在同等条件下检索性能最好的编码特征作为本发明检索系统中的编码特征。

在本发明的另一个可选的实施方式中，颜色特征信息包括颜色直方图信息，在此情况下，建立第二图像数据库，具体为：将预设图像由RGB颜色空间转换至HSV颜色空间，得到以下颜色分量：色调分量、饱和度分量和亮度分量；将颜色分量进行合成，得到特征矢量，其中，特征矢量包括至少一个特征值；统计特征矢量中的每个特征值在预设图像中出现的次数，并根据次数计算每个特征值出现的频率，最后，将计算得到的频率作为颜色直方图信息，并根据颜色直方图信息建立第二图像数据库。

具体地，本发明实施例中提取的颜色特征信息是上述预设图像的颜色直方图信息，首先，将图像从RGB空间转换到符合人类视觉特性的HSV空间，得到以下颜色分量：色调分量、饱和度分量和亮度分量。然后，按照人的视觉感知采用非均匀量化方法将色调分量H、饱和度分量S、亮度分量V进行量化。

在得到量化之后，就可以将颜色分量合成一维的特征矢量如下，具体合成公式如下：G＝Kv×Ks×H+Ks×S+V，其中，Ks、Kv分别是S和V的量化等级，G为特征矢量。最后，统计特征矢量G的每个特征值在预设图像中出现的次数，并将计算得到的频率作为颜色直方图，颜色直方图的计算公式如下：

其中，n_m为G中值为m的像素点的个数，N为G中的像素点总数。

综上，本发明实施例，提出了一种图像检索方法，该检索方法为变权重综合编码特征和颜色特征的图像检索算法，采用该方法进行图像检索能够在一定程度上提高基于稀疏编码特征信息或颜色特征信息进行检索的精度，克服现有的图像检索系统泛化能力弱、检索进度低的问题。

具体地，本发明实施例提供的图像检索方法主要包括以下优点：

1、本发明实施例采用稀疏编码网络提取预设图像特征信息，具有好的泛化能力。同时采用深度网络提取不同隐藏层的特征进行检索性能比较，选择性能最优的隐藏层特征作为编码特征，可以提高检索系统的检索性能。

2、将深度编码特征与颜色特征融合，对权值区间[0,1]进行划分，在不同权重下进行检索，获得每类图像的目标子权重s^k，也即最后权重。

3、基于不同的权值s^k，建立每类的相似性度量库D^k，获得综合相似性度量库向量D，然后，根据相似性大小，输出待检索图像。

图3是根据本发明实施例另一种图像检索方法的流程图，如图3所示，在本发明实施例中，首先，加载图像库中的图像(即，预设图像)，然后，建立图像数据库1(即，第一图像数据库)和图像数据库2(即，第二图像数据库)。其中，图像数据库1可以根据预设图像的稀疏编码特征信息建立，图像数据库2可以根据预设图像的颜色特征信息建立。接下来，就可以根据图像数据库1建立图像相似性度量库1(即，第一目标相似性度量库)，以及根据图像数据库2建立图像相似性度量库2(即，第二目标相似性度量库)。

接下来，根据图像相似性度量库1和图像相似性度量库2建立综合图像相似性度量库(即，目标相似性度量库)。在建立综合图像相似性度量库之后，就可以根据综合图像相似性度量库中的相似性度量和待检索图像的索引信息输出检索到的图像。

图4是根据本发明实施例另一种图像检索方法的流程图。需要说明的是，在本发明实施例中，采用稀疏编码特征信息和颜色特征信息建立目标相似性度量库，然后，根据目标相似性度量库检索待检索图像。通过上述描述可知，上述稀疏编码特征信息即为稀疏编码网络中的隐藏层的输出，但是，具体是哪个隐藏层需要技术人员根据实验来确定。

具体地，在本发明实施例中，对于每个隐藏层，技术人员可以获取每个隐藏层的输出，即获取每个隐藏层输出的稀疏编码特征信息，然后，将每个隐藏层输出的稀疏编码特征信息都按照如图4所示的流程图进行处理。然后，获取基于每个隐藏层输出的稀疏编码特征进行图像检索的查准率，进而，根据查准率确定使用哪个隐藏层输出的稀疏编码特征信息。

例如，在本发明实施例中，采用欧式距离度量的方法，每次检索显示30张示例图像，在包括建筑、公共汽车、花、马、海洋共5类的WANG数据集的子集和包括佛像、蝴蝶、美元、汽车、手机、邮轮、照相机共7类的Caltech-101数据集的子集进行检索实验。对于编码特征提取：分别提取表1所示的5个隐藏层的特征，基于5个隐藏层的特征采用图4所示的检索系统进行检索实验，经过比较发现基于第二个隐藏层特征进行检索的性能最优，因此，综合图像检索系统的编码特征选用第二个隐藏层的特征信息。同时对于颜色特征的提取：首先将色调分量H分为16分，饱和度分量S和亮度分量V都分为4分，量化公式如下：

接着将颜色分量合成一维的特征矢量如下，具体合成公式如下：G＝16×H+4×S+V，其中，G的取值范围为[0,255]。最后，统计特征矢量G的每个特征值在预设图像中出现的次数，进而计算每个特征值出现的频率，并将计算得到的频率作为颜色直方图。

因此，采用检索的性能最优的第二个隐藏层的特征作为稀疏编码特征信息与颜色特征综合建立综合图像检索系统，并使用该综合图像检索系统进行图像检索的检索结果表明，基于本发明实施例的检索的综合图像检索系统具有较好的性能。WANG数据集中基于本发明检索系统的查准率比基于颜色特征的检索系统查准率高10.6％，比基于稀疏编码特征的检索系统查准率高9.16％,比采用统一权值的检索系统查准率高0.97％；Caltech-101数据集中基于本发明检索系统的查准率比基于颜色特征的检索系统查准率高15.18％，比基于编码特征的检索系统查准率高7.36％,比采用统一权值的检索系统查准率高4.73％。

表1

本发明实施例还提供了一种图像检索装置，该图像检索装置主要用于执行本发明实施例上述内容所提供的图像检索方法，以下对本发明实施例提供的图像检索装置做具体介绍。

图5是根据本发明实施例的一种图像检索装置的示意图，如图5所示，该图像检索装置主要包括第一建立单元51、第二建立单元53、获取单元55、计算单元57和检索单元59，其中：

第一建立单元51，用于建立第一图像数据库和第二图像数据库，其中，第一图像数据库中包括预设图像的稀疏编码特征信息，第二图像数据库中包括预设图像的颜色特征信息。

在本发明实施例中，可以通过使用稀疏编码网络提取预设图像中的稀疏编码特征信息，然后，根据提取到的稀疏编码特征信息建立第一图像数据库(即，图像数据库1)。同时，还可以提取预设图像的颜色特征信息，并根据提取到的颜色特征信息建立第二图像数据库(即，图像数据库2)。

如上述图2所示的即为一种稀疏编码网络的示意图，从图2中可以看出，稀疏编码网络包括输出层、隐藏层和输入层，其中，通过稀疏编码网络提取到的预设图像的稀疏编码特征其实就是隐藏层的输出。

第二建立单元53，基于第一图像数据库中的稀疏编码特征信息建立第一相似性度量库，并且根据第二图像数据库中的颜色特征信息建立第二相似性度量库。

在本发明实施例中，在建立第一图像数据库和第二图像数据库之后，就可以根据第一图像数据库中的稀疏编码特征信息建立第一相似性度量库，并根据颜色特征信息建立第二相似性度量库。

具体地，在根据稀疏编码特征信息建立第一相似性度量库时，可以使用稀疏编码特征计算任意两个预设图像之间的欧式距离，然后，根据计算得到的欧式距离建立第一相似性度量库；以及在建立第二相似性度量库时，可以使用颜色特征信息计算任意两个预设图像之间的欧式距离，然后，根据该欧式距离建立第二相似性度量库。

在本发明实施例中，可以利用上述公式

欧式距离。假设，有3张图像，提取到的3张图像的稀疏编码特征信息表示为A1、A2和A3，其中，A1、A2和A3均为向量。在提取上述稀疏编码特征信息之后，就可以通过上述公式计算(A1，A1)，(A1，A2)，(A1，A3)，(A2，A1)，(A2，A2)，(A2，A3)，(A3，A1)，(A3，A2)，(A3，A3)之间的欧式距离，并根据上述欧式距离得到一个3*3的矩阵(即，第一相似性度量库)，表示为：

假设，提取到的上述3张图像的颜色特征信息为B1、B2和B3，其中，B1、B2和B3均为向量。在提取上述颜色特征信息之后，就可以通过上述公式计算(B1，B1)，(B1，B2)，(B1，B3)，(B2，B1)，(B2，B2)，(B2，B3)，(B3，B1)，(B3，B2)，(B3，B3)之间的欧式距离，并根据上述欧式距离得到一个3*3的矩阵(即，第二相似性度量库)，表示为：

获取单元55，用于获取目标权重，其中，目标权重为预先为第二相似性度量库配置的权重,或者预先为第一相似性度量库配置的权重；

计算单元57，用于根据目标权重计算第一相似性度量库和第二相似性度量库的加权和，并将加权和作为目标相似性度量库，其中，目标相似性度量库用于指示预设图像库中任意两个图像之间的相似度。

在建立第一相似性度量库D1(即，下述实施例中的图像相似性度量库1)和第二相似性度量库D2(即，下述实施例中的图像相似性度量库2)之后，就可以根据D1和D2建立目标相似性度量库D，例如，根据公式D＝(1-s)D1+sD2，利用第一相似性度量库D1和第二相似性度量库D2计算目标相似性度量库。其中，s即为预先为第二相似性度量库配置的权重，表示第二相似性度量库相对于目标相似性度量库的重要程度，也就是说，目标权重用于表示对颜色特征信息的偏好程度，其中目标权重s的取值范围为[0,1]。进而，就可以根据建立的目标相似性度量库确定待检索图像与预设图像库中图像的相似度。

在本发明实施例中，在建立第一图像数据库(即，图像数据库1)和第二图像数据库(即，图像数据库2)之后，就可以根据第一图像数据库和第二图像数据库建立目标相似性度量库，进而，就可以根据建立的目标相似性度量库以及待检索图像的索引信息确定检索图像。

检索单元59，用于根据目标相似性度量库在预设图像中检索待检索图像。

在本发明实施例中，首先基于提取到的预设图像的颜色特征建立第二图像数据库，然后基于预设图像的稀疏编码特征建立第一图像数据库，最后基于第一图像数据库和第二图像数据库建立目标相似性度量库，并利用建立的目标相似度量库进行图像检索，达到了准确进行图像检索的目的，进而解决了现有技术中对图像进行检索时检索准确率较低和检索系统的泛化能力弱的技术问题。

可选地，预设图像包括多类预设图像，检索单元包括：第一确定模块，用于确定多类预设图像中每类预设图像对应的目标子权重，得到多个目标子权重，其中，目标子权重为目标权重中的子权重；计算模块，用于根据公式D^K＝(1-s^k)D1^k+s^kD2^k计算第K类预设图像对应的相似性度量库，得到向量D＝{D¹,D²,…,D^k,…,D^m}，其中，D^K为第K类预设图像对应的相似性度量库，s^k为第K类预设图像对应的目标子权重，D1^k为第K类预设图像对应的第一相似性度量库，D2^k为第K类预设图像对应的第二相似性度量库，K依次取1至m，m为预设图像的分类数量；检索模块，用于依据获取到的待检索图像的索引信息和目标相似性度量库D＝{D¹,D²,…,D^k,…,D^m}检索待检索图像。

可选地，确定模块包括：划分子模块，用于将目标权重的取值区间等分成n-1个区间，并将所述n-1个区间的端点值作为n个子权重An；计算子模块，用于依次计算子权重Ai在每类预设图像中查找待检索图像的查准率，得到n个查准率，其中，i依次取1至n；确定子模块，用于在n个查准率中确定最大的查准率，并将最大查准率对应的子权重作为目标子权重。

可选地，第一建立单元包括：加载模块，用于加载预设图像，并获取预设图像的像素值；处理模块，用于将获取到的像素值输入至稀疏编码网络中进行处理，得到隐藏层的输出结果，其中，隐藏层的输出结果为预设图像的稀疏编码特征信息；第二建立模块，用于根据隐藏层的输出结果建立第一图像数据库。

可选地，颜色特征信息包括颜色直方图信息，第一建立单元包括：转换模块，用于将预设图像由RGB颜色空间转换至HSV颜色空间，得到以下至少一种颜色分量：色调分量、饱和度分量和亮度分量；合成模块，用于将颜色分量进行合成，得到特征矢量，其中，特征矢量包括至少一个特征值；统计模块，用于统计特征矢量中的每个特征值在预设图像中出现的次数，并根据次数计算每个特征值出现的频率；第二确定模块，用于将计算得到的频率作为颜色直方图信息；第三建立模块，用于根据颜色直方图信息建立第二图像数据库。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种图像检索方法，其特征在于，包括：

建立第一图像数据库和第二图像数据库，其中，所述第一图像数据库中包括预设图像的稀疏编码特征信息，所述第二图像数据库中包括所述预设图像的颜色特征信息；

基于所述第一图像数据库中的所述稀疏编码特征信息建立第一相似性度量库，并且根据所述第二图像数据库中的所述颜色特征信息建立第二相似性度量库；

获取目标权重，其中，所述目标权重为预先为所述第二相似性度量库配置的权重,或者预先为所述第一相似性度量库配置的权重；

根据所述目标权重计算所述第一相似性度量库和所述第二相似性度量库的加权和，并将所述加权和作为目标相似性度量库，其中，所述目标相似性度量库用于指示所述预设图像中任意两个图像之间的相似度；

根据所述目标相似性度量库在所述预设图像中检索待检索图像；

其中，所述预设图像包括多类预设图像，根据所述目标相似性度量库在所述预设图像中检索待检索图像包括：

确定所述多类预设图像中每类预设图像对应的目标子权重，得到多个目标子权重，其中，所述目标子权重为所述目标权重中的子权重；

根据公式D^K＝(1-s^k)D1^k+s^kD2^k计算第K类预设图像对应的相似性度量库，得到向量D＝{D¹,D²,…,D^k,…,D^m}，其中，D^K为所述第K类预设图像对应的相似性度量库，s^k为所述第K类预设图像对应的目标子权重，D1^k为所述第K类预设图像对应的第一相似性度量库，D2^k为所述第K类预设图像对应的第二相似性度量库，K依次取1至m，m为所述预设图像的分类数量；

依据获取到的所述待检索图像的索引信息和所述目标相似性度量库D＝{D¹,D²,…,D^k,…,D^m}检索所述待检索图像。

2.根据权利要求1所述的方法，其特征在于，确定所述多类预设图像中每类预设图像对应的目标子权重包括：

将所述目标权重的取值区间等分成n-1个区间，并将所述n-1个区间的端点值作为n个子权重Ai；

依次计算所述子权重Ai在所述每类预设图像中查找所述待检索图像的查准率，得到n个查准率，其中，i依次取1至n；

在所述n个查准率中确定最大的查准率，并将所述最大查准率对应的子权重作为所述目标子权重。

3.根据权利要求1所述的方法，其特征在于，建立所述第一图像数据库包括：

加载所述预设图像，并获取所述预设图像的像素值；

将获取到的所述像素值输入至稀疏编码网络中进行处理，得到隐藏层的输出结果，其中，所述隐藏层的输出结果为所述预设图像的稀疏编码特征信息；

根据所述隐藏层的输出结果建立所述第一图像数据库。

4.根据权利要求1所述的方法，其特征在于，所述颜色特征信息包括颜色直方图信息，建立所述第二图像数据库包括：

将所述预设图像由RGB颜色空间转换至HSV颜色空间，得到以下颜色分量：色调分量、饱和度分量和亮度分量；

将所述颜色分量进行合成，得到特征矢量，其中，所述特征矢量包括至少一个特征值；

统计所述特征矢量中的每个特征值在所述预设图像中出现的次数，并根据所述次数计算所述每个特征值出现的频率；

将计算得到的所述频率作为所述颜色直方图信息；

根据所述颜色直方图信息建立所述第二图像数据库。

5.一种图像检索装置，其特征在于，包括：

第一建立单元，用于建立第一图像数据库和第二图像数据库，其中，所述第一图像数据库中包括预设图像的稀疏编码特征信息，所述第二图像数据库中包括所述预设图像的颜色特征信息；

第二建立单元，基于所述第一图像数据库中的所述稀疏编码特征信息建立第一相似性度量库，并且根据所述第二图像数据库中的所述颜色特征信息建立第二相似性度量库；

获取单元，用于获取目标权重，其中，所述目标权重为预先为所述第二相似性度量库配置的权重,或者预先为所述第一相似性度量库配置的权重；

计算单元，用于根据所述目标权重计算所述第一相似性度量库和所述第二相似性度量库的加权和，并将所述加权和作为目标相似性度量库，其中，所述目标相似性度量用于指示所述预设图像中任意两个图像之间的相似度；

检索单元，用于根据所述目标相似性度量库在所述预设图像中检索待检索图像；

其中，所述预设图像包括多类预设图像，所述检索单元包括：

第一确定模块，用于确定所述多类预设图像中每类预设图像对应的目标子权重，得到多个目标子权重，其中，所述目标子权重为所述目标权重中的子权重；

计算模块，用于根据公式D^K＝(1-s^k)D1^k+s^kD2^k计算第K类预设图像对应的相似性度量库，得到向量D＝{D¹,D²,…,D^k,…,D^m}，其中，D^K为所述第K类预设图像对应的相似性度量库，s^k为所述第K类预设图像对应的目标子权重，D1^k为所述第K类预设图像对应的第一相似性度量库，D2^k为所述第K类预设图像对应的第二相似性度量库，K依次取1至m，m为所述预设图像的分类数量；

检索模块，用于依据获取到的所述待检索图像的索引信息和所述目标相似性度量库D＝{D¹,D²,…,D^k,…,D^m}检索所述待检索图像。

6.根据权利要求5所述的装置，其特征在于，所述第一确定模块包括：

划分子模块，用于将所述目标权重的取值区间等分成n-1个区间，并将所述n-1个区间的端点值作为n个子权重Ai；

计算子模块，用于依次计算所述子权重Ai在所述每类预设图像中查找所述待检索图像的查准率，得到n个查准率，其中，i依次取1至n；

确定子模块，用于在所述n个查准率中确定最大的查准率，并将所述最大查准率对应的子权重作为所述目标子权重。

7.根据权利要求5所述的装置，其特征在于，所述第一建立单元包括：

加载模块，用于加载所述预设图像，并获取所述预设图像的像素值；

处理模块，用于将获取到的所述像素值输入至稀疏编码网络中进行处理，得到隐藏层的输出结果，其中，所述隐藏层的输出结果为所述预设图像的稀疏编码特征信息；

第二建立模块，用于根据所述隐藏层的输出结果建立所述第一图像数据库。

8.根据权利要求5所述的装置，其特征在于，所述颜色特征信息包括颜色直方图信息，所述第一建立单元包括：

转换模块，用于将所述预设图像由RGB颜色空间转换至HSV颜色空间，得到以下颜色分量：色调分量、饱和度分量和亮度分量；

合成模块，用于将所述颜色分量进行合成，得到特征矢量，其中，所述特征矢量包括至少一个特征值；

统计模块，用于统计所述特征矢量中的每个特征值在所述预设图像中出现的次数，并根据所述次数计算所述每个特征值出现频率；

第二确定模块，用于将计算得到的所述频率作为所述颜色直方图信息；

第三建立模块，用于根据所述颜色直方图信息建立所述第二图像数据库。

Images