CN104239522B - 一种基于图像间内容约束的超像素编码图像检索方法 - Google Patents

Abstract

本发明属于图像处理技术领域，具体公开了一种基于图像间内容约束的超像素编码图像检索方法。其步骤为：1)对图像进行超像素分割，记录各超像素块的位置信息；2)提取图像的超像素块的SIFT和LBP融合特征；3)从图像库中随机选取训练图像的超像素块融合特征，通过K‑means聚类生成字典；4)输入检索图像，通过该字典对检索图像编码，并对除检索图像外的图像进行初始编码。5)对图像库中的图像进行初始编码，通过在待检索图像相应区域内筛选最相似的编码值作为预测编码之后再对图像库中的图像进行约束编码；6)对待检索图像和图像库中的其余图像编码，并计算相似度匹配，按照匹配值显示检索结果。本发明具有较高准确率和回调率。

Description

一种基于图像间内容约束的超像素编码图像检索方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于图像间内容约束的超像素编码图像检索方法，可应用于人机交互、信息检索等方面。

背景技术

图像检索一直是计算机视觉领域备受关注的关键技术之一，也是目前学界和各大互联网公司研究的热点。虽然目前已有大量的算法来实现图像的检索，但由于人们对图像的标注和理解没有统一的标准，随着人们对信息需求的精确性的提高，图像检索的效率和准确率也使得图像检索的发展难以满足人们的需求。

近年来，超像素分割逐渐成为计算机视觉领域流行的图像处理方法。它不同于以往人们对像素概念的理解，它是将图像中像素点的空间信息，文理信息分析和计算，将一些像素点连接在一起组成一个超像素块。它在去除图像冗余信息的同时保证了块内信息的一致性，且不会破坏图像的边缘等信息。此外，建立在超完备集基础之上的稀疏表示由于只采用少数码字来表示图像特征，它更符合人眼的视觉特性，也在图像处理中得到广泛的应用。

国家计算机网络与信息安全管理中心提出的专利申请“一种图像检索/匹配方法及系统”(专利申请号CN201110427104.7,公开号CN102521838A)公开了一种基于匹配特征点集的图像检索方法。在两幅图像中，分别以初始匹配特征点为中心，将图像划分为两个以上区域，将图像均划分为两个以上的区域,并对各区域编号；在两幅图像中,分别以其他各初始匹配特征点所处区域的编号构成的矢量来描述该初始匹配特征点的全局特征；对两个矢量进行比较,如果相似度达到要求,则为正确的匹配特征点对。该方法未能考虑图像库中图像与待检索图像之间的关系，导致检索准确率较低。

辽宁师范大学的专利“基于重要位平面的图像检索新方法”(申请号CN200610067581.6，公开号CN101038668)公开了一种基于重要位平面的图像检索方法，首先从原始图像中提取重要位平面；然后选取重要位平面图像的颜色直方图作为颜色特征,选取重要位平面图像的颜色标准偏差作为空间特征；最后综合利用上述颜色、空间两个特征计算图像间内容的相似度,根据相似度排序,输出相似图像集合。该方法的不足是未能考虑图像的空间位置信息，且对图像的颜色特征比较敏感。当图像的颜色发生较大改变时难以实现较好的检索效果。

以上两种方法均是对待检索图像和图像库中图像分别提取特征编码，未能利用待检索与图像库中图像的信息，当图像颜色特征，空间位置发生较大改变时难以实现高效的检索。

发明内容

本发明针对上述现有技术的不足，提出一种基于图像间内容约束的超像素编码图像检索方法，充分利用图像之间的信息，得到高准确率高回调率检索的目的。

本发明提供的这种基于图像间内容约束的超像素编码图像检索方法，包括以下步骤：

(1)对图像进行超像素分割：

(1a)根据SLIC超像素分割方法对图像库中所有图像进行超像素分割，将图像分割为不同的超像素块，并记录每个像素点所属的超像素块；

(1b)将图像中的每一个超像素块中的所有像素点的坐标按式(1)所示方法求平均值，并将该平均值作为超像素块的坐标，

式中，K_i表示第i个超像素块中的像素点个数，r_ij表示第i个超像素块中第j个像素点的行数，r_i表示第i个超像素块的行数，c_ij表示第i个超像素块中第j个像素点的列数，c_i表示第i个超像素块的列数；

(2)图像库中所有图像的特征提取:

(2a)根据dense-SIFT方法，提取图像库中每张图像每个像素点的128维SIFT特征描述子，并记录相应特征描述子的行列信息；将图像中的每一个超像素块中的所有像素点的SIFT特征通过下式求平均值，并将该平均值作为每个像素块的SIFT特征描述子，

式中，K_i表示第i个超像素块中的像素点个数，x_ij表示第i个超像素块中第j个像素点的特征，s_i表示第i个超像素块的SIFT特征描述子；

(2b)提取图像中每个超像素块的59维LBP特征：

(a)根据图像中每个像素点与其相邻八个点的灰度值的大小关系计算出一个0到255之间的数字并用该数字代表相应的像素点；(b)根据均匀LBP模式的映射方式将每个像素点通过(a)获取的数字映射到0-58之间的相应的数字；(c)对于某一个超像素块我们将其包含的所有像素点在(b)中对应的数字进行直方图统计，并将该直方图统计值作为该超像素块的LBP特征；

(2c)将图像库中每个图像的每个超像素块的SIFT和LBP特征直接连接在一起，

形成187维融合特征，并将它作为该超像素块的特征；

(3)构建字典：

随机选取图像库中20％的图像的超像素块融合特征描述子作为构建字典的训练样本，采用K均值聚类的方法，得到187*k的字典B，其中k为字典中码字的个数；

(4)获取图像的初始编码：

根据式(3)对每一张图像进行初始编码，

式中，c_i′表示图像的初始编码，N表示该图像中超像素块的个数，i表示图像中第i个超像素块，x_i表示第i个超像素块的特征，B_i是字典B的子集，它是由与特征x_i最近的L个码字构成，将L取值为5，argmin(·)表示取最小值操作对应的c_i',||·||²表示求二范数操作，s.t.表示约束条件符号，(·)^T表示转置操作，表示i任意取1～N中的一个整数；

随机选择图像库中一张图像作为待检索图像，对于待检索图像，c'_i表示其编码，对于图像库中的除待检索图像外的其他图像，c'_i表示其初始编码；

(5)基于待检索图像计算图像库中除待检索图像外其他图像的编码：

(5a)按照式(4)计算图像库中除待检索图像之外的其他所有图像进行预测编码：

式中，c'_i表示图像库中图像的超像素块i通过步骤(4)的初始编码，表示图像库中图像的超像素块i在检索图像中邻域的所有超像素块编码，||·||表示求一范数操作，argmin(·)表示在选取取得最小值时所对应的像素点的值，表示图像库中图像的超像素块i在检索图像编码约束后的预测编码，

其中，将所有图像等分为四个区域，当图像库中图像的超像素块i在该图像中属于第M块区域时，M取值为1,2,3,4中的一个，图像库中除待检索图像外的其他图像的超像素块i在检索图像中邻域是指待检索图像中的第M块区域；

(5b)根据步骤(5a)中所求得的图像的预测编码以及步骤(3)中聚类得到的字典，利用式(5)对图像库中待检索图像进行编码：

式中，c_i表示图像的第i个超像素块基于待检索图像的精确编码，表示通过步骤(5a)得到的图像的第i个超像素块基于待检索图像的预测编码，B表示通过步骤(3)获取的字典，x_i表示第i个超像素块的特征，||·||²表示求二范数操作，s.t.表示约束条件符号，(·)^T表示转置操作，表示i任意取1～N中的一个整数；式(5)是凸函数；

(6)图像的相似性检索：

(6a)图像的表示：

如步骤(5a)所述，图像等分为四个区域，分别对每个区域进行编码，对于每一区域的编码中，对每一个码字选择该区域内所有超像素在该码字上的编码值最大的码值作为该区域在该码字上的编码值；对于每一个区域，会得到一个k维的向量，向量的每一维的值表示该区域在对应码字的编码值，此k维向量作为该区域的表示；将四个区域各自的k维向量直接连接起来，作为该图像基于待检索图像的表示；

(6b)相似度匹配：

通过计算待检索图像与图像库中其他图像编码的一范数距离，作为待检索图像与图像库中除待检索图像外的其他图像的相似度，将待检索图像与图像库中其他图像的相似度作从小到大排序，作为该检索图像的检索结果。

上述步骤(2)的(2b)超像素块的LBP特征的提取方式为：(a)比较图像中每个像素点和以该像素点为中心的相邻八个像素点的灰度值的大小关系，如果相邻点灰度值大于中心像素点灰度值，则该相应位置标记为1，否则标记为0，以中心像素点的正上方位置为起始位置，按顺时针方向链接各相邻点位置的标记则可获取一个8位二进制数，对应于一个0到255之间的十进制数字并用该数字代表相应的中心像素点；(b)根据均匀LBP模式的映射方式将每个像素点的通过(a)获取的数字映射到0到58之间的数字；(c)以每个超像素块为一个提取LBP特征的区域，对于图像的任一个超像素块我们将其包含的所有像素点在(b)中对应的数字进行直方图统计，并将该直方图统计值作为该超像素块的59维LBP特征。

本发明的有益效果：本发明通过待检索图像和图像库中图像的内容约束关系,以待检索图像为基准,对图像库中图像进行约束编码,保证了同类图像间的连续性稳定性.本发明可用于各种检索情况,具有较高的检索准确率和回调率。本发明与现有技术相比有以下优点：

1、本发明通过对SIFT特征和LBP特征进行特征融合的方式，融合之后的特征可以更好的表示的提取图像的信息，提高检索准确率。

2、本发明由于通过筛选图像超像素块编码与检索图像对应邻域超像素块编码的最小距离所对应的超像素块的编码，然后根据该编码，采用图像间像素点编码相约束的方法确保图像空间位置的一致性，很好地克服了现有技术中因丢失空间信息导致效果不理想的缺点。

3、本发明由于在求解超像素块编码时将求范数公式的最优问题转化为求解析解的问题，减少了计算复杂度。

以下将结合附图对本发明做进一步详细说明。

附图说明

图1为本发明的图像检索流程示意图；

图2为本发明与现有技术中5种检索方法的平均检索准确率对比曲线图；

图3为本发明与现有技术中5种检索方法的平均检索回调率对比曲线图。

具体实施方式

参照图1，本发明具体实现步骤如下：

(1)对图像进行超像素分割：

(1a)根据SLIC超像素分割方法对图像库中所有图像进行超像素分割，将图像分割为不同的超像素块，并记录每个像素点所属的超像素块；

(1b)将图像中的每一个超像素块中的所有像素点的坐标求平均值，并将该平均值作为超像素块的坐标，

式中，K_i表示第i个超像素块中的像素点个数，r_ij表示第i个超像素块中第j个像素点的行数，r_i表示第i个超像素块的行数。c_ij表示第i个超像素块中第j个像素点的列数，c_i表示第i个超像素块的列数。

(2)图像库中所有图像的特征提取与融合:

(2a)根据dense-SIFT方法，提取图像库中每张图像每个像素点的128维SIFT特征，并记录相应特征的行列信息；将图像中的每一个超像素块中的所有像素点的SIFT特征通过(2)式求平均值，并将该平均值作为每个像素块的SIFT特征，

式中，K_i表示第i个超像素块中的像素点个数，x_ij表示第i个超像素块中第j个像素点的特征，s_i表示第i个超像素块的SIFT特征；

(2b)提取图像中每个超像素块的59维LBP特征：

(a)比较图像中每个像素点和以该像素点为中心的相邻八个像素点的灰度值的大小关系，如果相邻点灰度值大于中心像素点灰度值，则该相应位置标记为1，否则标记为0，以中心像素点的正上方位置为起始位置，按顺时针方向链接各相邻点位置的标记则可获取一个8位二进制数，对应于一个0到255之间的十进制数字并用该数字代表相应的中心像素点；(b)根据均匀LBP模式的映射方式将每个像素点的通过(a)获取的数字映射到0到58之间的数字；(c)以每个超像素块为一个提取LBP特征的区域，对于图像的任一个超像素块我们将其包含的所有像素点在(b)中对应的数字进行直方图统计，并将该直方图统计值作为该超像素块的59维LBP特征。

(2c)将图像库中每个图像的每个超像素块的SIFT和LBP特征直接连接在一起，形成187维特征，并将它作为该超像素块SIFT-LBP的融合特征；

(3)构建字典：

随机选取图像库中20％的图像的超像素块融合特征作为构建字典的训练样本，采用K均值聚类的方法，可以得到得到187*k的字典B，其中k为字典中码字的个数。

(4)获取图像的初始编码：

根据式(3)对每一张图像进行初始编码，

式中，c_i′表示图像的初始编码，N表示该图像中超像素块的个数，i表示图像中第i个超像素块，x_i表示第i个超像素块的特征，B_i是字典B的子集，它是由与特征x_i最近的L个码字构成，L在本发明中取值为5，argmin(·)表示取最小值操作对应的c_i',,||·||²表示求二范数操作，s.t.表示约束条件符号，(·)^T表示转置操作，表示i任意取1～N中的一个整数；

任选一张图像作为待检索图像，对于待检索图像，c'_i表示其编码，对于图像库中的除待检索图像外的其他图像，c'_i表示其初始编码；

(5)基于待检索图像计算图像库中除待检索图像外其他图像的编码：

(5a)按照式(4)计算图像库中除待检索图像之外的其他所有图像进行预测编码：

式中，c'_i表示图像库中除待检索图像外的图像的超像素块i通过步骤(4)的初始编码，表示图像库中图像的超像素块i在检索图像中邻域的所有超像素块编码，||·||表示求一范数操作，argmin(·)表示在选取取得最小值时所对应的像素点的值，表示图像库中除待检索图像外的图像的超像素块i在检索图像编码约束后的预测编码；

其中，我们将所有图像等分为四个区域，当图像库中图像的超像素块i在该图像中属于第M块区域时，M取值为1,2,3,4中的一个，图像库中除待检索图像外的其他图像的超像素块i在检索图像中邻域是指待检索图像中的第M块区域；

(5b)根据步骤(5a)中所求得的图像的预测编码以及步骤(3)中聚类得到的字典，利用式(5)对图像库中待检索图像进行编码：

式中，c_i表示图像的第i个超像素块基于待检索图像的精确编码，表示通过步骤(5a)得到的图像的第i个超像素块基于待检索图像的预测编码，B表示通过步骤(3)获取的字典，x_i表示第i个超像素块的特征，||·||²表示求二范数操作，s.t.表示约束条件符号，(·)^T表示转置操作，表示i任意取1～N中的一个整数；

通过此步骤我们建立起待检索图像与图像库中除待检索图像外的其他图像之间的的联系，并在建立联系的过程中把图像的空间位置信息考虑进去。对图像库中除待检索图像外的其他图像编码的过程中都加入了带检索图像的信息，可以提高检索准确率。

(6)图像的相似性检索：

(6a)图像的表示：

如步骤(5a)所述，图像等分为四个区域，对于每一区域的编码中，对每一个码字选择该区域内所有超像素在该码字上的编码码值最大的码值作为该区域在该码值的编码；对于每一个区域，我们可以得到一个k维的向量，作为该区域的表示；将四个区域各自的k维向量直接连接起来，作为该图像基于待检索图像的编码，并把此编码作为图像的表示；

(6b)相似度匹配：

通过计算待检索图像与图像库中其他图像编码的一范数距离，作为待检索图像与图像库中除待检索图像外的其他图像的相似度，将待检索图像与图像库中其他图像的相似度作从小到大排序，作为该检索图像的检索结果。

在计算相似度的过程中，同样依据步骤(5a)将图像分为相同的四块分别进行相似度匹配这一过程将图像空间位置信息考虑进去，进一步提高检索准确率。

以下是将本发明方法应用在Corel-1000图像数据库以测试检索准确率和回调率：

Corel-1000图像数据库包括10类图像，每一类包括100张图像；将图像库中每一张图像作为待检索图像按照步骤(1)到步骤(6)中的方法可获取对每一张图像作为检索图像时的检索结果。由此可以得到图像库中十类图像每一类图像在给定返回数目图像时的平均准确率和平均回调率。图2和图3分别给出了本方面方法与其他四类图像检索方法的效果对比图。

因此，本发明通过待检索图像和图像库中图像的内容约束关系,以待检索图像为基准,对图像库中图像进行约束编码,保证了同类图像间的连续性稳定性.本发明可用于各种检索情况,具有较高的检索准确率和回调率。本发明与现有技术相比有以下优点：

1、本发明通过对SIFT特征和LBP特征进行特征融合的方式，融合之后的特征可以更好的表示的提取图像的信息，提高检索准确率。

2、本发明由于通过筛选图像超像素块编码与检索图像对应邻域超像素块编码的最小距离所对应的超像素块的编码，然后根据该编码，采用图像间像素点编码相约束的方法确保图像空间位置的一致性，稳定性，很好地克服了现有技术中因丢失空间信息导致跟踪效果不理想的缺点。

3、本发明由于在求解超像素块编码时将求范数公式的最优问题转化为求解析解的问题，减少了计算复杂度。

本实施方式没有详细叙述的部分属本行业的公知的常用手段，这里不一一叙述。以上例举仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (2)

1.一种基于图像间内容约束的超像素编码图像检索方法，其特征在于：

包括以下步骤：

(1)对图像进行超像素分割：

(1a)根据SLIC超像素分割方法对图像库中所有图像进行超像素分割，将图像分割为不同的超像素块，并记录每个像素点所属的超像素块；

(1b)将图像中的每一个超像素块中的所有像素点的坐标按式(1)所示方法求平均值，并将该平均值作为超像素块的坐标，

$\begin{array}{c}{r}_i=\frac{1}{K_i}\underset{j=1}{\overset{K_i}{\Σ}}{r}_{ij}\\ c_i=\frac{1}{K_i}\underset{j=1}{\overset{K_i}{\Σ}}{c}_{ij}\end{array}---\left(1\right)$

式中，K_i表示第i个超像素块中的像素点个数，r_ij表示第i个超像素块中第j个像素点的行数，r_i表示第i个超像素块的行数，c_ij表示第i个超像素块中第j个像素点的列数，c_i表示第i个超像素块的列数；

(2)图像库中所有图像的特征提取:

(2a)根据dense-SIFT方法，提取图像库中每张图像每个像素点的128维SIFT特征描述子，并记录相应特征描述子的行列信息；将图像中的每一个超像素块中的所有像素点的SIFT特征通过下式求平均值，并将该平均值作为每个像素块的SIFT特征描述子，

$s_i=\frac{1}{K_i}\underset{j=1}{\overset{K_i}{\Σ}}{x}_{ij}---\left(2\right)$

式中，K_i表示第i个超像素块中的像素点个数，x_ij表示第i个超像素块中第j个像素点的特征，s_i表示第i个超像素块的SIFT特征描述子；

(2b)提取图像中每个超像素块的59维LBP特征；

(2c)将图像库中每个图像的每个超像素块的SIFT和LBP特征直接连接在一起，形成187维融合特征，并将它作为该超像素块的特征；

(3)构建字典：

随机选取图像库中20％的图像的超像素块融合特征描述子作为构建字典的训练样本，采用K均值聚类的方法，得到187*k的字典B，其中k为字典中码字的个数；

(4)获取图像的初始编码：

根据式(3)对每一张图像进行初始编码，

$\begin{array}{c}\underset{c_i^{\′}}{\arg \min }{\Σ}_{i=1}^N\left|\right|x_i-B_i{c}_i^{\′}|{|}^2\\ s.t{.1}^T{c}_i^{\′}=1,\∀i\end{array}---\left(3\right)$

式中，c′_i表示图像的初始编码，N表示该图像中超像素块的个数，i表示图像中第i个超像素块，x_i表示第i个超像素块的特征，B_i是字典B的子集，它是由与特征x_i最近的L个码字构成，将L取值为5，argmin(·)表示取最小值操作对应的c′_i,||·||²表示求二范数操作，s.t.表示约束条件符号，(·)^T表示转置操作，表示i任意取1～N中的一个整数；

随机选择图像库中一张图像作为待检索图像，对于待检索图像，c'_i表示其编码，对于图像库中的除待检索图像外的其他图像，c'_i表示其初始编码；

(5)基于待检索图像计算图像库中除待检索图像外其他图像的编码：

(5a)按照式(4)计算图像库中除待检索图像之外的其他所有图像进行预测编码：

$c_i^{re}=\underset{c_{\∂i}^{re}}{\arg \min }\left|\right|c_i^{\′}-c_{\∂i}^{re}\left|\right|---\left(4\right)$

式中，c'_i表示图像库中图像的超像素块i通过步骤(4)的初始编码，表示图像库中图像的超像素块i在检索图像中邻域的所有超像素块编码，||·||表示求一范数操作，argmin(·)表示在选取取得最小值时所对应的像素点的值，表示图像库中图像的超像素块i在检索图像编码约束后的预测编码，

其中，将所有图像等分为四个区域，当图像库中图像的超像素块i在该图像中属于第M块区域时，M取值为1,2,3,4中的一个，图像库中除待检索图像外的其他图像的超像素块i在检索图像中邻域是指待检索图像中的第M块区域；

(5b)根据步骤(5a)中所求得的图像的预测编码以及步骤(3)中聚类得到的字典，利用式(5)对图像库中待检索图像进行编码：

$\begin{array}{c}\underset{c_i}{\min }{\Σ}_{i=1}^N\left|\right|x_i-{\mathrm{Bc}}_i|{|}^2+\mathrm{\λ}||c_i^{re}-c_i|{|}^2\\ \begin{array}{cc}s.t.& 1^T{c}_i=1,\∀i\end{array}\end{array}---\left(5\right)$

式中，c_i表示图像的第i个超像素块基于待检索图像的精确编码，表示通过步骤(5a)得到的图像的第i个超像素块基于待检索图像的预测编码，B表示通过步骤(3)获取的字典，x_i表示第i个超像素块的特征，||·||²表示求二范数操作，s.t.表示约束条件符号，(·)^T表示转置操作，表示i任意取1～N中的一个整数；式(5)是凸函数；

(6)图像的相似性检索：

(6a)图像的表示：

如步骤(5a)所述，图像等分为四个区域，分别对每个区域进行编码，对于每一区域的编码中，对每一个码字选择该区域内所有超像素在该码字上的编码码值最大的码值作为该区域在该码字上的编码值；对于每一个区域，会得到一个k维的向量，向量的每一维的值表示该区域在对应码字的编码值，此k维向量作为该区域的表示；将四个区域各自的k维向量直接连接起来，作为该图像基于待检索图像的表示；

(6b)相似度匹配：

通过计算待检索图像与图像库中其他图像编码的一范数距离，作为待检索图像与图像库中除待检索图像外的其他图像的相似度，将待检索图像与图像库中其他图像的相似度作从小到大排序，作为该检索图像的检索结果。

2.如权利要求1所述的一种基于图像间内容约束的超像素编码图像检索方法，其特征在于：所述步骤(2)的(2b)超像素块的LBP特征的提取方式为：(a)比较图像中每个像素点和以该像素点为中心的相邻八个像素点的灰度值的大小关系，如果相邻点灰度值大于中心像素点灰度值，则该相应位置标记为1，否则标记为0，以中心像素点的正上方位置为起始位置，按顺时针方向链接各相邻点位置的标记则可获取一个8位二进制数，对应于一个0到255之间的十进制数字并用该数字代表相应的中心像素点；(b)根据均匀LBP模式的映射方式将每个像素点的通过(a)获取的数字映射到0到58之间的数字；(c)以每个超像素块为一个提取LBP特征的区域，对于图像的任一个超像素块我们将其包含的所有像素点在(b)中对应的数字进行直方图统计，并将该直方图统计值作为该超像素块的59维LBP特征。